KR101835316B1 - 동영상 처리 방법 및 장치 - Google Patents

동영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101835316B1
KR101835316B1 KR1020157034559A KR20157034559A KR101835316B1 KR 101835316 B1 KR101835316 B1 KR 101835316B1 KR 1020157034559 A KR1020157034559 A KR 1020157034559A KR 20157034559 A KR20157034559 A KR 20157034559A KR 101835316 B1 KR101835316 B1 KR 101835316B1
Authority
KR
South Korea
Prior art keywords
compression
unit
frame
block
buffer memory
Prior art date
Application number
KR1020157034559A
Other languages
English (en)
Other versions
KR20160016836A (ko
Inventor
정욱제
전민용
박동진
Original Assignee
주식회사 칩스앤미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칩스앤미디어 filed Critical 주식회사 칩스앤미디어
Publication of KR20160016836A publication Critical patent/KR20160016836A/ko
Application granted granted Critical
Publication of KR101835316B1 publication Critical patent/KR101835316B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

동영상을 처리하는 장치가 개시된다. 본 동영상 처리 장치는, 부호화된 영상을 수신하는 영상 수신부; 상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 필터링부; 상기 필터 처리된 영상 프레임을 복수의 블록으로 분할하는 블록 분할부; 상기 복수의 블록에 대한 각각의 압축 방식을 결정하여 선택적으로 압축을 수행하고, 상기 압축되거나 비압축된 복수의 블록들을 일정 단위로 패키징하는 압축부; 및 상기 패키징된 데이터를 기록하는 프레임 버퍼 메모리를 포함한다.

Description

동영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING VIDEO}
본 발명은 동영상 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 프레임 버퍼 메모리의 메모리 대역폭 효율을 향상시킬 수 있는 동영상 처리 방법 및 그 장치에 관한 것이다.
본 발명은 대한민국 지식경제부 및 한국산업기술평가관리원의 산업원천기술개발사업(정보통신)의 일환으로 수행한 연구로부터 도출된 것이다. (과제관리번호: 10043450, 과제명: 8K UHD 및 4K S3D(stereoscopic 3D) 콘텐츠의 획득/저장/Ingest 및 전송용 비디오 서버 기술 개발, 주관기관: 전자부품연구원)
최근의 동영상 처리 방식의 향상에 따라 동영상 처리 장치는 더욱더 큰 사이즈의 영상을 처리하고 있다.
특히, UHD에 대한 니즈가 발생하면서, 저장매체의 크기 및 전달매체의 대역폭을 현재 동영상 압축 기술로는 수용하기 어려움에 따라, UHD 동영상 압축을 위한 새로운 압축 표준 기술이 필요하고 되었고, 이에 따라, HEVC가 2013년1월 표준화 완료되었다. HEVC는 internet 및 3G, LTE 등의 망을 통해 서비스되는 동영상 스트림을 위해서도 쓰일 수 있으며, 이때는 UHD 뿐만 아니라 FHD 또는 HD급도 HEVC로 압축될 수 있다.
UHD TV 같은 경우 단기적으로는 4K(4096 X 2304 픽셀) 및 30fps 비디오 스트림을 가질 것으로 예상되며, 4K 60fps/120fps, 8K 30fps/60fps/… 등으로 계속 초당 처리해야할 화소수가 커질 것으로 예상된다. 또한, 양방향 프레임 예측 및 필터링 처리를 위한 프레임당 요구 대역폭이 크게 향상될 것으로 예상된다.
이와 같은 처리 대역폭 향상에 대응하기 위해서는, 응용에서 요구되는 성능, 기능에 따라 시스템 모듈 간 또는 외부로의 전송 대역폭도 함께 향상되어야 한다.
그러나, 처리해야 할 이미지 해상도와 프레임 레이트 증가에 따라 요구되는 처리 대역폭이 크게 향상됨에 비해, 이를 전송하기 위한 대역폭은 제한적인 문제점이 있다.
예를 들어, 이미지를 프레임 버퍼 메모리에 저장하거나 그로부터 인출하기 위한 대역폭은 메모리 어플리케이션의 최소 버스트 길이(BURST LENGTH)에 따라 제한될 수 있다.
이를 해결하기 위해, 프레임 버퍼 메모리에 입출력되는 이미지를 압축하는 방식이 제안되고는 있으나 괄목할만한 대역폭 저감 효과를 가져오지는 못하고 있는 실정이다.
또한, 현재의 프레임 버퍼의 압축 방식들은 높은 압축 효율을 얻기 위해 손실 압축 방식을 사용하고 있으나 이는 퀄리티의 점진적인 저하를 가져올 뿐만 아니라, 압축 데이터 포맷이 변경되는 문제점이 있다.
뿐만 아니라, 이와 같은 포맷 변경에 의해, 랜덤 엑세스를 위한 프레임 버퍼 메모리 탐색 과정이 복잡하게 변경됨으로써 결과적으로 처리량 및 처리 시간이 다시 증가하게 되는 문제점이 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 프레임 버퍼의 무손실 압축을 이용하여 퀄리티의 저하 없이도 대역폭 효율을 향상시킬 수 있는 동영상 처리 장치 및 방법에 관한 것이다.
또한, 본 발명의 목적은 무손실을 유지하면서도 접근이 용이한 프레임 버퍼의 압축 포맷을 제공함으로써, 빠른 프로세싱이 가능한 동영상 처리 장치 및 방법에 관한 것이다.
그리고, 본 발명의 또 다른 목적은 프레임 버퍼의 무손실 압축시의 압축 방식을 다변화하여 대역폭 감소 효과를 최대화할 수 있는 동영상 처리 장치 및 방법에 관한 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 동영상을 처리하는 장치는, 부호화된 영상을 수신하는 영상 수신부; 상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 필터링부; 상기 필터 처리된 영상 프레임을 복수의 블록으로 분할하는 블록 분할부; 상기 복수의 블록에 대한 각각의 압축 방식을 결정하여 선택적으로 압축을 수행하고, 상기 압축되거나 비압축된 복수의 블록들을 일정 단위로 패키징하는 압축부; 및 상기 패키징된 데이터를 기록하는 프레임 버퍼 메모리를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 동영상을 처리하는 부호화된 영상을 수신하는 단계; 상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 단계; 상기 필터 처리된 영상 프레임을 복수의 블록으로 분할하는 단계; 상기 복수의 블록에 대한 각각의 압축 방식을 결정하는 단계; 상기 결정된 압축 방식에 따라 상기 복수의 블록들을 선택적으로 압축하고, 상기 압축되거나 비압축된 복수의 블록들을 일정 단위로 패키징하는 단계; 및 상기 패키징된 데이터를 기록하는 단계를 포함할 수 있다.
한편, 상기 동영상 처리 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 다양한 실시 예에 따르면, 초당 처리해야할 화소수(4K 60fps/120fps, 8K 30fps/60fps/… 등)가 큰 영상의 경우에도, 퀄리티 저하 없이 메모리 대역폭을 저감시킴으로써 처리 효율을 향상시킬 수 있는 동영상 처리 장치 및 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 압축된 프레임 버퍼 메모리에 대한 접근이 용이하여 처리 성능을 향상시킬 수 있는 동영상 처리 장치 및 방법을 제공할 수 있다.
그리고, 본 발명의 다양한 실시 예에 따르면, 프레임 버퍼 메모리에서 입출력되는 정보의 오버헤드를 줄일 수 있으며, 대역폭의 변동을 줄임으로써 시스템 구현을 용이하게 하고 안정성을 향상시키는 동영상 처리 장치 및 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 분할된 텍스처 블록별로 서로 다른 압축 방식을 선택적으로 적용할 수 있으며, 대역폭 감소 효과를 최대화하는 방식을 선택함으로써 영상 처리 성능을 향상시킬 수 있는 동영상 처리 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 동영상 복호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 다른 일 실시 예에 따른 동영상 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 동영상 복호화 장치의 압축부의 구성을 보다 상세하게 설명하기 위한 블록도이다.
도 4는 본 발명의 실시 예에 따른 동영상 복호화 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 압축 수행부를 보다 상세하게 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 압축 수행부의 동작을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 압축 단계에서 적용될 수 있는 압축 방식의 예시도이다.
도 8은 본 발명의 실시 예에 따라 압축되는 프레임 버퍼 메모리를 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른 압축 방법 및 그룹화를 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 룩업 테이블을 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따라 프레임 버퍼 메모리에 저장되는 정보를 종래 구성과 비교 설명하기 위한 도면이다.
도 12 내지 도 19는 본 발명의 실시 예를 적용한 경우의 처리 효율이 향상되는 것을 설명하기 위한 실험 데이터들이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 "이들의 조합"의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.
실제 영상과 그것의 깊이 정보 맵을 부호화하는 방법의 일예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 이용하여 복호화를 수행할 수 있으나, 이에 한정되지는 아니하며 본 발명의 실시 예에 따른 복호화 장치는 프레임 버퍼 메모리를 이용하는 다양한 방식(MPEG2, AVC 등)의 코덱을 이용하여 복호화를 수행할 수 있다.
통상, 동영상 처리 장치는 부호화 장치 또는 복호화 장치를 포함할 수 있으며, 부호화 장치는 인코딩 과정과 디코딩 과정을 포함하고, 복호화 장치는 디코딩 과정을 구비한다. 복호화 장치의 디코딩 과정은 부호화 장치의 디코딩 과정과 동일할 수 있다. 이하에서는 복호화 장치를 위주로 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 동영상 복호화 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 본 발명에 따른 동영상 복호화 장치(100)는 엔트로피 복호화부(110), 역양자화/역변환부(120), 가산기(180), 필터링부(130), 압축부(140), 프레임 버퍼 메모리(150), 역압축부(160), 움직임 보상부(170) 및 출력부(190)를 구비한다.
이외 본 발명의 실시 예에 따르면, 동영상 복호화 장치(100)는 인트라/인터전환 스위치 및 인트라 예측부를 더 포함할 수 있다. 다만, 본 실시 예는 예측 블록 생성을 위한 참조 프레임의 압축 및 패키징 방법과 이를 이용한 프레임 간 예측(인터 모드)시 움직임 보상 과정을 보다 구체적으로 설명하도록 한다.
엔트로피 복호화부(110)는, 동영상 부호화 장치로부터 전송되는 부호화 비트 스트림을 복호하여, 인트라 예측 모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리한다. 엔트로피 복호화부(110)는 복호된 움직임 정보를 움직임 보상부(170)에 공급할 수 있다.
엔트로피 복호화부(110)는 상기 인트라 예측 모드 인덱스를 움직임 보상부(170), 역양자화/역변환부(120)로 공급할 수 있다. 또한, 엔트로피 복호화부(110)는 역양자화 계수 시퀀스를 역양자화/역변환부(120)로 공급할 수 있다.
역양자화/역변환부(120)는 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환할 수 있다. 역양자화/역변환부(120)는 변환을 위해 복수개의 스캐닝 패턴 중에 하나를 선택할 수 있다. 역양자화/역변환부(120)는 현재 블록의 예측모드(즉, 인트라 예측 및 인터 예측 중의 어느 하나)와 인트라 예측 모드 중 적어도 하나에 기초하여 복수개의 스캐닝 패턴 중 하나를 선택할 수 있다.
역양자화/역변환부(120)는 인트라 예측 모드를 움직임 보상부(170) 또는 엔트로피 복호화부(110)로부터 수신할 수 있다.
역양자화/역변환부(120)는 상기 2차원 배열의 역양자화 계수에 복수개의 양자화 매트릭스 중 선택된 양자화 매트릭스를 이용하여 양자화 계수를 복원한다. 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스를 선택할 수 있다.
그리고, 역양자화/역변환부(120)는 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원한다.
가산기(180)는 역양자화/역변환부(120)에 의해 복원된 잔차 블록과 인트라 예측부 또는 움직임 보상부(170)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원한다.
필터링부(130)는 가산기(180)에 의해 생성된 복원 영상에 필터 처리를 수행한다. 필터 처리를 통해 양자화 과정에 따른 영상 손실에 기인하는 아티펙트를 줄이는 효과를 가져올 수 있다. 예를 들어, 필터링부(130)는 복원된 픽쳐에 발생하는 블록킹 효과의 제거하기 위한 디블록킹 필터링 과정, 화소 단위로 원본 영상과의 차이값을 보완하기 위한 적응적 오프셋 적용 과정 및 코딩 유닛으로 원본 영상과의 차이값을 보완하기 위한 적응적 루프 필터링 과정을 수행할 수 있다.
프레임 버퍼 메모리(150)는 필터링부(130)에 의해 필터 처리가 수행된 로컬 복호 영상을 유지하기 위한 메모리이며, 움직임 보상을 위한 복수의 프레임들 또는 픽처들을 저장할 수 있다. 저장 및 출력되는 프레임의 데이터 포맷은 압축부(140) 및 역압축부(160)에 의해 변형될 수 있다.
프레임 버퍼 메모리(150)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
압축부(140)는 프레임 버퍼 메모리(150)에 저장되는 프레임을 본 발명의 동영상 처리 방법에 따라 압축 수행하기 위한 모듈이며, 역압축부(160)는 움직임 보상부(170)의 요청에 따른 랜덤 액세스 대상 프레임을 프레임 메모리(150)로부터 인출하고 역 압축을 수행하기 위한 모듈이다.
특히, 본 발명의 실시 예에서 압축부(140)는 선택적 무손실 압축 및 무압축을 병행함으로써 퀄리티의 저하를 방지할 수 있으며, 압축 정보를 생성하고, 룩업 테이블로 별도 관리하여 대역폭 저감을 실현할 수 있다.
예를 들어, 압축부(140)는 루프 필터링 수행된 프레임을 입력으로 받아, DPCM을 이용한 적응적 엔트로피 코딩을 수행하여 무손실 압축된 텍스쳐 세그먼트들을 획득할 수 있다.
그리고, 압축부(140)는 텍스쳐 세그먼트 각각에 대한 오프셋 정보를 포함하는 압축 정보를 생성하고, 텍스쳐 세그먼트를 버스트 길이 단위로 패키징하여 압축 정보와 함께 프레임 버퍼 메모리(150)에 저장할 수 있다. 프레임 버퍼 메모리(150)는 AXI 버스 인터페이스를 통해 연결되는 외부 메모리일 수 있다.
또한, 본 발명의 실시 예에 따른 압축부(140)의 압축 처리 및 역 압축부(160)의 동작에 의해, 움직임 보상부(170)에서의 프레임 버퍼 메모리(150)에 대한 랜덤 엑세스를 용이하게 구현할 수 있게 된다.
또한, 본 발명의 실시 예에 따른 무손실 압축 및 버스트 길이 단위의 저장방식을 통한 대역폭 저감 효율은 50%에 달할 수 있다. 이와 같은 압축부(140)의 구성에 대하여는 후술하도록 한다.
움직임 보상부(170)는 엔트로피 복호화부(120)로부터 수신된 인트라 예측 모드 인덱스에 기초하여 현재 블록의 인트라 예측 모드를 복원한다. 그리고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.
특히, 움직임 보상부(170)는 움직임 벡터 정보에 기초하여 역 압축부(160)를 통해 프레임 메모리(150)에 압축 저장된 픽쳐에 랜덤 엑세스할 수 있다. 그리고, 이에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 소수 정밀도의 움직임 보상이 적용될 경우에는 선택된 보간 필터를 적용하여 예측 블록을 생성한다. 생성된 예측 블록은 가산기(180)로 전달될 수 있다.
한편, 도면에 도시되지는 않았으나 인트라/인터 전환 스위치는 부호화 모드에 기초하여 인트라 예측부와 움직임 보상부(170)의 어느 하나에서 생성된 예측 블록을 가산기(180)에 제공할 수 있다.
그리고, 움직임 보상부(170)는 움직임 보상을 위한 예측 블록을 생성하기 위해, 디멀티플렉서, 움직임 정보 부호화 모드 판단부, 머지 모드 움직임 정보 복호화부, AMVP 모드 움직임 정보 복호화부, 예측블록 생성부, 잔차 블록 복호화부 및 복원블록 생성부를 더 포함할 수 있다.
움직임 정보는 참조 픽쳐 인덱스와 움직임 벡터를 포함한다. 참조 픽쳐 인덱스는 이전에 부호화되어 복원된 픽쳐 중 어느 하나를 나타낸다.
현재 블록이 단방향 인터 예측 부호화되는 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타낸다. 반면에, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0(L0)의 참조 픽쳐들 중 하나를 나타내는 참조픽쳐 인덱스와 리스트 1(L1)의 참조 픽쳐들 중의 하나를 나타내는 참조픽쳐 인덱스를 포함할 수 있다.
또한, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.
움직임 벡터는 각각의 참조픽쳐 인덱스가 나타내는 픽쳐 내의 예측 블록의 위치를 나타낸다. 움직임 벡터는 화소단위(정수단위)일수도 있으나, 서브화소단위일 수도 있다.
예를 들어, 1/2, 1/4, 1/8 또는 1/16 화소의 해상도를 가질 수 있다. 움직임 벡터가 정수단위가 아닐 경우에는 예측 블록은 정수 단위의 화소들로부터 생성된다.
디멀티플렉서는 수신된 비트스트림으로부터 현재 부호화된 움직임 정보와 부호화된 잔차 신호들을 역다중화한다. 디멀티플렉는 상기 역다중화된 움직임 정보를 움직임 정보 부호화 모드 판단부로 전송하고, 역다중화된 잔차신호를 잔차블록 복호화부로 전송한다.
움직임 정보 부호화 모드 판단부는 현재 블록의 움직임 정보 부호화 모드를 판단한다. 움직임 정보 부호화 모드 판단부는 수신된 비트스트림의 skip_flag에 따라, 현재 블록의 움직임 정보 부호화 모드를 판단할 수 있다. 움직임 정보 부호화 모드는 스킵 모드, 머지 모드, AMVP(advanced motion vector prediction) 모드 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차신호가 0인 경우에 적용될 수 있다. 또한, 스킵 모드는 현재 블록이 코딩 유닛과 사이즈가 같을 때 적용될 수 있다. 현재 블록은 예측 유닛으로 볼 수 있다.
머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용될 수 있다. 머지 모드는 현재 블록이 코딩 유닛과 사이즈가 다르거나, 사이즈가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 머지 후보자와 스킵 후보자는 동일할 수 있다.
AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용될 수 있다. 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택하는 모드를 의미할 수 있다.
그리고, 예측블록 생성부는 복원된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성한다. 움직임 벡터가 정수 단위일 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성할 수 있다.
그러나, 움직임 벡터가 정수 단위가 아닐 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성할 수 있다다. 이 경우, 휘도 화소의 경우에는 8탭의 보간 필터를 사용하여 예측 화소를 생성할 수 있으며, 색차 화소의 경우에는 4탭 보간 필터를 사용하여 예측 화소를 생성할 수 있다.
잔차 블록 복호화부는 잔차신호를 엔트로피 복호화한다. 그리고, 엔트로피 복호화된 계수들을 역스캐닝하여 2차원의 양자화된 계수 블록을 생성한다. 역스캐닝 방식은 엔트로피 복호화 방식에 따라 달라질 수 있다.
즉, CABAC 기반으로 복호화된 경우와 CAVLC 기반으로 복호화된 경우의 인터 예측 잔차신호의 역스캐닝 방식이 달라질 수 있다. 예를 들어, CABAC 기반으로 복호화된 경우에는 대각선 방향의 래스터 역스캔 방식으로, CAVLC 기반으로 복호화된 경우에는 지그재그 역스캔 방식이 적용될 수 있다.
또한, 예측 블록의 크기에 따라 역스캐닝 방식이 달리 결정될 수도 있다.
잔차블록 복호화부는 생성된 계수블록을 역양자화 매트릭스를 이용하여 역양자화한다. 상기 양자화 매트릭스를 유도하기 위해 양자화 파리미터를 복원한다. 양자화 스텝 사이즈는 미리 정해진 크기 이상의 코딩 유닛별로 복원된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다.
잔차블록 복호화부는 상기 역양자화된 계수 블록을 역변환하여 잔차블록을 복원하며, 복원블록 생성부는 상기 예측블록 생성부에 의해 생성된 예측블록과 상기 잔차블록 복호화부에 의하여 생성된 잔차블록을 더하여 복원블록을 생성할 수 있다.
이와 같은 방식으로 복원된 현재 블록의 예측 블록과 복호화한 현재 블록의 잔차 블록을 이용하여 현재 블록이 복원되며, 이는 다시 필터링 및 압축되어 프레임 버퍼 메모리(150)에 저장될 수 있고, 다시 움직임 보상부(170)로 역압축되어 전달되거나, 출력부(190)로 출력될 수 있다.
출력부(190)는 프레임 버퍼 메모리(150)로부터 출력되는 데이터를 처리하여 디스플레이하거나 외부로 전송할 수 있다. 출력부(190)에서 처리된 영상 신호, 데이터 신호, OSD 신호 등은 각각 R,G,B 신호로 변환되여 구동 신호로 생성될 수 있다.
또한, 출력부(190)는 압축부(140)에서 압축 처리된 데이터를 영상 신호로 재구성하기 위한 컨버터를 더 포함할 수 있다. 출력부(190)는 컨버팅된 영상 신호를 디스플레이하기 위한 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등을 포함할 수 있다.
도 2는 본 발명의 다른 일 실시 예에 따른 동영상 복호화 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 본 발명의 다른 일 실시 예에 따른 동영상 복호화 장치(100)는 엔트로피 복호화부(110), 역양자화/역변환부(120), 가산기(180), 필터링부(130), 압축부(140), 프레임 버퍼 메모리(150), 역압축부(160), 움직임 보상부(170) 및 출력부(190)를 구비하며, 비압축 처리부(195)를 더 구비할 수 있다.
도 2의 경우, 압축부(140), 비압축 처리부(195) 및 출력부(190)를 제외한 나머지 구성 요소들은 앞서 도 1에서 설명한 바와 유사한 동작을 수행하므로 구체적인 설명을 생략할 수 있다.
도 2에 도시된 바와 같이, 본 발명의 다른 일 실시 예에서 구비되는 비압축 처리부(195)는 필터링부(130)에서 필터링된 영상을 압축부(140)를 거치지 않고 직접 출력부(190)로 전달할 수 있다.
특히, 비압축 처리부(195)는 복호화 및 필터링 과정을 거친 영상 프레임을 라인별(LINE BY LINE) 쓰기 방식으로 출력부(190)로 전달할 수 있다. 이를 위해, 비압축 처리부(195)는 별도의 버퍼 메모리를 포함할 수 있으며, 데이터의 버스트 길이는 64byte 또는 128byte 등으로 미리 지정될 수 있다.
이와 같이 압축되지 않은 순정의 YUV 영상 신호가 출력부(190)로 전달되면, 출력부(190)는 역압축 처리를 수행하지 않고도 디스플레이 등을 통해 바로 출력을 수행할 수 있게 된다. 또한, 출력부(190)는 순정 YUV 영상 신호를 이용하여 스케일링 등의 후 처리를 용이하게 수행할 수 있어 활용 범위가 넓어 질 수 있다.
따라서, 도 2의 실시 예에서는 출력부(190)에는 별도의 역압축 프로세서가 포함되지 않을 수 있으며, 압축부(140)는 움직임 보상에 사용되는 참조 프레임만 압축하여 프레임 버퍼 메모리(150)에 저장함으로써 동영상 처리 효율을 향상시킬 수 있다.
이하에서는 상기한 바와 같은 동영상 부호화 장치의 압축 처리 구성에 대해 상세히 설명하기로 한다.
본 발명의 일 실시 예에 따르면, 압축부(140)는 픽처 버퍼부(141), 블록 분할부(142), 압축 수행부(143), 패키징부(144), 압축 데이터 관리부(145), 압축 플래그 생성부(146), 그룹 식별자 생성부(147) 및 시작 오프셋 생성부(148)를 포함한다.
픽처 버퍼부(141)는 필터링부(130)로부터 필터링되어 출력되는 영상 신호를 수신하고, 프레임별로 버퍼에 저장할 수 있다.
블록 분할부(142)는 픽처 버퍼부로부터 각각의 프레임을 획득하고, 획득된 프레임을 미리 설정된 압축 유닛의 사이즈 따라 복수 개의 압축 블록으로 분할한다. 본 발명의 실시 예에서, 압축 유닛의 사이즈는 고정될 수 있으며, 각 프레임은 예를 들어 가로 16 픽셀 x 세로 4 픽셀의 블록들로 분할될 수 있다.
압축 수행부(143)는 각 블록에 대한 압축 여부를 결정하고, 압축으로 결정된 블록에 대해 무손실 압축을 수행한다.
특히, 본 발명의 실시 예에 따르면, 압축 수행부(143)는 각각의 분할된 블록에 대해 무손실 압축 또는 무압축 중 어느 하나를 처리 방식으로 선택할 수 있다.
예를 들어, 압축 수행부(143)는 압축 방식으로 DPCM 엔트로피 코딩 방식과 같이, 무손실 가변 길이 압축 방식을 선택할 수 있다.
그러나, 압축 수행부(143)는 가변 길이 압축된 데이터와 무압축 데이터의 크기를 비교하여 가변 길이 압축된 데이터가 큰 경우에는 무압축 방식을 선택할 수 있다.
이와 같이, 압축 수행부(143)에서는 각각 블록 별 특성에 따라 서로 다른 압축 방식이 적용될 수 있으며, 경우에 따라서는 무압축 처리하는 경우도 발생할 수 있다.
또한, 압축 수행부(143)는 압축 또는 무압축 방식 중 최선의 대역폭 효율을 가져오는 방식을 선택할 수 있다. 특히, 압축 수행부(143)는 종래의 손실 압축 등으로 인한 퀄리티 감소와 연산량 증가로 인한 대역폭 효율 감소를 개선하기 위해, 압축 정도와 관계 없이 대역폭 감소량만을 최대화하는 방식을 선택할 수도 있다.
이에 따라 압축 수행부(143)에서는 현재 블록에 대한 압축 여부 정보를 압축 플래그 생성부(146)로 전달할 수 있다.
그러면, 압축 플래그 생성부(146)는 현재의 블록에 대해 압축 여부를 나타내는 압축 플래그를 생성할 수 있다. 압축 플래그는 예를 들어, 압축 여부를 나타내는 1 비트의 플래그 형태를 가질 수 있다. 압축 플래그는 각각의 블록에 대응될 수 있으며, 그룹 식별자 생성부로 전달될 수 있다.
한편, 패키징부(144)는 압축 수행부(143)에서 각 블록 별로 압축된 데이터를 그룹화하고, 패키징을 수행한다.
패키징부(144)는 압축된 블록들을 하나의 라인으로 배열하고, 프레임 버퍼 메모리(150)의 버스트 길이 기반 단위로 그룹화를 수행할 수 있다. 본 발명의 패키징부(144)에서 그룹화된 각각의 압축 블록 셋은 버스트 그룹(BURST GROUP, BG)이라고 칭할 수 있다.
예를 들어, 버스트 길이는 128byte 일 수 있다. 이 경우 패키징부(144)는 압축된 블록들이 버스트 길이의 128byte 단위 그룹에 포함되도록 그룹화하여 패키징을 수행할 수 있다.
그리고, 패키징부(144)는 패키징된 텍스처 데이터를 버스트 그룹 단위별로 압축 데이터 관리부(145)로 전달한다. 압축 데이터 관리부(145)는 버스트 그룹 단위별로 프레임 버퍼 메모리(150)에 대한 쓰기를 수행할 수 있다. 이에 따라 가변 길이 압축에 따른 대역폭 변화율이 줄어들 수 있다. 또한, 무손실 압축의 압축 효율은 유지되므로 패키징부(144)는 시스템 안정성을 유지하면서도 대역폭 효율이 향상된 상태(또는 소모되는 대역폭이 감소된 상태)로 유지시킬 수 있다.
또한, 패키징부(144)는 패키징 수행에 따라 각 블록이 속한 그룹 및 그 그룹 내 위치를 나타내는 패키징 정보를 생성하고, 그룹 식별자 생성부(147)로 전달할 수 있다.
그룹 식별자 생성부(147)는 패키징 정보로부터 현재 처리된 블록이 속한 그룹을 나타내는 그룹 식별자를 생성할 수 있다. 그룹 식별자는, 예를 들어 8비트의 버스트 그룹 식별자(burst group ID)를 포함할 수 있다.
그리고, 버스트 그룹 식별자는 프레임 버퍼 메모리(150)의 특정 베이스 어드레스에 대한 각 그룹의 상대적인 위치를 나타낼 수 있다.
한편, 시작 오프셋 생성부(148)는 패키징 정보에 기초하여 현재 블록의 그룹 내 시작 위치를 나타내는 시작 오프셋 정보를 생성할 수 있다. 오프셋 정보는, 예를 들어 7비트의 시작 바이트 오프셋(start byte offset) 정보를 포함할 수 있다. 시작 바이트 오프셋 정보는 각 블록의 상대적인 시작 위치를 나타낼 수 있다.
한편, 압축 플래그 생성부(146), 그룹 식별자 생성부(147) 및 시작 오프셋 생성부(148)는 각각 현재 블록에 대한 압축 플래그, 그룹 식별자 및 시작 오프셋 정보를 압축 데이터 관리부(145)로 전달할 수 있다.
그리고, 압축 데이터 관리부(145)는 압축 플래그, 그룹 식별자 및 오프셋 정보를 결합하여 룩업 테이블 정보를 생성하고, 룩업 테이블 정보를 프레임 버퍼 메모리(150)에 기록할 수 있다.
보다 구체적으로, 압축 데이터 관리부(145)는 각각의 블록에 대응되는 룩업 테이블 정보를 생성할 수 있다. 압축 데이터 관리부(145)는 1비트의 압축 플래그, 8비트의 그룹 식별자 및 7비트의 오프셋 정보를 이용하여 2byte의 룩업 테이블 정보를 생성할 수 있다.
이와 같이 생성된 룩업 테이블 정보 및 패키징된 데이터는 각각 프레임 버퍼 메모리(150)에 기록될 수 있다. 앞서 설명한 바와 같이, 패키징된 데이터는 버스트 길이 단위로 프레임 버퍼 메모리(150)에 기록될 수 있다.
그리고, 압축 데이터 관리부(145)는 2byte의 룩업 테이블 정보가 버스트 길이 단위로 누적될 때(예를 들어, 64개의 블록에 대한 128byte의 룩업 테이블 정보가 누적된 경우), 프레임 버퍼 메모리(150)에 기록할 수 있다. 따라서, 룩업 테이블 정보의 기록 단위가 메모리의 버스트 길이 단위로 유지될 수 있다. 이에 따라 향상된 대역폭이 변동 없이 유지될 수 있으며, 시스템 안정성을 가져올 수 있다.
즉, 본 발명의 실시 예에서, 패키징부(144)에서의 압축된 텍스처 블록의 패키징 단위와 룩업 테이블 정보의 기록 단위는 동일할 수 있다. 또한, 각 단위는 프레임 버퍼 메모리(150)의 버스트 길이에 해당할 수 있다. 이와 같은 구성에 의해 대역폭 효율의 향상을 가져올 수 있다.
또한, 압축 데이터 관리부(145)는 현재 블록에 대한 룩업 테이블 정보를 생성하기 위해 이전 블록에 대한 룩업 테이블 정보를 참조할 수 있다. 이 경우, 같은 그룹에 속한 블록의 경우 동일한 데이터는 반복 처리하지 않을 수 있으므로 데이터 처리량을 감소시킬 수 있다.
그리고, 프레임 버퍼 메모리(150)는 이와 같이 구성된 압축부(140)에서 출력되는 데이터를 기록한다. 특히, 압축 데이터 관리부(145)는 프레임 버퍼 메모리(150)에 기록되는 데이터를 제어 및 관리할 수 있다.
이에 따라, 프레임 버퍼 메모리(150)는 패키징된 압축 텍스처 블록들을 프레임별로 저장 및 유지할 수 있으며, 각 프레임에 대응되는 룩업 테이블 정보를 별도로 저장 및 유지할 수 있다.
또한, 룩업 테이블 정보는 16x4 블록당 2byte의 정보를 포함할 수 있다. 일 실시 예에서, 룩업 테이블 정보는 버스트 그룹 식별 정보와 시작 오프셋 정보를 포함할 수 있으며, 이는 프레임 버퍼 메모리(150)에서의 전체 어드레스 아닌 미리 설정된 각 버스트 그룹에 대응되는 베이스 어드레스에서부터의 오프셋을 나타낼 수 있다.
여기서, 각 버스트 그룹에 대응되는 베이스 어드레스에 대한 정보는 역압축부(160) 및 압축부(140)가 각각 따로 저장 및 관리할 수 있다. 따라서, 역압축부(160)에서 프레임 버퍼 메모리(150)에 엑세스하기 위해, 전체 메모리 어드레스를 필요로 하지 않게 된다.
이에 따라, 역압축부(160)는 프레임 버퍼 메모리(150)로부터 룩업 테이블 정보만 수신하여도 특정 블록에 빠르게 엑세스할 수 있다.
또한, 버스트 그룹 식별자와 이에 대응되는 베이스 어드레스들을 미리 설정해 놓고, 이와 연관된 룩업 테이블 정보만을 송수신함에 따라, 메모리 어드레스의 전체 값 송수신에 따른 오버헤드가 줄어들게 되므로, 데이터 처리 효율 향상 및 대역폭 감소 효과를 얻을 수 있다.
한편, 프레임 버퍼 메모리(150)에 포함된 룩업 테이블 정보는 역 압축부(160)로 전달될 수 있으며, 역 압축부(160)는 룩업 테이블 정보를 참조하여 프레임 버퍼 메모리(150)의 특정 위치에 엑세스함으로써, 움직임 보상부(170)의 요청에 따른 랜덤 액세스를 수행할 수 있다. 이를 위해, 역 압축부(160)는 룩업 테이블 정보를 프레임 버퍼 메모리(150)로 요청하고, 이를 저장 및 관리하는 제1 캐시를 포함할 수 있다.
보다 구체적으로, 역 압축부(160)는 움직임 보상부(170)의 요청에 따라 특정 프레임을 식별하면, 룩업 테이블 정보를 참조하여 그 프레임에 대응되는 블록들의 그룹 식별 정보, 시작 오프셋 정보 및 압축 플래그를 획득할 수 있다.
또한, 역 압축부(160)는 그룹 식별 정보 및 시작 오프셋 정보에 기초하여 각 블록들에 대응되는 프레임 버퍼 메모리(150)의 특정 어드레스에 바로 엑세스할 수 있다. 이에 따라, 본 발명의 실시 예에서는 종래의 압축 방식 등에서 특정 블록을 찾는 데 많은 시간을 소비하는 문제점을 극복하고, 대역폭 저감 효과를 유지하면서도 고속의 처리가 가능하게 된다.
그리고, 역 압축부(160)는 압축 플래그에 따라 텍스처 블록의 압축 해제 여부를 판단하고, 필요한 경우 압축 해제를 수행할 수 있다. 역 압축부(160)는 압축 해제된 블록들을 재구성하여 움직임 보상부(170)에서 요청한 프레임 데이터를 생성하고, 이를 움직임 보상부(170)로 전달할 수 있다.
이후, 움직임 보상부(170)는 앞서 설명한 바와 같은 움직임 벡터 정보에 기초하여 예측 블록을 생성하고, 가산부(180)로 전달하여 움직임 보상을 통한 영상의 복호화를 순차적으로 진행시킬 수 있다.
이하에서는 본 발명의 실시 예에 따른 동영상 처리 방법을 도 4 내지 도 8을 참조하여 설명한다.
도 4는 본 발명의 실시 예에 따른 동영상 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 4를 참조하면, 먼저 동영상 처리 장치(100)는 인코딩된 영상 데이터를 포함하는 비트스트림을 수신하고, 엔트로피 복호화를 수행한다(S100).
그리고, 동영상 처리 장치(100)는 엔트로피 복호화된 영상 데이터에 대해 역양자화 및 역변환을 수행한다(S110).
앞서 설명한 바와 같이, 엔트로피 복호화부(110)는, 동영상 부호화 장치로부터 전송되는 부호화 비트 스트림을 복호하여, 인트라 예측 모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리할 수 있다. 엔트로피 복호화부(110)는 복호된 움직임 정보를 움직임 보상부(170)에 공급할 수 있으며, 또한, 엔트로피 복호화부(110)는 역양자화 계수 시퀀스를 역양자화/역변환부(120)로 공급할 수 있다.
역양자화/역변환부(120)는 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환하고, 현재 블록의 예측모드(즉, 인트라 예측 및 인터 예측 중의 어느 하나)와 인트라 예측 모드 중 적어도 하나에 기초하여 복수개의 스캐닝 패턴 중 하나를 선택하고, 상기 2차원 배열의 역양자화 계수에 복수개의 양자화 매트릭스 중 선택된 양자화 매트릭스를 이용하여 양자화 계수를 복원한다. 그리고, 역양자화/역변환부(120)는 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원한다.
이후, 동영상 처리 장치(100)는 잔차 블록과 예측 블록을 이용하여 영상을 복원하고, 필터링을 수행한다(S120).
앞서 설명한 바와 같이, 가산기(180)는 역양자화/역변환부(120)에 의해 복원된 잔차 블록과 인트라 예측부 또는 움직임 보상부(170)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원할 수 있으며, 필터링부(130)는 가산기(180)에 의해 생성된 복원 영상에 필터 처리를 수행할 수 있다. 구체적인 필터링 방법은 앞서 설명한 바와 같다.
이후, 동영상 처리 장치(100)는 필터 처리된 프레임에 대해 블록별 분할을 수행한다(S130).
압축부(140)는 필터링부(130)에서 필터 처리된 영상 프레임 텍스처를 압축 및 패키징하여 프레임 버퍼 메모리(150)에 기록하기 위해, 영상 프레임의 블록별 분할을 수행할 수 있다.
그리고, 동영상 처리 장치(100)는 분할된 각 블록별 압축여부 및 압축 방식을 결정하고(S140), 결정된 방식에 따라 각 블록에 대한 압축을 수행하며(S150), 압축 수행된 텍스처 블록들에 대해 패키징을 수행한다(S160).
이후, 동영상 처리 장치(100)는 룩업 테이블 정보 및 패키징된 데이터를 프레임 메모리에 저장한다(S170).
도 5는 본 발명의 실시 예에 따른 동영상 처리 장치(100)의 압축 수행부(143) 구성을 보다 상세하게 설명하기 위한 블록도이다.
도 5를 참조하면, 압축 수행부(143)는 선압축 수행부(1431), 대역폭 비교부(1432), 압축여부 결정부(1433), 적용차수 결정부(1434) 및 압축결과 출력부(1435)를 포함할 수 있다.
선압축 수행부(1431)는 분할된 텍스처 블록이 수신되면, 미리 설정된 복수의 압축 방식에 기반하여 각각의 방식에 따른 무손실 압축을 미리 수행한다.
선압축 수행부(1431)은 무손실 압축을 수행하기 위해, 엔트로피 부호화를 이용할 수 있으며, DPCM 방식과 같이 블록 내 픽셀들간의 차분값에 대한 가변 길이 부호화를 수행하여 압축할 수 있다. 선압축 수행부(1431)는 각각의 방식 중 적어도 하나를 선택하여 무손실 압축을 수행할 수 있다.
특히, 선압축 수행부(1431)는 다양한 코드워드를 이용한 가변 길이 압축을 선택적으로 수행할 수 있다. 특히, 선압축 수행부(1431)는 미리 설정된 복수의 차수들에 대응되는 코드워드를 이용하여, 수신된 텍스처 블록에 대해 가변 길이 압축을 차수별로 수행할 수 있다. 이에 따라 텍스처 블록에 대한 무손실 압축이 복수 번 미리 수행될 수 있다.
예를 들어, 선압축 수행부(1431)에서 수행할 수 있는 압축 방식으로 지수 골룸 코드(Exponential golomb code) 를 이용한 가변 길이 압축 방식이 예시될 수 있으며, 선압축 수행부(1431)는 예를 들어 0차 지수 골름 코드부터 N차 지수 골름 코드까지의 코드워드들을 이용하여 각 차수별 가변 길이 압축을 N+1번 수행해 볼 수 있다.
그리고, 대역폭 비교부(1432)는 각 압축 방식에 따른 대역폭 소모량을 비교 분석한다. 대역폭 비교부(1432)는 선압축 수행부(1431)에서 미리 수행되는 압축 방식 별 압축 결과가 대역폭을 어느 정도 차지하는지를 판단할 수 있다. 대역폭 비교부(1432)는 판단 결과를 압축여부 결정부(1433)로 전달할 수 있다.
압축여부 결정부(1433)는 대역폭 비교부(1432)의 판단 결과에 기초하여 압축 여부를 결정한다.
압축 여부 결정부(1433)는 각 압축 방식별 압축 결과들의 대역폭 소모량 중 최저값과 분할된 텍스처 블록 자체가 그대로 전송될 때 소모되는 순수 대역폭을 비교하고, 순수 대역폭이 더 작은 경우에는 압축하지 않는 것으로 결정할 수 있다.
또한, 압축 여부 결정부(1433)는 순수 대역폭이 압축하는 경우보다 더 큰 경우에는 압축하는 것으로 결정할 수 있다. 압축 플래그 생성부(146)는 결정된 압축 여부에 따라 압축 플래그를 생성할 수 있다.
압축방식 결정부(1434)는 압축하는 것으로 결정된 경우, 최적의 압축 방식을 선택한다. 압축방식 결정부(1434)는 대역폭 비교부(1432)에서 분석된 압축 방식별 압축 결과들의 대역폭 소모량 중 가장 대역폭을 적게 차지하는 압축 방식을 최적의 압축 방식으로 결정할 수 있다.
예를 들어, 선압축 수행부(1431)에서 지수 골룸 코드(Exponential golomb code) 를 이용한 적응적 가변 길이 압축 방식이 차수 별로 복수 번 수행될 수 있다.
압축방식 결정부(1434)는 각 지수 골룸 코드를 이용한 압축 결과의 대역폭 소모량 중 가장 대역폭을 적게 차지하는 경우의 특정 지수 골룸 차수를 이용한 적응적 가변 길이 부호화를 압축 방식으로 결정할 수 있다.
압축결과 출력부(1435)는 결정된 압축 방식에 따른 결과물을 선압축 수행부(1431)로부터 수신하여 패키징부(144)로 출력한다.
압축결과 출력부(1435)는 결정된 지수 골룸 차수를 이용한 가변 길이 부호화가 수행된 압축 결과 데이터를 선압축 수행부(1431)로부터 전달받을 수 있다. 그리고, 압축결과 출력부(1435)는 전달받은 데이터를 패키징부(144)로 출력하거나, 그 데이터에 어떤 코드가 사용되었는지에 대한 압축 정보를 부가하고, 패키징부(144)로 출력할 수 있다. 압축 정보는 압축 플래그의 형태로 룩업 테이블 정보에 별도 포함될 수도 있다.
또한, 압축결과 출력부(1435)는 압축하지 않는 것으로 결정된 경우, 압축되지 않은 원래의 텍스처 블록을 수신하여 패키징부(144)로 출력할 수 있다.
도 6은 본 발명의 실시 예에 따른 압축 수행부(143)의 구체적인 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 먼저 압축 수행부(143)는 분할된 텍스처 블록을 수신한다(S200).
압축 수행부(143)는 블록 분할부(142)로부터 분할된 텍스처 블록을 수신할 수 있다. 또한, 압축 수행부(143)는 수신된 텍스처 블록을 선압축 수행부(1431)로 전달되도록 제어할 수 있다.
이후, 압축 수행부(143)는 수신된 블록에 대해 차수별 압축을 적용한다(S201).
압축 수행부(143)는 선압축 수행부(1431)를 통해 블록에 대한 지수 골름 차수별 코드워드에 따라 각 차수별 적응적 가변 길이 부호화를 적용할 수 있다. 이에 따라 무손실 압축이 선 수행될 수 있다.
그리고, 압축 수행부(143)는 각 차수별 대역폭 효율을 분석한다(S203).
압축 수행부(143)는 대역폭 비교부(1432)를 통해 각각의 지수 골룸 차수별 대역폭 효율을 비교 분석할 수 있다.
대역폭 비교부(1432)는 선압축 수행부(1431)에서 수행되는 지수 골룸 차수 별 압축 결과가 원래의 대역폭보다 어느 정도의 감소 효율을 갖는지를 판단할 수 있다. 대역폭 비교부(1432)는 판단 결과를 압축여부 결정부(1433)로 전달할 수 있다.
특히, 대역폭 감소 효율은 압축된 데이터를 표현하는데 필요한 최대 비트수에 연관될 수 있다. 이에 따라 대역폭 비교부(1432)는 압축 데이터의 전송시 필요 비트 길이가 작을수록 대역폭 감소 효율이 높은 것으로 판단할 수 있다. 따라서, 본 발명의 실시 예에서 압축은 비트율의 압축이라고 표현될 수 있으며, 실제 데이터 총량의 크기 압축과는 관계가 없을 수 있다.
이후, 압축 수행부(143)는 각 차수별 대역폭 감소 효율이 미리 설정된 값보다 높은지를 판단한다(S205). 미리 설정된 값은 비압축 방식의 대역폭에 기반하여 결정될 수 있다.
그리고, 압축 수행부(143)는 대역폭 감소 효율이 그 값보다 높지 않은 경우, 비압축으로 결정한다(S209).
또한, 압축 수행부(143)는 대역폭 감소 효율이 높은 경우에는 가장 효율이 높은 지수 골름 차수를 압축 차수로 결정한다(S207).
압축 수행부(143)는 압축방식 결정부(1434)를 통해 압축 차수를 결정할 수 있다. 압축 여부 결정부(1433)는 각 지수 골룸 차수별 압축 결과들 중 대역폭 효율이 가장 높은 차수를 최적의 지수 골룸 차수로 결정할 수 있다.
그리고, 압축 수행부(143)는 결정된 지수 골룸 차수를 이용하여 현재 수신된 텍스처 블록을 압축하며(S211), 압축 플래그 및 압축(또는 비압축)된 블록을 출력한다(S213).
압축 수행부(143)는 압축결과 출력부(1435)를 통해 앞서 결정된 지수 골룸 차수에 따른 압축 결과 데이터를 선압축 수행부(1431)로부터 수신하여 패키징부(144)로 출력할 수 있다.
앞서 설명한 바와 같이, 압축결과 출력부(1435)는 결정된 지수 골룸 차수를 이용한 가변 길이 부호화가 수행된 압축 결과 데이터를 선압축 수행부(1431)로부터 전달받을 수 있다.
그리고, 압축결과 출력부(1435)는 전달받은 데이터를 그대로 패키징부(144)로 바이패스하거나, 그 데이터에 어떤 지수 골룸 코드가 사용되었는지에 대한 압축 정보를 부가하여 패키징부(144)로 출력할 수 있다. 이와 같은 압축 정보는 압축 플래그에 포함될 수도 있으며, 따라서, 룩업 테이블 정보에 포함될 수도 있다.
한편, 압축 수행부(143)는 비압축으로 결정된 경우 압축되지 않은 원래의 텍스처 블록을 바이패스하여 패키징부(144)로 전달할 수 있다.
도 7은 본 발명의 실시 예에 따른 압축 단계에서 적용될 수 있는 압축 방식의 예시도이다.
도 7을 참조하면, 압축 수행부(143)는 블록의 특성에 따라 서로 다른 압축 방식(EG0~EG3)들을 각각 선택하여 압축을 수행하고, 각 방식별 압축 결과 데이터가 전송되거나 메모리에 기록될 때 소모되는 대역폭을 분석할 수 있다. 이 때, 도 7에 도시된 바와 같이 각각의 압축 방식들은 차수가 서로 다른 지수 골름 코드들을 이용한 가변 길이 압축방식일 수 있다.
그리고, 압축 방식은 미리 설정될 수 있다. 예를 들어, 압축 수행부(143)는 설정에 따라 EG0 및 EG3의 경우를 비교하여 어느 하나를 압축 방식으로 결정할 수 있다. 또한, 압축 수행부(143)는 EG0, EG1, EG2, EG3의 경우를 모두 비교하여 어느 하나를 압축 방식으로 결정할 수 있다.
또한, 압축 수행부(143)는 각 블록에 대한 2차원 DPCM(차분 펄스 코드 변조 부호화)을 가로 및 세로 방향으로 수행하고, 그 결과값에 대한 지수 골룸 코드(EG0~EG3)별 가변 길이 압축을 수행할 수 있다.
이와 같은 본 발명의 실시 예에 따르면, 분할된 블록들의 패턴은 매우 다양하기 때문에, 압축 방식 별 대역폭 감소 효율이 서로 다를 수 있다. 따라서 각 블록의 패턴 또는 특성에 따라 서로 다른 압축 방식이 적용될 수 있다.
이에 따라, 각 블록 별 최적의 대역폭 효율을 갖는 압축 방식을 선택하게 되므로, 대역폭 감소량을 최대화할 수 있게 된다.
도 8 내지 도 11은 이와 같이 분할 및 패키징되는 본 발명의 실시 예에 따른 블록 구성을 설명하기 위한 도면들이다.
도 8(A)는 블록별로 분할되는 전체 프레임을 나타낸다. 도 8(A)에 도시된 바와 같이, 각 프레임은 미리 설정된 크기의 블록들로 분할될 수 있다. 미리 설정된 크기는 가변될 수 있으며, 본 발명의 실시 예에서의 블록 크기는 16 x 4로 가정하고 설명하도록 한다. 픽처의 크기가 미리 설정된 크기의 배수가 아닌 경우에는, 가장자리에 해당하는 블록의 여분값은 가장자리 픽셀과 동일한 값으로 설정할 수 있다.
한편, 도 9에 도시된 바와 같이, 분할된 각 블록들은 선택적으로 압축될 수 있다. 여기서 압축 방식은 앞서 설명한 바와 같이, 대역폭 감소 여부를 기준으로 하여 무압축, DPCM을 이용한 가변 길이 코딩 압축 중 어느 하나의 방식으로 선택될 수 있다.
그리고, 각 압축된 블록들은 버스트 길이에 따라 각각의 그룹으로 패키징될 수 있다. 본 발명의 실시 예에서 패키징부(144)는 도 9 하단에 도시된 바와 같이 각각의 버스트 그룹(BURST GROUP) 을 지정하여 블록들을 패키징 할 수 있다. 각 버스트 그룹의 사이즈는 프레임 버퍼 메모리(150)의 버스트 길이에 대응될 수 있으며, 각 그룹에는 그룹 식별자가 할당될 수 있다.
또한, 패키징부(144)는 도 10에 도시된 바와 같이 각각의 블록에 대응되는 룩업 테이블 정보를 생성할 수 있다. 룩업 테이블 정보는 패키징된 데이터 로부터 분할된 각각의 블록 및 그 압축 여부를 식별할 수 있는 정보를 포함할 수 있다. 예를 들어, 룩업 테이블 정보는 8비트의 그룹 식별자 정보, 7비트의 시작 오프셋 정보 및 1비트의 압축 플래그를 포함하는 2byte의 데이터를 포함할 수 있다. 이와 같은 룩업 테이블 정보는 프레임 버퍼 메모리(150)에 별도 저장될 수 있다.
다시 도 8을 설명하면, 도 8(B)는 이와 같이 패키징된 데이터가 순차적으로 기록된 프레임 버퍼 메모리(150)의 저장 공간을 설명하고 있다. 전체 프레임 도 8(A)에 비해 압축된 텍스처 데이터가 블록별로 저장될 수 있다.
여기서, 좌측의 0, 1, 2, 3 등은 각 버스트 그룹에 대응되는 베이스 어드레스를 나타낼 수 있다. 각 블록들은 버스트 그룹 식별 정보 및 오프셋(OFFSET) 값에 따라 식별될 수 있다. 각각의 버스트 그룹 내에서 텍스처 데이터가 존재하지 않는 영역은 더미 데이터(Dummy Data)로 채워질 수 있다.
한편, 도 8(C)에서는 프레임 버퍼 메모리(150)에 별도 저장되는 룩업 테이블 정보를 나타낸다. 룩업 테이블 정보는 각각의 블록에 대응되는 2byte의 값으로 채워질 수 있으며, 전체 프레임을 구성하는 각각의 블록 순으로 배열될 수 있다.
따라서, 역압축부(160)는 도 8(C)와 같은 룩업 테이블 정보만을 수신하여 프레임 버퍼 메모리(150)로부터 텍스처 블록들을 식별할 수 있으며, 압축 해제 및 재구성을 수행하여 원래의 프레임을 복원할 수 있게 된다.
또한, 앞서 설명한 바와 같이, 룩업 테이블 정보만을 송수신함에 따라, 메모리 어드레스의 전체 값 송수신에 따른 오버헤드가 줄어들게 되므로, 데이터 처리 효율 향상 및 대역폭 감소 효과를 얻을 수 있다.
도 8은 본 발명의 실시 예에 따른 프레임 버퍼 메모리(150)의 사이즈 변화를 설명하기 위한 것으로, 대역폭 저감을 위한 프레임 버퍼 메모리(150)의 구성을 설명하기 위한 것이다.
좌측은 일반적인 프레임 버퍼를 나타내며, 우측은 본 발명의 실시 예에 따라 압축 및 패키징된 프레임 버퍼 메모리(150)를 나타낸다. 도 11에 도시된 바와 같이, 종래의 디코딩된 Y, Cb, Cr 값을 저장하는 프레임 버퍼와 달리, 본 발명의 실시 예에 따른 프레임 버퍼 메모리(150)는 압축된 Y텍스처 데이터, 압축된 C 텍스처 데이터, 압축된 Y에 대한 룩업 테이블 정보 및 압축된 C에 대한 룩업 테이블 정보를 포함할 수 있다.
이와 같이 본 발명의 실시 예에 따른 프레임 버퍼 메모리(150)는 룩업 테이블 정보를 저장하기 위한 버퍼를 포함할 수 있다. 이 버퍼의 사이즈는 영상 프레임 사이즈에 의해 결정될 수 있다. 예를 들어, 16X4 픽셀로 분할된 블록에 대해 2byte의 룩업 테이블 정보가 생성되는 경우, 룩업 테이블 정보를 위한 버퍼 사이즈는 한 프레임당 1/32*(frame size)로 결정될 수 있다. 따라서, 본 발명의 실시 예에 따른 프레임 버퍼 메모리(150)는 기존의 프레임 버퍼에 비해 추가적인 버퍼 영역을 더 포함할 수 있다.
또한, 16X4 픽셀로 분할된 블록에 대해 2byte의 룩업 테이블 정보가 생성되는 경우, 프레임 버퍼 메모리(150)의 영역별 버퍼 사이즈는 다음과 같은 공식들로 유도될 수 있다.
Compressed data for Luma: (PicX+15)/16*16 * PicY
Compressed data for Chroma: (PicX/2+15)/16*16 * PicY
Lookup table for Luma: (PicY+15)/16* (PicX+255)/256 * 128
Lookup table for Chroma: (PicY+15)/16* (PicX/2+255)/256 * 128
다시 도 4를 설명한다.
이후, 동영상 처리 장치(100)는 움직임 보상부(170)의 참조 프레임 요청에 따라 룩업 테이블 정보 및 패키징된 데이터를 역압축부(160)로 전달한다(S180).
그리고, 동영상 처리 장치(100)는 역압축부(160)에서 룩업 테이블 정보를 이용하여 해당 프레임을 구성하는 블록들에 랜덤 엑세스하며, 역압축 수행 및 프레임 재구성을 거쳐 참조 프레임을 획득한다(S190).
그리고, 동영상 처리 장치(100)는 획득된 참조 프레임을 움직임 보상부(170)로 전달한다(S195).
도 12 내지 도 19는 본 발명의 실시 예에 따른 동영상 처리 방법을 적용한 결과 나타나는 실험 데이터이다.
본 발명의 실시 예에 따른 동영상 처리 방법의 대역폭 저감 효과를 테스트 하기 위해, 다양한 HEVC 테스트 시퀀스가 사용되었으며, 이미지 사이즈에 따라 A 내지 F로 분류하였다. 대역폭은 복호화 프로세스(움직임 보상을 위한 참조 프레임의 읽기/쓰기가 수행되는)가 진행되는 동안 128bit 버스 인터페이스를 통해 메모리의 읽기/쓰기가 수행된 프레임 데이터의 총량으로 추정되었다. 또한, 각 시퀀스에 대해 서로 다른 4가지의 qp 값(22, 27, 32 and 37)이 사용되었다.
도 12 내지 도 19의 전체적인 결과로 볼 때, 본 발명의 실시 예에 따른 동영상 처리 방법은 루프 필터 모듈에서 쓰기 수행시 순수 대역폭에 비해 평균 56%의 대역폭을 세이브할 수 있는 것으로 나타났다. 또한, 움직임 보상부에서 읽기 수행시에도 순수 대역폭에 비해 평균 59%의 대역폭을 세이브 할 수 있는 것으로 나타났다.
도 12 및 도 13은 이와 같은 본 발명의 실시 예에 따른 동영상 처리 방법의 프레임 버퍼 압축으로 인한 평균 대역폭과, 압축이 사용되지 않은 순수 처리 대역폭을 비교 하여 분류별로 도시하고 있다.
도 12는 본 발명의 일 실시 예에 따른 도 1에 도시된 복호화 장치에 따른 동영상 처리시의 대역폭 저감율을 나타내며, 도 13은 다른 일 실시 에에 따른 도 2에 도시된 복호화 장치에 따른 동영상 처리시의 대역폭 저감율을 나타낸다.
한편, 도 14 내지 도17은 도 12 내지 도 13의 각 조건에 따른 비교를 시각적으로 나타내기 위한 그래프들이다. 그래프들을 통해 알 수 있는 바와 같이, 본 발명의 실시 예에 따른 대역폭 저감 효과가 확연히 나타난다.
그리고, 도 18은 본 발명의 실시 예에 따른 동영상 처리 방법에 의해 대역폭 저감 효과뿐만 아니라, 대역폭 안정성이 유지되는 것을 나타낸다. 도 18에서 본 발명의 실시 예에 따른 프레임 버퍼 압축(FBC로 표기된 선) 결과를 보면, 무압축(Uncomp)에 비해 대역폭이 약 70%가 감소되면서, 무압축 영상 정보의 급격한 변동에도 불구하고 일정한 값을 거의 유지하는 것을 알 수 있다. 이에 따라, 본 발명은 대역폭 안정성을 유지할 수 있으며, 캐시 설계에 유리한 결과를 가져올 수 있다.
그리고, 도 19는 프레임 버퍼 압축시(FBC로 표기된 선)의 평균 대역폭이 무압축(Uncomp) 데이터에 비해 20%미만으로 절감되는 것을 나타낸다. 본 발명의 실시 예는 이와 같은 대역폭의 절감을 통해 이미지 퀄리티를 유지하면서도 고해상도 영상 처리를 가능하게 함을 알 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (16)

  1. 복수의 프레임 간 움직임 보상을 처리하는 동영상 처리 장치에 있어서,
    부호화된 영상을 수신하는 영상 수신부;
    상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 필터링부;
    상기 필터 처리된 영상 프레임으로부터, 복수의 프레임 간 움직임 보상을 처리하는 움직임 보상부로 제공될 참조 프레임을 미리 설정된 압축 유닛의 고정된 사이즈에 따라 복수 개의 블록들로 분할하는 블록 분할부;
    상기 분할된 복수의 블록들에 대한 대역폭 효율에 따라 선택되는 압축 방식에 의해 각각의 압축 방식을 결정하여 선택적으로 압축 또는 비압축을 수행하고, 상기 압축 되거나 비압축된 복수의 블록들을 상기 참조 프레임이 저장될 프레임 버퍼 메모리의 버스트 길이에 대응하는 버스트 그룹 단위로 패키징하는 압축부; 및
    상기 패키징된 데이터를 기록하여, 상기 움직임 보상을 위한 참조 프레임을 제공하는 상기 프레임 버퍼 메모리를 포함하고,
    상기 압축부는 상기 분할된 복수의 블록들 각각의 특성에 따라, 압축하지 않거나 복수의 서로 다른 코딩 방식을 이용하여 압축을 수행하는
    동영상 처리 장치.
  2. 제1항에 있어서,
    상기 압축부는
    상기 압축 방식을 결정하기 위해 각 압축 방식별로 선 압축을 수행하는 선압축 수행부를 포함하는
    동영상 처리 장치.
  3. 제2항에 있어서,
    상기 압축 방식을 결정하기 위해, 상기 선압축 수행된 블록의 각 압축 방식별 대역폭 감소 효율을 비교 분석하는 대역폭 비교부를 포함하는
    동영상 처리 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 서로 다른 코딩 방식은 복수의 서로 다른 지수 골름 코드들을 이용한 가변 길이 코딩 방식들을 포함하는
    동영상 처리 장치.
  7. 제1항에 있어서,
    상기 버스트 그룹 단위는 상기 프레임 버퍼 메모리의 버스트 길이와 동일한 것을 특징으로 하는 동영상 처리 장치.
  8. 제1항에 있어서,
    상기 필터링부로부터 출력되는 영상 신호를 비압축 처리하여 전달하는 비압축 처리부; 및
    상기 비압축 처리된 영상을 디스플레이하기 위한 출력부를 더 포함하는
    동영상 처리 장치.
  9. 복수의 프레임 간 움직임 보상을 처리하는 동영상 처리 장치의 영상 처리 방법에 있어서,
    부호화된 영상을 수신하는 단계;
    상기 부호화된 영상으로부터 복원된 영상 프레임을 필터 처리하는 단계;
    상기 필터 처리된 영상 프레임으로부터, 복수의 프레임 간 움직임 보상을 처리하는 움직임 보상부로 제공될 참조 프레임을 미리 설정된 압축 유닛의 고정된 사이즈에 따라 복수 개의 블록들로 분할하는 단계;
    상기 분할된 복수의 블록들에 대한 대역폭 효율에 따라 각각의 압축 방식을 결정하는 단계;
    상기 결정된 압축 방식에 따라 상기 복수의 블록들을 압축 또는 비압축하고, 상기 압축 되거나 비압축된 복수의 블록들을 상기 참조 프레임이 저장될 프레임 버퍼 메모리의 버스트 길이에 대응하는 버스트 그룹 단위로 패키징하는 단계; 및
    상기 패키징된 데이터를 상기 움직임 보상을 위한 참조 프레임을 제공하는 상기 프레임 버퍼 메모리에 기록하는 단계를 포함하고,
    상기 결정하는 단계는, 상기 분할된 복수의 블록들 각각의 특성에 따라, 압축하지 않는 비압축 방식 또는 복수의 서로 다른 코딩 방식을 이용한 압축 방식을 결정하는 단계를 포함하는
    동영상 처리 방법.
  10. 제9항에 있어서,
    상기 패키징하는 단계는,
    상기 압축 방식을 결정하기 위해 각 압축 방식별로 선 압축을 수행하는 단계를 포함하는
    동영상 처리 방법.
  11. 제10항에 있어서,
    상기 압축 방식을 결정하기 위해, 상기 선 압축 수행된 블록의 각 압축 방식별 대역폭 감소 효율을 비교 분석하는 단계를 더 포함하는
    동영상 처리 방법.
  12. 삭제
  13. 삭제
  14. 제9항에 있어서,
    상기 복수의 서로 다른 코딩 방식은 복수의 서로 다른 지수 골름 코드들을 이용한 가변 길이 코딩 방식들을 포함하는
    동영상 처리 방법.
  15. 제9항에 있어서,
    상기 버스트 그룹 단위는 상기 프레임 버퍼 메모리의 버스트 길이와 동일한 것을 특징으로 하는 동영상 처리 방법.
  16. 제9항 내지 제11항 및 제14항 내지 15항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 비 휘발성 기록 매체.
KR1020157034559A 2013-04-02 2013-07-24 동영상 처리 방법 및 장치 KR101835316B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361807663P 2013-04-02 2013-04-02
US61/807,663 2013-04-02
PCT/KR2013/006653 WO2014163241A1 (ko) 2013-04-02 2013-07-24 동영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160016836A KR20160016836A (ko) 2016-02-15
KR101835316B1 true KR101835316B1 (ko) 2018-03-08

Family

ID=51658512

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020157034558A KR101834236B1 (ko) 2013-04-02 2013-07-24 동영상 처리 방법 및 장치
KR1020157034559A KR101835316B1 (ko) 2013-04-02 2013-07-24 동영상 처리 방법 및 장치
KR1020157034562A KR101835318B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치
KR1020157034560A KR101884719B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치
KR1020157034561A KR101835317B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157034558A KR101834236B1 (ko) 2013-04-02 2013-07-24 동영상 처리 방법 및 장치

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020157034562A KR101835318B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치
KR1020157034560A KR101884719B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치
KR1020157034561A KR101835317B1 (ko) 2013-04-02 2013-08-06 동영상 처리 방법 및 장치

Country Status (4)

Country Link
US (5) US10165293B2 (ko)
KR (5) KR101834236B1 (ko)
CN (5) CN105009584B (ko)
WO (5) WO2014163240A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942473B2 (en) * 2012-07-25 2015-01-27 Ko Hung Lin Image processing method and display apparatus
TWI652935B (zh) 2012-09-28 2019-03-01 Ｖｉｄ衡器股份有限公司 視訊編碼方法及裝置
FR3024933A1 (fr) * 2014-08-12 2016-02-19 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US11438605B2 (en) * 2015-07-08 2022-09-06 Interdigital Madison Patent Holdings, Sas Enhanced chroma coding using cross plane filtering
US10798396B2 (en) * 2015-12-08 2020-10-06 Samsung Display Co., Ltd. System and method for temporal differencing with variable complexity
KR102545015B1 (ko) * 2015-12-14 2023-06-19 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 포인트 클라우드 삼차원 데이터 부호화 방법, 포인트 클라우드 삼차원 데이터 복호 방법, 포인트 클라우드 삼차원 데이터 부호화 장치 및 포인트 클라우드 삼차원 데이터 복호 장치
US10218976B2 (en) 2016-03-02 2019-02-26 MatrixView, Inc. Quantization matrices for compression of video
CN106162192A (zh) * 2016-07-06 2016-11-23 华为技术有限公司 处理视频数据的方法和装置
KR102413345B1 (ko) 2016-10-04 2022-06-27 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
KR20180048127A (ko) 2016-11-02 2018-05-10 삼성전자주식회사 전자 장치, 그의 영상 압축 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR102581838B1 (ko) * 2016-11-25 2023-09-21 엘지디스플레이 주식회사 보상 데이터 처리 방법과 이를 이용한 유기 발광 다이오드 표시 장치
US10944974B2 (en) 2017-01-11 2021-03-09 Raytheon Company Method for encoding and processing raw UHD video via an existing HD video architecture
US10419771B2 (en) * 2017-02-08 2019-09-17 Zpeg, Inc. Method and system for improved image compression
US11190724B2 (en) * 2017-03-10 2021-11-30 Raytheon Company Adaptive bitrate streaming of UHD image data
CN107995494B (zh) * 2017-12-12 2019-11-22 珠海全志科技股份有限公司 视频图像数据的压缩方法与解压方法、计算机装置、计算机可读存储介质
WO2019191904A1 (zh) * 2018-04-03 2019-10-10 深圳市柔宇科技有限公司 一种数据处理方法及装置
KR102456474B1 (ko) 2018-04-27 2022-10-20 삼성디스플레이 주식회사 영상 처리 회로, 영상 처리 회로를 포함하는 표시 장치 및 그것의 구동 방법
US11178415B2 (en) 2019-03-12 2021-11-16 Tencent America LLC Signaling of CU based interpolation filter selection
CN110581995A (zh) * 2019-09-12 2019-12-17 北京奇艺世纪科技有限公司 一种视频处理的方法及装置
CN110688385A (zh) * 2019-09-29 2020-01-14 联想(北京)有限公司 一种数据处理方法和电子设备
KR20210088304A (ko) 2020-01-06 2021-07-14 삼성전자주식회사 이미지 프로세서의 동작 방법, 이미지 처리 장치 및 이미지 처리 장치의 동작 방법

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940003388B1 (ko) 1991-12-31 1994-04-21 삼성전자 주식회사 비디오 카세트 레코더의 화질보상회로
KR0178711B1 (ko) * 1992-07-09 1999-05-01 강진구 적응적 후처리를 이용한 부호화 및 복호화시스템
JP2643769B2 (ja) * 1993-05-19 1997-08-20 日本電気株式会社 画像・音声編集装置
US5583562A (en) 1993-12-03 1996-12-10 Scientific-Atlanta, Inc. System and method for transmitting a plurality of digital services including imaging services
US5740460A (en) 1994-07-29 1998-04-14 Discovision Associates Arrangement for processing packetized data
US6115496A (en) * 1995-03-02 2000-09-05 Apple Computer, Inc. Method and apparatus for accelerating image data compression
JPH0993425A (ja) * 1995-09-25 1997-04-04 Ricoh Co Ltd 画像形成装置
JP3898782B2 (ja) 1996-08-23 2007-03-28 オリンパス株式会社 情報記録再生装置
WO1998027720A1 (en) * 1996-12-18 1998-06-25 Thomson Consumer Electronics, Inc. A multiple format video signal processor
US5973740A (en) 1997-10-27 1999-10-26 International Business Machines Corporation Multi-format reduced memory video decoder with adjustable polyphase expansion filter
US6658056B1 (en) 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
US6684087B1 (en) * 1999-05-07 2004-01-27 Openwave Systems Inc. Method and apparatus for displaying images on mobile devices
JP3508630B2 (ja) * 1999-07-07 2004-03-22 日本電気株式会社 デジタル画像入出力を備えるフレームバッファ装置および画像表示装置
JP3833483B2 (ja) * 2001-03-06 2006-10-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示システム、画像データ送信装置、表示画像データ送信方法、差分転送方法、プログラム、および記憶媒体
US20030138045A1 (en) 2002-01-18 2003-07-24 International Business Machines Corporation Video decoder with scalable architecture
JP4209631B2 (ja) * 2002-05-23 2009-01-14 パナソニック株式会社 符号化装置、復号化装置、及び、圧縮伸長システム
US7403487B1 (en) 2003-04-10 2008-07-22 At&T Corporation Method and system for dynamically adjusting QOS
KR100501173B1 (ko) * 2003-08-07 2005-07-18 에스케이 텔레콤주식회사 이동 통신 단말기에서 고해상도 화상을 디스플레이하기위한 방법과 이를 위한 이동 통신 단말기 및 화상 포맷변환 시스템
US7689051B2 (en) 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
JP4819517B2 (ja) * 2005-02-16 2011-11-24 オリンパス株式会社 画像処理方法及び画像処理装置
KR20080046345A (ko) * 2006-11-22 2008-05-27 삼성전자주식회사 휴대용 단말기의 메모리 절약 장치 및 방법
US20080285652A1 (en) 2007-05-14 2008-11-20 Horizon Semiconductors Ltd. Apparatus and methods for optimization of image and motion picture memory access
US8565310B2 (en) * 2008-01-08 2013-10-22 Broadcom Corporation Hybrid memory compression scheme for decoder bandwidth reduction
GB2457262A (en) 2008-02-08 2009-08-12 Linear Algebra Technologies Compression / decompression of data blocks, applicable to video reference frames
US8194736B2 (en) * 2008-04-15 2012-06-05 Sony Corporation Video data compression with integrated lossy and lossless compression
KR101611408B1 (ko) * 2008-06-30 2016-04-12 삼성전자주식회사 점유 대역폭의 감소를 위한 영상 부호화 방법 및 장치, 그리고 영상 복호화 방법 및 장치
US8577165B2 (en) * 2008-06-30 2013-11-05 Samsung Electronics Co., Ltd. Method and apparatus for bandwidth-reduced image encoding and decoding
JP5210091B2 (ja) 2008-08-29 2013-06-12 キヤノン株式会社 画像処理装置及びその制御方法、撮像装置、プログラム
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
CN101777366B (zh) * 2010-01-07 2011-12-07 浙江大学 一种基于rle原理的行程压缩方法和装置
US8588536B2 (en) 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
US20120230423A1 (en) 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
JP5585885B2 (ja) * 2011-03-18 2014-09-10 株式会社リコー 画像処理装置及び画像処理方法
KR101215152B1 (ko) * 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
EP2533537A1 (en) * 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
US9378560B2 (en) * 2011-06-17 2016-06-28 Advanced Micro Devices, Inc. Real time on-chip texture decompression using shader processors
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding

Also Published As

Publication number Publication date
CN105191302A (zh) 2015-12-23
CN105009584A (zh) 2015-10-28
US10129554B2 (en) 2018-11-13
CN105027566A (zh) 2015-11-04
WO2014163247A1 (ko) 2014-10-09
KR101835318B1 (ko) 2018-03-08
CN105191302B (zh) 2019-02-15
KR20160013895A (ko) 2016-02-05
US10123029B2 (en) 2018-11-06
KR101834236B1 (ko) 2018-03-06
US10038910B2 (en) 2018-07-31
US20160057440A1 (en) 2016-02-25
KR101884719B1 (ko) 2018-08-02
CN105009584B (zh) 2018-09-25
KR20160016837A (ko) 2016-02-15
US10165293B2 (en) 2018-12-25
CN105009585B (zh) 2018-09-25
US20150373368A1 (en) 2015-12-24
US10158870B2 (en) 2018-12-18
WO2014163249A1 (ko) 2014-10-09
KR20160016835A (ko) 2016-02-15
KR20160016836A (ko) 2016-02-15
KR101835317B1 (ko) 2018-04-19
CN105009585A (zh) 2015-10-28
CN105027565B (zh) 2019-10-18
US20150373352A1 (en) 2015-12-24
WO2014163240A1 (ko) 2014-10-09
CN105027565A (zh) 2015-11-04
US20150373330A1 (en) 2015-12-24
WO2014163241A1 (ko) 2014-10-09
WO2014163248A1 (ko) 2014-10-09
KR20160016838A (ko) 2016-02-15
CN105027566B (zh) 2018-11-23
US20150373353A1 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
KR101835316B1 (ko) 동영상 처리 방법 및 장치
EP3251356B1 (en) Palette mode coding for video coding
KR101977450B1 (ko) 팔레트 코딩 모드에서의 비디오 블록의 이스케이프 픽셀들의 양자화
KR101435095B1 (ko) 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보 기록 매체
JP2022525470A (ja) ビデオコーディングにおける適応パラメータセット（ａｐｓ）を用いるブロックベースの適応ループフィルタ（ａｌｆ）
US10218989B2 (en) Implicit signaling of scalability dimension identifier information in a parameter set
US10523959B2 (en) Signaling scalability information in a parameter set
US9723321B2 (en) Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
US20150256838A1 (en) Signaling scalability information in a parameter set
EP3167615A1 (en) Advanced palette prediction and signaling
EP1972140A1 (en) Method of encoding flag, method of decoding flag, and apparatus thereof
KR20210103572A (ko) 타일 구성 시그널링을 위한 인코더, 디코더 및 대응 방법
US20140321528A1 (en) Video encoding and/or decoding method and video encoding and/or decoding apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right