KR102227680B1 - 영상 압축을 위한 고속 영상 부호화 방법 및 그 장치 - Google Patents

영상 압축을 위한 고속 영상 부호화 방법 및 그 장치 Download PDF

Info

Publication number
KR102227680B1
KR102227680B1 KR1020190091720A KR20190091720A KR102227680B1 KR 102227680 B1 KR102227680 B1 KR 102227680B1 KR 1020190091720 A KR1020190091720 A KR 1020190091720A KR 20190091720 A KR20190091720 A KR 20190091720A KR 102227680 B1 KR102227680 B1 KR 102227680B1
Authority
KR
South Korea
Prior art keywords
prediction
level
rate
directions
distortion cost
Prior art date
Application number
KR1020190091720A
Other languages
English (en)
Other versions
KR20210013916A (ko
Inventor
한기훈
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020190091720A priority Critical patent/KR102227680B1/ko
Publication of KR20210013916A publication Critical patent/KR20210013916A/ko
Application granted granted Critical
Publication of KR102227680B1 publication Critical patent/KR102227680B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

고속 영상 부호화 방법 및 그 장치가 제공된다. HEVC(High Efficiency Video Coding) 기반의 공간 예측을 이용한 영상 부호화 방법에서, 공간 예측에서 방향성을 가지는 예측 방향들이 예측 레벨별로 나뉘어져 있다. 가장 낮은 예측 레벨부터 시작하여 가장 높은 예측 레벨까지, 각각의 예측 레벨에 포함되는 예측 방향에 대해서 율-왜곡 비용을 계산하는 제1 예측 탐색을 수행하고, 임의 예측 레벨에서의 제1 예측 탐색에 따른 결과가 미리 설정된 조기 종료 조건을 만족하거나 가장 높은 예측 레벨에서의 제1 예측 탐색이 수행된 경우, 제1 예측 탐색을 종료한다. 그리고 공간 예측에서 방향성을 띄지 않는 예측 방향들에 대해 율-왜곡 비용을 계산하는 제2 예측 탐색을 수행하며, 제1 예측 탐색의 결과와 제2 예측 탐색의 결과를 이용하여 최종적인 부호화를 위한 예측 방향을 결정한다.

Description

영상 압축을 위한 고속 영상 부호화 방법 및 그 장치{Method and apparatus for fast image encoding for image compression}
본 발명은 영상 부호화 방법 및 그 장치에 관한 것으로, 더욱 상세하게 말하자면, 영상 압축을 위한 영상 부호화 방법 및 그 장치에 관한 것이다.
HEVC(high efficiency video codec) 표준은 ITU-T(international telecommunications union telecommunication standardization sector) VCEG(video coding experts group)과 ISO/IEC (international organization for standardization/international electrotechnical commission) MPEG(moving picture experts group)의 협력팀인 JCT-VC(joint collaborative team on video coding)에 의해 만들어졌다.
HEVC(H.265) 코덱은 기존에 널리 사용되고 있는 H.264 코덱에 비해 약 2배의 이상의 압축 효율을 제공하여 다양한 분야에서 고효율 영상 압축을 가능하게 한다. H.265 코덱은 기존 H.264 코덱에 비해 더욱 다양한 부호화 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit)를 제공하여 부호화 영상에 최적화된 부호화 방법을 선택하여 보다 좋은 압축효율을 제공한다. H.265 코덱에서 도입한 다양한 CU 크기, PU 타입(또는 크기), TU 크기는 부호화시 여러 후보 부호화 방법 중 최적의 부호화 모드를 선택 가능하게 함으로써, 압축 효율을 향상시킬 수 있다. 또한, H.265 코덱은 압축 효율을 더욱 개선하기 위해 여러 개의 참조 프레임들 중에서 최적의 예측 정확도를 제공하는 참조 프레임을 선택할 수 있도록, 다중 참조 프레임(Multiple Reference Frames)을 지원한다.
그러나 H.265 코덱의 압축율 개선을 위해 도입한 영상 부호화 도구들은 보다 정밀한 정확도를 위해 많은 연산을 유발하여 부호화 복잡도를 심화시켜 실시간 서비스 적용을 어렵게 하는 요인으로 지목된다. 즉, 다양한 CU 크기, PU 타입, TU 크기와, 다중 참조 프레임은 HEVC 표준의 압축효율을 개선함과 동시에, 부호화 복잡도를 심각하게 증가시키는 단점이 있다.
또한, 기존 H.264에 비해 부호화 복잡도를 크게 증가시킴에 따라, 네트워크 환경에서의 전송과 단말에서의 실시간 서비스를 위해서는 부호화 시간을 감소시킬 수 있는 고속 부호화 방법 개발이 병행되어야 한다.
본 발명이 해결하고자 하는 과제는 공간예측 부호화시 높은 압축율을 유지하면서도 부호화 시간을 감소시킬 수 있는 영상 부호화 방법 및 그 장치를 제공하는 것이다.
본 발명의 특징에 따른 방법은, HEVC(High Efficiency Video Coding) 기반의 공간 예측을 이용한 영상 부호화 방법으로서, 공간 예측에서 방향성을 가지는 예측 방향들이 예측 레벨별로 나누어져 있으며, 가장 낮은 예측 레벨부터 시작하여 가장 높은 예측 레벨까지, 각각의 예측 레벨에 포함되는 예측 방향에 대해서 율-왜곡 비용을 계산하는 제1 예측 탐색을 수행하는 단계; 임의 예측 레벨에서의 제1 예측 탐색에 따른 결과가 미리 설정된 조기 종료 조건을 만족하거나 가장 높은 예측 레벨에서의 제1 예측 탐색이 수행된 경우, 제1 예측 탐색을 종료하는 단계; 공간 예측에서 방향성을 띄지 않는 예측 방향들에 대해 율-왜곡 비용을 계산하는 제2 예측 탐색을 수행하는 단계; 및 상기 제1 예측 탐색의 결과와 상기 제2 예측 탐색의 결과를 이용하여 최종적인 부호화를 위한 예측 방향을 결정하는 단계를 포함한다.
각각의 예측 레벨에 포함되는 예측 방향들은 상이할 수 있으며, 가장 낮은 예측 레벨을 제외한 나머지 예측 레벨들은 이전 예측 레벨에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하는 형태로 구성되어, 예측 레벨이 높아질수록 포함되는 예측 방향들 사이의 각도가 작아질 수 있다.
상기 제1 예측 탐색을 수행하는 단계는, 이전 예측 레벨에 포함되는 예측 방향에 대해서 수행된 율-왜곡 비용 계산의 결과를 토대로 현재 예측 레벨의 예측 방향들 중에서 계산을 수행할 방향을 결정할 수 있다.
상기 제1 예측 탐색을 수행하는 단계는, 현재 예측 레벨의 예측 방향들 중에서, 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 예측 방향과 인접한 예측 방향에 대해서만 율-왜곡 비용 계산을 수행할 수 있다.
상기 제1 예측 탐색을 수행하는 단계는, 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 제1 최소 예측 방향이 인접한 예측 방향이 하나만 있는 가장자리 예측 방향인 경우, 현재 예측 레벨의 예측 방향들 중에서 상기 제1 최소 예측 방향에 인접한 예측 방향을 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택하는 단계; 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 제1 최소 예측 방향이 인접한 예측 방향이 하나만 있는 가장자리 예측 방향이 아닌 경우, 상기 이전 예측 레벨에서 상기 제1 최소 예측 방향에 인접한 2개의 예측 방향 중에서 보다 작은 율-왜곡 비용을 가지는 예측 방향을 제2 최소 예측 방향으로 선택하고, 상기 현재 예측 레벨의 예측 방향들 중에서 상기 제2 최소 예측 방향에 인접한 예측 방향을 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택하는 단계; 및 상기 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택된 예측 방향에 대해서만 율-왜곡 비용을 수행하는 단계를 포함할 수 있다.
임의 예측 레벨에서의 제1 예측 탐색에 따른 결과가 최소의 율-왜곡 비용을 가지는 예측 방향을 나타낼 수 있다. 이 경우, 상기 제1 예측 탐색을 종료하는 단계는, 상기 최소의 율-왜곡 비용을 가지는 예측 방향에서 유효 계수가 존재하지 않는 경우 미리 설정된 조기 종료 조건을 만족하는 것으로 판단하여 상기 제1 예측 탐색을 종료할 수 있다.
상기 제2 예측 탐색을 수행하는 단계는, 방향성을 띄지 않는 인트라 플레이너(Intra Planar) 모드의 예측 방향에 대해 율-왜곡 비용을 계산하는 단계; 및 방향성을 띄지 않는 인트라 DC 모드의 예측 방향에 대해서 율-왜곡 비용을 계산하는 단계를 포함할 수 있다.
상기 최종적인 부호화를 위한 예측 방향을 결정하는 단계는, 상기 제1 예측 탐색의 결과에 따른 예측 방향의 율-왜곡 비용과, 상기 제2 예측 탐색의 결과에 따른 방향성을 띄지 않는 예측 방향들의 율-왜곡 비용들을 비교하여, 가장 작은 율-왜곡 비용을 가지는 예측 방향을 최종적인 부호화를 위한 예측 방향으로서 결정할 수 있다.
상기 HEVC 기반의 공간 예측을 지원하는 예측 방향은 0번부터 34번까지의 35가지 예측방향을 포함하고, 0번 예측 방향과 1번 예측 방향은 방향성을 띄지 않으며, 방향성을 가지는 2번 예측 방향 내지 34번 예측 방향 중에서 상기 가장 낮은 예측 레벨은 34번 예측 방향, 18번 예측 방향, 그리고 2번 예측 방향을 포함하며, 상기 예측 레벨들은 5개의 예측 레벨을 포함할 수 있다.
본 발명의 다른 특징에 따른 영상 부호화 장치는, HEVC(High Efficiency Video Coding) 코덱 기반의 다중 참조 프레임 부호화를 수행하는 영상 부호화 장치로서, 부호화를 위한 영상 데이터를 입력받는 인터페이스 장치; 및 상기 인터페이스 장치로부터 제공되는 영상 데이터를 토대로 영상 부호화를 위한 공간 예측을 수행하도록 구성된 프로세서를 포함하고, 공간 예측에서 방향성을 가지는 예측 방향들이 예측 레벨별로 나누어져 있으며, 상기 프로세서는 구체적으로, 가장 낮은 예측 레벨부터 시작하여 가장 높은 예측 레벨까지, 각각의 예측 레벨에 포함되는 예측 방향에 대해서 율-왜곡 비용을 계산하는 제1 예측 탐색을 수행하고, 임의 예측 레벨에서의 제1 예측 탐색에 따른 결과가 미리 설정된 조기 종료 조건을 만족하거나 가장 높은 예측 레벨에서의 제1 예측 탐색이 수행된 경우, 제1 예측 탐색을 종료하며, 공간 예측에서 방향성을 띄지 않는 예측 방향들에 대해 율-왜곡 비용을 계산하는 제2 예측 탐색을 수행하고, 그리고 상기 제1 예측 탐색의 결과와 상기 제2 예측 탐색의 결과를 이용하여 최종적인 부호화를 위한 예측 방향을 결정하도록 구성된다.
각각의 예측 레벨에 포함되는 예측 방향들은 상이하고, 가장 낮은 예측 레벨을 제외한 나머지 예측 레벨들은 이전 예측 레벨에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하는 형태로 구성되어, 예측 레벨이 높아질수록 포함되는 예측 방향들 사이의 각도가 작아질 수 있다.
상기 프로세서는 제1 예측 탐색 수행시, 이전 예측 레벨에 포함되는 예측 방향에 대해서 수행된 율-왜곡 비용 계산의 결과를 토대로 현재 예측 레벨의 예측 방향들 중에서 계산을 수행할 방향을 결정하도록 구성될 수 있다.
상기 프로세서는 구체적으로, 현재 예측 레벨의 예측 방향들 중에서, 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 예측 방향과 인접한 예측 방향에 대해서만 율-왜곡 비용 계산을 수행하도록 구성될 수 있다.
상기 프로세서는 구체적으로, 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 제1 최소 예측 방향이 인접한 예측 방향이 하나만 있는 가장자리 예측 방향인 경우, 현재 예측 레벨의 예측 방향들 중에서 상기 제1 최소 예측 방향에 인접한 예측 방향을 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택하고, 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 제1 최소 예측 방향이 인접한 예측 방향이 하나만 있는 가장자리 예측 방향이 아닌 경우, 상기 이전 예측 레벨에서 상기 제1 최소 예측 방향에 인접한 2개의 예측 방향 중에서 보다 작은 율-왜곡 비용을 가지는 예측 방향을 제2 최소 예측 방향으로 선택하고, 상기 현재 예측 레벨의 예측 방향들 중에서 상기 제2 최소 예측 방향에 인접한 예측 방향을 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택하며, 그리고, 상기 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택된 예측 방향에 대해서만 율-왜곡 비용을 수행하도록 구성될 수 있다.
임의 예측 레벨에서의 제1 예측 탐색에 따른 결과가 최소의 율-왜곡 비용을 가지는 예측 방향을 나타낼 수 있다. 이 경우, 상기 프로세서는, 상기 최소의 율-왜곡 비용을 가지는 예측 방향에서 유효 계수가 존재하지 않는 경우 미리 설정된 조기 종료 조건을 만족하는 것으로 판단하여 상기 제1 예측 탐색을 종료하도록 구성될 수 있다.
상기 프로세서는 상기 제2 예측 탐색 수행시, 방향성을 띄지 않는 인트라 플레이너 모드의 예측 방향에 대해 율-왜곡 비용을 계산하고, 방향성을 띄지 않는 인트라 DC 모드의 예측 방향에 대해서 율-왜곡 비용을 계산하도록 구성될 수 있다.
상기 프로세서는, 상기 제1 예측 탐색의 결과에 따른 예측 방향의 율-왜곡 비용과, 상기 제2 예측 탐색의 결과에 따른 방향성을 띄지 않는 예측 방향들의 율-왜곡 비용들을 비교하여, 가장 작은 율-왜곡 비용을 가지는 예측 방향을 최종적인 부호화를 위한 예측 방향으로서 결정하도록 구성될 수 있다.
본 발명의 실시 예에 따르면, HEVC 코덱 기반의 공간 예측 방향에서 모든 공간 예측 방향들이 아니라 일부 공간 예측 방향에 대해서만 율-왜곡 비용을 계산하여 최적의 방향을 선택함으로써, 높은 압축율을 유지하면서도 공간 예측 부호화를 빠르게 할 수 있다.
도 1은 HEVC 표준에서의 공간 예측시의 예측 방향을 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 영상 부호화 방법에서의 레벨별 예측 방향을 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 영상 부호화 방법의 흐름도이다.
도 4는 본 발명의 실시 예에 따른 영상 부호화 장치의 구조도이다.
도 5는 본 발명의 다른 실시 예에 따른 영상 부호화 장치의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
또한, 본 발명의 실시 예에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 영상 부호화 방법 및 그 장치에 대하여 설명한다.
HEVC(High Efficiency Video Coding) 코덱 즉, H.265 코덱은 최신 동영상 압축 표준으로 기존의 H.264 코덱에 비해 다양한 부호화 방법을 제공한다. H.265는, 작은 크기의 영상뿐만 아니라 크기가 큰 영상까지도 효율적으로 부호화할 수 있도록 설계되고 있다. 예측 및 부호화 과정이 계층적 쿼드트리(Quad-tree) 구조를 가지며, 특히 부호화는 작은 크기의 블록으로부터 최대 64×64 크기의 블록까지 크게 확장되어 계층적 변환 구조를 이루며 부호화하도록 되어 있다.
H.265 코덱은 가변 크기의 부호화 유닛(CU: Coding Unit)을 제공한다. 부호화 유닛 즉, CU는 부호화가 이루어지는 기본 단위이다. H.264 코덱은 매크로 블록의 크기가 16×16으로 고정되는데 반하여, H.265 코덱의 CU는 최대 64×64에서 최소 8×8의 가변적인 크기를 가지며, 계층적으로 구성된다. 각 CU는 다양한 예측 유닛(PU: Prediction Unit)으로 분할될 수 있다. 예를 들어, CU는 2N×2N, 2N×N, N×2N, N×N, 2N×nU, 2N×nD, nL×2N, nR×2N(N은 임의의 정수임) 과 같은 다양한 PU로 부호화될 수 있다. 한편, TU(Transform Unit)는 PU 단위로 수행된 예측 결과인 잔차 신호(Residual Signal)를 변환하는 단위이다. TU는 최대 예를 들어, 32×32 크기를 가질 수 있으며, CU와 마찬가지로 재귀적으로 4개의 16×16 크기로 나누어질 수 있다. TU의 최소크기는 4×4로 제한된다.
H.265 코덱은 최대 64×64 ~ 최소 8×8 크기의 CU 크기, 보다 다양한 PU 타입(또는 크기), 그리고 최대 32×32 ~ 최소 4×4 크기의 TU 크기, 보다 세분화된 방향성 공간예측모드, SAO(Sample Adaptive Offset) 등과 같은 고효율 부호화 도구를 채택하여 압축효율을 향상시킨다. HEVC 표준은 화면을 64×64 크기의 CTU(Coding Tree Unit)로 나누어 부호화한다. 각 CTU는 다양한 형태의 CU, PU, TU 조합으로 부호화될 수 있다. 각 CTU는 64×64 크기의 CU로 부호화될 수도 있고, 4개의 32×32 크기의 CU로 나누어 부호화될 수도 있다. 또한, 각각의 32×32 크기의 CU는 재귀적으로 32×32 크기로 부호화될 수도 있고 4개의 16×16 크기의 CU로 부호화될 수도 있으며, CU의 최소크기는 8×8로 제한된다.
H.265 코덱은 인트라(intra) 예측, 인터(inter) 예측, 보간(interpolation), 필터링, 변환(transform)과 같은 다양한 부호화 알고리즘을 포함하며, 인트라 예측 또는 인터 예측으로 영상의 움직임 정보를 예측하고 보상한다. 인트라 예측은 재구성되는 블록의 픽셀에 대한 예측 값을 계산하기 위해 동일한 픽쳐(프레임 또는 이미지)의 픽셀을 사용하여 참조 샘플을 생성하며, 공간 예측이라고도 지칭된다. 인터 예측은 이전 또는 다음 픽처의 참조 샘플을 사용하여 현재 픽처의 블록의 픽셀을 예측하며, 시간적 예측이라고도 지칭된다.
인트라 예측 즉, 공간 예측에서, 기존 H.264가 9가지 방향 공간 예측 방향을 제공하는데 반해, H.265는 보다 세분화된 35가지 공간 예측 방향을 제공한다.
도 1은 HEVC 표준에서의 공간 예측시의 예측 방향을 나타낸 도이다.
공간 예측은 플레이너 모드(planar mode)(모드 인덱스가 0임), DC 모드(모드 인덱스가 1임), 및 33개의 지향성 모드(모드 인덱스는 실선으로 나타낸 2 내지 34의 범위임)를 포함하여, 보다 세분화된 35가지 공간 예측 방향을 제공하여 압축율을 개선하였다.
부호화시, 최적의 압축 효율을 제공하는 CU 크기, PU 타입, TU 크기를 결정하기 위해, 율-왜곡 최적화(Rate-Distortion Optimization) 과정을 수행한다. 율-왜곡 최적화는 다양한 부호화 방식 중 최적의 압축 효율을 제공하는 방식을 찾는 과정으로, 각 부호화 방식들의 율-왜곡 비용(RDCost)을 계산하고, 최소의 율-왜곡 비용을 가지는 부호화 방식을 찾는다. 즉, 부호화하고자 하는 현재 블록과 주변 픽셀들을 도 1의 화살표 방향(예측 방향)에 따라 예측하여 율-왜곡 비용(RDCost)을 계산하고 가장 최적의 방향을 선택한다.
율-왜곡 비용(RDCost) 다음 식을 토대로 계산될 수 있다.
Figure 112019077649760-pat00001
여기서, Distortion은 원본 영상의 화소값과 원본 영상의 압축 후 복원되는 화소값 사이의 왜곡값을 나타낸다. Rates는 해당 방법으로 부호화할 때 필요한 비트수를 나타내며, λ는 랑그랑지안(Lagrangian) 파라미터로서, 영상의 압축 정도를 결정하는 양자화 계수(Quantization Parameter)에 의해 결정되는 상수이다.
수학식 1과 같이 계산되는 율-왜곡 비용(RDCost)을 구하기 위해서는 35가지 예측 방향 모두에 대해 예측(Prediction), 변환(Transform), 양자화(Quantization), 엔트로피 부호화(Entropy Coding)와 그 역과정을 수행해야 한다. 이에 따라 매우 많은 연산이 유발되어 부호화 복잡도가 심화된다.
본 발명의 실시 예에서는 공간 예측 방향들 중에서 일부에 대해서만 율-왜곡 비용을 계산하여 최적의 방향을 선택하는 방법을 제안한다.
도 2는 본 발명의 실시 예에 따른 영상 부호화 방법에서의 레벨별 예측 방향을 나타낸 도이다.
첨부한 도 2에서와 같이, 본 발명의 실시 예에서, 공간 예측 부호화시에, 예측 방향을 복수의 레벨로 나눈다. 구체적으로, 공간 예측 부호화를 위해 예측 방향을 복수의 예측 레벨로 나누고, 예측 레벨별로 포함되는 예측 방향을 상이하게 한다. 예측 레벨이 높아질수록 해당 예측 레벨에 포함되는 예측 방향이 정교해지며, 각각의 예측 레벨에 포함되는 예측 방향들은 상이하다.
H.265는 35가지 예측방향을 지원한다. 35가지 예측방향들 중에서, 이중 방향성을 띄지 않는 0번 예측 방향 플레이너 모드와 1번 예측방향 DC모드를 제외한 33가지 예측 방향은, 도 1에서 확인할 수 있듯이, 설정 각도 범위(45˚각도에서 225˚각도)내에서 분포한다. 본 발명의 실시 예에서는, 예측 레벨을 5개로 구성하고, 각각의 예측 레벨별로 상이한 각도의 예측 방향을 포함시킨다. 구체적으로 제1 예측 레벨(Level 1), 제2 예측 레벨(Level 2), 제3 예측 레벨(Level 3), 제4 예측 레벨(Level 4), 및 제5 예측 레벨(Level 5)을 구성한다.
제1 예측 레벨(Level 1)은 33가지 예측 방향 중에서 45˚ 예측 방향(34번 예측 방향), 135˚ 예측 방향(18번 예측 방향), 225˚(2번 예측 방향) 예측 방향을 포함한다. 제2 예측 레벨(Level 2)은 제1 예측 레벨(Level 1)에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하며, 구체적으로, 90˚ 예측 방향(26번 예측 방향: 18번 예측 방향과 34 예측 방향의 중간 각도에 대응하는 방향), 180˚ 예측 방향(10번 예측 방향: 18번 예측 방향과 2번 예측 방향의 중간 각도에 대응하는 방향)을 포함한다. 제3 예측 레벨(Level 3)은 제1 및 제2 예측 레벨(Level 1, Level 2)에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하며, 구체적으로, 67.5˚ 예측 방향(30번 예측 방향: 26번 예측 방향과 34번 예측 방향의 중간 각도에 대응하는 방향), 112.5˚ 예측 방향(22번 예측 방향: 18번 예측 방향과 26번 예측 방향의 중간 각도에 대응하는 방향), 157.5˚ 예측 방향(14번 예측 방향: 18번 예측 방향과 10번 예측 방향의 중간 각도에 대응하는 방향), 202.5˚ 예측 방향(6번 예측 방향: 10번 예측 방향과 2번 예측 방향의 중간 각도에 대응하는 방향)을 포함한다.
이러한 방식으로, 제4 예측 레벨(Level 4)은 제1 내지 제3 예측 레벨(Level 1~ Level 3)에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하며, 구체적으로, 56.25˚ 예측 방향(32번 예측 방향), 78.75˚ 예측 방향(28번 예측 방향), 101.25˚ 예측 방향(24번 예측 방향), 123.75˚ 예측 방향(20번 예측 방향), 146.25˚ 예측 방향(16번 예측 방향), 168.75˚ 예측 방향(12번 예측 방향), 191.25˚ 예측 방향(8번 예측 방향), 그리고 213.75˚ 예측 방향(4번 예측 방향)을 포함한다.
제5 예측 레벨(Level 5)은 제1 내지 제4 예측 레벨(Level 1~ Level 3)에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하며, 구체적으로, 50.625˚ 예측 방향(33번 예측 방향), 61.875˚ 예측 방향(31번 예측 방향), 73.125˚ 예측 방향(29번 예측 방향), 84.375˚ 예측 방향(27번 예측 방향), 95.625˚ 예측 방향(25번 예측 방향), 106.875˚ 예측 방향(23번 예측 방향), 118.125˚ 예측 방향(21번 예측 방향), 129.375˚ 예측 방향(19번 예측 방향), 140.625˚ 예측 방향(17번 예측 방향), 151.875˚ 예측 방향(15번 예측 방향), 163.125˚ 예측 방향(13번 예측 방향), 174.375˚ 예측 방향(11번 예측 방향), 185.625˚ 예측 방향(9번 예측 방향), 196.875˚ 예측 방향(7번 예측 방향), 208.125˚ 예측 방향(5번 예측 방향), 그리고 219.375˚ 예측 방향(3번 예측 방향)을 포함한다.
참고로, 도 2에서, 이해를 돕기 위해 예측 레벨별로 해당 예측 레벨에 포함되는 예측 방향을 검은 실선으로 표시하였으며, 이전 레벨에 포함되는 예측 방향은 옅은 그레이 색으로 표시하였다. 예를 들어, 제3 예측 레벨(Level 3)의 예측 방향에 대해서, 제1 예측 레벨(Level 1)과 제2 예측 레벨(Level 2)에 각각 포함되는 예측방향을 옅은 그레이 색으로 표시하고, 제3 예측 레벨(Level 3)에 포함되는 예측 방향은 검은 실선으로 표시하였다.
이와 같이, 공간 예측을 위한 예측 방향들이 복수의 예측 레벨별로 나눠지고, 예측 레벨이 높아질수록 해당 예측 레벨에 포함되는 예측 방향이 정교해지며, 각각의 예측 레벨에 포함되는 예측 방향들은 상이하다. 여기서 예측 방향이 정교해진다는 것은 제1 예측 레벨을 제외한 나머지 예측 레벨들은 이전 예측 레벨에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하는 형태로 구성되어, 예측 레벨이 높아질수록 포함되는 예측 방향들 사이의 각도가 작아지는 것을 의미한다.
본 발명의 실시 예에서는 위에 기술된 바와 같이 나누어진 예측 레벨에 포함되는 예측 방향을 이용하여 부호화를 수행하며, 구체적으로, 이전 예측 레벨에 포함되는 예측 방향에 대해서 수행된 율-왜곡 비용 계산의 결과를 토대로 이후 예측 레벨의 예측 방향들 중에서 계산을 수행할 방향을 결정한다. 보다 구체적으로, 가장 낮은 레벨인 제1 예측 레벨에 포함되는 34번 예측 방향, 18번 예측 방향 그리고 2번 예측 방향에 대해서 각각 율-왜곡 비용을 계산하고 그 결과를 이용하여 예측 레벨을 점진적으로 높여가면서 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 예측 방향과 가까이 있는 예측 방향에 대해서만 율-왜곡 비용 계산을 수행한다. 이러한 방식을 예측 레벨별 점진적 예측 탐색 과정이라고 지칭할 수 있다.
이를 기반으로, 제1 예측 레벨(Level 1)의 예측 방향들 각각에 대한 율-왜곡 비용 계산 후 도출될 수 있는 결과를 기반으로, 제2 예측 레벨(Level 2)의 예측 방향들 중에서 율-왜곡 비용 계산을 수행할 예측 방향은 다음 정리 1과 같이 결정된다.
정리 1: Level 1 예측 방향의 계산결과에 따른 Level 2의 계산을 수행할 예측방향
→ 제1 예측 레벨(Level 1)의 34번 예측 방향의 율-왜곡 비용이 최소인 경우: 제2 예측 레벨(Level 2)의 26번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행
→ 제1 예측 레벨(Level 1)의 2번 예측 방향의 율-왜곡 비용이 최소인 경우: 제2 예측 레벨(Level 2)의 10번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행
→ 제1 예측 레벨(Level 1)의 18번 예측 방향의 율-왜곡 비용이 최소이고, 34번 예측 방향의 율-왜곡 비용이 2번 예측 방향의 율-왜곡 비용보다 작은 경우: 제2 예측 레벨(Level 2)의 26번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행
→ 1 예측 레벨(Level 1)의 18번 예측 방향의 율-왜곡 비용이 최소이고, 34번 예측 방향의 율-왜곡 비용이 2번 예측 방향의 율-왜곡 비용보다 큰 경우: 제2 예측 레벨(Level 2)의 10번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행
이러한 정리 1과 같이, 현재 예측 레벨의 예측 방향에 대해 각각 율-왜곡 비용을 계산하고, 계산에 따라 획득된 각 예측 방향별 율-왜곡 비용들 중에서 가장 작은 율-왜곡 비용을 가지는 예측 방향이 가장자리 예측 방향(여기서, 가장자리 예측 방향은 인접한 예측 방향이 하나만 있는 예측 방향으로, 제1 예측 레벨에서는 2번 예측 방향과 34번 예측 방향이 가장자리 예측 방향임)인 경우, 다음 예측 레벨의 예측 방향들 중에서 현재 예측 레벨에서 가장 작은 율-왜곡 비용을 가지는 예측 방향에 인접한 예측 방향에 대해서만 율-왜곡 비용 계산을 수행하는 것으로 결정한다. 또한, 가장 작은 율-왜곡 비용을 가지는 예측 방향이 가장자리 예측 방향이 아니고 인접한 예측 방향이 2개 존재하는 방향인 경우에, 인접한 2개의 예측 방향의 율-왜곡 비용을 비교하여 작은 값을 가지는 예측 방향을 선택하고, 다음 예측 레벨의 예측 방향들 중에서 현재 예측 레벨에서 선택된 예측 방향에 인접한 예측 방향에 대해서만 율-왜곡 비용 계산을 수행하는 것으로 결정한다.
이를 기반으로, 제3 예측 레벨(Level 3) 내지 제5 예측 레벨(Level 5)에 대해서도 계산을 수행할 예측 방향을 결정할 수 있다. 예를 들어, 제1 예측 레벨(Level 1)의 2번 예측 방향의 율-왜곡 비용이 최소이어서 제2 예측 레벨(Level 2)의 10번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행한 경우, 10번 예측 방향에 인접한 18번 예측 방향의 율-왜곡 비용과 인접한 2번 예측 방향의 율-왜곡 비용을 비교한다. 18번 예측 방향의 율-왜곡 비용이 2번 예측 방향의 율-왜곡 비용보다 작은 경우에는, 제3 예측 레벨(Level 3)의 예측 방향들 중에서 10번 예측 방향에 인접하면서 18번 예측 방향 쪽인 14번 예측 방향을 선택하여 율-왜곡 비용 계산을 수행하는 것으로 결정한다. 2번 예측 방향의 율-왜곡 비용이 18번 예측 방향의 율-왜곡 비용보다 작은 경우에는, 제3 예측 레벨(Level 3)의 예측 방향들 중에서 10번 예측 방향에 인접하면서 2번 예측 방향 쪽인 6번 예측 방향을 선택하여 율-왜곡 비용 계산을 수행하는 것으로 결정한다.
또한, 제3 예측 레벨(Level 3)의 14번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행한 경우, 제4 예측 레벨(Level 4)의 예측 방향들 중에서 14번 예측 방향에 인접하면서 18번 예측 방향 쪽인 16번 예측 방향을 선택하여 율-왜곡 비용 계산을 수행하는 것으로 결정한다. 제3 예측 레벨(Level 3)의 6번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행한 경우, 제4 예측 레벨(Level 4)의 예측 방향들 중에서 6번 예측 방향에 인접하면서 2번 예측 방향 쪽인 4번 예측 방향을 선택하여 율-왜곡 비용 계산을 수행하는 것으로 결정한다.
또한, 제4 예측 레벨(Level 4)의 16번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행한 경우, 제5 예측 레벨(Level 5)의 예측 방향들 중에서 16번 예측 방향에 인접하면서 18번 예측 방향 쪽인 17번 예측 방향을 선택하여 율-왜곡 비용 계산을 수행하는 것으로 결정한다. 제4 예측 레벨(Level 4)의 4번 예측 방향에 대해서만 율-왜곡 비용 계산을 수행한 경우, 제5 예측 레벨(Level 5)의 예측 방향들 중에서 4번 예측 방향에 인접하면서 2번 예측 방향 쪽인 3번 예측 방향을 선택하여 율-왜곡 비용 계산을 수행하는 것으로 결정한다.
이와 같이 본 발명의 실시 예에서는 정리 1을 기반으로, 제1 예측 레벨부터 점진적으로 레벨을 높여가며 율-왜곡 비용 계산을 수행하면서 율-왜곡 비용이 최소값인 예측 방향과 인접한 예측 방향에 대해서만 율-왜곡 비용을 계산하는, 예측 레벨별 점진적 예측 탐색 과정을 수행한다.
한편, 본 발명의 실시 예에서는 부호화 방법을 더욱 고속화하기 위해 종기 종료(Early termination) 조건을 사용한다.
율-왜곡 비용은 위에 기술된 수학식 1과 같이 계산된다. 수학식 1에서, Rates는 부호화 할 때 필요한 비트수이다. Rates를 확인하기 위해 변환 및 양자화 이후 존재하는 유효 계수(Significant Coefficient)를 비트화한다. 만약 유효 계수가 존재하지 않는다면 이는 예측이 비교적 정확히 수행되어 원본 영상과 압축 영상의 차이가 양자화에 의해 제거되는 수준에 불과하다는 것을 의미하며, 또한 해당 유효 계수 부호화에 Rates 가 소요되지 않으므로 율-왜곡 측면에서 효율적으로 부호화 되었다고 판단할 수 있다.
이를 고려하여, 본 발명의 실시 예에서는 제1 예측 레벨부터 점진적으로 레벨을 높여가며 율-왜곡 비용 계산을 수행하면서 율-왜곡 비용이 최소값인 예측 방향에서 유효 계수가 존재하지 않는 경우 해당 방향을 예측방향으로 결정하고 예측 레벨별 점진적 예측 탐색 과정을 종료한다. 종기 종료 조건은 율-왜곡 비용이 최소값인 예측 방향에서 유효 계수가 존재하지 않는 경우를 나타낸다.
한편, 예측 레벨별 점진적 예측 탐색 과정을 종료한 후 방향성을 띄지 않는 예측 방식인 인트라 플레이너(Intra Planar) 모드의 율-왜곡 비용 계산과 인트라 DC 모드의 율-왜곡 비용 계산을 별도로 수행하고, 그 다음에 수행 결과를 예측 레벨별 점진적 예측 탐색 과정에서 선택된 예측 방향의 결과와 비교하여 최종적으로 부호화 예측 방향을 결정한다. 즉, 인트라 플레이너 모드의 율-왜곡 비용과 인트라 DC 모드의 율-왜곡 비용을 예측 레벨별 점진적 예측 탐색 과정에서 선택된 예측 방향의 율-왜곡 비용과 비교하고, 보다 작은 값의 율-왜곡 비용을 가지는 방향을 최종적인 부호화 예측 방향으로 결정한다.
도 3은 본 발명의 실시 예에 따른 영상 부호화 방법의 흐름도이다.
방향성을 띄지 않는 0번 예측 방향 플레이너 모드와 1번 예측방향 DC 모드를 제외한 33가지 예측 방향들을 위에 기술된 바와 같이, 예측 레벨별로 나눈 상태에서, 첨부한 도 3에서와 같이, 예측 레벨별 점진적 예측 탐색 과정을 수행한다.
현재 예측 레벨 N 에 대해서 율-왜곡 비용을 계산하는 예측 탐색을 수행한다. 여기서 N은 예측 레벨의 레벨을 나타내는 양의 정수이며, N=1, 2, 3, 4, 5이며, 이에 반드시 한정되지는 않는다.
현재 예측 레벨 N에 포함된 예측 방향 각각에 대해서 율-왜곡 비용을 계산하고, 최소의 율-왜곡 비용을 가지는 예측 방향을 선택한다(S100).
최소의 율-왜곡 비용을 가지는 예측 방향이 조기 종료 조건을 만족하거나 또는 현재 예측 레벨이 최종 예측 인지를 판단한다(S110). 최소의 율-왜곡 비용을 가지는 예측 방향이 유효계수가 없는 조기 종료 조건을 만족하지 않으면, N 값을 증가시켜 다음 예측 레벨에 대해서 율-왜곡 비용을 계산하는 예측 탐색을 수행한다(S120). 이때, 현재 예측 레벨이 최종 예측 레벨(예를 들어, 제5 예측 레벨(Level 5))이 아닌 경우에도 N 값을 증가시켜 다음 예측 레벨에 대해서 율-왜곡 비용을 계산하는 예측 탐색을 수행한다(S120). 이 경우, 다음 예측 레벨의 예측 방향들 중에서, 현재 예측 레벨에서 최소 율-왜곡 비용을 가지는 예측 방향과 인접한 예측 방향을 선택하고(S130), 다음 예측 레벨에서는 선택된 예측 방향에 대해서 율-왜곡 비용을 계산한다(S100).
한편, 단계(S110)에서, 최소의 율-왜곡 비용을 가지는 예측 방향이 유효계수가 없는 조기 종료 조건을 만족하거나, 현재 예측 레벨이 최종 예측 레벨인 경우, 예측 레벨별 점진적 예측 탐색 과정을 종료한다.
예측 레벨별 점진적 예측 탐색 과정을 종료한 후에, 플레이너 모드의 0번 예측 방향에 대해 율-왜곡 비용을 계산하고, DC 모드의 1번 예측 방향에 대해 율-왜곡 비용을 계산한다(S140).
그리고 예측 레벨별 점진적 예측 탐색 과정에서 최종적으로 선택된 최소의 최소의 율-왜곡 비용을 가지는 예측 방향 즉, 최소값 예측 방향의 율-왜곡 비용을, 플레이너 모드의 0번 예측 방향의 율-왜곡 비용 그리고 DC 모드의 0번 예측 방향의 율-왜곡 비용과 비교하여, 제일 작은 값을 가지는 예측 방향을 최종적인 부호화 예측 방향으로 결정한다(S150).
위에 기술된 바와 같은 본 발명의 실시 예의 영상 부호화 방법에 따르면, 일부 예측 방향에 대해서만 율-왜곡 비용이 계산되어 부호화 복잡도가 감소된다.
다음 표1은 본 발명의 실시 예의 영상 부호화 방법에 따른 예측 레벨별 율-왜곡 비용 계산 횟수를 나타낸다.
Figure 112019077649760-pat00002
본 발명의 실시 예에 따르면, H.265의 35개 공간 예측 방향 중 최소 5개에서 최대 9개의 예측 방향에 대한 율-왜곡 비용만 계산하면 되므로 부호화 복잡도를 감소시킬 수 있다. 표 1을 참조하면, 제1 예측 레벨(Level 1)에서 조기 종료된 경우 제1 예측 레벨(Level 1)의 3개의 예측 방향과 플레이너 모드의 예측 방향 그리고 DC 모드의 예측 방향을 포함한 총 5개의 예측 방향에 대해서만 율-왜곡 비용 계산이 수행된다. 또한, 본 발명의 실시 예에서는 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 예측 방향, 다시 말해 예측 부호화 효율이 가장 좋은 방향과 가까이 있는 예측 방향에 대해서는 율-왜곡 비용을 계산하는 것이므로, 제2 예측 레벨(Level 2)에서 조기 종료된 경우 제1 예측 레벨(Level 1)의 3개의 예측 방향, 제2 예측 레벨(Level 2)의 1개의 예측 방향 그리고 플레이너 모드의 예측 방향 그리고 DC 모드의 예측 방향을 포함한 총 6개의 예측 방향에 대해서만 율-왜곡 비용 계산이 수행된다. 또한, 제3 예측 레벨(Level 3)에서 조기 종료된 경우 제1 예측 레벨(Level 1)의 3개의 예측 방향, 제2 예측 레벨(Level 2)의 1개의 예측 방향, 제3 예측 레벨(Level 3)의 1개의 예측 방향, 그리고 플레이너 모드의 예측 방향 그리고 DC 모드의 예측 방향을 포함한 총 7개의 예측 방향에 대해서만 율-왜곡 비용 계산이 수행된다. 또한, 제4 예측 레벨(Level 4)에서 조기 종료된 경우 제1 예측 레벨(Level 1)의 3개의 예측 방향, 제2 예측 레벨(Level 2)의 1개의 예측 방향, 제3 예측 레벨(Level 3)의 1개의 예측 방향, 제4 예측 레벨(Level 4)의 1개의 예측 방향, 그리고 플레이너 모드의 예측 방향 그리고 DC 모드의 예측 방향을 포함한 총 8개의 예측 방향에 대해서만 율-왜곡 비용 계산이 수행된다. 또한, 제5 예측 레벨(Level 5)에서 조기 종료된 경우 제1 예측 레벨(Level 1)의 3개의 예측 방향, 제2 예측 레벨(Level 2)의 1개의 예측 방향, 제3 예측 레벨(Level 3)의 1개의 예측 방향, 제4 예측 레벨(Level 4)의 1개의 예측 방향, 제5 예측 레벨(Level 5)의 1개의 예측 방향, 그리고 플레이너 모드의 예측 방향 그리고 DC 모드의 예측 방향을 포함한 총 9개의 예측 방향에 대해서만 율-왜곡 비용 계산이 수행된다.
도 4는 본 발명의 실시 예에 따른 영상 부호화 장치의 구조도이다.
첨부한 도 4에 도시되어 있듯이, 본 발명의 실시 예에 따른 영상 부호화 장치(1)는 레벨별 공간 예측부(10), 율-왜곡 비용 비교 처리부(20), 레벨 관리부(30), 비방향성 모드 공간 예측부(40), 그리고 최종 방향 결정부(50)를 포함한다.
레벨별 공간 예측부(10)는 각 예측 레벨별로 공간 예측을 수행하도록 구성된다. 구체적으로, 레벨별 공간 예측부(10)는 예측 레벨별로, 해당 예측 레벨에 포함되는 예측 방향에 대해서 율-왜곡 비용을 계산하고 그 결과를 율-왜곡 비용 비교 처리부(20)로 전달하도록 구성된다.
비방향성 모드 공간 예측부(40)는 방향성을 띄지 않는 플레이너 모드의 예측 방향(0번 예측 방향)과 DC 모드의 예측 방향(1번 예측 방향)에 대해서 율-왜곡 비용을 계산하고 그 결과를 최종 방향 결정부(50)로 전달하도록 구성된다.
율-왜곡 비용 비교 처리부(20)는 예측 레벨별로 레벨별 공간 예측부(10)로부터 전달받은 율-왜곡 비용 계산 결과를 토대로 최소의 율-왜곡 비용을 가지는 예측 방향을 결정하고, 최소의 율-왜곡 비용을 가지는 예측 방향이 조기 종료 조건을 만족하는지의 여부 즉, 유효 계수를 가지는지 여부를 확인하도록 구성된다. 최소의 율-왜곡 비용을 가지는 예측 방향이 유효 계수를 가지는 경우 율-왜곡 비용 비교 처리부(20)는 레벨 값 증가 신호와 최소의 율-왜곡 비용을 가지는 예측 방향을 레벨 관리부(30)로 전달한다. 최소의 율-왜곡 비용을 가지는 예측 방향이 유효 계수를 가지지 않는 경우에는 레벨 값 증가 신호를 레벨 관리부(30)로 전달하지 않고, 최소의 율-왜곡 비용을 가지는 예측 방향의 율-왜곡 비용과 예측 탐색 종료 신호를 최종 방향 결정부(50)로 전달한다.
레벨 관리부(30)는 율-왜곡 비용 비교 처리부(20)로부터 전달되는 레벨 값 증가 신호에 따라 예측 레벨 값을 증가하고, 이를 레벨별 공간 예측부(10)로 전달하도록 구성된다. 그리고 레벨 관리부(30)는 율-왜곡 비용 비교 처리부(20)로부터 전달받은 최소의 율-왜곡 비용을 가지는 예측 방향을 기반으로 증가된 레벨 값에 대응하는 예측 레벨의 예측 방향들 중에서 공간 예측을 수행한 예측 방향을 선택하고, 선택된 예측 방향에 해당하는 정보를 레벨별 공간 예측부(10)로 전달한다.
레벨 관리부(30)는 증가된 예측 레벨 값이 최종 예측 레벨에 해당하는 경우에는 예측 탐색 종료 신호를 최종 방향 결정부(50)와 율-왜곡 비용 비교 처리부(20)로 전달한다.
비교 처리부(20)는 레벨 관리부(30)로부터 예측 탐색 종료 신호를 수신하면, 최소의 율-왜곡 비용을 가지는 예측 방향의 율-왜곡 비용을 최종 방향 결정부(50)로 전달한다.
최종 방향 결정부(50)는 율-왜곡 비용 비교 처리부(20)로부터 예측 탐색 종료 신호를 수신하거나 레벨 관리부(30)로부터 예측 탐색 종료 신호를 수신하면, 최종적인 부호화 예측 방향을 결정하도록 구성된다. 구체적으로, 최종 방향 결정부(50)는 율-왜곡 비용 비교 처리부(20)로부터 전달받은 최소의 율-왜곡 비용을 가지는 예측 방향의 율-왜곡 비용과 비방향성 모드 공간 예측부(40)로부터 전달된 플레이너 모드의 예측 방향의 율-왜곡 비용 및 DC 모드의 예측 방향의 율-왜곡 비용을 비교하여, 최종적인 부호화 예측 방향을 결정하며, 예를 들어, 비교된 율-왜곡 비용들 중에서 최소의 율-왜곡 비용을 가지는 예측 방향을 최종적인 부호화 예측 방향으로서 결정한다.
한편, 레벨별 공간 예측부(10)는 레벨 관리부(30)로부터 전달받은 레벨 값에 대응하는 예측 레벨의 공간 예측을 수행하며, 또한, 레벨 관리부(30)로부터 전달받은 선택된 예측 방향에 해당하는 정보에 따라, 해당 예측 레벨의 해당 예측 방향에 대해서만 공간 예측을 수행 즉, 율-왜곡 비용을 계산한다.
도 5는 본 발명의 다른 실시 예에 따른 영상 부호화 장치의 구조도이다.
첨부한 도 5에 도시되어 있듯이, 본 발명의 다른 실시 예에 따른 영상 부호화 장치(100)는, 프로세서(110), 메모리(120), 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 네트워크 인터페이스(150) 및 저장 장치(160)를 포함하며, 이들은 버스(170)를 통해 통신할 수 있다.
프로세서(110)는 위의 도 1 내지 도 4를 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 예를 들어, 레벨별 공간 예측부, 율-왜곡 비용 비교 처리부, 레벨 관리부, 비방향성 모드 공간 예측부, 그리고 최종 방향 결정부의 기능을 수행하도록 구성될 수 있다. 프로세서(110)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(120) 또는 저장 장치(160)에 저장된 명령을 실행하는 반도체 장치일 수 있다.
메모리(120)는 프로세서(110)와 연결되고 프로세서(110)의 동작과 관련한 다양한 정보를 저장한다. 메모리(120)는 프로세서(110)에서 수행하기 위한 명령어(instructions)를 저장하고 있거나 저장 장치(160)로부터 명령어를 로드하여 일시 저장할 수 있다. 프로세서(110)는 메모리(120)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다.
본 발명의 실시 예에서 메모리(120) 또는 저장 장치(160)는 프로세서(110)의 내부 또는 외부에 위치할 수 있고, 메모리(120) 또는 저장 장치(160)는 이미 알려진 다양한 수단을 통해 프로세서(110)와 연결될 수 있다.
입력 인터페이스 장치(130)와 출력 인터페이스 장치(140)는 사용자 인터페이스의 기능을 수행하도록 구성될 수 있다. 입력 인터페이스 장치(130)는 부호화를 위한 영상 데이터를 프로세서(110)로 제공하도록 구성되며, 출력 인터페이스 장치(140)는 프로세서(110)의 결과를 출력하도록 구성된다.
네트워크 인터페이스 장치(150)는 네트워크에 연결되어 신호를 송수신하도록 구성되며, 예를 들어, 부호화를 위한 영상 데이터를 네트워크를 통해 수신하여 프로세서(110)로 제공하거나, 프로세서(110)의 결과를 네트워크를 통해 다른 장치로 송신하도록 구성된다.
입력 인터페이스 장치(130)와 출력 인터페이스 장치(140) 그리고 네트워크 인터페이스 장치(150)를 통합하여 "인터페이스 장치"라고도 명명할 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (17)

  1. HEVC(High Efficiency Video Coding) 기반의 공간 예측을 이용한 영상 부호화 방법에서,
    상기 공간 예측에서 방향성을 가지는 예측 방향들이 복수개의 예측 레벨별로 나뉘어져 있으며, 상기 복수개의 예측 레벨의 가장 낮은 예측 레벨부터 시작하여 가장 높은 예측 레벨까지, 순차적으로 각각의 예측 레벨에 포함되는 예측 방향에 대해서 율-왜곡 비용을 계산하는 제1 예측 탐색을 수행하는 단계;
    상기 복수개의 예측 레벨에 대한 순차적인 제1 예측 탐색 중, 임의 예측 레벨에서의 제1 예측 탐색에 따른 결과가 미리 설정된 조기 종료 조건을 만족하거나 상기 가장 높은 예측 레벨에서의 제1 예측 탐색이 수행된 경우, 상기 제1 예측 탐색을 종료하는 단계;
    상기 공간 예측에서 방향성을 띄지 않는 예측 방향들에 대해서만 율-왜곡 비용을 계산하는 제2 예측 탐색을 수행하는 단계; 및
    상기 제1 예측 탐색의 결과와 상기 제2 예측 탐색의 결과 중 하나의 결과에 따른 예측 방향을 최종적인 부호화를 위한 예측 방향으로서 결정하는 단계
    를 포함하며,
    상기 제1 예측 탐색을 종료하는 단계는,
    상기 임의 예측 레벨에서의 제1 예측 탐색에서 해당 예측 레벨에 포함되는 예측 방향 중에서 최소 율-왜곡 비용을 가지는 예측 방향에 대해 유효 계수가 존재하지 않는 경우, 상기 조기 종료 조건이 만족된 것으로 판단하여 상기 제1 예측 탐색을 종료하는, 영상 부호화 방법.
  2. 제1항에 있어서,
    각각의 예측 레벨에 포함되는 예측 방향들은 상이하고, 가장 낮은 예측 레벨을 제외한 나머지 예측 레벨들은 이전 예측 레벨에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하는 형태로 구성되어, 예측 레벨이 높아질수록 포함되는 예측 방향들 사이의 각도가 작아지는, 영상 부호화 방법.
  3. 제1항에 있어서,
    상기 제1 예측 탐색을 수행하는 단계는, 이전 예측 레벨에 포함되는 예측 방향에 대해서 수행된 율-왜곡 비용 계산의 결과를 토대로 현재 예측 레벨의 예측 방향들 중에서 계산을 수행할 방향을 결정하는, 영상 부호화 방법.
  4. 제3항에 있어서,
    상기 제1 예측 탐색을 수행하는 단계는, 현재 예측 레벨의 예측 방향들 중에서, 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 예측 방향과 인접한 예측 방향에 대해서만 율-왜곡 비용 계산을 수행하는, 영상 부호화 방법.
  5. 제4항에 있어서,
    상기 제1 예측 탐색을 수행하는 단계는,
    이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 제1 최소 예측 방향이 인접한 예측 방향이 하나만 있는 가장자리 예측 방향인 경우, 현재 예측 레벨의 예측 방향들 중에서 상기 제1 최소 예측 방향에 인접한 예측 방향을 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택하는 단계;

    이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 제1 최소 예측 방향이 인접한 예측 방향이 하나만 있는 가장자리 예측 방향이 아닌 경우, 상기 이전 예측 레벨에서 상기 제1 최소 예측 방향에 인접한 2개의 예측 방향 중에서 보다 작은 율-왜곡 비용을 가지는 예측 방향을 제2 최소 예측 방향으로 선택하고, 상기 현재 예측 레벨의 예측 방향들 중에서 상기 제2 최소 예측 방향에 인접한 예측 방향을 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택하는 단계; 및
    상기 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택된 예측 방향에 대해서만 율-왜곡 비용을 수행하는 단계
    를 포함하는, 영상 부호화 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 제2 예측 탐색을 수행하는 단계는,
    방향성을 띄지 않는 인트라 플레이너(Intra Planar) 모드의 예측 방향에 대해 율-왜곡 비용을 계산하는 단계; 및
    방향성을 띄지 않는 인트라 DC 모드의 예측 방향에 대해서 율-왜곡 비용을 계산하는 단계
    를 포함하는, 영상 부호화 방법.
  8. 제1항에 있어서,
    상기 최종적인 부호화를 위한 예측 방향을 결정하는 단계는,
    상기 제1 예측 탐색의 결과에 따른 예측 방향의 율-왜곡 비용과, 상기 제2 예측 탐색의 결과에 따른 방향성을 띄지 않는 예측 방향들의 율-왜곡 비용들을 비교하여, 가장 작은 율-왜곡 비용을 가지는 예측 방향을 최종적인 부호화를 위한 예측 방향으로서 결정하는, 영상 부호화 방법.
  9. 제1항에 있어서,
    상기 HEVC 기반의 공간 예측을 지원하는 예측 방향은 0번부터 34번까지의 35가지 예측방향을 포함하고, 0번 예측 방향과 1번 예측 방향은 방향성을 띄지 않으며, 방향성을 가지는 2번 예측 방향 내지 34번 예측 방향 중에서 상기 가장 낮은 예측 레벨은 34번 예측 방향, 18번 예측 방향, 그리고 2번 예측 방향을 포함하며, 상기 예측 레벨들은 5개의 예측 레벨을 포함하는, 영상 부호화 방법.
  10. HEVC(High Efficiency Video Coding) 코덱 기반의 다중 참조 프레임 부호화를 수행하는 영상 부호화 장치에서,
    부호화를 위한 영상 데이터를 입력받는 인터페이스 장치; 및
    상기 인터페이스 장치로부터 제공되는 영상 데이터를 토대로 영상 부호화를 위한 공간 예측을 수행하도록 구성된 프로세서
    를 포함하고,
    상기 공간 예측에서 방향성을 가지는 예측 방향들이 복수개의 예측 레벨별로 나뉘어져 있으며,
    상기 프로세서는 구체적으로,
    상기 복수개의 예측 레벨의 가장 낮은 예측 레벨부터 시작하여 가장 높은 예측 레벨까지, 순차적으로 각각의 예측 레벨에 포함되는 예측 방향에 대해서 율-왜곡 비용을 계산하는 제1 예측 탐색을 수행하고, 상기 복수개의 예측 레벨에 대한 순차적인 제1 예측 탐색 중 임의 예측 레벨에서의 제1 예측 탐색에 따른 결과가 미리 설정된 조기 종료 조건을 만족하거나 상기 가장 높은 예측 레벨에서의 제1 예측 탐색이 수행된 경우, 상기 제1 예측 탐색을 종료하며,
    상기 공간 예측에서 방향성을 띄지 않는 예측 방향들에 대해서만 율-왜곡 비용을 계산하는 제2 예측 탐색을 수행하고, 그리고 상기 제1 예측 탐색의 결과와 상기 제2 예측 탐색의 결과 중 하나의 결과에 따른 예측 방향을 최종적인 부호화를 위한 예측 방향으로서 결과 중 하나의 결과에 따른 예측 방향을 최종적인 부호화를 위한 예측 방향으로서 결정하도록 구성되며,
    상기 프로세서는 추가적으로, 상기 임의 예측 레벨에서의 제1 예측 탐색 이후에 해당 예측 레벨에 포함되는 예측 방향 중에서 최소 율-왜곡 비용을 가지는 예측 방향에 대해 유효 계수가 존재하지 않는 경우, 상기 조기 종료 조건이 만족된 것으로 판단하여 상기 제1 예측 탐색을 종료하도록 구성되는, 영상 부호화 장치.
  11. 제10항에 있어서,
    각각의 예측 레벨에 포함되는 예측 방향들은 상이하고, 가장 낮은 예측 레벨을 제외한 나머지 예측 레벨들은 이전 예측 레벨에 포함되는 예측 방향들의 중간 각도에 대응하는 예측 방향들을 포함하는 형태로 구성되어, 예측 레벨이 높아질수록 포함되는 예측 방향들 사이의 각도가 작아지는, 영상 부호화 장치.
  12. 제10항에 있어서,
    상기 프로세서는 제1 예측 탐색 수행시,
    이전 예측 레벨에 포함되는 예측 방향에 대해서 수행된 율-왜곡 비용 계산의 결과를 토대로 현재 예측 레벨의 예측 방향들 중에서 계산을 수행할 방향을 결정하도록 구성되는, 영상 부호화 장치.
  13. 제12항에 있어서,
    상기 프로세서는 구체적으로, 현재 예측 레벨의 예측 방향들 중에서, 이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 예측 방향과 인접한 예측 방향에 대해서만 율-왜곡 비용 계산을 수행하도록 구성되는, 영상 부호화 장치.
  14. 제13항에 있어서,
    상기 프로세서는 구체적으로,
    이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 제1 최소 예측 방향이 인접한 예측 방향이 하나만 있는 가장자리 예측 방향인 경우, 현재 예측 레벨의 예측 방향들 중에서 상기 제1 최소 예측 방향에 인접한 예측 방향을 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택하고,
    이전 예측 레벨에서 최소 율-왜곡 비용을 가지는 제1 최소 예측 방향이 인접한 예측 방향이 하나만 있는 가장자리 예측 방향이 아닌 경우, 상기 이전 예측 레벨에서 상기 제1 최소 예측 방향에 인접한 2개의 예측 방향 중에서 보다 작은 율-왜곡 비용을 가지는 예측 방향을 제2 최소 예측 방향으로 선택하고, 상기 현재 예측 레벨의 예측 방향들 중에서 상기 제2 최소 예측 방향에 인접한 예측 방향을 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택하며, 그리고,
    상기 현재 예측 레벨에서 계산을 수행할 예측 방향으로서 선택된 예측 방향에 대해서만 율-왜곡 비용을 수행하도록 구성되는, 영상 부호화 장치.
  15. 삭제
  16. 제10항에 있어서,
    상기 프로세서는 상기 제2 예측 탐색 수행시,
    방향성을 띄지 않는 인트라 플레이너 모드의 예측 방향에 대해 율-왜곡 비용을 계산하고, 방향성을 띄지 않는 인트라 DC 모드의 예측 방향에 대해서 율-왜곡 비용을 계산하도록 구성되는, 영상 부호화 장치.
  17. 제10항에 있어서,
    상기 프로세서는,
    상기 제1 예측 탐색의 결과에 따른 예측 방향의 율-왜곡 비용과, 상기 제2 예측 탐색의 결과에 따른 방향성을 띄지 않는 예측 방향들의 율-왜곡 비용들을 비교하여, 가장 작은 율-왜곡 비용을 가지는 예측 방향을 최종적인 부호화를 위한 예측 방향으로서 결정하도록 구성되는, 영상 부호화 장치.









KR1020190091720A 2019-07-29 2019-07-29 영상 압축을 위한 고속 영상 부호화 방법 및 그 장치 KR102227680B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190091720A KR102227680B1 (ko) 2019-07-29 2019-07-29 영상 압축을 위한 고속 영상 부호화 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190091720A KR102227680B1 (ko) 2019-07-29 2019-07-29 영상 압축을 위한 고속 영상 부호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20210013916A KR20210013916A (ko) 2021-02-08
KR102227680B1 true KR102227680B1 (ko) 2021-03-12

Family

ID=74560296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190091720A KR102227680B1 (ko) 2019-07-29 2019-07-29 영상 압축을 위한 고속 영상 부호화 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102227680B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621358B1 (ko) 2015-04-16 2016-05-17 아주대학교 산학협력단 Ｈｅｖｃ 부호화 장치 및 그 인트라 예측 모드 결정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621358B1 (ko) 2015-04-16 2016-05-17 아주대학교 산학협력단 Ｈｅｖｃ 부호화 장치 및 그 인트라 예측 모드 결정 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast Intra-prediction algorithms for high efficiency video coding standard.*
Smart search space reduction for approximate computing: a low energy HEVC encoder case study*

Also Published As

Publication number Publication date
KR20210013916A (ko) 2021-02-08

Similar Documents

Publication Publication Date Title
US11425392B2 (en) Method and apparatus for encoding and decoding video using skip mode
US9973756B2 (en) Video encoder and video encoding method
CN101889405B (zh) 用于执行运动估计的方法和装置
RU2683495C1 (ru) Нововведения в предсказание блочных векторов и оценку восстановленных значений отсчетов в области перекрытия
US9282340B2 (en) Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
JP7279154B2 (ja) アフィン動きモデルに基づく動きベクトル予測方法および装置
US11902508B2 (en) Use of extended samples during search in decoder-side motion refinement
CN102396230A (zh) 图像处理设备和方法
WO2020125595A1 (zh) 视频译码器及相应方法
US11758130B2 (en) Video picture decoding and encoding method and apparatus
KR20210113384A (ko) 광학 흐름 정제를 위한 조기 종료
US20220116624A1 (en) Device and method for computing position of integer grid reference sample for block level boundary sample gradient computation
US10484689B2 (en) Apparatus and method for performing rate-distortion optimization based on Hadamard-quantization cost
US12010293B2 (en) Picture prediction method and apparatus, and computer-readable storage medium
US20220060702A1 (en) Systems and methods for intra prediction smoothing filter
US20230388490A1 (en) Encoding method, decoding method, and device
TWI748522B (zh) 視訊編碼器、視訊解碼器及相應方法
WO2023011420A1 (zh) 编解码方法和装置
KR102227680B1 (ko) 영상 압축을 위한 고속 영상 부호화 방법 및 그 장치
RU2810126C2 (ru) Способ и устройство прогнозирования изображений и считываемый компьютером носитель данных
KR102543086B1 (ko) 화상을 인코딩 및 디코딩하기 위한 방법 및 장치
WO2023049292A1 (en) Methods and devices for decoder-side intra mode derivation
CN116134817A (zh) 使用稀疏光流表示的运动补偿
CN118042136A (zh) 编解码方法和装置
CN116647683A (zh) 量化处理方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant