KR20230069817A - 가변 양자화 파라미터 기반의 영상 부호화 및 복호화 방법 및 장치 - Google Patents

가변 양자화 파라미터 기반의 영상 부호화 및 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20230069817A
KR20230069817A KR1020220136417A KR20220136417A KR20230069817A KR 20230069817 A KR20230069817 A KR 20230069817A KR 1020220136417 A KR1020220136417 A KR 1020220136417A KR 20220136417 A KR20220136417 A KR 20220136417A KR 20230069817 A KR20230069817 A KR 20230069817A
Authority
KR
South Korea
Prior art keywords
quantization parameter
probability
parameter
variable
value
Prior art date
Application number
KR1020220136417A
Other languages
English (en)
Inventor
윤경로
임한신
추현곤
김신
이예지
Original Assignee
한국전자통신연구원
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 건국대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20230069817A publication Critical patent/KR20230069817A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 방법은 입력 영상에 기반하여 객체 확률 지도(Objectness Map)를 생성하는 단계, 상기 객체 확률 지도에 기반하여 상기 입력 영상에 대한 양자화 파라미터(Quantization Parameter)를 설정하는 단계 및 상기 설정된 양자화 파라미터를 이용하여 상기 입력 영상을 부호화하는 단계를 포함한다.

Description

가변 양자화 파라미터 기반의 영상 부호화 및 복호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING IMAGE BASED ON VARIABLE QUANTIZATION PARAMETER}
본 발명은 영상 부호화/복호화 방법 및 장치에 관한 것이다.
구체적으로, 본 발명은 객체의 존재 확률에 기반하여 양자화 파라미터를 동적으로 설정하는 부호화 및 복호화 방법에 관한 것이다.
최근 자율주행차량, 드론(drone), 감시 카메라(surveillance camera) 등의 다양한 분야에서 영상을 소비하는 주체가 사람이 아닌 기계로 전환되는 경우가 많아지면서, 기존과 같이 사람의 인지 화질이 아닌 기계의 임무 수행 성능에 최적화된 영상 부호화 기술이 요구되고 있다.
따라서, 인지 화질을 유지하면서도, 높은 압축 효율을 달성하기 위한 기존 기술들과 달리, 객체 탐지(object detection) 등 머신 비전의 임무 수행을 위한 영상 부호화 기술에 대한 필요성이 절실히 대두된다.
국내 공개특허공보 제10-2014-0110008호(발명의 명칭: 객체 검출 정보에 따른 인코딩)
본 발명의 목적은 비디오 신호의 압축 효율을 향상시키는 것이다.
구체적으로, 본 발명의 목적은 객체 확률에 따른 가변적인 양자화 파라미터를 통해 비디오 신호의 부호화 효율을 향상시키는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 방법은 입력 영상에 기반하여 객체 확률 지도(Objectness Map)를 생성하는 단계, 상기 객체 확률 지도에 기반하여 상기 입력 영상에 대한 양자화 파라미터(Quantization Parameter)를 설정하는 단계 및 상기 설정된 양자화 파라미터를 이용하여 상기 입력 영상을 부호화하는 단계를 포함한다.
이때, 상기 객체 확률 지도는 객체 탐지 네트워크를 이용하여 생성될 수 있다.
이때, 상기 양자화 파라미터를 설정하는 단계는 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 상기 양자화 파라미터를 제1 파라미터값으로 설정하고, 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 양자화 파라미터를 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정할 수 있다.
이때, 상기 입력 영상을 부호화하는 단계는 상기 양자화 파라미터에 관한 정보를 부호화할 수 있다.
이때, 상기 양자화 파라미터에 관한 정보는 양자화 파라미터의 개수를 포함할 수 있다.
이때, 상기 양자화 파라미터의 개수는 상기 입력 영상 내 객체가 존재할 확률, 상기 객체가 존재할 확률의 최대값, 최소값 또는 빈도수에 기반하여 설정될 수 있다.
이때, 상기 양자화 파라미터의 개수는 기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정될 수 있다.
이때, 상기 양자화 파라미터는 고정 양자화 파라미터 및 적응적 양자화 파라미터를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 장치는 입력 영상에 기반하여 객체 확률 지도(Objectness Map)를 생성하는 확률 지도 생성부, 상기 객체 확률 지도에 기반하여 상기 입력 영상에 대한 양자화 파라미터(Quantization Parameter)를 설정하는 양자화 파라미터 설정부 및 상기 설정된 양자화 파라미터를 이용하여 상기 입력 영상을 부호화하는 부호화부를 포함한다.
이때, 상기 객체 확률 지도는 객체 탐지 네트워크를 이용하여 생성될 수 있다.
이때, 상기 양자화 파라미터 설정부는 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 상기 양자화 파라미터를 제1 파라미터값으로 설정하고, 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 양자화 파라미터를 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정할 수 있다.
이때, 상기 부호화부는 상기 양자화 파라미터에 관한 정보를 부호화할 수 있다.
이때, 상기 양자화 파라미터에 관한 정보는 양자화 파라미터의 개수를 포함할 수 있다.
이때, 상기 양자화 파라미터의 개수는 상기 입력 영상 내 객체가 존재할 확률, 상기 객체가 존재할 확률의 최대값, 최소값 또는 빈도수에 기반하여 설정될 수 있다.
이때, 상기 양자화 파라미터의 개수는 기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정될 수 있다.
이때, 상기 양자화 파라미터는 고정 양자화 파라미터 및 적응적 양자화 파라미터를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 복호화 방법은 부호화된 영상의 비트스트림 및 양자화 파라미터에 관한 정보를 수신하는 단계 및 상기 양자화 파라미터에 관한 정보를 이용하여 상기 비트스트림을 복호화하는 단계를 포함하고, 상기 양자화 파라미터는 객체 확률 지도(Objectness Map)에 기반하여 설정될 수 있다.
이때, 상기 양자화 파라미터는 상기 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 제1 파라미터값으로 설정되고, 상기 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정될 수 있다.
이때, 상기 양자화 파라미터에 관한 정보는 양자화 파라미터의 개수를 포함할 수 있다.
이때, 상기 양자화 파라미터의 개수는 기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정될 수 있다.
본 발명에 따르면, 비디오 신호의 압축 효율을 향상시킬 수 있다.
또한, 본 발명은 목적은 객체 확률에 따른 가변적인 양자화 파라미터를 통해 비디오 신호의 부호화 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 복호화 방법을 나타낸 흐름도이다.
도 3은 Faster R-CNN X101-FPN을 사용한 객체 탐지 과정을 나타낸 도면이다.
도 4는 객체 탐지 네트워크를 통해 획득한 객체 확률 지도의 일부를 나타낸 도면이다.
도 5는 객체 탐지를 수행하기 위한 입력 영상을 나타낸 도면이다.
도 6은 원본 영상의 객체 탐지 결과를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 가변 양자화 파라미터를 이용하여 압축된 영상의 객체 탐지 결과를 나타낸 도면이다.
도 8은 영상 압축 방법에 따른 객체 탐지 성능을 나타낸 그래프이다.
도 9는 객체 확률 기반 가변 양자화 파라미터를 이용하는 장치를 개념적으로 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 장치를 나타낸 블록도이다.
도 11은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 방법을 나타낸 흐름도이다.
본 발명의 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 방법은 컴퓨팅 디바이스와 같은 영상 부호화 장치에서 수행될 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 방법은 입력 영상에 기반하여 객체 확률 지도(Objectness Map)를 생성하는 단계(S110), 상기 객체 확률 지도에 기반하여 상기 입력 영상에 대한 양자화 파라미터(Quantization Parameter)를 설정하는 단계(S120) 및 상기 설정된 양자화 파라미터를 이용하여 상기 입력 영상을 부호화하는 단계(S130)를 포함한다.
이때, 상기 객체 확률 지도는 객체 탐지 네트워크를 이용하여 생성될 수 있다.
이때, 상기 양자화 파라미터를 설정하는 단계(S120)는 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 상기 양자화 파라미터를 제1 파라미터값으로 설정하고, 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 양자화 파라미터를 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정할 수 있다.
예를 들어, 기설정된 값이 0.5인 경우, 객체가 존재할 확률이 0.5를 초과하면 양자화 파라미터를 제1 파라미터값으로 설정하고, 객체가 존재할 확률이 0.5 이하면 양자화 파라미터를 제2 파라미터값으로 설정할 수 있다.
다만 위 예시에서는 객체가 존재할 확률을 2개의 구간으로 나누어 양자화 파라미터값을 2단계로 구분하였으나, 본 발명의 범위가 이에 한정되는 것은 아니며, 객체가 존재할 확률 구간을 2개 이상의 구간으로 나누어 각각 양자화 파라미터 값을 할당할 수 있다.
이때, 상기 입력 영상을 부호화하는 단계(S130)는 상기 양자화 파라미터에 관한 정보를 부호화할 수 있다.
이때, 상기 양자화 파라미터에 관한 정보는 양자화 파라미터의 개수를 포함할 수 있다. 즉, 전술한 바와 같이 부호화에 이용할 수 있는 양자화 파라미터의 개수는 가변적으로 설정될 수 있다.
이때, 상기 양자화 파라미터의 개수는 상기 입력 영상 내 객체가 존재할 확률, 상기 객체가 존재할 확률의 최대값, 최소값 또는 빈도수에 기반하여 설정될 수 있다.
이때, 상기 양자화 파라미터의 개수는 기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정될 수 있다.
이때, 상기 양자화 파라미터는 고정 양자화 파라미터 및 적응적 양자화 파라미터를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 복호화 방법을 나타낸 흐름도이다.
본 발명의 실시예에 따른 가변 양자화 파라미터 기반의 영상 복호화 방법은 컴퓨팅 디바이스와 같은 영상 복호화 장치에서 수행될 수 있다.
또한, 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 복호화 방법은 부호화된 영상의 비트스트림 및 양자화 파라미터에 관한 정보를 수신하는 단계(S210) 및 상기 양자화 파라미터에 관한 정보를 이용하여 상기 비트스트림을 복호화하는 단계(S220)를 포함하고, 상기 양자화 파라미터는 객체 확률 지도(Objectness Map)에 기반하여 설정될 수 있다.
이때, 상기 객체 확률 지도는 상기 입력 영상을 부호화하는 단계에서 객체 탐지 네트워크를 이용하여 생성될 수 있다.
이때, 상기 양자화 파라미터는 상기 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 제1 파라미터값으로 설정되고, 상기 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정될 수 있다.
예를 들어, 기설정된 값이 0.5인 경우, 객체가 존재할 확률이 0.5를 초과하면 양자화 파라미터를 제1 파라미터값으로 설정하고, 객체가 존재할 확률이 0.5 이하면 양자화 파라미터를 제2 파라미터값으로 설정할 수 있다.
다만 위 예시에서는 객체가 존재할 확률을 2개의 구간으로 나누어 양자화 파라미터값을 2단계로 구분하였으나, 본 발명의 범위가 이에 한정되는 것은 아니며, 객체가 존재할 확률을 복수개의 구간으로 구분하여 각각 양자화 파라미터 값을 할당할 수 있다.
이때, 상기 양자화 파라미터에 관한 정보는 양자화 파라미터의 개수를 포함할 수 있다.
이때, 상기 양자화 파라미터의 개수는 기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정될 수 있다.
도 3은 Faster R-CNN X101-FPN을 사용한 객체 탐지 과정을 나타낸 도면이다.
도 3을 참조하면, 객체 탐지 신경망은 anchor와 objectness map을 이용해 영상 내 객체가 있을 확률을 먼저 예측하고, 그 후 객체 탐지를 수행할 수 있다.
본 발명의 실시예에 따른 부호화 방법은 Anchor와 객체 확률 맵(Objectness Map)을 생성하는 모든 객체 탐지 신경망을 활용하여 적용 가능하다. 이 경우, 전체 영상을 하나의 QP로 압축했을 때보다 신경망 성능 대비 압축 효율이 뛰어날 수 있다.
도 4는 객체 탐지 네트워크를 통해 획득한 객체 확률 지도의 일부를 나타낸 도면이다.
신경망을 통해 backbone network로부터 도 4에 도시된 바와 같이 객체가 있을 확률을 나타내는 객체 확률 지도(objectness map)을 구할 수 있다.
도 4에는 흑백으로 도시되었지만, 객체 확률 지도는 적색일수록 객체가 있을 확률이 높은 것을 나타내는 히트맵 형식으로 구성될 수 있다. 객체 확률 지도(objectness map)에서 제공되는 objectness 값을 가공하여 0~1 사이의 확률 값으로 변환할 수 있다. 신경망의 구조에 따라 객체 확률 지도(objectness map)의 수는 달라질 수 있다.
도 5는 객체 탐지를 수행하기 위한 입력 영상을 나타낸 도면이다.
도 6은 원본 영상의 객체 탐지 결과를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 가변 양자화 파라미터를 이용하여 압축된 영상의 객체 탐지 결과를 나타낸 도면이다.
도 7의 예시에서, 가변 양자화 파라미터는 2단계로 설정하였다.
도 8은 영상 압축 방법에 따른 객체 탐지 성능을 나타낸 그래프이다.
도 8을 참조하면, Baseline은 원본 영상의 객체 탐지 결과를 나타내고, Anchor는 전체 영상을 하나의 QP로 압축한 결과를 나타내며, Proposed는 객체 확률 기반의 가변 QP를 이용하여 압축한 결과를 나타낸다. 따라서, 제안하는 방법에 따라, 압축률을 크게 높이면서 신경망의 높은 성능을 유지할 수 있다.
본 발명은, 영상의 부/복호화를 수행함에 있어, 입력 영상으로부터 영상 내 객체가 있을 확률을 획득하고, 확률에 따른 가변 QP를 할당하여 영상 부호화를 수행할 수 있다.
여기서, 영상 내 객체가 있을 확률을 획득하는 단계와 관련하여, 높은 압축률과 머신 비전 성능을 달성하기 위해 객체 탐지 신경망을 기반으로 영상 내 객체가 있을 확률인 Objectness Map을 획득할 수 있다.
객체 확률에 따른 가변 QP 할당하는 단계와 관련하여, 영상 내 객체가 있을 확률을 기반으로 객체가 있을 확률이 높은 곳에 더 낮은 QP을 할당하고, 그렇지 않은 곳에 더 높은 QP를 할당할 수 있다.
영상 부호화를 수행하는 단계와 관련하여, 가변 QP를 기반으로 객체 중심의 영상 부호화를 수행할 수 있다.
도 9는 객체 확률 기반 가변 양자화 파라미터를 이용하는 장치를 개념적으로 나타낸 도면이다.
본 발명에 따른 부호화기(300)는 객체 확률 추출부를 포함할 수 있고, 객체 확률 추출부는 영상 입력부(310), 객체 확률 기반 가변 QP 처리부(320), 부호화부(330) 또는 전송부(340) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 복호화기(400)는 영상 수신부(410), 복호화부(420) 또는 머신 비전 처리부(430) 중 적어도 하나를 포함할 수 있다.
전술한 영상 부호화/복호화 과정은 도 6에 도시된 장치에서 수행될 수 있다.
본 발명에 따르면, 하나의 영상은 하나 또는 그 이상의 양자화 파라미터(QP)를 이용할 수 있다.
구체적으로, 하나의 영상에 대해서 하나의 양자화 파라미터만이 이용될 수도 있고, 현재 영상이 이용 가능한 2개 또는 그 이상의 양자화 파라미터가 이용될 수도 있다. 현재 영상에 대해서 하나의 양자화 파라미터만이 이용되는지, 아니면 복수의 양자화 파라미터 중 하나 또는 그 이상의 양자화 파라미터가 선택적으로 이용되는지 여부를 나타내는 정보가 부호화될 수 있다. 상기 정보는 다수의 영상을 포함한 시퀀스 단위로 부호화될 수도 있고, 영상 단위로 부호화될 수도 있다.
현재 영상이 이용 가능한 양자화 파라미터의 개수는 n개이며, 여기서 n은 1, 2, 3, 4, 5, 6 또는 그 이상의 정수일 수 있다(예를 들어, QP1, QP2, …, QPn-1, QPn). 상기 n값은 모든 영상에 대해서 동일하게 설정될 수도 있고, 영상 별로 상이하게 설정될 수도 있다. 상기 양자화 파라미터의 개수는 부호화/복호화 장치에 기정의된 고정된 값을 가질 수 있다. 또는, 상기 양자화 파라미터의 개수는 영상 내 객체가 있을 확률(objectness, 이하 객체 확률이라 함), 객체 확률의 최대값/최소값/빈도수, 또는 객체 확률의 범위(range) 중 적어도 하나에 기초하여 가변적으로 결정될 수도 있다.
예를 들어, 현재 영상에 적용되는 객체 확률이 0 내지 1/2의 범위를 가지는 경우에는 i개의 양자화 파라미터가 이용 가능하고, 현재 영상에 적용되는 객체 확률이 0 내지 1의 범위를 가지는 경우에는 j개의 양자화 파라미터가 이용 가능할 수 있다. 여기서, i는 j보다 작은 정수일 수 있다.
현재 영상에 대한 양자화 파라미터의 값은 부호화/복호화 장치에 기정의된 고정된 값을 가질 수도 있고, 부호화 장치에서 부호화되어 복호화 장치로 시그널링될 수도 있다. 또는, 현재 영상이 이용 가능한 복수의 양자화 파라미터 중 적어도 하나는 부호화/복호화 장치에 기정의된 고정된 값을 가지고, 나머지는 부호화 장치에서 부호화될 수 있다.
예를 들어, n개의 양자화 파라미터 중 적어도 하나는 디폴트 양자화 파라미터로 정의되어 고정된 값을 가지고, 나머지는 적응적 양자화 파라미터로 정의되어 소정의 개수만큼 부호화될 수 있다. 이때, 적응적 양자화 파라미터 중 적어도 하나는 디폴트 양자화 파라미터와의 차분값으로 부호화될 수 있다. k번째 적응적 양자화 파라미터는 (k-1)번째 적응적 양자화 파라미터와의 차분값으로 부호화될 수 있다.
현재 영상은 복수의 서브영역으로 구획될 수 있고, 현재 영상을 구성하는 모든 서브영역에 대해서 양자화 파라미터가 적용될 수도 있고, 현재 영상 내 일부 서브영역에 대해서만 양자화 파라미터가 적용될 수도 있다. 여기서, 상기 일부 서브영역은 신경망 기반의 객체 탐지를 통해 특정된 영역일 수 있다. 이하, 현재 영상 내 서브영역의 양자화 파라미터를 결정하는 방법에 대해서 살펴보기로 한다.
서브영역의 양자화 파라미터는, 소정의 테이블 정보에 기초하여 결정될 수 있다. 여기서, 테이블 정보는 부호화/복호화 장치에 동일하게 정의된 것일 수 있다. 상기 테이블 정보는 객체 확률과 이에 대응하는 양자화 파라미터를 정의한 테이블을 의미할 수 있다.
예를 들어, 제1 범위의 객체 확률에 대해서는 제1 양자화 파라미터가 할당되고, 제2 범위의 객체 확률에 대해서는 제2 양자화 파라미터가 할당될 수 있다. 즉, 객체 확률의 전체 범위는 m개의 범위로 구분될 수 있고, 각 범위에 대응하는 m개의 양자화 파라미터가 정의될 수 있다. 각각의 범위는 하나 또는 그 이상의 객체 확률로 구성될 수 있다. 현재 서브영역의 객체 확률이 제1 값인 경우, 테이블 정보에서 제1 값이 속한 범위가 특정될 수 있고, 특정된 범위에 대응하는 양자화 파라미터가 현재 서브영역에 적용될 수 있다.
또는, 서브영역의 양자화 파라미터는, 소정의 문턱값에 기초하여 결정될 수 있다. 예를 들어, 현재 서브영역의 객체 확률이 소정의 문턱값보다 작은 경우에는 제1 양자화 파라미터가 적용될 수 있다. 반면, 현재 서브영역의 객체 확률이 소정의 문턱값보다 큰 경우에는 제2 양자화 파라미터가 적용될 수 있다.
상기 문턱값은 부호화/복호화 장치에서 동일하게 정의된 것일 수 있다. 또한, 부호화/복호화 장치에 정의된 문턱값의 개수는 1개에 한정되지 아니하며, 2개, 3개 또는 그 이상의 개수일 수 있다.
또는, 부호화 장치에서 최적의 문턱값을 결정하고 이를 부호화할 수도 있다. 문턱값의 부호화는 복수의 영상으로 구성된 시퀀스의 단위로 수행될 수도 있고, 각각 영상의 단위로 수행될 수도 있다.
또는, 부호화/복호화 장치에 기정의된 디폴트 문턱값이 이용될 수도 있고, 부호화 장치에서 부호화되어 시그널링되는 적응적 문턱값이 이용될 수도 있다. 이를 위해 디폴트 문턱값이 이용되는지, 아니면 적응적 문턱값이 이용되는지를 특정하는 정보가 추가로 부호화될 수도 있다.
도 10은 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 장치를 나타낸 블록도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 장치는 입력 영상에 기반하여 객체 확률 지도(Objectness Map)를 생성하는 확률 지도 생성부(510), 상기 객체 확률 지도에 기반하여 상기 입력 영상에 대한 양자화 파라미터(Quantization Parameter)를 설정하는 양자화 파라미터 설정부(520) 및 상기 설정된 양자화 파라미터를 이용하여 상기 입력 영상을 부호화하는 부호화부(530)를 포함한다.
이때, 상기 객체 확률 지도는 객체 탐지 네트워크를 이용하여 생성될 수 있다.
이때, 상기 양자화 파라미터 설정부(520)는 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 상기 양자화 파라미터를 제1 파라미터값으로 설정하고, 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 양자화 파라미터를 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정할 수 있다.
이때, 상기 부호화부(530)는 상기 양자화 파라미터에 관한 정보를 부호화할 수 있다.
이때, 상기 양자화 파라미터에 관한 정보는 양자화 파라미터의 개수를 포함할 수 있다.
이때, 상기 양자화 파라미터의 개수는 상기 입력 영상 내 객체가 존재할 확률, 상기 객체가 존재할 확률의 최대값, 최소값 또는 빈도수에 기반하여 설정될 수 있다.
이때, 상기 양자화 파라미터의 개수는 기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정될 수 있다.
이때, 상기 양자화 파라미터는 고정 양자화 파라미터 및 적응적 양자화 파라미터를 포함할 수 있다.
도 11은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
실시예에 따른 가변 양자화 파라미터 기반의 영상 부호화 장치 및 복호화 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
510: 확률 지도 생성부
520: 양자화 파라미터 설정부
530: 부호화부
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크

Claims (20)

  1. 입력 영상에 기반하여 객체 확률 지도(Objectness Map)를 생성하는 단계;
    상기 객체 확률 지도에 기반하여 상기 입력 영상에 대한 양자화 파라미터(Quantization Parameter)를 설정하는 단계; 및
    상기 설정된 양자화 파라미터를 이용하여 상기 입력 영상을 부호화하는 단계;
    를 포함하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 방법.
  2. 청구항 1에 있어서,
    상기 객체 확률 지도는
    객체 탐지 네트워크를 이용하여 생성되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 방법.
  3. 청구항 1에 있어서,
    상기 양자화 파라미터를 설정하는 단계는
    상기 입력 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 상기 양자화 파라미터를 제1 파라미터값으로 설정하고, 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 양자화 파라미터를 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 방법.
  4. 청구항 1에 있어서,
    상기 입력 영상을 부호화하는 단계는
    상기 양자화 파라미터에 관한 정보를 부호화하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 방법.
  5. 청구항 4에 있어서,
    상기 양자화 파라미터에 관한 정보는
    양자화 파라미터의 개수를 포함하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 방법.
  6. 청구항 5에 있어서,
    상기 양자화 파라미터의 개수는
    상기 입력 영상 내 객체가 존재할 확률, 상기 객체가 존재할 확률의 최대값, 최소값 또는 빈도수에 기반하여 설정되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 방법.
  7. 청구항 5에 있어서,
    상기 양자화 파라미터의 개수는
    기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 방법.
  8. 청구항 1에 있어서,
    상기 양자화 파라미터는
    고정 양자화 파라미터 및 적응적 양자화 파라미터를 포함하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 방법.
  9. 입력 영상에 기반하여 객체 확률 지도(Objectness Map)를 생성하는 확률 지도 생성부;
    상기 객체 확률 지도에 기반하여 상기 입력 영상에 대한 양자화 파라미터(Quantization Parameter)를 설정하는 양자화 파라미터 설정부; 및
    상기 설정된 양자화 파라미터를 이용하여 상기 입력 영상을 부호화하는 부호화부;
    를 포함하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 장치.
  10. 청구항 9에 있어서,
    상기 객체 확률 지도는
    객체 탐지 네트워크를 이용하여 생성되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 장치.
  11. 청구항 9에 있어서,
    상기 양자화 파라미터 설정부는
    상기 입력 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 상기 양자화 파라미터를 제1 파라미터값으로 설정하고, 상기 입력 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 양자화 파라미터를 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 장치.
  12. 청구항 9에 있어서,
    상기 부호화부는
    상기 양자화 파라미터에 관한 정보를 부호화하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 장치.
  13. 청구항 12에 있어서,
    상기 양자화 파라미터에 관한 정보는
    양자화 파라미터의 개수를 포함하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 장치.
  14. 청구항 13에 있어서,
    상기 양자화 파라미터의 개수는
    상기 입력 영상 내 객체가 존재할 확률, 상기 객체가 존재할 확률의 최대값, 최소값 또는 빈도수에 기반하여 설정되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 장치.
  15. 청구항 13에 있어서,
    상기 양자화 파라미터의 개수는
    기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 장치.
  16. 청구항 9에 있어서,
    상기 양자화 파라미터는
    고정 양자화 파라미터 및 적응적 양자화 파라미터를 포함하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 부호화 장치.
  17. 부호화된 영상의 비트스트림 및 양자화 파라미터에 관한 정보를 수신하는 단계; 및
    상기 양자화 파라미터에 관한 정보를 이용하여 상기 비트스트림을 복호화하는 단계;
    를 포함하고
    상기 양자화 파라미터는 객체 확률 지도(Objectness Map)에 기반하여 설정되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 복호화 방법.
  18. 청구항 17에 있어서,
    상기 양자화 파라미터는
    상기 영상 내 객체가 존재할 확률이 기설정된 값을 초과하면 제1 파라미터값으로 설정되고, 상기 영상 내 객체가 존재할 확률이 기설정된 값 이하면 상기 제1 파라미터값보다 큰 제2 파라미터값으로 설정되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 복호화 방법.
  19. 청구항 17에 있어서,
    상기 양자화 파라미터에 관한 정보는
    양자화 파라미터의 개수를 포함하는 것을 특징으로 하는 가변 양자화 파라미터 기반의 복호화 방법.
  20. 청구항 19에 있어서,
    상기 양자화 파라미터의 개수는
    기설정된 제1 범위가 상기 객체가 존재할 확률 범위를 포함하면 제1 개수로 설정되고, 상기 제1 범위가 상기 객체가 존재할 확률 범위를 포함하지 않으면 상기 제1 개수보다 큰 제2 개수로 설정되는 것을 특징으로 하는 가변 양자화 파라미터 기반의 복호화 방법.
KR1020220136417A 2021-11-12 2022-10-21 가변 양자화 파라미터 기반의 영상 부호화 및 복호화 방법 및 장치 KR20230069817A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210155980 2021-11-12
KR20210155980 2021-11-12

Publications (1)

Publication Number Publication Date
KR20230069817A true KR20230069817A (ko) 2023-05-19

Family

ID=86547032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220136417A KR20230069817A (ko) 2021-11-12 2022-10-21 가변 양자화 파라미터 기반의 영상 부호화 및 복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230069817A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110008A (ko) 2012-01-26 2014-09-16 애플 인크. 객체 검출 정보에 따른 인코딩

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110008A (ko) 2012-01-26 2014-09-16 애플 인크. 객체 검출 정보에 따른 인코딩

Similar Documents

Publication Publication Date Title
JP6419269B2 (ja) サンプル適応オフセットの処理を実行するための情報を符号化する符号化装置、符号化方法、符号化方法を実行させるプログラム、および記憶媒体
CN114650419B (zh) 进行帧内预测的编码器、解码器和对应方法
EP3549345A1 (en) Local hash-based motion estimation for screen remoting scenarios
CN113748677A (zh) 编码器、解码器及对应的帧内预测方法
JPWO2008084745A1 (ja) 画像符号化装置および画像復号化装置
CN110708570B (zh) 视频的编码码率确定方法、装置、设备及存储介质
EP2183921A2 (en) Method and apparatus for improved video encoding using region of interest (roi) information
CN110149515B (zh) 数据传输方法及装置
US10812832B2 (en) Efficient still image coding with video compression techniques
CN114051139A (zh) 视频编码方法和装置
CN112738516B (zh) 编码方法、装置、存储介质及电子设备
Li et al. Saliency based perceptual HEVC
US20060256858A1 (en) Method and system for rate control in a video encoder
US20150201220A1 (en) Conditional golomb based adaptive entropy coding
US9736485B2 (en) Encoding apparatus, encoding method, and image capture apparatus
US11375196B2 (en) Method of context modeling for entropy coding of transform coefficient flags with transform skip, and coding method with the same
KR20190029753A (ko) 예측 파라미터들에서의 데이터 숨김을 위한 방법 및 장치
US20220417530A1 (en) Image decoding device, image decoding method, and program
KR20230069817A (ko) 가변 양자화 파라미터 기반의 영상 부호화 및 복호화 방법 및 장치
CN114586362A (zh) 色度量化参数指示方法和装置
KR102324724B1 (ko) 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법
CN114556923B (zh) 编码器、解码器和使用插值滤波的对应方法
WO2019109988A1 (en) Face region detection based light field video compression
US10356424B2 (en) Image processing device, recording medium, and image processing method
KR20120139608A (ko) 비디오 인코딩 및 디코딩 방법과 이를 이용한 장치