KR20180113868A - 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템 - Google Patents

카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템 Download PDF

Info

Publication number
KR20180113868A
KR20180113868A KR1020170045531A KR20170045531A KR20180113868A KR 20180113868 A KR20180113868 A KR 20180113868A KR 1020170045531 A KR1020170045531 A KR 1020170045531A KR 20170045531 A KR20170045531 A KR 20170045531A KR 20180113868 A KR20180113868 A KR 20180113868A
Authority
KR
South Korea
Prior art keywords
image
encoding
unit
quality
distortion
Prior art date
Application number
KR1020170045531A
Other languages
English (en)
Other versions
KR102020953B1 (ko
Inventor
한기훈
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020170045531A priority Critical patent/KR102020953B1/ko
Publication of KR20180113868A publication Critical patent/KR20180113868A/ko
Application granted granted Critical
Publication of KR102020953B1 publication Critical patent/KR102020953B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템은 카메라에서 전송되는 압축스트림을 입력받아 복원 영상을 출력하여 영상 부호화부로 전송하며 복호화 정보를 출력하여 재 부호화 결정부로 전송하는 영상 복호화부와, 영상 복호화부에서 전송된 복호화 정보를 수신하고 상기 복호화 정보를 참조하여 재 부호화 방법를 결정하고 결정된 재 부호화 방법을 영상 부호화부로 전송하는 재 부호화 결정부와, 영상 복호화부로부터 복원 영상을 수신하고 재 부호화 결정부로부터 전달받은 재 부호화 방법을 참조하여 복원 영상을 재 부호화하는 것으로 율-왜곡 측정부로부터 수신된 대역폭(비트율)과 화질(왜곡) 정보를 참조하여 영상을 재 부호화하고 재 부호화 영상과 압축스트림을 율-왜곡 측정부로 전송하는 영상 부호화부와, 영상 부호화부로터 수신한 재 부호화 영상의 화질과 압축스트림의 대역폭(비트율)을 측정하고 측정된 화질과 대역폭(비트율)을 영상 부호화부로 전송하는 율-왜곡 측정부로 구성된 것을 특징으로 하는 것이다.

Description

카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템{Image Reencoding Method based on Decoding Data of Image of Camera and System thereof}
현재 카메라, 디스플레이장치 및 저장 공간 장치의 발달로 인하여 시중에서 유통되는 영상 콘텐츠의 해상도는 지속적으로 커지고 있는 것이다. 과거에는 약 30만 화소 정도의 SD(720x480)급 해상도의 콘텐츠가 주였으나 현재는 200만 화소가 넘는 FullHD(1920x2160)급 해상도의 콘텐츠와 800만 화소를 넘는 UHD(3840x2160)와 4K(4096x2160)급 해상도의 콘텐츠가 활발히 유통되고 있는 것이다. 또한, 모바일 단말기가 발달함에 따라 언제 어디서든지 고화질 영상을 서비스받고자 하는 수요가 점점 증가하고 있는 현실이다. 따라서 상기와 같은 고화질의 영상을 서비스하면서도 네트워크에 대역폭의 부담을 줄일필요가 있는 것이다.
본 발명과 관련된 종래의 기술은 대한민국 공개 특허 제10-2016-0051356호(2016. 05. 11. 공개)에 개시되어 있는 것이다. 도 1은 상기 종래의 이미지 재 부호화장치 구성도이다. 상기도 1에서 복호화부(1300)는 엔트로피 복호화부(1310), 역 양자화부(1320) 및 역 변환부(1330)를 포함할 수 있다. 상기 엔트로피 복호화부(1310)는 부호화 이미지 파일(1305)을 파싱하여 복호화 대상인 부호화된 이미지 및 복호화를 위해 필요한 부호화 정보를 획득한다. 엔트로피 복호화부(1310)는 부호화 이미지 파일(1305)의 헤더를 엔트로피 복호화하여 부호화된 이미지를 역양자화하기 위한 제1양자화 행렬을 획득할 수 있다. 또한 엔트로피 복호화부(1310)는 부호화 이미지 파일(1305)의 부호화 이미지를 엔트로피 복호화하여 블록 단위로 생성된 양자화된 변환 계수를 획득할 수 있다. 역 양자화부(1320)는 블록 단위로 생성된 양자화된 변환 계수를 제1양자화 행렬에 포함된 제1양자화 파라미터를 이용하여 역 양자화하여 변환 계수를 복원한다. 역 변환부(1330)는 역 양자화부(1320)에서 복원된 변환 계수를 역 변환하여 복원 이미지(340)를 획득한다. 역변환부(1330)는 역 이산 코사인 변환(Inverse Discrete Cosine Transform)에 의하여 변환 계수를 역변환할 수 있다. 복호화부(1300)에서 획득된 복원 이미지 파일은 재부호화부(1350)에 입력된다. 재부호화부(1350)는 변환부(1360), 양자화부(1370) 및 엔트로피 부호화부(1380)를 포함할 수 있다. 변환부(1360)는 복원 이미지(1340)를 블록 단위로 변환하여 생성된 변환 계수를 출력할 수 있다. 예를 들면, 변환부(1360)는 복원 이미지를 8×8 픽셀 블록 단위로 이산 코사인 변환(Discrete Cosine Transform)하여 변환 계수를 출력할 수 있다. 양자화부(1370)는 변환부(1360)에서 출력된 변환 계수를 제2양자화 행렬을 이용하여 양자화하고 양자화된 변환 계수를 엔트로피 부호화부(1380)로 출력할 수 있다. 엔트로피 부호화부(1380)는 양자화된 변환 계수에 엔트로피 부호화를 수행하여 재부호화 이미지 파일(1395)을 생성할 수 있다. 엔트로피 부호화가 수행되는 경우, 높은 발생 빈도를 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 빈도를 갖는 심볼에 많은 수의 비트가 할당될 수 있다. 따라서 이 경우 심볼들을 나타내는 비트열들을 포함하는 비트스트림의 길이는 심볼들에 임의로 비트열을 할당하는 경우보다 짧아질 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 일 실시 예에 따른 엔트로피 부호화부(1380)는 엔트로피 부호화를 위해 VLC(variable Length Coding) 부호화 방법을 사용할 수 있는 것이다.
도 2는 종래의 영상 재 부호화 장치의 다른 실시 예이다. 상기도 2에서 종래의 영상 재 부호화 장치는 영상 복호화 장치와 영상 부호화 장치로 구성되고 상기 영상 복호화 장치는 압축스트림을 입력받아서 영상을 복원하는 것으로 압축(이진)스르림으로부터 Syntax를 복호화하는 모듈인 엔트로피 복호화부, 엔트로피 복호화부로부터 복호화된 Syntax 중 유효계수(잔차 신호 중 중요계수)를 역 양자화 역변환하여 잔차 신호를 복원하는 모듈인 역양자화/역변환부, 화소의 공간적 상관 관계를 이용하여 공간적 중복신호를 복원하는 모듈로서 현재 복호화하는 화소의 인접화소값으로부터 현재 화소값을 예측하는 공간예측부, 화소의 시간적 상관관계를 이용하여 시간적 중복신호를 복원하는 모듈로서 현재 복호화하는 프레임과 시간적으로 인접한 프레임으로부터 현재 복호화하는 화소의 값을 예측하는 움직임 보상부 및 복원한 화소의 복호화 정보를 참조하여 화소값을 필터링(변화)하는 모듈로서 이로 인해 화질이 개선되는 영상 필터링부로 구성될 수 있는 것이다. 또한, 상기 영상 부호화 장치는 영상을 입력받아 압축스트림을 출력하는 것으로 화소의 공간적 상관 관계를 이용하여 공간적 중복신호를 제거하는 모듈로서 현재 복호화하는 화소의 인접화소값으로부터 현재 화소값을 예측하는 공간예측부, 화소의 시간적 상관관계를 이용하여 시간적 중복신호를 제거하는 모듈로서 현재 복호화하는 프레임과 시간적으로 인접한 프레임으로부터 현재 복호화하는 화소의 값을 예측하는 움직임 추정부, 공간 예측부 또는 움직임 추정부롤 거쳐 중복 신호가 제거된 잔차신호를 주파수 영역으로 변환후 양자화화여 압축하는 모듈인 변환/양자화부, 변환 양자화부를 거친 유효계수와 공간 예측부, 움직임 추정부에서 결정된 Syntax를 부호화하는 모듈인 엔트로피 부호화부, 부호화 화소의 부호화 정보를 참조하여 화소 값을 필터링(변화)하는 모듈로서 이로 인해 화질이 개선되는 영상필터링부 및 움직임 추정부에서 참조할 시간적 인접 프레임들을 저장하는 참조 영상 버퍼로 구성될 수 있는 것이다. 상기에서 엔트로프 복호화부는 H.264의 경우 CAVLC와 CABAC 등의 엔트로피 복호화 방법이 있는 것이다. 또한, 상기에서 엔트로피 부호화부는 H.264의 경우 CAVLC와 CABAC 등의 부호화방법이 있는 것이다. 또한, 상기와 같이 구성된 종래의 영상 재 부호화 장치는 복호화 출력물인 복원 영상이 부호화 장치의 입력 영상이 되며, 또한 복호화 장치의 출력물인 압축스트림과 부호화 장치의 출력물인 압축스트림은 각기 다른 부호화 방식으로 부호화된 것으로 둘 간의 연관성은 없는 것이다.
상기와 같이 구성된 종래의 영상 재 부호화 방법은 영상 콘텐츠의 해상도를 크게 하면 영상의 대역폭을 증가시켜 시스템의 전송 대역폭을 증가시키는 문제점이 있는 것이다. 또한, 상기와 같은 종래 재 부호화 방법은 다수의 카메라에서 전송되는 영상을 다수의 사용자에게 언제 어디서나 고화질의 영상 콘텐츠를 제공하기 어려움 문제점이 있는 것이다. 따라서 본 발명의 목적은 다수의 카메라가 접속되는 감시 시스템에서 고화질의 영상 콘텐츠를 다수의 이용자에게 전송하면서도 영상 대역폭을 절감하기 위한 방법을 제공하기 위한 것이다.
상기와 같은 목적을 가진 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템은 카메라에서 전송되는 압축스트림을 입력받아 복원 영상을 출력하여 영상 부호화부로 전송하며 복호화 정보를 출력하여 재 부호화 결정부로 전송하는 영상 복호화부와, 영상 복호화부에서 전송된 복호화 정보를 수신하고 상기 복호화 정보를 참조하여 재 부호화 방법를 결정하고 결정된 재 부호화 방법을 영상 부호화부로 전송하는 재 부호화 결정부와, 영상 복호화부로부터 복원 영상을 수신하고 재 부호화 결정부로부터 전달받은 재 부호화 방법을 참조하여 복원 영상을 재 부호화하는 것으로 율-왜곡 측정부로부터 수신된 대역폭(비트율)과 화질(왜곡) 정보를 참조하여 영상을 재 부호화하고 재 부호화 영상과 압축스트림을 율-왜곡 측정부로 전송하는 영상 부호화부와, 영상 부호화부로터 수신한 재 부호화 영상의 화질과 압축스트림의 대역폭(비트율)을 측정하고 측정된 화질과 대역폭(비트율)을 영상 부호화부로 전송하는 율-왜곡 측정부로 구성된 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재 부호화 시스템은 영상 재 부호화에 소요되는 시간을 줄여주어 고속 실행이 가능하도록 하며, 또한 재 부호화 영상의 목표 대역폭(비트율)에서 최적을 화질을 제공할 수 있는 효과가 있는 것이다. 또한, 본 발명의 다른 효과는 다수의 카메라가 접속되는 감시 시스템에서 네트워크의 대역폭 부담을 줄여서 원활한 영상 서비스 환경을 제공할 수 있는 효과가 있는 것이다.
도 1은 종래의 이미지 재 부호화장치 구성도,
도 2는 종래의 다른 실시 예 이미지 재 부호화장치 구성도,
도 3은 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템 구성도,
도 4는 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법의 제어 흐름도,
도 5는 본 발명에 적용되는 복원 영상의 저화질 영역의 재 부호화 방법에 대한 제어 흐름도 이다.
상기와 같은 목적을 가진 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재 부호화 시스템을 도 3 내지 도 5를 기초로 하여 설명하면 다음과 같다.
도 3은 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템 구성도이다. 상기도 3에서 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템은 카메라에서 전송되는 압축스트림을 입력받아 복원 영상을 출력하여 영상 부호화부로 전송하며 복호화 정보를 출력하여 재 부호화 결정부로 전송하는 영상 복호화부(100)와, 영상 복호화부에서 전송된 복호화 정보를 수신하고 상기 복호화 정보를 참조하여 재 부호화 방법를 결정하고 결정된 재 부호화 방법을 영상 부호화부로 전송하는 재 부호화 결정부(200)와, 영상 복호화부로부터 복원 영상을 수신하고 재 부호화 결정부로부터 전달받은 재 부호화 방법을 참조하여 복원 영상을 재 부호화하는 것으로 율-왜곡 측정부로부터 수신된 대역폭(비트율)과 화질(왜곡) 정보를 참조하여 영상을 재 부호화하고 재 부호화 영상과 압축스트림을 율-왜곡 측정부로 전송하는 영상 부호화부(300)와, 영상 부호화부로터 수신한 재 부호화 영상의 화질과 압축스트림의 대역폭(비트율)을 측정하고 측정된 화질과 대역폭(비트율)을 영상 부호화부로 전송하는 율-왜곡 측정부(400)로 구성된 것을 특징으로 하는 것이다. 또한, 상기 영상 복호화부(100)의 입력 정보인 압축스트림은 H.265/HEVC 압축 표준으로 부호화되는 재 부호화 방법을 예을 들어 설명하도록 할 것이다. 아래 표 1은 H.264/AVC 압축 표준과 H.265/HEVC의 부호화 도구를 비교한 것이다.
[표 1]
Figure pat00001
참고로 상기 H.264/AVC 압축 표준과 H.265/HEVC 압축 표준은 공히 ISO MPEG와 ITU-T VCEG 두 기관의 협업으로 만들어진 압축 표준으로 영상 기반 제품 및 서비스 시장에서 널리 사용되고 있는 표준이다. 상기 표 1을 참조하면 H.264/AVC 압축 표준에 비해 H.265/HEVC 압축 표준이 더욱 다양한 부호화 도구를 제공하고 있음을 확인할 수 있으며 이러한 다양한 도구들에 의하여 H.265/HEVC 압축 표준은 H.264/AVC 압축 표준에 비하여 약 30% ~ 50% 정도의 좋은 압축율을 제공할 수 있는 것이다.
도 4는 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법의 제어 흐름도이다. 상기도 4에서 본 발명 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법은 영상 복호화부가 입력된 압축스트림에 대하여 전제 프레임을 복호화하는 단계(S11)와, 영상 복호화부가 출력한 복호화 정보를 재 부호화 결정부로 전송하여 재 부호화 방법을 결정하도록 하는 단계(S12)와, 결정된 재 부호화 방법을 영상 부호화부로 전송하는 단계(S13)와, 영상 부호화부가 영상 복호화부로부터 복원 영상을 전달받고 수신한 재 부호화 방법과 율-왜곡 측정부로부터 수신한 재 부호화와 영상의 화질과 압축스트림의 대역폭(비트율)을 기초로 율-왜곡 최적화 기술에 기반하여 전체 프레임의 64x64 부호화 단위의 예측단위와 변환 단위 부호화 방법을 결정하여 부호화하여 출력하는 단계(S14)와, 영상 재 부호화 후 해당 프레임 부호화에 소요되는 실제 비트율과 목표 비트율일 비교하여 실제 비트율이 목표 비트율보다 작은 경우에 해당하는 프레임의 64x64 블록별 화질을 측정한 후 저화질영역의 영상 재 부호화를 반복적으로 실시하는 단계(S15)와, 해당 프레임의 실제 비트율이 목표 비트율에 도달한 경우 영상 재 부호화를 종료하는 단계(S16)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기에서 S11 단계에서 입력된 압축스트림은 H.264/AVC 압축 표준으로 부호화되고, S14 단계에서 영상 부호화부의 출력은 H.265/HEVC 압축 표준으로 부호화된 것을 특징으로 하는 것이다. 또한, 상기 S12 단계에서 H.264/AVC 압축 표준은 부호화 단위가 16x16으로 고정된 반면에 H.265/HEVC 압축 표준은 최대 64x64 크기의 부호화 단위를 가질 수 있는 것이고, 부호화 단위가 클수록 부호화 단위 정보표시에 소요되는 비트량이 적으므로 64x64 크기의 부호화 단위를 초기 부호화 정보로 결정하도록 할 수 있는 것이다. 따라서 재 부호화 결정부는 영상 복호화부(100)로부터 전달받은 복호화 정보가 16x16 크기인데 반해 초기 부호화 정보가 64x64 크기로 결정되므로 부호화 정보를 통합 결정해 주어야 하는 것이다. 또한, 상기와 같은 통합 결정은 움직임 추정을 위한 움직임벡터와 잔차 신호(residual signal)를 양자화하기 위한 양자화 계수 정보를 통합 결정할 수 있는 것이다. 상기와 같은 움직임 벡터와 양자와 계수의 통합 결정방법은
(1). 64x64 부호화 단위의 초기 움직임 벡터를 아래 식(1)과 같이 계산하는 것이다.
Figure pat00002
……(식 1)
상기 식(1)에서 MVCTU는 64x64 블록의 초기 움직임 벡터를 의미하고, MVPixe(y,x)는 64x64 블록 내부의 수직으로 y 번째, 수평으로 x 번째 위치에 해당하는 화소의 움직임 벡터를 의미하는 것이다. 초기 움직임 벡터 MVCTU의 수직 요소, 수평 요소는 각기 독립적으로 MVPixe(y,x)의 수직 요소, 수평 요소의 평균값에 의해 결정되는 것이고, MVPixe(y,x)는 해당 화소를 포함하는 블록의 움직임 벡터를 의미하는 것이다.
(2). 양자화 계수 값이 클수록 잔차 신호(residual signal) 부호화 시 소요되는 비트량이 적어지므로 초기 양자화 계수 정보는 64x64 블록에 포함되는 16개의 16x16 블록의 양자화 값 중 최대값으로 양자화 계수 값을 결정하는 것이다.
(2). 초기 부호화 단위를 64x64로 하고, 초기 움직임 벡터를 MVCTU로 하며, 결정된 초기 양자화 계수 값에 의한 재 부호화 방법을 영상 부호화부로 전달하는 것이다.
또한, 상기 S14 단계에서 율-왜곡 최적화 기술은 사용하는 비트량 대비 최적의 화질로 부호화하는 방법을 찾기 위한 탐색 과정으로 아래 식(2)에 의해 계산되는 율-왜곡 비용이 최소가 되는 방법을 부호화 방법으로 결정하는 것이다.
Figure pat00003
……(식 2)
상기 식(2)에서 Distortion은 부호화부에 입력되는 원 영상의 화소 값과(본 발명에서는 영상 복호화부의 출력인 복원 영상) 부호화 방법으로 압축되는 화소 값 사이의 왜곡 값을 의미하고 식(3)과 같이 계산되는 것이다.
Figure pat00004
……(식 3)
상기 식(3)에서 orgImg(y,x)와 recImg(y,x)는 각각 원영상과 부호화 방법으로 압축되는 영상의 화소 값을 의미하는 것이다. 또한, Rates는 해당 방법으로 부호화할 때 필요한 비트량을 의미하며, λ는 Lagrangian 파라미터이다. 영상부호화 시 영상 신호의 시간적 중복 성분을 제거하기 위한 움직임 추정 과정은 매우 많은 영상 연산량을 요구하며 부호화기의 복잡도를 심화시키게 되는 것이다. 본 발명에서는 초기 움직임 벡터를 기존 복호화 정보를 사용하여 선택하는 방법으로 별도의 움직임 추정 과정을 거치지 않이하므로 영상 재 부호화에 소요되는 시간을 줄여 고속으로 부호화를 수행할 수 있는 것이다.
또한, 상기 S15 단계에서 저화질 영역을 결정하기 위한 화질 측정은 상기 식(3)에 의해 계산되는 64x64블록의 Distortion 값을 참조하는 것이다. 즉 Distortion 값이 클수록 저화질임을 의미하고 반대로 Distortion 값이 작을수록 고화질임을 의미하는 것이다.
도 5는 본 발명에 적용되는 저화질 영역의 재 부호화 방법에 대한 제어 흐름도 이다. 상기도 5에서 저화질 영역의 재 부호화 방법은 상기 S15 단계에서 저화질 영역 결정 후 해당 영역의 화질을 높이기 위한 것으로 움직임 벡터의 개선을 수행하여 재 부호화하는 단계(S31)와, 해당 영역이 저화질 영역인지 여부를 판단하는 단계(S32)와, 해당 영역이 저화질 영역인 경우 다음으로 양자화 계수 값을 개선하여 재부호화 하는 단계(S33)와, 해당 영역이 저화질 영역인지 여부를 판단하는 단계(S34)와, 해당 영역이 저화질 영역인 경우, 다음으로 해당 영역의 부호화 단위를 작게하여 재부호화 하는 단계(S35)를 포함하여 이루어지는 것이다. 또한, 상기 S31 단계에서 움직임 벡터의 개선은 초기 움직임 벡터 MVCTU를 중심으로 주변 ±4 화소 범위를 검색 영역으로 설정하여 움직임 영역을 다시 수행하는 것으로 이를 통해 초기 움직임 벡터 MVCTU에 비해 보다 정확한 움직임 벡터를 찾음으로써 화질을 개선하는 것이다. 또한, 상기 S33 단계에서 양자화 계수 값을 개선하는 것은 초기 양자화 계수 값에서 -1 씩 3회 감소시키면서 율-왜곡 최적화를 수행하여 최적 양자화 계수 값을 결정하는 것이다. 또한, 상기 S35 단계에서 해당 영역의 부호화 단위를 작게하는 것은 초기 부호화 시 64x64 부호화 단위가 수행되었으므로 재 부호화 시 부호화 단위는 32x32, 16x16 순서로 수행되는 것으로 부호화 단위를 작게 하면서 64x64 불록 내 각 부호화 단위 영역을 각각 해당 영역에 제일 적합한 부호화 방법으로 재 부호화 함으로써 화질을 개선할 수 있는 것이다. 또한. 상기 S31 또는 S33에서 해당 영역이 저화질 영역이 아닌 것으로 판단되면 재 부호화를 종료하는 것이다.
100 : 영상 복호화부, 200 : 재 부호화 결정부,
300 : 영상 부호화부, 400 : 율-왜곡 측정부

Claims (14)

  1. 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템에 있어서,
    상기 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템은,
    카메라에서 전송되는 압축스트림을 입력받아 복원 영상을 출력하여 영상 부호화부로 전송하며 복호화 정보를 출력하여 재 부호화 결정부로 전송하는 영상 복호화부(100)와;
    영상 복호화부에서 전송된 복호화 정보를 수신하고 상기 복호화 정보를 참조하여 재 부호화 방법를 결정하고 결정된 재 부호화 방법을 영상 부호화부로 전송하는 재 부호화 결정부(200)와;
    영상 복호화부로부터 복원 영상을 수신하고 재 부호화 결정부로부터 전달받은 재 부호화 방법을 참조하여 복원 영상을 재 부호화하는 것으로 율-왜곡 측정부로부터 수신된 대역폭 화질 정보를 참조하여 영상을 재 부호화하고 재 부호화 영상과 압축스트림을 율-왜곡 측정부로 전송하는 영상 부호화부(300);
    및 영상 부호화부로터 수신한 재 부호화 영상의 화질과 압축스트림의 대역폭 측정하고 측정된 화질과 대역폭을 영상 부호화부로 전송하는 율-왜곡 측정부(400)로 구성된 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템.
  2. 제1항에 있어서,
    상기 영상 복호화부의 입력 압축스트림은
    H.264/AVC 압축 표준으로 부호화된 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템.
  3. 제1항에 있어서,
    상기 영상 부호화부의 출력은
    H.265/HEVC 압축 표준으로 부호화되는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 시스템.
  4. 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법에 있어서,
    상기 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법은,
    영상 복호화부가 입력된 압축스트림에 대하여 전제 프레임을 복호화하는 단계(S11)와;
    영상 복호화부가 출력한 복호화 정보를 재 부호화 결정부로 전송하여 재 부호화 방법을 결정하도록 하는 단계(S12)와;
    결정된 재 부호화 방법을 영상 부호화부로 전송하는 단계(S13)와;
    영상 부호화부가 영상 복호화부로부터 복원 영상을 전달받고 수신한 재 부호화 방법과 율-왜곡 측정부로부터 수신한 재 부호화 영상의 화질과 압축스트림의 대역폭을 기초로 율-왜곡 최적화 기술에 기반하여 전체 프레임의 64x64 부호화 단위의 예측단위와 변환 단위 부호화 방법을 결정하여 부호화하여 출력하는 단계(S14)와;
    영상 재 부호화 후 해당 프레임 부호화에 소요되는 실제 비트율과 목표 비트율일 비교하여 실제 비트율이 목표 비트율보다 작은 경우에 해당하는 프레임의 64x64 블록별 화질을 측정한 후 저화질영역의 영상 재 부호화를 반복적으로 실시하는 단계(S15);
    및 해당 프레임의 실제 비트율이 목표 비트율에 도달한 경우 영상 재 부호화를 종료하는 단계(S16)를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
  5. 제4항에 있어서,
    상기 영상 복호화부의 입력 압축스트림은,
    H.264/AVC 압축 표준으로 부호화되고,
    상기 영상 부호화부의 출력은,
    H.265/HEVC 압축 표준으로 부호화된 것으로 H.264/AVC 압축 표준은 부호화 단위가 16x16으로 고정되고, H.265/HEVC 압축 표준은 최대 64x64 크기의 부호화 단위를 가질 수 있는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
  6. 제4항 또는 제5항에 있어서,
    부호화 정보의 통합 결정은,
    움직임 추정을 위한 움직임 벡터와 잔차 신호를 양자화하기 위한 양자화 계수 정보를 통합 결정하는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
  7. 제4항 또는 제5항에 있어서,
    상기 S14 단계의 최적화 기술은,
    Figure pat00005
    에 의해 계산되는 율-왜곡 비용이 최소가 되는 것을 부호화 방법으로 결정하는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
    여기서 Distortion은 부호화부에 입력되는 원 영상의 화소 값과(본 발명에서는 영상 복호화부의 출력인 복원 영상) 부호화 방법으로 압축되는 화소 값 사이의 왜곡 값이고, Rates는 해당 방법으로 부호화할 때 필요한 비트량을 의미하며, λ는 Lagrangian 파라미터임.
  8. 제4항 또는 제5항에 있어서,
    상기 S15 단계에서 저화질 영역을 결정하기 위한 화질 측정은,
    Figure pat00006
    에 의해 계산되는 64x64 블록의 Distortion값을 참조하는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
    여기서 orgImg(y,x)와 recImg(y,x)는 각각 원영상과 부호화 방법으로 압축되는 영상의 화소 값임.
  9. 제4항 또는 제5항에 있어서,
    상기 저화질 영역의 영상 재 부호화 방법은,
    움직임 벡터의 개선을 수행하여 재 부호화하는 단계(S31)와;
    해당 영역이 저화질 영역인지 여부를 판단하는 단계(S32)와;
    해당 영역이 저화질 영역인 경우 다음으로 양자화 계수 값을 개선하여 재 부호화하는 단계(S33)와;
    해당 영역이 저화질 영역인지 여부를 판단하는 단계(S34);
    및 해당 영역이 저화질 영역인 경우, 다음으로 해당 영역의 부호화 단위를 작게하여 재부호화 하는 단계(S35)를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
  10. 제6항에 있어서,
    64x64 부호화 단위의 초기 움직임 벡터는,
    Figure pat00007
    에 의하여 계산되는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
    MVCTU는 64x64 블록의 초기 움직임 벡터, MVPixe(y,x)는 64x64 블록 내부의 수직으로 y 번째, 수평으로 x 번째 위치에 해당하는 화소의 움직임 벡터임.
  11. 제6항에 있어서,
    초기 양자화 계수 정보는,
    64x64 블록에 포함되는 16개의 16x16블록의 양자화 값 중 최대값으로 양자화 계수 값을 결정하는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
  12. 제9항에 있어서,
    상기 S31 단계에서 움직임 벡터의 개선은,
    초기 움직임 벡터 MVCTU를 중심으로 주변 ±4 화소 범위를 검색 영역으로 설정하여 움직임 영역을 다시 수행하는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
  13. 제9항에 있어서,
    상기 S33 단계에서 양자화 계수 값을 개선하는 것은,
    초기 양자화 계수 값에서 -1씩 3회 감소시키면서 율-왜곡 최적화를 수행하여 최적 양자화 계수 값을 결정하는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.
  14. 제9항에 있어서,
    상기 S35 단계에서 해당 영역의 부호화 단위를 작게 하는 것은,
    초기 부호화 시 64x64 부호화 단위가 수행되었으므로 재 부호화 시 부호화 단위는 32x32, 16x16 순서로 수행되는 것으로 부호화 단위를 작게 하면서 64x64 불록 내 각 부호화 단위 영역을 각각 해당 영역에 제일 적합한 부호화 방법으로 재 부호화 하는 것을 특징으로 하는 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법.










KR1020170045531A 2017-04-07 2017-04-07 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템 KR102020953B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170045531A KR102020953B1 (ko) 2017-04-07 2017-04-07 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170045531A KR102020953B1 (ko) 2017-04-07 2017-04-07 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템

Publications (2)

Publication Number Publication Date
KR20180113868A true KR20180113868A (ko) 2018-10-17
KR102020953B1 KR102020953B1 (ko) 2019-09-11

Family

ID=64099254

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170045531A KR102020953B1 (ko) 2017-04-07 2017-04-07 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템

Country Status (1)

Country Link
KR (1) KR102020953B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761023A (zh) * 2023-07-04 2023-09-15 唯科终端技术(东莞)有限公司 不同设备之间的视频传输方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100259561B1 (ko) * 1994-10-31 2000-06-15 다니구찌 이찌로오, 기타오카 다카시 화상 부호화 데이타 재부호화 장치
KR20040097028A (ko) * 2004-10-18 2004-11-17 한국정보통신대학교 산학협력단 다차원 비트율 조절에 따른 비디오 트랜스코딩 방법 및 그장치
KR20060109787A (ko) * 2005-04-18 2006-10-23 엘지전자 주식회사 트랜스코더의 양자화 계수 조정용 ｑ/ｄ 모델 설계 방법 및멀티미디어 컨텐츠 인코딩 장치
JP2013507083A (ja) * 2009-10-05 2013-02-28 アイ．シー．ヴイ．ティー リミテッド デジタル画像を再圧縮するための装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100259561B1 (ko) * 1994-10-31 2000-06-15 다니구찌 이찌로오, 기타오카 다카시 화상 부호화 데이타 재부호화 장치
KR20040097028A (ko) * 2004-10-18 2004-11-17 한국정보통신대학교 산학협력단 다차원 비트율 조절에 따른 비디오 트랜스코딩 방법 및 그장치
KR20060109787A (ko) * 2005-04-18 2006-10-23 엘지전자 주식회사 트랜스코더의 양자화 계수 조정용 ｑ/ｄ 모델 설계 방법 및멀티미디어 컨텐츠 인코딩 장치
JP2013507083A (ja) * 2009-10-05 2013-02-28 アイ．シー．ヴイ．ティー リミテッド デジタル画像を再圧縮するための装置および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761023A (zh) * 2023-07-04 2023-09-15 唯科终端技术(东莞)有限公司 不同设备之间的视频传输方法

Also Published As

Publication number Publication date
KR102020953B1 (ko) 2019-09-11

Similar Documents

Publication Publication Date Title
KR102426721B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
KR102319987B1 (ko) 비디오 코딩/디코딩 시스템들을 위한 다차원 양자화 기법들
KR20210125451A (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US8897360B2 (en) Method and apparatus for encoding and decoding images by adaptively using an interpolation filter
KR102435739B1 (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
US20150312575A1 (en) Advanced video coding method, system, apparatus, and storage medium
EP2705667A1 (en) Lossless coding and associated signaling methods for compound video
EP2727356A2 (en) Fast encoding method for lossless coding
WO2015175549A1 (en) Techniques for hdr/wcr video coding
KR20090058955A (ko) 가변 컬러 포맷 기반 동영상 부호화 방법 및 장치, 그복호화 방법 및 장치
CN113508592A (zh) 编码器、解码器及相应的帧间预测方法
CN113785573A (zh) 编码器、解码器和使用自适应环路滤波器的对应方法
KR101646072B1 (ko) 동영상 데이터 암호화 장치 및 방법
KR20150034699A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR102110229B1 (ko) 비디오 인코딩 및 디코딩 방법과 이를 이용한 장치
WO2013106482A1 (en) Quantization matrix (qm) coding based on weighted prediction
US10742979B2 (en) Nonlinear local activity for adaptive quantization
KR20160125704A (ko) 하이브리드 동영상 처리 장치 및 방법
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
US20130195180A1 (en) Encoding an image using embedded zero block coding along with a discrete cosine transformation
WO2016193949A1 (en) Advanced video coding method, system, apparatus and storage medium
KR101700411B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20170012524A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant