KR102331043B1 - 인코딩 시스템 및 이의 동작 방법 - Google Patents

인코딩 시스템 및 이의 동작 방법 Download PDF

Info

Publication number
KR102331043B1
KR102331043B1 KR1020170034779A KR20170034779A KR102331043B1 KR 102331043 B1 KR102331043 B1 KR 102331043B1 KR 1020170034779 A KR1020170034779 A KR 1020170034779A KR 20170034779 A KR20170034779 A KR 20170034779A KR 102331043 B1 KR102331043 B1 KR 102331043B1
Authority
KR
South Korea
Prior art keywords
target image
mode
ssim
mse
modes
Prior art date
Application number
KR1020170034779A
Other languages
English (en)
Other versions
KR20180106443A (ko
Inventor
정요원
양정엽
정영범
전병우
차승현
강성진
꿕칸 딩
O칸 딩
Original Assignee
삼성전자주식회사
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 성균관대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020170034779A priority Critical patent/KR102331043B1/ko
Priority to US15/855,922 priority patent/US10742995B2/en
Publication of KR20180106443A publication Critical patent/KR20180106443A/ko
Application granted granted Critical
Publication of KR102331043B1 publication Critical patent/KR102331043B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

인코딩 시스템 및 이의 동작 방법이 제공된다. 인코딩 시스템은, 대상 영상을 제공받고, 상기 대상 영상의 n(n은 자연수) 개의 모드에 대하여 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 적용하여 최적 모드를 결정하는 예측 모드 결정부, 및 상기 결정된 모드에 따라 상기 대상 영상을 부호화하는 부호화부를 포함하되, 상기 예측 모드 결정부는, 상기 대상 영상과 상기 n개의 모드 사이의 MSE(Mean Squared Error) 연산에 의한 왜곡치를 계산하는 왜곡치 연산부, MS-SSIM(Multi-scale Structural Similarity) 연산에 기초하여 라그랑지안 승수(Lagrangian multiplier)를 산출하는 라그랑지안 승수 연산부, 및 상기 n개의 모드의 비트레이트를 계산하는 비트레이트 연산부를 포함한다.

Description

인코딩 시스템 및 이의 동작 방법{THE ENCODING SYSTEM AND OPERATING METHOD FOR THE SAME}
본 발명은 인코딩 시스템 및 이의 동작 방법에 관한 것이며, 더욱 구체적으로는 율-왜곡 최적화(Rate distortion optimization; RDO)를 수행하여 최적 모드를 결정하는 인코딩 시스템 및 이의 동작 방법에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4, H.264/MPEG-4 AVC(Advanced Video Coding), HEVC(High-Efficiency Video Coding) 등과 같은 영상 압축 방식에서는 영상을 압축하고 부호화하기 위해서 하나의 픽처를 단위 블록으로 나눈다. 이용 가능한 모든 예측 모드 각각에서 단위 블록을 부호화한 다음, 단위 블록의 부호화에 소요되는 비트레이트와 원 단위 블록과 부호화된 단위 블록과의 왜곡 정도에 따라서 예측 모드를 선택하여 단위 블록을 부호화한다.
왜곡 정도에 따라 예측 모드를 선택하는 방식으로, 원 단위 블록과 부호화된 단위 블록과의 왜곡 정도를 나타내는 방식으로, 왜곡치와 부호화된 단위 블록의 비트레이트를 이용한 비용 함수로 나타내는 율-왜곡 최적화(RDO)에 의한 평가가 흔히 사용된다.
왜곡치는 원 단위 블록과 부호화된 단위 블록 사이의 왜곡 정도를 나타내는 값으로, 이를 구하는 것은 평균 제곱근 편차(Mean Squared Error; MSE)를 이용한 최대 신호 대 잡음비(Peak Signal-to-noise ratio; PSNR)를 계산하는 것이 사용될 수 있다. 그러나, PSNR은 인간의 인지 특성을 정확히 반영하지 못해 주관적인 화질 척도와는 거리가 먼 문제가 있어, 구조적 유사성(Structural Similarity; SSIM), 또는 대상 영상 및 부호화된 영상을 수 차례 다운 사이징을 수행하여 상기 SSIM을 적용하는 멀티 스케일 구조적 유사성(Muti-Scale Structural Similarity; MS-SSIM) 방식이 제안되었다.
그런데, 이 중 MS-SSIM은 상술한 것과 같이 대상 영상과 부호화된 영상에 대해 다운샘플링 및 로우-패스 필터(Low Pass Filter; LPF)를 적용하므로, 연산의 부하 정도가 심한 문제가 있어 대상 영상의 실시간 인코딩에 적용하기에는 비효율적인 문제가 존재한다.
본 발명이 해결하고자 하는 기술적 과제는 MS-SSIM 연산에 기초하여 산출된 라그랑주 승수(Lagrangian Multiplier)를 이용하여, MS-SSIM에 의한 효율적인 율-왜곡 최적화를 수행할 수 있는 인코딩 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, MS-SSIM 연산에 기초하여 산출된 라그랑주 승수를 이용하여, MS-SSIM에 의한 효율적인 율-왜곡 최적화를 수행할 수 있는 인코딩 시스템의 동작 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 인코딩 시스템은, 대상 영상을 제공받고, 상기 대상 영상의 n(n은 자연수) 개의 모드에 대하여 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 적용하여 최적 모드를 결정하는 예측 모드 결정부, 및 상기 결정된 모드에 따라 상기 대상 영상을 부호화하는 부호화부를 포함하되, 상기 예측 모드 결정부는, 상기 대상 영상과 상기 n개의 모드 사이의 MSE(Mean Squared Error) 연산에 의한 왜곡치를 계산하는 왜곡치 연산부, MS-SSIM(Multi-scale Structural Similarity) 연산에 기초하여 라그랑지안 승수(Lagrangian multiplier)를 산출하는 라그랑지안 승수 연산부, 및 상기 n개의 모드의 비트레이트를 계산하는 비트레이트 연산부를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 인코딩 시스템의 동작 방법은, 대상 영상과, 상기 대상 영상에 대한 n(n은 자연수) 개의 모드를 제공하고, 상기 n개의 모드에 대하여 율-왜곡 최적화에 따른 비용 함수를 연산하고, 상기 n개의 모드 중 최적의 비용 함수를 갖는 모드를 선택하여 상기 대상 영상을 부호화하는 것을 포함하되, 상기 n개의 모드에 대한 비용 함수를 연산하는 것은, 상기 대상 영상과 상기 n개의 모드 사이의 MSE 연산에 의한 왜곡치(distortion)와, MS-SSIM 연산에 기초하여 산출된 라그랑주 승수에 기초하여 결정하는 것을 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 몇몇 실시예에 따른 인코딩 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 몇몇 실시예에 따른 인코딩 시스템에 포함된 모드 예측부를 설명하기 위한 블록도이다.
도 3은 본 발명의 몇몇 실시예에 따른 인코딩 시스템에 포함된 모드 결정부를 설명하기 위한 블록도이다.
도 4는 본 발명의 몇몇 실시예에 따른 인코딩 시스템에 포함된 라그랑주 승수 연산부를 설명하기 위한 블록도이다.
도 5는 본 발명의 몇몇 실시예에 따른 인코딩 시스템에 포함된 다운 사이징(downsizing)부의 동작을 설명하기 위한 블록도이다.
도 6은 본 발명의 몇몇 실시예에 따른 인코딩 시스템의 동작 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 몇몇 실시예에 따른 인코딩 시스템의 동작 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 몇몇 실시예에 따른 인코딩 시스템을 적용할 수 있는 컴퓨터 시스템을 설명하기 위한 블록도이다.
이하에서, 도 1 내지 도 8을 참조하여, 본 발명의 실시예에 따른 인코딩 시스템 및 인코딩 시스템의 동작 방법에 대하여 설명하도록 한다.
본 실시예에서 사용되는 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.
도 1은 본 발명의 일 실시예에 따른 인코딩 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인코딩 시스템(100)은 부호화부(110) 및 모드 예측부(120)를 포함한다.
부호화부(110)는 감산기(111), 변환부(112), 양자화부(113), 엔트로피 부호화부(114), 역양자화부(115), 역변환부(116), 가산기(117), 필터부(118) 및 저장부(119)를 포함할 수 있다. 부호화부(110)는 입력 영상을 단위 블록들로 분할하고, 각 블록들에 대해서 예를 들어 인트라 예측 또는 인터 예측 등을 수행하여 예측 영상을 생성하며, 예측 영상과 입력 영상의 차이를 변환, 양자화 및 엔트로피 부호화함으로써 비트스트림을 생성할 수 있다.
또한, 부호화부(110)는 모드 예측부(120)가 율-왜곡 최적화(RDO)를 통한 예측 모드 결정에 필요한 예측 영상을 모드 예측부(120)에 제공할 수 있다. 이후 모드 예측부(120)가 율-왜곡 최적화(RDO)를 수행하여 최적의 모드를 결정하면, 부호화부(110)는 최적 모드에 기초하여 대상 영상을 인코딩할 수 있다.
구체적으로, 감산기(111)는 모드 예측부(120)에 의해 제공된 현재 블록의 예측 블록과 대상 영상 블록 사이의 차이값인 레지듀얼(residual)을 생성한다. 즉, 비디오의 화소 영역에서 화면 내 또는 화면 간 중복성을 제거한다.
변환부(112)와 양자화부(113)는 레지듀얼을 주파수 영역으로 변환하고, 변환된 레지듀얼을 양자화한다. 엔트로피 부호화부(114)는 양자화된 영상 데이터에 대하여 가변 길이 부호화를 수행하여 비트스트림을 생성한다. 변환부(112)는, 예를 들어 DCT(Discrete Cosine Transform) 변환을 수행할 수 있으나, 이에 제한되는 것은 아니다.
역양자화부(115) 및 역변환부(116)는 변환 및 양자화된 레지듀얼 데이터에 대한 역양자화 및 역변환을 수행하여 레지듀얼 데이터를 복원한다. 가산기(117)는 복원된 레지듀얼 데이터와 예측 데이터, 즉 예측 블록을 가산한다.
필터부(118)는 가산기(117)를 통해 출력된 블록을 필터링하여 현재 블록을 복원한다. 필터부(118)에 의해 복원된 현재 블록은 저장부(119)에 저장되어 다음 블록의 참조 데이터로 이용된다.
모드 예측부(120)는, 대상 영상과 n개(n은 자연수)의 모드를 이용하여 율-왜곡 최적화를 수행하고, 최적 모드를 결정하여 부호화부(110)에 제공할 수 있다. 모드 예측부(120)가 수행하는 율-왜곡 최적화와 관련하여 더욱 자세한 설명은 후술한다.
본 발명의 일 실시예에 따른 인코딩 시스템(100)은 SOC(System On a Chip)에 포함되어 동작할 수 있다. 다시 말해서, 인코딩 시스템(100)은 SOC를 구성하는 장치의 하나로써 동작할 수 있다.
도 2는 본 발명의 몇몇 실시예에 따른 인코딩 시스템(100)에 포함된 모드 예측부(120)를 설명하기 위한 블록도이다.
본 발명의 실시예에 따른 인코딩 시스템(100)에 포함된 모드 예측부(120)는, 모드 제공 유닛(130)과 모드 결정 유닛(140)을 포함할 수 있다.
모드 제공 유닛(130)은 대상 영상에 대하여 생성된 n개의 모드를 모드 결정 유닛(140)에 제공할 수 있다. 모드 제공 유닛(130)이 제공하는 n개의 모드는 예를 들어, 인트라 예측, 인터 예측 모드, 필터 모드(filtered mode) 또는 모션 벡터(motion vector) 모드를 포함할 수 있다.
모드 제공 유닛(130)이 제공하는 n개의 모드는, 부호화부(110)로부터 제공받거나, 모드 제공 유닛(130)이 생성한 것일 수 있다. 예를 들어, 모드 제공 유닛(130)은 부호화부(110)로부터 인트라 예측 또는 인터 예측 모드를 제공받을 수 있으며, 상기 필터 모드를 필터부(118)로부터 제공받을 수도 있다.
본 명세서에서 '모드'는 대상 영상에 대하여, 해당하는 방법을 적용하여 대상 영상을 부호화한 영상 데이터일 수 있다. 예를 들어, n개의 모드는 대상 영상에 대하여 4 × 4 또는 16 × 16 픽셀의 블록 사이즈로 인트라 예측을 적용하여 대상 영상을 부호화한 영상 데이터를 포함할 수 있으나 본 발명이 이에 제한되는 것은 아니다.
모드 제공 유닛(130)은 예를 들어, 대상 영상을 소정의 크기를 갖는 k개의 블록으로 분할하고, k개의 블록 각각에 대한 n개의 모드를 모드 결정 유닛(140)에 제공할 수 있다.
모드 결정 유닛(140)은 모드 제공 유닛(130)으로부터 제공받은 k개의 블록 각각의 n개의 모드에 대하여 각각 율-왜곡 최적화에 따른 코스트 함수를 연산하고, 최적 모드를 결정할 수 있다. 본 발명의 일 실시예에 따른 인코딩 시스템(100)에서, 모드 결정 유닛(140)은, 멀티 스케일 구조적 유사성(MS-SSIM)에 기반한 율-왜곡 최적화를 수행할 수 있다. 이하에서 모드 결정 유닛(140)이 수행하는 MS-SSIM에 기반한 율-왜곡 최적화에 관하여 설명한다.
도 3은 본 발명의 몇몇 실시예에 따른 인코딩 시스템에 포함된 모드 결정부를 설명하기 위한 블록도이다.
도 3을 참조하면, 모드 결정 유닛(140)은 라그랑주 승수 연산부(150), 왜곡치 연산부(160), 비트레이트 연산부(170) 및 코스트 연산부(180)를 포함할 수 있다.
일반적으로 MS-SSIM은, 대상 영상과, 상기 대상 영상을 인코딩한 후 이를 다시 디코딩하여 생성한 대상 영상의 모드 영상(mode video)을 각각 복수 회 다운사이징하고, 다운사이징된 각각의 대상 영상과 모드 영상 사이의 밝기 유사성(luminance similarity), 컨트라스트 유사성(contrast similarity) 및 구조적 유사성(structural similarity)를 연산하는 과정을 거친다. 이는 다음의 [수학식 1]에 의하여 계산될 수 있다.
[수학식 1]
Figure 112017027452923-pat00001
여기서 x는 대상 영상이고, y는 대상 영상의 모드 영상이며, m은 다운 사이징의 인덱스, M은 그 인덱스의 최대값이며, lM(x, y)는 m=M 일 때의 x, y 간의 밝기 유사성, cm(x, y)는 m-1번 다운사이징된 대상 영상과 모드 영상 간의 컨트라스트 유사성, sm(x,y)는 m-1번 다운사이징된 대상 영상과 모드 영상 간의 구조적 유사성을 의미하며, αM, βm, γm는 각 유사성 값들 간의 곱셈연산에 대한 웨이팅(weighting) 상수이다.
한편, MS-SSIM에서는 대상 영상에 대하여 0회 내지 M-1회(M은 2 이상의 자연수) 다운사이징한 제0 내지 제M-1 다운사이징된 영상과, 대상 영상의 모드 영상을 동일한 횟수로 다운사이징한 다운사이징된 모드 영상 사이의 상기 파라미터를 연산하기 때문에, 연산의 부하가 크고, 실시간 인코딩을 필요로 하는 인코딩 시스템에는 적합하지 않을 수 있다.
본 발명의 몇몇 실시예에 따른 인코딩 시스템(100)에서, 모드 결정 유닛(140)은 MS-SSIM에 기초한 율-왜곡 최적화를 수행하되, 빠른 예측 모드 결정을 위해 변형된 MS-SSIM 연산을 수행할 수 있다.
구체적으로, 모드 결정 유닛(140)의 라그랑주 승수 연산부(150)는, MS-SSIM 연산에 기초하여 라그랑주 승수(Lagrangian Multiplier)를 계산하고, 왜곡치 연산부(160)는 MS-SSIM가 아닌 평균 제곱근 편차(MSE)에 의해 왜곡치(distortion)를 계산할 수 있다.
본 명세서에서, 모드 결정 유닛(140)이 MS-SSIM 연산에 기초한 라그랑주 승수를 계산하는 것은, MS-SSIM 연산식에 의하여 도출되는 왜곡치, 즉 상기 수학식 1을 변형한 형태의 라그랑주 승수를 계산하는 것을 의미할 수 있다. 이에 관한 자세한 설명은 후술한다.
비트레이트 연산부(170)는, n개의 모드 각각의 비트 레이트를 연산하고, 코스트 함수의 계산을 위해 코스트 연산부(180)에 n개 모드의 비트레이트를 제공할 수 있다.
코스트 연산부(180)는 n개의 모드 각각에 대하여, 라그랑주 승수 연산부(150)가 제공한 라그랑주 승수와, 왜곡치 연산부(160)가 제공한 왜곡치 및 비트레이트 연산부(170)가 제공한 비트레이트를 이용하여 코스트 함수를 생성한다. 또한, 코스트 연산부(180)는 생성된 코스트 함수 중 가장 낮은 값을 갖는 코스트 함수를 결정함으로써, 최적의 모드를 결정하고, 이를 부호화부(110)에 제공할 수 있다.
각각의 모드의 k번째 블록에 대하여 코스트 연산부(180)가 생성하는 코스트 함수 costk는 다음의 수학식 2와 같은 형태를 가질 수 있다.
[수학식 2]
Figure 112017027452923-pat00002
여기서 dk는 k번째 블록에 대하여 MSE로 연산된 왜곡치이고, λk는 k번째 블록에 대하여 MS-SSIM 연산에 기초하여 산출된 라그랑주 승수이며, rk는 k번째 블록의 비트레이트이다.
즉, 본 발명의 실시예에 따른 인코딩 시스템(100)에 포함된 모드 결정 유닛(140)은, MS-SSIM의 전체 연산 과정을 수행하지 않으며, MSE로 연산된 왜곡치와, MS-SSIM를 기초로 변형된 라그랑주 승수를 연산함으로써 MS-SSIM 연산에 필요한 부하를 감소시킬 수 있다.
한편, 도 3에 도시된 것과 같이, 라그랑주 승수 연산부(150)는 MS-SSIM 연산에 기초하여 라그랑주 승수를 산출하기 위하여, 대상 영상 만을 입력받고, 모드 영상은 입력받지 않을 수 있다. 반면에, 모드 영상의 비트레이트를 연산하는 비트레이트 연산부(170)는 모드 영상 만을 입력받고, 대상 영상과 모드 영상 사이의 차분을 이용하는 MSE로 왜곡치를 연산하는 왜곡치 연산부(160)는 대상 영상과 모드 영상을 모두 입력받을 수 있다.
도 4는 본 발명의 몇몇 실시예에 따른 인코딩 시스템(100)에 포함된 라그랑주 승수 연산부(150)를 설명하기 위한 블록도이다.
라그랑주 승수 연산부(150)는 다운사이징부(151), MSE 디바이더 연산기(152), 임시 QP 연산기(153) 및 람다 연산기(154)를 포함할 수 있다.
상술한 것과 같이, 라그랑주 승수 연산부(150)는 대상 영상만을 입력받아 MS-SSIM 연산에 기초한 라그랑주 승수를 산출한다. 즉, 라그랑주 승수 연산부(150)는 MS-SSIM의 연산 부하를 감소시키기 위하여 MS-SSIM에 기초하여 변형된 함수들을 대상 영상에 적용하여 코스트 함수에 사용될 라그랑주 승수를 연산할 수 있다. 본 발명의 몇몇 실시예에서, 상기 변형된 함수는, MSE 디바이더인 χ, 임시 QP(Quantization Parameter)를 포함할 수 있다.
다운사이징부(151)는, 대상 영상에 대하여 다운 사이징을 수행하고, 이들의 분산을 연산할 수 있다. 다운사이징부(151)의 구체적인 동작과 관련하여, 도 5를 이용하여 설명한다.
도 5는 본 발명의 몇몇 실시예에 따른 인코딩 시스템에 포함된 다운 사이징(downsizing)부의 동작을 설명하기 위한 블록도이다.
도 5를 참조하면, 다운사이징부(151)의 예시적인 동작이 도시된다. 먼저, 다운사이징부(151)는 대상 영상의 분산(Var0)을 연산한다. 본 발명의 몇몇 실시예에서, 다운사이징부(151)는 대상 영상 중 k번째 블록의 분산을 연산할 수 있다. 대상 영상의 k번째 블록의 분산은 이후 σ 2 x , k, 1 로 표현될 수 있다.
이후, 다운사이징부(151)는 대상 영상에 로우-패스 필터(LPF)를 적용하고, 상기 로우-패스 필터가 적용된 영상을 소정의 비율로 다운샘플링하고, 상기 소정의 비율로 다운샘플링된 영상의 분산(Var1)을 연산한다. 본 발명의 몇몇 실시예에서, 상기 소정의 비율은 1/2일 수 있다. 대상 영상의 k번째 블록에 대하여 상기 소정의 비율로 1번 다운사이징한 영상의 분산은 이후 σ 2 x , k, 2 로 표현될 수 있다.
이후, 상기 다운사이징된 영상에 다시 로우-패스 필터를 적용하고, 상기 소정의 비율로 다운샘플링한 영상의 분산을 구하는 과정을 반복한다. 대상 영상의 k번째 블록에 대하여 상기 소정의 비율로 m번 다운사이징한 영상의 분산은 이후 σ 2 x, k, m+1 로 표현될 수 있다.
상술한 MS-SSIM의 밝기 유사성, 컨트라스트 유사성 및 구조적 유사성을 연산하는 것은, 대상 영상의 분산 및 대상 영상과 모드 영상 사이의 공분산(covariance)의 연산을 필요로 한다. 그러나, 본 발명의 실시예에 따른 인코딩 시스템(100)은, 라그랑주 승수 연산부(150)는 대상 영상만을 입력받고, 다운사이징부(151)는 입력된 대상 영상 및 다운사이징된 영상의 분산을 연산함으로서, 대상 영상과 모드 영상 사이의 공분산을 연산하지 않을 수 있다. 이로 인해 코스트 함수 연산의 복잡성이 감소할 수 있다.
다운사이징부(151)는 대상 영상 및 다운사이징된 영상의 분산을 MSE 디바이더 연산기(152)에 제공할 수 있다.
MSE 디바이더 연산기(152)는 다운사이징부(151)로부터 제공받은 대상 영상 및 다운사이징된 영상의 분산을 이용하여 MSE 디바이더를 생성할 수 있다. MSE 디바이더는, MS-SSIM으로 연산된 왜곡치 dMSSSIM과, MSE 사이의 관계를 나타내는 비례식이다. 본 발명의 몇몇 실시예에서, MS-SSIM으로 연산된 왜곡치와, MSE 사이에 dMSSSIM = MSE / χ 의 관계가 성립하고, MSE 디바이더는 χ를 의미할 수 있다.
한편, 대상 영상과 모드 영상 사이의 왜곡치를 MSE 또는 PSNR로 산출하는 경우, 모드 영상의 화질 척도, 예를 들어 모드 영상과 대상 영상 사이의 상관도(correlation)가 증가할수록 왜곡치는 감소하는 형태를 가질 수 있다. 반면에, 대상 영상과 모드 영상 사이의 왜곡치를 MS-SSIM으로 산출하는 경우, 모드 영상과 대상 영상 사이의 상관도가 증가할수록 MS-SSIM 값이 증가하는 형태가 되므로, MS-SSIM으로 연산된 왜곡치 dMSSSIM은 대상 영상과 모드 영상 사이의 상관도가 증가할수록 감소하는 형태가 되도록 변환될 필요가 있다.
MSE 디바이더 χ는 MS-SSIM의 왜곡치 형태를 음의 로그 스케일(-log)로 변환한 형태의 왜곡치를 포함할 수 있다. 또한, MSE 디바이더 χ는 MS-SSIM으로 연산된 왜곡치를 테일러 급수 근사화(Taylor' series approximation)한 형태를 포함할 수 있다. 본 발명의 몇몇 실시예에서, 대상 영상의 k번째 블록에 대한 MSE 디바이더 χk는 다음의 수학식 3과 같이 계산될 수 있다.
[수학식 3]
Figure 112017027452923-pat00003
여기서 βm 및 c2는 MS-SSIM의 연산 과정에서 등장하는 상수이며, cw는 LPF 필터 탭(filter tap), 즉 LPF 필터의 제곱의 합일 수 있다.
상술한 것과 같이 MS-SSIM 연산은 컨트라스트 유사성 cm, 구조적 유사성 sm 사이의 중복순열(permutation) 연산을 요구한다. 본 발명의 몇몇 실시예에 따른 인코딩 시스템(100)은 MS-SSIM 연산을 기초로 라그랑주 승수를 계산하는데 있어, MS-SSIM의 로그 스케일로 변환한 형태의 MSE 디바이더 χ를 이용할 수 있다. 이를 통해 MS-SSIM의 중복순열 연산이 급수 형태로 변환되어, 연산의 복잡도가 크게 감소될 수 있다.
MSE 디바이더 연산기(152)는 상술한 과정에 의해 연산된 MSE 디바이더를 임시 QP 연산기(153)에 제공할 수 있다.
임시 QP 연산기(153)는 현재 블록의 양자화 계수(Quantization Parameter; QP)와, MSE 디바이더 연산기(152)가 제공한 MSE 디바이더 χ를 이용하여 임시 QP를 연산할 수 있다. 상기 임시 QP는 본 발명의 실시예에 따른 인코딩 시스템(100)에 의해 수행되는 율-왜곡 최적화를 위한 QP일 수 있다.
본 발명의 몇몇 실시예에서, 임시 QP 연산기(153)가 연산하는 k번째 블록의 임시 QP를 나타내는 tQPk는 예를 들어, 다음의 [수학식 4]와 같은 형태를 가질 수 있다.
[수학식 4]
Figure 112017027452923-pat00004
여기서 QPk는 현재 k번째 블록의 양자화 계수이다. 다만 본 발명이 위와 같은 형태의 임시 양자화 계수를 갖는 것에 제한되지 않는다. 즉, 임시 QP 연산기(153)가 연산하는 임시 QP는 MSE 디바이더 연산기(152)가 제공한 MSE 디바이더 χ를 이용하며 다른 형태를 가질 수도 있다.
본 발명의 몇몇 실시예에서, 임시 QP 연산기(153)는 로그 연산 및 상술한 임시 QP를 연산하는데 필요한 로그 연산 및 지수 함수 연산에 필요한 테이블을 저정하는 별도의 메모리를 포함할 수 있다. 즉, 임시 QP 연산기(153)는, 상술한 [수학식 4]의 형태를 갖는 임시 QP를 연산하기 위하여, 로그 연산 및 지수 함수 연산을 상기 별도의 메모리에 저장된 미리 정해진 테이블로부터 읽어 내는 연산으로 대체할 수 있다. 이를 통해 임시 QP 연산의 복잡도가 감소할 수 있다.
임시 QP 연산기(153)는 상술한 과정에 의해 연산한 임시 QP를 람다 연산기(154)에 제공할 수 있다.
람다 연산기(154)는 임시 QP 연산기(153)가 제공한 임시 QP를 이용하여, 모드 결정 유닛(140)이 수행하는 율-왜곡 최적화 연산의 코스트 함수에 이용되는 라그랑주 승수를 연산할 수 있다. 상술한 것과 같이, 임시 QP 및 임시 QP의 생성에 필요한 MSE 디바이더는 MS-SSIM 연산식에 기초하고 있기 때문에, 람다 연산기(154)가 생성하는 임시 QP 또한 MS-SSIM 연산식에 의존적일 수 있다.
본 발명의 몇몇 실시예에서, 람다 연산기(154)가 연산하는 라그랑주 승수는 다음의 [수학식 5]의 형태를 가질 수 있다.
[수학식 5]
Figure 112017027452923-pat00005
여기서 α는 상수이며, 0.5 내지 1 사이의 범위로 결정될 수 있다.
다만 본 발명이 위와 같은 형태의 라그랑주 승수를 갖는 것에 제한되지 않는다. 즉, 람다 연산기(154)가 연산하는 라그랑주 승수는 임시 QP 연산기(153)가 제공한 임시 양자화 계수 tQP를 이용하며 다른 형태를 가질 수도 있다.
상술한 과정에 의해, 라그랑주 승수 연산부(150)는 MS-SSIM 연산식에 기초한 라그랑주 승수 λk를 생성하고, 코스트 연산부(180)에 제공할 수 있다.
왜곡치 연산부(160)는 대상 영상과 모드 영상 사이의 왜곡치를 연산할 수 있다. 더욱 구체적으로, 왜곡치 연산부(160)는 MSE 연산에 의해 대상 영상과 모드 영상 사이의 왜곡치를 계산할 수 있다.
본 발명의 실시예에 따른 인코딩 시스템(100)에 포함된 모드 결정 유닛(140)은, 상술한 것과 같이 MS-SSIM 연산에 기초한 율-왜곡 최적화를 수행한다. 다만 MS-SSIM 연산에 요구되는 부하로 인하여, 코스트 함수의 모드 결정 유닛(140)은 MSE 연산을 이용하여 대상 영상 및 모드 영상의 차분의 연산을 수행함으로써 왜곡치를 연산한다. 또한, 모드 결정 유닛(140)은 MS-SSIM에 기초한 라그랑주 승수와 비트레이트 간의 연산을 수행한다.
따라서 왜곡치 연산부(160)는 상술한 MS-SSIM 연산식에 의한 왜곡치 연산을 수행하지 않고, MSE 연산을 이용하여 계산한다. 한편, 라그랑주 승수 연산부(150)는 상술한 것과 같이 [수학식 1]의 MS-SSIM에 의한 왜곡치 연산식을 변형하여 계산된 라그랑주 승수를 코스트 연산부(180)에 제공한다. 따라서 본 발명의 실시예에 따른 모드 결정 유닛(140)은 MS-SSIM에 의해 연산된 왜곡치를 이용한 율-왜곡 최적화보다 빠르게 율-왜곡 최적화를 수행할 수 있다.
본 발명의 몇몇 실시예에서, 모드 결정 유닛(140)에서 수행하는 연산 중 부동 소수점(floating point) 연산은 대상을 시프트 연산함으로써 정수(integer) 형태의 연산으로 변환할 수 있다.
이어서, 코스트 연산부(180)는 라그랑주 승수 연산부(150), 왜곡치 연산부(160) 및 비트레이트 연산부(170)가 제공한 각각의 계수를 이용하여, 상기 수학식 2의 연산을 수행한다. 또한, 코스트 연산부(180)는 n개의 모드 중 최적의 코스트를 갖는 모드를 선택하고, 이를 부호화부(110)에 제공할 수 있다. 본 발명의 몇몇 실시예에서, 코스트 연산부(180)는 n개의 모드 중 하나의 모드를 선택하여 부호화부(110)에 제공할 수 있으나 본 발명이 이에 제한되는 것은 아니다. 코스트 연산부(180)는 미리 정한 조건을 만족하는 n개의 모드 가운데 복수의 모드를 선택하여 부호화부(110)에 제공할 수 있다.
부호화부(110)는 코스트 연산부(180)로부터 결정된 n개의 모드 정보를 기초로 입력 영상을 부호화할 수 있다.
도 6은 본 발명의 몇몇 실시예에 따른 인코딩 시스템의 동작 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 본 발명의 몇몇 실시예에 다른 인코딩 시스템의 동작 방법은, 대상 영상 데이터에 대한 n개의 모드들을 생성하고(S100), 상기 n개의 모드에 대하여 율-왜곡 최적화를 수행하여 최적의 모드를 선택하고(S200), 상기 최적의 모드를 이용하여 상기 대상 영상에 대한 부호화를 수행한다(S300).
구체적으로, 본 발명의 일 실시예에 따른 인코딩 시스템(100)에서, 부호화부(110)가 대상 영상 데이터에 대한 n개의 모드들을 생성하여 모드 예측부(120)에 제공한다. 모드 예측부(120)는 제공받은 n개의 모드에 대하여 율-왜곡 최적화를 수행하여 최적 모드를 선택한다. 모드 예측부(120)가 수행하는 율-왜곡 최적화는 MS-SSIM 방식에 기초한 것일 수 있으며, 더욱 구체적으로 모드 예측부(120)는 MSE에 의해 연산된 대상 영상과 모드의 왜곡치와, MS-SSIM 연산에 기초한 라그랑주 승수 및 모드의 비트레이트를 이용하여 율-왜곡 최적화를 수행한다. 모드 예측부(120)는 상기 율-왜곡 최적화의 결과로 선택된 예측 모드를 부호화부(110)에 제공하고, 부호화부(110)는 결정된 예측 모드에 따라 대상 영상을 부호화한다.
도 7은 본 발명의 몇몇 실시예에 따른 인코딩 시스템의 동작 방법을 설명하기 위한 순서도이다.
도 7을 참조하면, 본 발명의 몇몇 실시예에 따른 인코딩 시스템(100)이 수행하는 MS-SSIM 방식에 기초한 율-왜곡 최적화의 과정이 도시된다.
더욱 구체적으로, 본 발명의 몇몇 실시예에 따른 인코딩 시스템(100)이 수행하는 MS-SSIM 방식에 기초한 율-왜곡 최적화는, 대상 영상의 다운사이징된 이미지들을 생성하고(S201), 로우-패스 필터의 필터 탭의 합, 즉 로우-패스 필터의 제곱의 합을 연산하고(S202), 상기 다운사이징된 이미지들의 분산 및 로우-패스 필터의 필터 탭의 합을 이용하여 MSE 디바이더를 연산하고(S210), 상기 연산된 MSE 디바이더를 이용하여 임시 QP를 연산하고(S220), 상기 연산된 임시 QP를 이용하여 라그랑주 승수를 연산하고(S232), 이와 함께 모드의 비트레이트 및 대상 영상과 모드 사이의 왜곡치를 MSE를 이용하여 연산하고(S231, S233), 모드들의 코스트를 연산하고(S240), 연산된 코스트들 중 가장 작은 코스트를 갖는 최적의 모드를 선택하는 것(S250)을 포함한다.
도 8은 본 발명의 몇몇 실시예에 따른 인코딩 시스템을 적용할 수 있는 컴퓨터 시스템을 설명하기 위한 블록도이다.
도 8을 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치(1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 촬영 장치(900)를 포함할 수 있다. 한편, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 프로세서(1010)는 비디오 코덱(1011)을 포함할 수 있다. 비디오 코텍(1011)은 도 1 내지 7을 참조하여 설명한 인코딩 장치를 포함할 수 있다. 또한 비디오 코텍(1011)은 상기 데이터 인코딩 장치에 의해 인코딩된 압축 데이터를 복호화하기 위한 데이터 디코딩 장치를 더 포함할 수 있다. 본 발명의 몇몇 실시예에서, 데이터 인코딩 장치와 데이터 디코딩 장치는 하나로 통합되어 구현될 수 있다.
본 발명의 몇몇 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030), 촬영 장치(900) 및 입출력 장치(1040)와 통신을 수행할 수 있다.
본 발명의 몇몇 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(1020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다.
저장 장치(1030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다.
파워 서플라이(1050)는 컴퓨팅 시스템(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.
촬영 장치(900)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 촬영 장치(900)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
컴퓨팅 시스템(1000)은 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 컴퓨팅 시스템(1000)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs등과 같은 패키지들을 이용하여 실장될 수 있다.
한편, 컴퓨팅 시스템(1000)은 본 발명의 몇몇 실시예에 따른 데이터 인코딩 방법 수행하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 스마트폰 등을 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 인코딩 시스템 110: 부호화부
120: 예측 모드 결정부 130: 모드 제공 유닛
140: 모드 결정 유닛

Claims (10)

  1. 대상 영상을 제공받고, 상기 대상 영상의 n(n은 자연수) 개의 모드에 대하여 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 적용하여 최적 모드를 결정하는 예측 모드 결정부; 및
    상기 결정된 모드에 따라 상기 대상 영상을 부호화하는 부호화부를 포함하되,
    상기 예측 모드 결정부는,
    상기 대상 영상과 상기 n개의 모드 사이의 MSE(Mean Squared Error) 연산에 의한 왜곡치를 계산하는 왜곡치 연산부;
    MS-SSIM(Multi-scale Structural Similarity) 연산에 기초하여 라그랑지안 승수(Lagrangian multiplier)를 산출하는 라그랑지안 승수 연산부; 및
    상기 n개의 모드의 비트레이트를 계산하는 비트레이트 연산부를 포함하고,
    상기 라그랑지안 승수 연산부는,
    상기 대상 영상을 제공받아 다운사이징된 영상을 생성하고, 상기 대상 영상 및 다운사이징된 영상의 분산을 생성하는 다운사이징부,
    상기 영상의 분산을 이용하여, 상기 MSE로 연산된 상기 왜곡치와 상기 MS-SSIM으로 연산된 왜곡치 사이의 관계식인 MSE 디바이더를 연산하는 MSE 디바이더 연산기,
    상기 MSE 디바이더를 이용하여 임시 양자화 파라미터(Quantization Parameter); QP)를 생성하는 임시 QP(Quantization Parameter) 연산기, 및
    상기 임시 QP를 이용하여 상기 라그랑지안 승수를 연산하는 람다 연산기를 포함하는 인코딩 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 MSE 디바이더는,
    상기 MSE로 연산된 상기 왜곡치와, 로그 스케일로 변환된 상기 MS-SSIM의 왜곡치 사이의 관계식인 인코딩 시스템.
  4. 제 1항에 있어서,
    상기 임시 QP 연산기는 로그 연산 및 지수 연산의 결과값 테이블을 저장하는 메모리를 포함하고,
    상기 임시 QP 연산기는 상기 테이블을 이용하여 상기 임시 QP를 연산하는 인코딩 시스템.
  5. 제 1항에 있어서,
    상기 라그랑지안 승수 연산부는 상기 대상 영상만을 제공받아 상기 MS-SSIM 연산에 기초한 라그랑지안 승수를 연산하는 인코딩 시스템.
  6. 제 1항에 있어서,
    상기 예측 모드 결정부는,
    상기 MSE 연산에 의한 왜곡치, 상기 MS-SSIM 연산에 기초하여 산출된 라그랑지안 승수 및 상기 비트레이트 연산부를 제공받아 상기 율-왜곡 최적화에 따른 코스트 함수를 연산하는 코스트 연산부를 더 포함하는 인코딩 시스템.
  7. 대상 영상과, 상기 대상 영상에 대한 n(n은 자연수) 개의 모드를 제공하고,
    상기 n개의 모드에 대하여 율-왜곡 최적화에 따른 비용 함수를 연산하고,
    상기 n개의 모드 중 최적의 비용 함수를 갖는 모드를 선택하여 상기 대상 영상을 부호화하는 것을 포함하되,
    상기 n개의 모드에 대한 비용 함수를 연산하는 것은,
    상기 대상 영상과 상기 n개의 모드 사이의 MSE 연산에 의한 왜곡치(distortion)와,
    MS-SSIM 연산에 기초하여 산출된 라그랑지안 승수에 기초하여 결정하는 것을 포함하고,
    상기 MS-SSIM 연산에 기초한 라그랑지안 승수를 구하는 것은,
    상기 MS-SSIM 연산에 기초하여 생성된 임시 양자화 파라미터(quantization parameter)를 이용하는 것을 포함하는 인코딩 시스템의 구동 방법.
  8. 제 7항에 있어서,
    상기 모드에 대한 비용 함수는, 하기 수학식 1에 의하여 계산되는 인코딩 시스템의 구동 방법.
    [수학식 1]
    costk= Dk + λk × Rk,
    여기서 costk는 상기 모드의 k번째 블록의 비용 함수이고, Dk은 상기 모드의 k번째 블록의 MSE 연산에 의한 왜곡치이고, λk은 상기 모드의 k번째 블록의 MS-SSIM 연산에 기초한 라그랑지안 승수이고, Rk은 상기 모드의 k번째 블록의 비트레이트이다.
  9. 삭제
  10. 제 7항에 있어서,
    상기 임시 양자화 파라미터는, 상기 대상 영상의 현재 블록의 양자화 파라미터와, 상기 MSE의 디바이더(divider)를 이용하여 생성되는 인코딩 시스템의 구동 방법.
KR1020170034779A 2017-03-20 2017-03-20 인코딩 시스템 및 이의 동작 방법 KR102331043B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170034779A KR102331043B1 (ko) 2017-03-20 2017-03-20 인코딩 시스템 및 이의 동작 방법
US15/855,922 US10742995B2 (en) 2017-03-20 2017-12-27 Rate distortion optimization encoding system and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170034779A KR102331043B1 (ko) 2017-03-20 2017-03-20 인코딩 시스템 및 이의 동작 방법

Publications (2)

Publication Number Publication Date
KR20180106443A KR20180106443A (ko) 2018-10-01
KR102331043B1 true KR102331043B1 (ko) 2021-11-25

Family

ID=63519798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170034779A KR102331043B1 (ko) 2017-03-20 2017-03-20 인코딩 시스템 및 이의 동작 방법

Country Status (2)

Country Link
US (1) US10742995B2 (ko)
KR (1) KR102331043B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256704A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Real-time video ultra resolution
US10887601B1 (en) * 2019-10-13 2021-01-05 Novatek Microelectronics Corp. Method and image processing device for video bit-rate control
CN112929663B (zh) * 2021-04-08 2022-07-15 中国科学技术大学 一种基于知识蒸馏的图像压缩质量增强方法
US11425393B1 (en) 2021-06-10 2022-08-23 Meta Platforms, Inc. Hardware optimization of rate calculation in rate distortion optimization for video encoding
US20230052538A1 (en) * 2021-08-13 2023-02-16 Meta Platforms, Inc. Systems and methods for determining token rates within a rate-distortion optimization hardware pipeline

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100086032A1 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326046B2 (en) 2009-02-11 2012-12-04 Ecole De Technologie Superieure Method and system for determining structural similarity between images
US8817884B2 (en) * 2009-11-20 2014-08-26 Texas Instruments Incorporated Techniques for perceptual encoding of video frames
US8238444B2 (en) 2009-12-15 2012-08-07 National Taiwan University Perceptual-based video coding method
EP2716048A4 (en) 2011-06-01 2015-04-01 Zhou Wang METHOD AND SYSTEM FOR PERFORMANCE BASED ON STRUCTURAL SIMILAR PERCEPTUAL VIDEO CODING
US9615085B2 (en) 2011-06-14 2017-04-04 Zhou Wang Method and system for structural similarity based rate-distortion optimization for perceptual video coding
US8525883B2 (en) 2011-09-02 2013-09-03 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for automatic video quality assessment
US9369703B2 (en) 2011-09-29 2016-06-14 Texas Instruments Incorporated Method and apparatus for SSIM-based bit allocation
US10277907B2 (en) 2012-10-25 2019-04-30 Integrated Device Technology, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
JP2016046685A (ja) 2014-08-22 2016-04-04 日本電信電話株式会社 映像のユーザ体感品質を推定するための装置、方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100086032A1 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks

Also Published As

Publication number Publication date
KR20180106443A (ko) 2018-10-01
US10742995B2 (en) 2020-08-11
US20180270488A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
KR102331043B1 (ko) 인코딩 시스템 및 이의 동작 방법
US11876979B2 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
RU2475999C2 (ru) Квантование, основанное на моделировании искажения скорости передачи, для кодеров cabac
US10412392B2 (en) Apparatus and method for encoding video and adjusting a quantization parameter
US10757428B2 (en) Luma and chroma reshaping of HDR video encoding
WO2014120960A1 (en) Content adaptive bitrate and quality control by using frame hierarchy sensitive quantization for high efficiency next generation video coding
KR102390162B1 (ko) 데이터 인코딩 장치 및 데이터 인코딩 방법
EP3104615B1 (en) Moving image encoding device and moving image encoding method
CN104982035A (zh) 用于对数字图像的序列进行编码的方法
CN112087628A (zh) 使用两级帧内搜索对视频进行编码
EP3695608A1 (en) Method and apparatus for adaptive transform in video encoding and decoding
JP2023168518A (ja) 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
EP2595384A1 (en) Image processing device, image processing method, and program
JP7483964B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
WO2022021422A1 (zh) 视频编码方法、编码器、系统以及计算机存储介质
US10645423B2 (en) Video image encoding device and video image encoding method
US20160057429A1 (en) Coding apparatus, method, computer product, and computer system
JP6839327B1 (ja) 画像符号化装置、画像復号装置、及びプログラム
US20220377369A1 (en) Video encoder and operating method of the video encoder
US20230199196A1 (en) Methods and Apparatuses of Frequency Domain Mode Decision in Video Encoding Systems
JP2018110321A (ja) 動画像符号化装置、動画像符号化プログラム、及び動画像符号化方法
CN113557719A (zh) 图像编码装置、图像解码装置和程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant