KR20190094407A - 부호화 장치, 부호화 방법 및 프로그램, 복호 장치, 복호 방법 및 프로그램 - Google Patents

부호화 장치, 부호화 방법 및 프로그램, 복호 장치, 복호 방법 및 프로그램 Download PDF

Info

Publication number
KR20190094407A
KR20190094407A KR1020197019989A KR20197019989A KR20190094407A KR 20190094407 A KR20190094407 A KR 20190094407A KR 1020197019989 A KR1020197019989 A KR 1020197019989A KR 20197019989 A KR20197019989 A KR 20197019989A KR 20190094407 A KR20190094407 A KR 20190094407A
Authority
KR
South Korea
Prior art keywords
control information
boundary
image
tile
encoding
Prior art date
Application number
KR1020197019989A
Other languages
English (en)
Inventor
마사토 시마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority to KR1020217018705A priority Critical patent/KR20210077799A/ko
Publication of KR20190094407A publication Critical patent/KR20190094407A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

불연속한 타일 경계에 걸친 화소에 대하여 인루프 필터링을 행하면, 필터링 처리에 의해 결과로서 화질 열화가 발생할 가능성이 있다. 한편, 타일 경계에 걸친 화소에 대해 무조건으로 필터링 처리를 무효화해 버리면, 본래 인루프 필터 처리에 의해 화질 향상을 기대할 수 있는 연속한 타일 경계에 대하여 인루프 필터를 적용할 수 없다는 문제가 발생하였다. 이 문제를 해결하기 위해, 복수의 타일을 갖는 화상을 부호화하기 위한 부호화 장치에 있어서, 상기 복수의 타일에 의해 구성되는 복수의 경계에 대하여, 당해 경계에 인접하는 화소를 필터 처리할지 여부를 결정하는 결정 수단과, 상기 결정 수단에 의한 결정에 기초하여, 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 제어 정보를, 상기 복수의 경계 중 적어도 2개에 대하여 부호화하는 부호화 수단을 갖는 것을 특징으로 한다.

Description

부호화 장치, 부호화 방법 및 프로그램, 복호 장치, 복호 방법 및 프로그램
본 발명은 부호화 장치, 부호화 방법 및 프로그램, 복호 장치, 복호 방법 및 프로그램 및 화상 부호 데이터에 관한 것이며, 특히 블록 경계에 있어서의 필터링 처리에 관한 것이다.
동화상의 압축 기록의 부호화 방식으로서, HEVC(High Efficiency Video Coding) 부호화 방식(이하, HEVC라 기재함)이 알려져 있다. HEVC에는, 1프레임을 복수의 직사각형 영역으로 분할하여 부호화·복호의 병렬 처리 등을 가능하게 하는, Tile(타일)라 불리는 방법이 채용되고 있다. 타일을 사용함으로써, 부호화·복호의 병렬 처리에 의한 고속화를 실현함과 함께 화상 부호화 장치·화상 복호 장치가 구비하는 메모리 용량을 삭감하는 것이 가능해지고 있다.
또한, HEVC에서는 부호화된 화상의 화질을 향상시키기 위해, 디블로킹 필터나 샘플 어댑티브 오프셋과 같은 인루프 필터 처리도 채용되고 있다. 이러한 인루프 필터 처리는 타일의 경계에 걸친 화소에 대해서도 적용하는 것이 가능하지만, 타일의 경계에 걸친 화소에 대하여 인루프 필터 처리를 적용하면, 부호화·복호의 병렬 처리에 지장을 초래하는 경우가 있다. 그 때문에, HEVC에서는 타일의 경계에 걸친 화소에 대하여 인루프 필터 처리를 적용할지 여부를 선택할 수 있는 loop_filter_across_tiles_enabled_flag 신택스 요소가 채용되고 있다. 상기 신택스 요소가 1인 경우에는 타일 경계에 대한 인루프 필터의 적용을 가능하게 하고, 0인 경우에는 타일 경계에 대한 인루프 필터의 적용을 금지로 하는 등의 방식이다. 이에 의해, 병렬 실장성을 중시하는 경우에는 상기 신택스 요소를 0으로 하고, 타일 경계의 화질을 중시하는 경우에는 상기 신택스 요소를 1로 할 수 있다.
근년, VR(Virutal Reality) 기술의 발달에 수반하여, 360° 영상을 복수의 카메라로 촬영하고, 촬영한 화상을 압축·부호화하는 사용례가 생성되었다. 360° 영상의 촬영 방법으로서, 6대의 카메라로 상하 좌우 전후의 각 방향의 화상을 촬영하여 합성하는 방법이 있다(비특허문헌 1). 이렇게 하여 촬영된 화상은, 촬영된 6매의 화상을 재배열하여 합성하여 1매의 화상으로 하고, 압축·부호화된다. 재배열에 대해서는, 도 9a와 같이 주사위를 전개하도록 배열하는 방법이나, 도 9b 내지 도 9d와 같이 합체 후의 화상의 면적이 최소가 되도록, 직사각형으로 다시 재배열하는 방법이 검토되고 있다(비특허문헌 2). 도 9a와 같은 방법에서는, 좌와 전, 전과 우 등 인접한 화상의 경계가 항상 연속하고 있지만, 합체 후의 화상의 4코너에 불필요한 영역이 발생한다. 한편, 도 9b 내지 도 9d와 같은 방법에서는, 합체 후의 화상에 불필요한 영역은 발생하지 않지만, 인접한 화상의 경계 중에 연속하고 있는 경계와 불연속한 경계가 혼재된다.
JVET 기서 JVET-C0021 인터넷<http://phenix.int-evry.fr/jvet/doc_end_user/documents/3_Geneva/wg11/> JVET 기서 JVET-D0022 인터넷<http://phenix.int-evry.fr/jvet/doc_end_user/documents/4_Chengdu/wg11/>
전술한 디블로킹 필터나 샘플 어댑티브 오프셋으로 대표되는 인루프 필터를 사용하는 것은 부호화 효율의 관점에서 유효하다고 생각되고 있다. 또한, 상술한 도 9b 내지 도 9d와 같이 복수의 카메라로 촬영하여 합성된 화상, 즉 화상의 경계 중에 연속하고 있는 경계와 불연속한 경계가 혼재되는 화상을 부호화하는 경우, 각 카메라로 촬영된 화상을 타일에 대응지어 부호화하는 것이 자연스럽다. 그러나 HEVC로 대표되는 기존의 방법에서는, 화상 내의 모든 타일 경계에 대하여 균일하게 인루프 필터 처리를 적용할지 여부만 선택할 수 있다. 즉, 연속한 타일 경계, 불연속한 타일 경계의 구별없이 인루프 필터를 적용할지 여부만 선택할 수 있다. 그 경우, 불연속한 타일 경계를 우선하여 인루프 필터의 부적용을 선택하면, 본래 인루프 필터 처리에 의해 화질 향상을 기대할 수 있는 연속한 타일 경계에 대하여 인루프 필터를 적용할 수 없다. 한편, 연속한 타일 경계를 우선하여 인루프 필터의 적용을 선택하면, 불연속한 타일 경계에 대하여 인루프 필터를 적용하게 되어, 불연속한 타일 경계 주변에 불필요한 화질 열화를 발생시켜 버린다. 따라서, 본 발명은 상술한 과제를 해결하기 위해 이루어진 것이며, 타일 경계의 연속성을 고려하여, 적응적으로 타일 경계의 인루프 필터 처리를 적용할 수 있도록 하는 것을 목적으로 하고 있다.
전술한 문제점을 해결하기 위해, 본 발명의 부호화 장치는 이하의 구성을 갖는다. 즉, 복수의 타일을 갖는 화상을 부호화하기 위한 부호화 장치에 있어서, 상기 복수의 타일에 의해 구성되는 복수의 경계에 대하여, 당해 경계에 인접하는 화소를 필터 처리할지 여부를 결정하는 결정 수단과, 상기 결정 수단에 의한 결정에 기초하여, 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 제어 정보를, 상기 복수의 경계 중 적어도 2개에 대하여 부호화하는 부호화 수단을 갖는 것을 특징으로 한다.
또한, 본 발명의 복호 장치는 이하의 구성을 갖는다. 즉, 복수의 타일을 갖는 화상을 비트 스트림으로부터 복호하기 위한 복호 장치에 있어서, 화상을 복호하는 복호 수단과, 상기 복수의 타일에 의해 구성되는 복수의 경계에 대하여, 당해 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 제어 정보를 비트 스트림으로부터 생성하는 생성 수단과, 상기 생성 수단에 의해 생성된 제어 정보에 기초하여, 적어도 복수의 경계에 인접하는 화소를 필터링 처리할지 여부를 결정하는 결정 수단과, 상기 결정 수단에 의해 필터링 처리하는 것으로 결정된 경계에 대하여 필터링 처리하는 처리 수단을 갖는 것을 특징으로 한다.
도 1은 화상 부호화 장치의 구성을 도시하는 블록도.
도 2는 화상 복호 장치의 구성을 도시하는 블록도.
도 3a는 타일 경계의 연속성과 인루프 필터 처리의 대상 화소의 관계의 일례를 도시하는 도면.
도 3b는 타일 경계의 연속성과 인루프 필터 처리의 대상 화소의 관계의 일례를 도시하는 도면.
도 4는 화상 부호화 장치에 있어서의 화상 부호화 처리를 설명하는 흐름도.
도 5는 화상 부호화 장치 및 화상 복호 장치에 있어서의 인루프 필터 처리를 설명하는 흐름도.
도 6a는 화상 부호화 장치에 의해 생성되며, 화상 복호 장치에 의해 복호되는 비트 스트림 구조의 일례를 도시하는 도면.
도 6b는 화상 부호화 장치에 의해 생성되며, 화상 복호 장치에 의해 복호되는 비트 스트림 구조의 일례를 도시하는 도면.
도 7은 화상 복호 장치에 있어서의 복호 처리를 설명하는 흐름도.
도 8은 화상 부호화 장치, 화상 복호 장치에 적용 가능한 컴퓨터의 하드웨어 구성예를 도시하는 블록도.
도 9a는 복수의 카메라로 촬영된 화상을 재배열하여, 1매의 화상으로 하는 배치예를 도시하는 도면.
도 9b는 복수의 카메라로 촬영된 화상을 재배열하여, 1매의 화상으로 하는 배치예를 도시하는 도면.
도 9c는 복수의 카메라로 촬영된 화상을 재배열하여, 1매의 화상으로 하는 배치예를 도시하는 도면.
도 9d는 복수의 카메라로 촬영된 화상을 재배열하여, 1매의 화상으로 하는 배치예를 도시하는 도면.
도 10a는 화상 부호화 장치에 의해 생성되고, 화상 복호 장치에 의해 복호되는 비트 스트림의 타일 분할 정보 및 필터 제어 정보에 관한 신택스를 나타내는 도면.
도 10b는 화상 부호화 장치에 의해 생성되고, 화상 복호 장치에 의해 복호되는 비트 스트림의 타일 분할 정보 및 필터 제어 정보에 관한 신택스를 나타내는 도면.
도 10c는 화상 부호화 장치에 의해 생성되고, 화상 복호 장치에 의해 복호되는 비트 스트림의 타일 분할 정보 및 필터 제어 정보에 관한 신택스를 나타내는 도면.
이하, 첨부의 도면을 참조하여, 본 발명을 그 적합한 실시 형태에 기초하여 상세하게 설명한다. 또한, 이하의 실시 형태에 있어서 나타내는 구성은 일례에 지나지 않고, 본 발명은 도시된 구성에 한정되는 것은 아니다.
이하, 본 발명의 부호화측의 실시 형태를, 도면을 사용하여 설명한다. 본 실시 형태에서는 특히 도 9b에 도시된 화상을 입력하여 부호화하는 경우에 대하여 설명한다.
도 1은 본 실시 형태의 화상 부호화 장치를 도시하는 블록도이다. 도 1의 각 블록은, 모두 하드웨어로서 구성되어도 되고, 일부 또는 모든 블록이 소프트웨어에 의해 구성되어도 된다.
도 1에 있어서, 단자(101)는 화상 데이터를 입력하는 단자이다.
타일 분할부(102)는, 입력 화상의 타일 분할 방법을 결정하고, 분할하는 처리를 행한다.
필터 제어 정보 생성부(103)는, 각 타일 경계의 화소에 대하여 후술하는 인루프 필터 처리를 행할지 여부에 대한 정보인, 필터 제어 정보를 생성하여, 출력한다.
예측부(104)는, 블록 단위의 화상 데이터에 대해, 프레임 내 예측인 인트라 예측이나 프레임간 예측인 인터 예측 등을 행하여, 예측 화상 데이터를 생성한다. 또한, 입력된 화상 데이터와 상기 예측 화상 데이터로부터 예측 오차를 산출하여, 출력한다. 또한, 예측에 필요한 정보, 예를 들어 예측 모드 등의 정보도 예측 오차와 아울러 출력된다. 이하에서는 이 예측에 필요한 정보를 예측 정보라 호칭한다.
변환·양자화부(105)는, 상기 예측 오차를 블록 단위로 직교 변환하여 변환 계수를 얻고, 또한 양자화를 행하여, 양자화 계수를 얻는다.
역양자화·역변환부(106)는, 변환·양자화부(105)로부터 출력된 양자화 계수를 역양자화하여 변환 계수를 재생하고, 또한 역직교 변환하여 예측 오차를 재생한다.
프레임 메모리(108)는, 재생된 화상 데이터를 저장해 두는 메모리이다.
화상 재생부(107)는, 예측부(104)로부터 출력된 예측 정보에 기초하여, 프레임 메모리(108)를 적절히 참조하여 예측 화상 데이터를 생성하고, 생성된 예측 화상 데이터와 입력된 예측 오차로부터 재생 화상 데이터를 생성하여, 출력한다.
인루프 필터부(109)는, 재생 화상에 대해, 디블로킹 필터나 샘플 어댑티브 오프셋 등의 인루프 필터 처리를 행하고, 필터 처리된 화상을 출력한다.
부호화부(110)는, 변환·양자화부(105)로부터 출력된 양자화 계수 및 예측부(104)로부터 출력된 예측 정보를 부호화하여, 부호 데이터를 생성하여 출력한다.
통합 부호화부(111)는, 타일 분할부(102)나 필터 제어 정보 생성부(103)로부터의 출력을 부호화하여, 헤더에 저장할 헤더 부호 데이터를 생성한다. 생성된 헤더 부호 데이터는, 부호화부(110)로부터 출력된 부호 데이터와 함께, 비트 스트림을 형성하여 출력한다.
단자(112)는, 통합 부호화부(111)에서 생성된 비트 스트림을 외부에 출력하는 단자이다.
도 1에 도시한 화상 부호화 장치에 있어서의 화상의 부호화 처리를 이하에 설명한다. 본 실시 형태에서는 동화상 데이터를 프레임 단위로 입력하는 구성으로 되어 있지만, 1프레임분의 정지 화상 데이터를 입력하는 구성으로 해도 상관없다.
단자(101)로부터 입력된 1프레임분의 화상 데이터는 타일 분할부(102)에 입력된다. 단자(101)에 있어서 입력되는 화상 데이터는 N매(N≥3)의 화상을 재배열하여 합성된 1프레임분의 화상 데이터로 한다. N매(N≥3)의 화상의 배치는 회전된 화상의 배치도 포함하는 것으로 한다. 본 실시 형태에서는, 몇매분의 화상이 어떻게 배치되어 합성되어 있는지를 나타내는 정보를 취득해도 된다.
타일 분할부(102)는, 입력 화상의 타일 분할 방법을 결정하고, 결정한 분할 방법에 기초하여 입력된 화상 데이터를 타일 단위로 분할하여 예측부(104)에 출력한다. 즉, 또한, 결정한 타일 분할 방법을 타일 분할 정보로서 필터 제어 정보 생성부(103) 및 통합 부호화부(111)에 출력한다. 타일 분할의 결정 방법은 특별히 한정되지 않고, 입력된 화상의 특성을 사용해도 되고, 상기와 같이 몇매분의 화상이 어떻게 배치되어 합성되어 있는지를 나타내는 정보를 사용해도 되고, 유저로부터의 입력에 의해 결정해도 된다. 본 실시 형태에서는, 입력된 1프레임분의 화상 데이터는, 합성된 N매의 화상의 경계를 따라서 분할되어, N개(N≥3)의 타일에 의해 M개(M≥2)의 타일의 경계를 갖는 화상 데이터가 구성되는 것으로서 설명한다. 예를 들어, 도 9b에 도시된 바와 같은 화상의 부호화를 행하는 경우, 전·우·후·하·좌·상의 각각의 화상을 개별의 타일에 대응짓는, 즉 6개의 타일로 구성되는 화상을 부호화하는 등의 방식이다.
다음에, 필터 제어 정보 생성부(103)는, 각 타일 경계에 대하여 인루프 필터 처리를 행할지 여부를 결정하고, 그 정보를 필터 제어 정보로서, 인루프 필터부(109) 및 통합 부호화부(111)에 출력한다. 필터 제어 정보의 결정 방법은 특별히 한정되지 않고, 입력된 화상의 특성을 사용해도 되고, 유저로부터의 입력에 의해 결정해도 된다. 또한, 필터 제어 정보 생성부(103)는, 외부로부터 입력된 또는 내부에서 산출된 타일 분할 상태에 관한 정보 및 각 타일 경계의 연속성에 관한 정보에 기초하여 결정해도 상관없다. 예를 들어, 도 9b에 도시된 바와 같은 화상의 부호화를 행하는 경우, 타일 분할부(102)에 의해 6개의 타일로 구성되는 화상을 부호화하는 것이 결정된다. 이 경우, 화상의 상부에 존재하고 있는 2개의 수직 방향의 타일 경계(「전」과 「우」 사이, 「우」와 「후」 사이) 및 화상의 좌측부에 존재하고 있는 1개의 수평 방향의 타일 경계(「전」과 「하」 사이)는 화소값이 연속하고 있다. 한편 그 이외의 4개의 타일 경계에 있어서는 화소가 연속하고 있지 않게 된다. 그 경우, 필터 제어 정보 생성부(103)는, 화소가 연속하고 있는 3개의 타일 경계에 대해서는 인루프 필터 처리를 행하고, 나머지 4개의 불연속한 타일 경계에 대해서는 인루프 필터 처리를 행하지 않음을 나타내는 정보를 필터 제어 정보로서 출력한다.
통합 부호화부(111)에서는, 타일 분할 정보나 필터 제어 정보를 부호화하여, 각각 타일 분할 정보 부호 및 필터 제어 정보 부호를 생성한다. 부호화의 방법은 특별히 지정하지 않지만, 골롬 부호화, 산술 부호화, 허프만 코딩화 등을 사용할 수 있다.
예측부(104)는, 타일 분할부(102)로부터 입력된 타일 단위의 화상 데이터를 복수의 블록으로 분할하고, 블록 단위의 예측 처리가 실행된다. 예측 처리의 결과, 예측 오차가 생성되어, 변환·양자화부(105)에 입력된다. 또한, 예측부(104)는 예측 정보를 생성하여, 부호화부(110) 및 화상 재생부(107)에 출력한다.
변환·양자화부(105)는, 입력된 예측 오차에 직교 변환·양자화를 행하여, 양자화 계수를 생성한다. 생성된 양자화 계수는 부호화부(110) 및 역양자화·역변환부(106)에 입력된다.
역양자화·역변환부(106)는, 입력된 양자화 계수를 역양자화하여 변환 계수를 재생하고, 또한 재생된 변환 계수를 역직교 변환하여 예측 오차를 재생하여, 화상 재생부(107)에 출력한다.
화상 재생부(107)는, 예측부(104)로부터 입력되는 예측 정보에 기초하여, 프레임 메모리(108)를 적절히 참조하여, 예측 화상을 재생한다. 그리고 재생된 예측 화상과 역양자화·역변환부(106)로부터 입력된 재생된 예측 오차로부터 화상 데이터를 재생하고, 프레임 메모리(108)에 입력하여, 저장한다.
인루프 필터부(109)는, 프레임 메모리(108)로부터 재생 화상을 판독하고, 필터 대상의 블록 위치 및 필터 제어 정보(103)로부터 입력된 필터 제어 정보에 기초하여, 디블로킹 필터 등의 인루프 필터 처리를 행한다. 그리고, 필터 처리된 화상을 다시 프레임 메모리(108)에 입력하여, 재저장한다. 이 필터 처리된 화상은 예측부(104)에 있어서의 인터 예측 등에 사용된다.
본 실시 형태에서의 인루프 필터 처리에 대하여, 도 3을 사용하여 설명한다. 필터 대상의 블록의 위치 및 필터 제어 정보에 기초하여, 하기의 어느 것의 필터 처리를 행한다. 여기에서는 타일 경계에 있어서의 필터 처리에 대해서만 설명하지만, 타일 경계 이외의 화소 위치에 있어서의 필터 처리는, 기존의 화상 부호화 방식에 기초하여 실시되는 것으로 한다. 또한, 여기에서는 설명을 용이하게 하기 위해, 블록 사이즈를 4×4블록으로 하지만, 이것에 한정되지 않는다.
도 3a는 2개의 4×4블록의 경계에 걸쳐 디블로킹 필터 처리를 행하는 경우의 일례이다. 외측 프레임(300)의 내부에는, 4×4화소의 2개의 블록이 존재하고, 라운딩된 직사각형(301)으로 둘러싸인 각 블록의 타일 경계에 인접하는 3화소, 합계 6화소에 대하여 필터 처리가 실행되는 것으로 한다. 도 3a에 도시한 좌측의 블록은 타일 0에 속해 있고, 우측의 블록은 타일 1에 속해 있다. 즉 좌우의 블록은 상이한 타일에 속해 있는 블록이며, 좌우의 블록의 경계는 타일의 경계이기도 하다. 이 타일 경계는 도 9b의 상부(예를 들어 「전」과 「우」 사이) 등에서 보이는 바와 같은 화소값이 연속한 타일 경계인 것으로 한다. 이 경우, 필터 제어 정보 생성부(103)로부터는 화소가 연속한 타일 경계에는 인루프 처리를 행하는 것을 나타내는 필터 제어 정보가 입력되기 때문에, ○의 기호로 나타내어진 6화소 모두가 필터 처리의 대상이 되어, 6화소 모두에 대해 필터 처리가 행해진다.
한편, 도 3b는 도 3a와 달리, 좌우의 타일의 경계는, 도 9b의 하부(예를 들어 「좌」와 「상」 사이) 등에서 보이는 바와 같은 화소값이 불연속한 타일 경계인 것으로 한다. 이 경우, 필터 제어 정보 생성부(103)로부터는 화소가 불연속한 타일 경계에는 인루프 처리를 행하지 않는 것을 나타내는 필터 제어 정보가 입력되기 때문에, ×의 기호로 나타내진 6화소 모두가 필터 처리의 대상이 되지 않는다. 따라서, 이 6화소에 대해서는 필터 처리가 행해지지 않는다.
본 실시 형태에서는 디블로킹 필터에 대하여 언급하였지만, 어댑티브 루프 필터나 샘플 어댑티브 오프셋 등의 다른 인루프 필터 처리에 대해서도 마찬가지의 제어를 행해도 상관없다. 또한, 본 실시 형태에서는 좌우의 블록간의 필터 처리에 대하여 설명하였지만, 상하의 블록간에 있어서도 마찬가지의 처리가 행해진다. 나아가, 각 블록 3화소가 필터링 처리되는 예를 나타냈지만, 처리되는 화소수는 이것에 한정되지 않는다. 예를 들어, 좌측의 블록은 3화소, 우측의 블록은 2화소 등, 각각의 블록에서 처리 대상이 되는 화소수가 상이한 비대칭의 필터링 처리를 행하는 것도 가능하다.
도 1로 되돌아가서, 부호화부(110)에서는, 블록 단위로, 변환·양자화부(105)에서 생성된 양자화 계수, 예측부(104)로부터 입력된 예측 정보를 엔트로피 부호화하여, 부호 데이터를 생성한다. 엔트로피 부호화의 방법은 특별히 지정하지 않지만, 골롬 부호화, 산술 부호화, 허프만 코딩화 등을 사용할 수 있다. 생성된 부호 데이터는 통합 부호화부(111)에 출력된다.
통합 부호화부(111)에서는, 부호화 처리에 앞서서 생성된 타일 분할 정보 부호나 필터 제어 정보 부호, 부호화부에서 생성된 부호 데이터 등을 다중화하여 비트 스트림이 형성된다. 최종적으로, 단자(112)로부터 외부로 출력된다.
도 6a에 부호화된 타일 분할 정보 및 필터 제어 정보를 포함한 비트 스트림의 예를 도시한다. 타일 분할 정보는 타일 분할 정보 부호로서, 필터 제어 정보는 필터 제어 정보 부호로서 시퀀스, 픽처 등의 헤더의 어느 것에 포함된다. 본 실시 형태에서는 도 6a에 도시된 바와 같이 픽처의 헤더 부분에 포함되는 것으로 한다. 도 10a는 이들 부호를 포함한 픽처의 헤더 부분의 신택스의 구성의 일례를 도시하는 도면이다. tiles_enabled_flag는 타일 분할의 유무를 나타내는 부호이며, 본 실시 형태에서는 도 9b에 도시한 화상을 입력하고, 6개의 타일로 분할하는 경우에 대하여 설명하고 있으므로, 이 값은 1이 된다. entoropy_coding_sync_enabled_flag는 본 실시 형태와는 관계되지 않기 때문에 설명을 생략한다. num_tile_columns_minus1은 수평 방향의 타일수로부터 1을 뺀 값을 나타내고 있다. 본 실시 형태에서는 수평 방향으로 3개의 타일이 존재하고 있으므로, 이 값은 2가 된다. 한편, num_tile_rows_minus1은 수직 방향의 타일수로부터 1을 뺀 값을 나타내고 있다. 본 실시 형태에서는 수직 방향으로 2개의 타일이 존재하고 있으므로, 이 값은 1이 된다. uniform_spacing_flag는 각 타일의 사이즈(수직·수평 방향의 화소수)가 일치하고 있는지 여부를 나타내는 부호이며, 본 실시 형태에서는 모든 타일의 사이즈가 일치하고 있기 때문에, 이 값은 1이 된다. 또한, 이 값이 0일 때, 즉 모든 타일 사이즈가 일치하고 있지 않은 경우에는, 각각의 타일의 가로·세로의 사이즈를 나타내는 column_width_minus1 및 row_height_minus1을 부호화하지만, 본 실시 형태에서는 설명을 생략한다. loop_filter_aross_tiles_enabled_flag는 타일 경계의 인루프 필터 처리를 가능하게 할지 여부를 나타내는 부호이지만, 본 실시 형태에서는 일부의 경계에서 인루프 필터 처리를 가능하게 하므로, 이 값을 1로 한다.
이하의 신택스는 상기 loop_filter_across_tiles_enabled_flag가 1일 때만 부호화한다. loop_filter_across_tiles_control_flag는 각각의 타일 경계에 대하여, 인루프 필터 처리를 행할지 여부를 나타내는 정보를 개별로 부호화할지 여부를 나타내는 부호이다. 본 실시 형태에서는 개별로 인루프 필터 처리의 가부를 설정할 필요가 있기 때문에, 이 값을 1로 한다.
또한 이하의 신택스는 상기 loop_filter_across_tiles_control_flag가 1일 때만 부호화한다. loop_filter_across_bottom_tile_boundary_enabled_flag는 당해 타일의 하측의 타일 경계에 대해 인루프 필터 처리를 행할지 여부를 나타내는 부호이다. 본 실시 형태에서는, 하측에 타일 경계를 가진 타일은 상측의 행의 3개(전, 우, 후) 존재하고 있기 때문에, 이 부호는 3회 부호화된다. 즉, loop_filter_across_bottom_tile_boundary_enabled_flag는 상하의 2개의 타일간에 의해 구성되는 경계마다 부호화된다. 「전」의 타일의 하측의 타일 경계는 연속한 경계이기 때문에, 첫번째의 이 값은 인루프 필터 처리를 행하는 것을 나타내는 1이 된다. 한편, 「우」 및 「후」의 타일의 하측의 타일 경계는 불연속한 경계이기 때문에, 두번째 및 세번째의 이 값은 인루프 필터 처리를 행하지 않는 것을 나타내는 0이 된다. 또한, 하측의 행의 3개(하, 좌, 상)의 타일에 대해서는, loop_filter_across_bottom_tile_boundary_enabled_flag는 부호화되지 않는다. 다음에 loop_filter_across_right_tile_boundary_enabled_flag는 당해 타일의 우측의 타일 경계에 대해 인루프 필터 처리를 행할지 여부를 나타내는 부호이다. 즉, loop_filter_across_right_tile_boundary_enabled_flag는, 좌우의 2개의 타일간에 의해 구성되는 경계마다 부호화된다. 본 실시 형태에서는, 우측에 타일 경계를 가진 타일은 4개(전, 우, 하, 좌) 존재하고 있기 때문에, 이 부호는 4회 부호화된다. 「전」 및 「우」의 타일의 우측의 타일 경계는 연속한 경계이기 때문에, 첫번째 및 두번째의 이 값은 인루프 필터 처리를 행하는 것을 나타내는 1이 된다. 한편, 「하」 및 「좌」의 타일의 우측의 타일 경계는 불연속한 경계이기 때문에, 세번째 및 네번째의 이 값은 인루프 필터 처리를 행하지 않는 것을 나타내는 0이 된다. 또한, 가장 우측의 열에 존재하는 타일(후, 상)에 대해서는, loop_filter_across_right_tile_boundary_enabled_flag는 부호화되지 않는다. 즉, loop_filter_across_bottom_tile_boundary_enabled_flag는, 화상의 내부의 타일 경계에 대하여 부호화된다. 마찬가지로 loop_filter_across_right_tile_boundary_enabled_flag는, 화상의 내부의 타일 경계에 대하여 부호화된다. 그리고, 화상의 외주를 구성하는 타일의 경계에 대해서는 부호화되지 않는다.
도 4는 본 실시 형태에 관한 화상 부호화 장치에 있어서의 부호화 처리를 설명하는 흐름도이다.
먼저, 스텝 S401에서, 타일 분할부(102)는, 입력 화상의 타일 분할 방법을 결정하고, 결정한 분할 방법에 기초하여 입력된 화상 데이터를 타일 단위로 분할한다. 또한 결정한 타일 분할 방법을 타일 분할 정보로 하고, 타일 분할 정보는 통합 부호화부(111)에 의해 부호화된다.
스텝 S402에서, 필터 제어 정보 생성부(103)는 각 타일 경계의 화소에 대하여, 인루프 필터 처리를 행할지 여부를 결정하고, 그 정보를 필터 제어 정보로 하고, 필터 제어 정보도 통합 부호화부(111)에 의해 부호화된다.
스텝 S403에서, 예측부(104)는, 입력된 타일 단위의 화상 데이터를 복수의 블록으로 잘라내고, 블록 단위로 인트라 예측 내지는 인터 예측을 행하여, 예측 정보 및 예측 화상 데이터를 생성한다. 또한 입력된 화상 데이터와 상기 예측 화상 데이터로부터 예측 오차를 산출한다.
스텝 S404에서, 변환·양자화부(105)는, 스텝 S403에서 산출된 예측 오차를 직교 변환하여 변환 계수를 생성하고, 또한 양자화를 행하여, 양자화 계수를 생성한다.
스텝 S405에서, 역양자화·역변환부(106)는, 스텝 S404에서 생성된 양자화 계수를 역양자화·역직교 변환하여, 예측 오차를 재생한다.
스텝 S406에서, 화상 재생부(107)는 스텝 S403에서 생성된 예측 정보에 기초하여 예측 화상을 재생한다. 또한 재생된 예측 화상과 스텝 S405에서 생성된 예측 오차로부터 화상 데이터를 재생한다.
스텝 S407에서, 부호화부(110)는, 스텝 S403에서 생성된 예측 정보 및 스텝 S404에서 생성된 양자화 계수를 부호화하여, 부호 데이터를 생성한다. 또한, 다른 부호 데이터도 포함하여, 비트 스트림을 생성한다.
스텝 S408에서, 화상 부호화 장치는, 타일 내의 모든 블록의 부호화가 종료되었는지 여부의 판정을 행하고, 종료되었으면 스텝 S409로 진행하고, 그렇지 않으면 다음 블록을 대상으로 하여, 스텝 S403으로 되돌아간다.
스텝 S409에서, 화상 부호화 장치는, 프레임 내의 모든 타일의 부호화가 종료되었는지 여부의 판정을 행하고, 종료되었으면 스텝 S410으로 진행하고, 그렇지 않으면 다음 타일을 대상으로 하여, 스텝 S403으로 되돌아간다.
스텝 S410에서, 인루프 필터부(109)는 스텝 S406에서 재생된 화상 데이터에 대해, 인루프 필터 처리를 행하여, 필터 처리된 화상을 생성하고, 처리를 종료한다.
도 5는 스텝 S410에 있어서의 인루프 필터 처리의 상세를 설명하는 흐름도이다.
먼저, 스텝 S501에서, 인루프 필터부(109)는 인루프 필터 대상의 화소의 위치로부터, 대상 화소가 타일 경계에 존재하는지 여부를 판정한다. 타일 경계에 존재하고 있다고 판정되면 S502로 진행하고, 그렇지 않으면 S503으로 진행한다. S501에 있어서, 타일 경계에 존재한다는 의미는, 화상 내부의 타일 경계에 존재한다는 것을 가리킨다.
스텝 S502에서, 인루프 필터부(109)는, 타일 경계에 존재하는 대상 화소가 필터링의 대상이 되는지 여부를 스텝 S402에서 생성된 필터 제어 정보에 기초하여 판정한다. 필터링을 하는 것으로 판정되면 S503으로 진행하고, 그렇지 않으면 S504로 진행한다.
스텝 S503에서, 인루프 필터부(109)는, 대상 화소에 대하여 인루프 필터 처리를 행한다.
스텝 S504에서, 인루프 필터부(109)는, 모든 화소의 인루프 필터 처리가 종료되었는지 여부의 판정을 행하고, 종료되었으면 스텝 S505로 진행하고, 그렇지 않으면 다음 화소를 대상으로 하여, 스텝 S501로 되돌아간다.
스텝 S505에서, 인루프 필터부(109)는, 모든 종류의 인루프 필터 처리가 종료되었는지 여부의 판정을 행한다. 종료되었으면, 인루프 필터 처리를 종료하고, 그렇지 않으면 다음 종류의 인루프 필터 처리를 대상으로 하여 스텝 S501로 되돌아간다.
예를 들어, HEVC에 있어서는, 디블로킹 필터, 샘플 어댑티브 오프셋과 같은 2개의 인루프 필터 처리가 정의되어 있지만, 그것들의 전환을 본 스텝에서 실행한다. 구체적으로는, 우선은 전체 화소를 대상으로 한 디블로킹 필터 처리를 실시하고, 그 후 샘플 어댑티브 오프셋 처리로 전환하여 스텝 S501로 되돌아간다. 또한, 샘플 어댑티브 오프셋 처리도 종료된 경우에는 인루프 필터 처리를 종료한다. 본 실시 형태에서는 HEVC와 마찬가지의 디블로킹 필터·샘플 어댑티브 오프셋과 같은 2개의 인루프 필터 처리를 실행하는 것으로 하고 있지만, 다른 인루프 필터 처리(예를 들어 어댑티브 루프 필터 등)를 실행해도 상관없다. 또한 인루프 필터 처리의 순서는 이들에 한정되지 않는다.
이상의 구성과 동작에 의해, 특히 스텝 S410에 있어서, 타일 경계마다 인루프 필터 처리의 적용 가부를 제어 가능하게 함으로써, 타일 경계의 연속성에 따라서 타일 경계에 인루프 필터 처리를 적용할지 여부를 선택할 수 있다. 결과로서, 화소가 연속한 타일 경계에 있어서는, 인루프 필터 처리를 적용하고, 화소가 불연속한 타일 경계에 있어서는 인루프 필터 처리를 적용하지 않는 것이 가능하게 되기 때문에, 화질을 향상시킬 수 있다.
또한, 본 실시 형태에서는 도 6a에 도시한 바와 같이, 타일 분할 정보 및 필터 제어 정보를 픽처 헤더 부분에서 부호화하는 것으로 하였지만, 부호화되는 위치는 이것에 한정되지 않는다. 도 6b에 도시된 바와 같이 화상의 시퀀스 헤더 부분에서 부호화되어도 되고, 다른 위치에서 부호화되어도 상관없다.
또한, 본 실시 형태에서는 도 10a에 도시된 바와 같은 신택스의 구성을 갖는 비트 스트림을 부호화하는 것으로 하였지만, 비트 스트림의 구성은 이것에 한정되지 않는다. 예를 들어, 도 10b와 같은 신택스의 구성을 갖는 것도 가능하다. 도 10a는 각 타일 경계에 대하여, 필터 제어 정보를 부호화하였지만, 도 10b는 모든 수평 방향의 타일 경계, 그리고 수직 방향의 타일 경계에 대하여 각각 공통의 필터 제어 정보를 부호화하는 경우의 예를 나타내고 있다. loop_filter_across_horizontal_tile_boundary_enabled_flag는 화상 내의 모든 수직 방향의 타일 경계에 대해 인루프 필터 처리를 행할지 여부를 나타내는 플래그이다. 즉, loop_filter_across_horizontal_tile_boundary_enabled_flag는, 수평 방향의 복수의 타일 경계에 공통의 수평 방향 제어 정보이다. 또한, loop_filter_across_vertical_tile_boundary_enabled_flag는 화상 내의 모든 수평 방향의 타일 경계에 대해 인루프 필터를 행할지 여부를 나타내는 플래그이다. 즉, loop_filter_across_vertical_tile_boundary_enabled_flag는, 수직 방향의 복수의 타일 경계에 공통의 수직 방향 제어 정보이다. 예를 들어, 도 9d에 도시된 화상이 입력된 경우, 전자(…horizontal…flag)를 1로 하고, 후자(…vertical…flag)를 0으로 함으로써, 보다 적은 부호량으로 타일 경계에 대한 필터링 제어를 실현할 수 있다. 즉, 도 10b의 신택스 구성을 갖는 플래그는, 어떤 방향(수평 방향 혹은 수직 방향)에 대하여 복수의 타일이 배치된 화상의 경우, 각각의 타일의 경계에 있어서의 인루프 필터 처리의 적용 가부가 동일한 경우에 효과적이다. 또한, 도 10a, 도 10b의 변형예로서, 타일 경계의 수평 혹은 수직 중 한 방향을 도 10b의 플래그를 사용하여 인루프 필터 처리의 적용 가부를 설정해도 된다. 그리고, 그 다른 방향을 도 10a와 같이 각각의 타일 경계마다 플래그를 할당하여 인루프 필터 처리의 적용 가부를 설정해도 된다.
또한, 도 10c와 같은 신택스 구성을 갖는 것도 가능하다. 도 10c는 loop_filter_across_tiles_control_idc를 필터 제어 정보로서 부호화하는 것을 특징으로 하고 있다. loop_filter_across_tiles_control_idc는 특정 타일의 배치 방법에 대응한 인덱스를 나타내고 있다. 예를 들어 필터 제어 정보로서, 「1」을 도 9b, 「2」를 도 9c, 「3」을 도 9d 등과 대응짓는 인덱스가 부호화된다. 도 10c의 신택스 구성은, 1프레임의 화상을 구성하기 위해 합성되는 6개의 화상의 배치가, 예를 들어 도 9b 내지 도 9d와 같이, 몇몇 형식으로 정해지는 경우에 유효하다. 도 10c의 신택스 구성의 경우, 화상 복호 장치는, 각 인덱스에 대응하는 도 9b 내지 도 9d의 배치에 있어서의, 각 타일의 경계에 대한 인루프 필터 처리의 적용 가부를 파악해 둘 필요가 있다. 이에 의해, 복수의 타일 배치 방법에도 대응하면서, 보다 적은 부호량으로 타일 경계에 대한 필터링 제어를 실현할 수 있다.
또한, 본 실시 형태에서는 직사각형 타일의 경계에 대한 필터링을 제어하는 것으로 하였지만, 제어의 대상은 이것에 한정되지 않는다. 직사각형 이외의 형상을 취할 수도 있는 슬라이스의 경계에 대한 필터링을 마찬가지로 제어하는 것도 가능하고, 타일이나 슬라이스 이외의 새로운 처리 단위에 대하여 적용하는 것도 가능하다.
또한, 본 실시 형태에서는 기존의 HEVC에 기초하여 타일은 직사각형인 것을 전제로 하였지만, 타일 및 다른 처리 단위가 삼각형 등 다른 형상을 취하게 되어도 적용하는 것은 가능하다.
도 2는 본 발명의 실시 형태에 관한 화상 복호 장치의 구성을 도시하는 블록도이다. 본 실시 형태에서는, 화상 부호화 장치에 있어서 생성된 부호화 데이터의 복호 처리에 대하여 설명한다. 도 2의 각 블록은, 모두 하드웨어로서 구성되어도 되고, 일부 또는 모든 블록이 소프트웨어에 의해 구성되어도 된다.
단자(201)는 부호화된 비트 스트림을 입력하는 단자이다. 분리 복호부(202)는, 비트 스트림으로부터 복호 처리에 관한 정보, 계수에 관한 부호 데이터로 분리하고, 또한 비트 스트림의 헤더부에 존재하는 부호 데이터를 분리하고, 복호한다. 본 실시 형태에서는, 복호 처리에 의해 타일 분할 정보 및 필터 제어 정보를 재생하고, 후단에 출력한다. 즉, 분리 복호부(202)는, 도 1의 통합 부호화부(111)와 역의 동작을 행한다.
복호부(203)는, 분리 복호부(202)로부터 출력된 부호 데이터를 복호하여, 양자화 계수 및 예측 정보를 재생한다.
역양자화·역변환부(204)는, 도 1의 역양자화·역변환부(106)와 마찬가지로, 블록 단위로 양자화 계수를 입력하고, 역양자화를 행하여 변환 계수를 얻고, 또한 역직교 변환을 행하여, 예측 오차를 재생한다.
프레임 메모리(207)는, 적어도 1프레임분의 화상을 기억하는 메모리이며, 재생된 픽처의 화상 데이터를 저장해 둔다.
화상 재생부(205)는, 도 1의 화상 재생부(107)와 마찬가지로, 입력된 예측 정보에 기초하여 프레임 메모리(207)를 적절히 참조하여 예측 화상 데이터를 생성한다. 그리고, 이 예측 화상 데이터와 역양자화·역변환부(204)에서 재생된 예측 오차로부터 재생 화상 데이터를 생성하여, 출력한다.
인루프 필터부(206)는, 도 1의 인루프 필터부(109)와 마찬가지로, 재생 화상에 대해, 디블로킹 필터 등의 인루프 필터 처리를 행하고, 필터 처리된 화상을 출력한다.
단자(208)는 필터 처리된 화상 데이터를 외부에 출력한다.
도 2에 도시한 화상 복호 장치에 있어서의 화상의 복호 처리를 이하에 설명한다. 본 실시 형태에서는, 도 1의 화상 부호화 장치에서 생성된 비트 스트림을 복호한다.
도 2에 있어서, 단자(201)로부터 입력된 비트 스트림은 분리 복호부(202)에 입력된다. 분리 복호부(202)는, 비트 스트림으로부터 복호 처리에 관한 정보, 계수에 관한 부호 데이터를 분리하고, 또한 비트 스트림의 헤더부에 존재하는 부호 데이터를 복호한다. 구체적으로는, 복호 처리에 의해 타일 분할 정보 및 필터 제어 정보가 재생된다. 본 실시 형태에서는, 먼저, 도 6a에 도시된 비트 스트림의 픽처 헤더로부터 타일 분할 정보의 부호 및 필터 제어 정보의 부호를 추출하여 복호한다. 또한, 이하의 설명에서는, 픽처 헤더 부분은 도 10a에 도시된 신택스 구성을 사용하고 있는 것으로 한다. 먼저, tiles_enabled_flag 부호를 복호하여, 타일 분할이 사용되고 있는 것을 나타내는 1이라는 값을 얻는다. entropy_coding_sync_enabled_flag는 본 실시 형태와는 관계되지 않기 때문에 설명을 생략한다. 다음에 num_tile_columns_minus1 부호를 복호하여, 수평 방향으로 3개의 타일이 존재하고 있는 것을 나타내는 2이라는 값을 얻는다. 또한 num_tile_rows_minus1 부호를 복호하여, 수직 방향으로 2개의 타일이 존재하고 있는 것을 나타내는 1이라는 값을 얻는다. 계속해서 uniform_spacing_flag 부호를 복호하여, 각 타일의 사이즈(수직·수평 방향의 화소수)가 일치하고 있는 것을 나타내는 1이라는 값을 얻는다. 다음에 loop_filter_aross_tiles_enabled_flag 부호를 복호하여, 타일 경계의 인루프 필터 처리를 가능하게 하는 것을 나타내는 1이라는 값을 얻는다.
loop_filter_across_tiles_enabled_flag가 1이기 때문에, 신택스의 복호를 더 계속한다. loop_filter_across_tiles_control_flag 부호를 복호하여, 각각의 타일 경계에 대하여, 인루프 필터 처리를 행하는 것을 나타내는 1이라는 값을 얻는다.
loop_filter_across_tiles_control_flag가 1이기 때문에, 신택스의 복호를 더 계속한다. loop_filter_across_bottom_tile_boundary_enabled_flag 부호를 복호하여, 각 타일의 하측의 타일 경계에 대해 인루프 필터 처리를 행할지 여부를 나타내는 정보를 얻는다. 본 실시 형태에서는, 하측에 타일 경계를 가진 3개의 타일(전, 우, 후)에 대하여, 각각 1, 0, 0이라는 값을 정보로서 얻는다. 다음에 loop_filter_across_right_tile_boundary_enabled_flag 부호를 복호하여, 각 타일의 우측의 타일 경계에 대하여 인루프 필터 처리를 행할지 여부를 나타내는 정보를 얻는다. 본 실시 형태에서는, 우측에 타일 경계를 가진 타일은 4개의 타일(전, 우, 하, 좌)에 대하여, 각각 1, 1, 0, 0이라는 값을 정보로서 얻는다. 이와 같이 하여 얻어진 필터 제어 정보는 인루프 필터부(206)에 출력된다. 계속해서, 픽처 데이터의 블록 단위의 부호 데이터를 재생하여, 복호부(203)에 출력한다.
복호부(203)에서는, 부호 데이터를 복호하여, 양자화 계수 및 예측 정보를 재생한다. 재생된 양자화 계수는 역양자화·역변환부(204)에 출력되고, 재생된 예측 정보는 화상 재생부(205)에 출력된다.
역양자화·역변환부(204)는, 입력된 양자화 계수에 대해 역양자화를 행하여 직교 변환 계수를 생성하고, 또한 역직교 변환을 실시하여 예측 오차를 재생한다. 재생된 예측 정보는 화상 재생부(205)에 출력된다.
화상 재생부(205)는, 복호부(203)로부터 입력된 예측 정보에 기초하여, 프레임 메모리(207)를 적절히 참조하여, 예측 화상을 재생한다. 이 예측 화상과 역양자화·역변환부(204)로부터 입력된 예측 오차로부터 화상 데이터를 재생하고, 프레임 메모리(207)에 입력하여, 저장한다. 저장된 화상 데이터는 예측 시의 참조에 사용된다.
인루프 필터부(206)는, 도 1의 참조 부호 109와 마찬가지로, 프레임 메모리(207)로부터 재생 화상을 판독하고, 분리 복호부(202)로부터 입력된 필터 제어 정보에 기초하여, 디블로킹 필터 등의 인루프 필터 처리를 행한다. 그리고, 필터 처리된 화상은 다시 프레임 메모리(207)에 입력된다. 본 실시 형태에서의 인루프 필터 처리는, 도 1의 화상 부호화 장치에 있어서의 인루프 필터 처리와 동일하기 때문에, 상세한 설명은 생략한다.
인루프 필터부(206)에서 필터 처리된 화상은 다시 프레임 메모리(207)에 저장되고, 최종적으로는 단자(208)로부터 외부에 출력된다.
도 7은 도 2의 화상 복호 장치에 있어서의 화상의 복호 처리를 설명하는 흐름도이다.
먼저, 스텝 S701에서, 분리 복호부(202)는, 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호 데이터로 분리하고, 헤더 부분의 부호 데이터를 복호하여, 타일 분할 정보나 필터 제어 정보를 재생한다.
스텝 S702에서, 복호부(203)는, 스텝 S701에서 분리된 부호 데이터를 복호하여, 양자화 계수 및 예측 정보를 재생한다.
스텝 S703에서, 역양자화·역변환부(204)는, 블록 단위로 양자화 계수에 대해 역양자화를 행하여 변환 계수를 얻고, 또한 역직교 변환을 행하여, 예측 오차를 재생한다.
스텝 S704에서, 화상 재생부(205)는, 스텝 S702에서 생성된 예측 정보에 기초하여 예측 화상을 재생한다. 또한 재생된 예측 화상과 스텝 S703에서 생성된 예측 오차로부터 화상 데이터를 재생한다.
스텝 S705에서, 화상 재생부(205) 혹은 화상 복호 장치의 도시하지 않은 제어부는, 타일 내의 모든 블록의 복호가 종료되었는지 여부의 판정을 행한다. 종료되었으면 스텝 S706으로 진행하고, 그렇지 않으면 다음 블록을 대상으로 하여, 스텝 S702로 되돌아간다.
스텝 S706에서, 화상 재생부(205) 혹은 화상 복호 장치의 도시하지 않은 제어부는, 프레임 내의 모든 타일의 부호화가 종료되었는지 여부의 판정을 행한다. 종료되었으면 스텝 S707로 진행하고, 그렇지 않으면 다음 타일을 대상으로 하여, 스텝 S702로 되돌아간다.
스텝 S707에서, 인루프 필터부(206)는 스텝 S704에서 재생된 화상 데이터에 대해, 인루프 필터 처리를 행하여, 필터 처리된 화상을 생성하고, 처리를 종료한다.
인루프 필터 처리의 상세를 나타내는 흐름도는 화상 부호화 장치에 있어서의 처리를 나타내는 도 5와 동일하기 때문에, 설명을 생략한다.
이상의 구성과 동작에 의해, 도 1의 화상 부호화 장치에 있어서 생성된, 타일 경계의 연속성에 따라서 타일 경계에 인루프 필터 처리를 적용할지 여부를 선택할 수 있게 된 비트 스트림을 복호할 수 있다.
또한, 본 실시 형태에서는, 도 6a에 도시한 바와 같이, 타일 분할 정보 및 필터 제어 정보가 픽처 헤더 부분에 포함되어 있는 비트 스트림을 복호하는 것으로 하였지만, 정보의 부호화 위치는 이것에 한정되지 않는다. 도 6b에 도시된 바와 같이 화상의 시퀀스 헤더 부분에서 부호화되어 있어도 되고, 다른 위치에서 부호화되어 있어도 상관없다.
또한, 본 실시 형태에서는 도 10a에 도시된 바와 같은 신택스의 구성을 갖는 비트 스트림의 복호에 대하여 나타냈지만, 복호하는 비트 스트림의 구성은 이것에 한정되지 않는다. 예를 들어 도 10b와 같은 신택스의 구성을 갖는 비트 스트림을 복호해도 된다. 도 10b는 모든 수평 방향의 타일 경계 및 수직 방향의 타일 경계에 대하여 공통의 필터 제어 정보가 부호화되어 있는 경우의 예를 나타내고 있다. 예를 들어, 도 9d에 도시된 화상이 실시 형태 1의 부호화 장치에서 부호화되어 생성된 비트 스트림을 복호하는 경우, 전자(…horizontal…flag)를 복호하여 1이라는 값, 후자(…vertical…flag)를 복호하여 0이라는 값을 얻는다. 이에 의해, 모든 수평 방향의 타일 경계에 대하여 인루프 필터 처리를 행하고, 모든 수직 방향의 타일 경계에 대해서는 인루프 필터 처리를 행하지 않는다는 필터 제어 정보를 보다 적은 부호량으로 부호화된 비트 스트림을 복호할 수 있다.
나아가, 도 10c와 같은 신택스 구성을 갖는 비트 스트림을 복호하는 것도 가능하다. 도 10c에서는 loop_filter_across_tiles_control_idc에 의해 나타내어지는 인덱스를 특정 타일 배치 방법과 대응시킬 수 있다. 예를 들어 1을 도 9b, 2를 도 9c, 3을 도 9d 등과 대응짓는 등의 방식이다. 이에 의해, 보다 다양한 타일 배치 방법에도 대응하면서, 보다 적은 부호량으로 타일 경계에 대한 필터링 제어를 실현한 비트 스트림을 복호할 수 있다.
도 1, 도 2에 도시한 각 처리부는 하드웨어로써 구성하고 있는 것으로 하여 상기 실시 형태에서는 설명하였다. 그러나, 이들 도면에 도시한 각 처리부에서 행하는 처리를 컴퓨터 프로그램으로써 구성해도 된다.
도 8은 상기 각 실시 형태에 관한 화상 부호화 장치 및 화상 복호 장치에 적용 가능한 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
CPU(801)는, RAM(802)이나 ROM(803)에 저장되어 있는 컴퓨터 프로그램이나 데이터를 사용하여 컴퓨터 전체의 제어를 행함과 함께, 상기 각 실시 형태에 관한 화상 처리 장치가 행하는 것으로서 상술한 각 처리를 실행한다. 즉, CPU(801)는, 도 1, 도 2에 도시한 각 처리부로서 기능하게 된다.
RAM(802)은, 외부 기억 장치(806)로부터 로드된 컴퓨터 프로그램이나 데이터, I/F(인터페이스)(807)를 통해 외부로부터 취득한 데이터 등을 일시적으로 기억하기 위한 에어리어를 갖는다. 또한, RAM(802)은, CPU(801)가 각종 처리를 실행할 때 사용하는 워크 에어리어를 갖는다. 즉, RAM(802)은, 예를 들어 프레임 메모리로서 할당하거나, 그 다른 각종의 에어리어를 적절히 제공하거나 할 수 있다.
ROM(803)에는, 본 컴퓨터의 설정 데이터나, 부트 프로그램 등이 저장되어 있다. 조작부(804)는, 키보드나 마우스 등에 의해 구성되어 있고, 본 컴퓨터의 유저가 조작함으로써, 각종 지시를 CPU(801)에 대하여 입력할 수 있다. 표시부(805)는, CPU(801)에 의한 처리 결과를 표시한다. 또한 표시부(805)는 예를 들어 액정 디스플레이로 구성된다.
외부 기억 장치(806)는, 하드디스크 드라이브 장치로 대표되는, 대용량 정보 기억 장치이다. 외부 기억 장치(806)에는, OS(오퍼레이팅 시스템)나, 도 1, 도 2에 도시한 각 부의 기능을 CPU(801)에 실현시키기 위한 컴퓨터 프로그램이 보존되어 있다. 나아가, 외부 기억 장치(806)에는, 처리 대상으로서의 각 화상 데이터가 보존되어 있어도 된다.
외부 기억 장치(806)에 보존되어 있는 컴퓨터 프로그램이나 데이터는, CPU(801)에 의한 제어에 따라서 적절히, RAM(802)에 로드되어, CPU(801)에 의한 처리 대상이 된다. I/F(807)에는, LAN이나 인터넷 등의 네트워크, 투영 장치나 표시 장치 등의 다른 기기를 접속할 수 있어, 본 컴퓨터는 이 I/F(807)를 통해 다양한 정보를 취득하거나, 송출하거나 할 수 있다. 참조 부호 808은 상술한 각 부를 연결하는 버스이다.
상술한 도 4, 도 5, 및 도 7에 도시한 흐름도의 처리는, ROM(803)에 저장된 프로그램을 RAM(802)으로 판독하고, 그 프로그램에 기초하여 CPU에 의해 실행된다.
상술한 바와 같이, 본 발명에 의해, 타일 경계마다 인루프 필터 처리를 적용할지 여부를 선택할 수 있게 된다. 그 때문에, 특히 연속하고 있는 타일 경계의 화질을 향상시키는 것이 가능해져, 부호화 효율을 더욱 향상시킬 수 있다.
(그 밖의 실시예)
본 발명은, 상술한 실시 형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급한다. 그리고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하여 실행하는 처리로도 실현 가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.
본 발명은 정지 화상·동화상의 부호화·복호를 행하는 부호화 장치·복호 장치에 사용된다. 특히, 타일 분할 및 인루프 필터 처리를 사용하는 부호화 방식 및 복호 방식에 적용이 가능하다.
본 발명은 상기 실시 형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위로부터 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 공표하기 위해 이하의 청구항을 첨부한다.
본원은, 2016년 12월 22일에 제출된 일본 특허 출원 제2016-249173호를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용 모두를 여기에 원용한다.

Claims (18)

  1. 복수의 타일을 갖는 화상을 부호화하기 위한 부호화 장치에 있어서,
    상기 복수의 타일에 의해 구성되는 복수의 경계에 대하여, 당해 경계에 인접하는 화소를 필터 처리할지 여부를 결정하는 결정 수단과,
    상기 결정 수단에 의한 결정에 기초하여, 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 제어 정보를, 상기 복수의 경계 중 적어도 2개에 대하여 부호화하는 부호화 수단을 갖는 것을 특징으로 하는 부호화 장치.
  2. 제1항에 있어서,
    상기 복수의 타일은 직사각형이며, 적어도 2개의 경계를 구성하는 것을 특징으로 하는 부호화 장치.
  3. 제1항에 있어서,
    상기 부호화 수단은, 2개의 타일간에 의해 구성되는 경계마다 상기 제어 정보를 부호화하는 것을 특징으로 하는 부호화 장치.
  4. 제1항에 있어서,
    상기 부호화 수단은, 제어 정보로서, 수평 방향의 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 수평 방향의 제어 정보 및 수직 방향의 경계에 인접하는 화소를 필터할지 여부를 나타내는 수직 방향의 제어 정보를 부호화하는 것을 특징으로 하는 부호화 장치.
  5. 제4항에 있어서,
    상기 수평 방향의 제어 정보는, 수평 방향의 복수의 타일 경계에 공통의 제어 정보인 것을 특징으로 하는 부호화 장치.
  6. 제4항에 있어서,
    상기 수직 방향의 제어 정보는, 수직 방향의 복수의 타일 경계에 공통의 제어 정보인 것을 특징으로 하는 부호화 장치.
  7. 제1항에 있어서,
    상기 제어 정보는, 1프레임의 화상을 구성하기 위해 합성되는 복수의 화상의 배치에 대응하는 인덱스인 것을 특징으로 하는 부호화 장치.
  8. 복수의 타일을 갖는 화상을 비트 스트림으로부터 복호하기 위한 복호 장치에 있어서, 화상을 복호하는 복호 수단과,
    상기 복수의 타일에 의해 구성되는 복수의 경계에 대하여, 당해 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 제어 정보를 비트 스트림으로부터 생성하는 생성 수단과,
    상기 생성 수단에 의해 생성된 제어 정보에 기초하여, 적어도 복수의 경계에 인접하는 화소를 필터 처리할지 여부를 결정하는 결정 수단과,
    상기 결정 수단에 의해 필터 처리하는 것으로 결정된 경계에 대하여 필터 처리하는 처리 수단을 갖는 것을 특징으로 하는 복호 장치.
  9. 제8항에 있어서,
    상기 복수의 타일은 직사각형이며, 적어도 2개의 경계를 구성하는 것을 특징으로 하는 복호 장치.
  10. 제8항에 있어서,
    상기 생성 수단은, 2개의 타일간에 의해 구성되는 경계마다 상기 제어 정보를 생성하는 것을 특징으로 하는 복호 장치.
  11. 제8항에 있어서,
    상기 생성 수단은, 제어 정보로서, 수평 방향의 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 수평 방향의 제어 정보 및 수직 방향의 경계에 인접하는 화소를 필터할지 여부를 나타내는 수직 방향의 제어 정보를 생성하는 것을 특징으로 하는 복호 장치.
  12. 제11항에 있어서,
    상기 수평 방향의 제어 정보는, 수평 방향의 복수의 타일 경계에 공통의 제어 정보인 것을 특징으로 하는 복호 장치.
  13. 제11항에 있어서,
    상기 수직 방향의 제어 정보는, 수직 방향의 복수의 타일 경계에 공통의 제어 정보인 것을 특징으로 하는 복호 장치.
  14. 제8항에 있어서,
    상기 제어 정보는, 1프레임의 화상을 구성하기 위해 합성되는 복수의 화상의 배치에 대응하는 인덱스인 것을 특징으로 하는 복호 장치.
  15. 복수의 타일을 갖는 화상을 부호화하기 위한 부호화 방법에 있어서,
    상기 복수의 타일에 의해 구성되는 복수의 경계에 대하여, 당해 경계에 인접하는 화소를 필터 처리할지 여부를 결정하는 결정 스텝과,
    상기 결정 스텝에 있어서의 결정에 기초하여, 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 제어 정보를, 상기 복수의 경계 중 적어도 2개에 대하여 부호화하는 부호화 스텝을 갖는 것을 특징으로 하는 부호화 방법.
  16. 복수의 타일을 갖는 화상을 비트 스트림으로부터 복호하기 위한 복호 방법에 있어서,
    화상을 복호하는 복호 스텝과,
    상기 복수의 타일에 의해 구성되는 복수의 경계에 대하여, 당해 경계에 인접하는 화소를 필터 처리할지 여부를 나타내는 제어 정보를 비트 스트림으로부터 생성하는 생성 스텝과,
    상기 생성 스텝에 있어서 생성된 제어 정보에 기초하여, 적어도 복수의 경계에 인접하는 화소를 필터 처리할지 여부를 결정하는 결정 스텝과,
    상기 결정 스텝에 있어서 필터 처리하는 것으로 결정된 경계에 대하여 필터 처리하는 처리 스텝을 갖는 것을 특징으로 하는 복호 방법.
  17. 제1항 내지 제7항 중 어느 한 항에 기재된 부호화 장치의 처리를 컴퓨터에 실행시키기 위한 프로그램.
  18. 제8항 내지 제14항 중 어느 한 항에 기재된 복호 장치의 처리를 컴퓨터에 실행시키기 위한 프로그램.
KR1020197019989A 2016-12-22 2017-12-13 부호화 장치, 부호화 방법 및 프로그램, 복호 장치, 복호 방법 및 프로그램 KR20190094407A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217018705A KR20210077799A (ko) 2016-12-22 2017-12-13 부호화 장치, 부호화 방법 및 프로그램

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016249173A JP2018107500A (ja) 2016-12-22 2016-12-22 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
JPJP-P-2016-249173 2016-12-22
PCT/JP2017/044662 WO2018116924A1 (ja) 2016-12-22 2017-12-13 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217018705A Division KR20210077799A (ko) 2016-12-22 2017-12-13 부호화 장치, 부호화 방법 및 프로그램

Publications (1)

Publication Number Publication Date
KR20190094407A true KR20190094407A (ko) 2019-08-13

Family

ID=62627539

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197019989A KR20190094407A (ko) 2016-12-22 2017-12-13 부호화 장치, 부호화 방법 및 프로그램, 복호 장치, 복호 방법 및 프로그램
KR1020217018705A KR20210077799A (ko) 2016-12-22 2017-12-13 부호화 장치, 부호화 방법 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217018705A KR20210077799A (ko) 2016-12-22 2017-12-13 부호화 장치, 부호화 방법 및 프로그램

Country Status (7)

Country Link
US (2) US20190306515A1 (ko)
EP (1) EP3562160A4 (ko)
JP (1) JP2018107500A (ko)
KR (2) KR20190094407A (ko)
CN (1) CN110115038A (ko)
RU (3) RU2749536C2 (ko)
WO (1) WO2018116924A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
EP3609182A4 (en) * 2017-04-06 2020-04-08 Panasonic Intellectual Property Corporation of America ENCODING DEVICE AND METHOD, DECODING DEVICE AND METHOD
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
CN116016932A (zh) * 2018-10-12 2023-04-25 华为技术有限公司 用于视频译码中去块效应滤波器的装置和方法
KR102619997B1 (ko) * 2019-01-02 2024-01-02 애플 인크. 영상 신호 부호화/복호화 방법 및 이를 위한 장치
EP4358036A2 (en) * 2019-03-11 2024-04-24 Huawei Technologies Co., Ltd. Interpolation filter clipping for sub-picture motion vectors
KR102296987B1 (ko) * 2019-06-11 2021-09-02 건국대학교 산학협력단 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템
KR20220079983A (ko) * 2019-11-18 2022-06-14 엘지전자 주식회사 필터링을 위한 정보의 시그널링 기반 영상 코딩 장치 및 방법
WO2022016535A1 (zh) * 2020-07-24 2022-01-27 深圳市大疆创新科技有限公司 视频编解码的方法和装置
WO2024088003A1 (en) * 2022-10-24 2024-05-02 Mediatek Inc. Method and apparatus of position-aware reconstruction in in-loop filtering

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170701B (zh) * 2007-11-16 2010-10-27 四川虹微技术有限公司 视频编解码系统中去块滤波方法及装置
JP5748463B2 (ja) * 2010-12-02 2015-07-15 キヤノン株式会社 符号化装置およびプログラム
US10244239B2 (en) * 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
KR102145782B1 (ko) * 2011-10-31 2020-08-19 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 컴퓨터 독취 가능한 기억 매체
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
JP6048941B2 (ja) * 2012-01-27 2016-12-27 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP6222576B2 (ja) * 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
CN116366835A (zh) * 2013-01-04 2023-06-30 Ge视频压缩有限责任公司 高效可伸缩编码概念
KR102107270B1 (ko) * 2013-07-15 2020-05-06 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
CN105723712B (zh) * 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
US10038919B2 (en) * 2014-05-29 2018-07-31 Apple Inc. In loop chroma deblocking filter
KR101953679B1 (ko) * 2014-06-27 2019-03-04 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
JP2016165074A (ja) * 2015-03-06 2016-09-08 富士通株式会社 動画像符号化装置、動画像符号化方法及びプログラム
US10136132B2 (en) * 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
US10390039B2 (en) * 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US10735725B2 (en) * 2016-09-14 2020-08-04 Microsoft Technology Licensing, Llc Boundary-intersection-based deblock filtering
US20180098090A1 (en) * 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
US10368080B2 (en) * 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US11095877B2 (en) * 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JVET 기서 JVET-C0021 인터넷<http://phenix.int-evry.fr/jvet/doc_end_user/documents/3_Geneva/wg11/>
JVET 기서 JVET-D0022 인터넷<http://phenix.int-evry.fr/jvet/doc_end_user/documents/4_Chengdu/wg11/>

Also Published As

Publication number Publication date
EP3562160A4 (en) 2020-05-13
KR20210077799A (ko) 2021-06-25
RU2019122137A (ru) 2021-01-22
RU2020134731A3 (ko) 2021-04-07
RU2749536C2 (ru) 2021-06-15
US20190306515A1 (en) 2019-10-03
US20210076051A1 (en) 2021-03-11
JP2018107500A (ja) 2018-07-05
RU2020134731A (ru) 2020-11-06
RU2019122137A3 (ko) 2021-01-22
CN110115038A (zh) 2019-08-09
RU2760909C1 (ru) 2021-12-01
WO2018116924A1 (ja) 2018-06-28
EP3562160A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
KR20190094407A (ko) 부호화 장치, 부호화 방법 및 프로그램, 복호 장치, 복호 방법 및 프로그램
US10750192B2 (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
KR102144881B1 (ko) 비디오 처리를 위한 송신 장치 및 방법
KR102043581B1 (ko) 화상 코딩 장치, 화상을 코딩하는 방법, 화상 디코딩 장치, 화상을 디코딩하는 방법 및 컴퓨터 판독가능 매체
JP2013102298A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN110603809A (zh) 用于视频编码或解码的设备和方法
US10158863B2 (en) Image coding apparatus, image coding method, and recording medium, and image decoding apparatus, image decoding method, and recording medium
JP2021064979A (ja) 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
TWI834910B (zh) 影像編碼裝置、影像編碼方法及程式、影像解碼裝置、影像解碼方法及程式
JP6679777B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2012093466A1 (en) Image coding apparatus, image coding method and program, image decoding apparatus, and image decoding method and program

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination