KR101973919B1 - 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체 - Google Patents

화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
KR101973919B1
KR101973919B1 KR1020187028461A KR20187028461A KR101973919B1 KR 101973919 B1 KR101973919 B1 KR 101973919B1 KR 1020187028461 A KR1020187028461 A KR 1020187028461A KR 20187028461 A KR20187028461 A KR 20187028461A KR 101973919 B1 KR101973919 B1 KR 101973919B1
Authority
KR
South Korea
Prior art keywords
tiles
tile
picture
image
layer
Prior art date
Application number
KR1020187028461A
Other languages
English (en)
Other versions
KR20180112105A (ko
Inventor
미츠루 마에다
마사토 시마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20180112105A publication Critical patent/KR20180112105A/ko
Application granted granted Critical
Publication of KR101973919B1 publication Critical patent/KR101973919B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Abstract

본 발명은 화상의 계층 부호화에서, 화상의 분할에 의해 생긴 타일들의 부호화 및 복호화 시 고속으로 소정 영역을 처리하기 위해 독립적으로 처리될 수 있는 타일의 상세에 관한 것이다. 입력 화상들을 복수의 계층으로 계층 부호화하는 화상 부호화 장치는 취득 유닛 및 부호화 유닛을 포함한다. 취득 유닛은 입력 화상으로부터 생성된 제1 화상과 제1 화상과 상이한 해상도를 갖는 제2 화상을 취득한다. 취득 유닛에 의해 취득된 제1 화상 내의 제1 영역의 부호화 시, 부호화 유닛은 제1 화상 내의 제1 영역과 상대적으로 동일한 위치에서 존재하는, 제2 화상 내의 제2 영역을 참조 화상으로서 이용하여 부호화를 수행한다.

Description

화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체{IMAGE ENCODING APPARATUS, IMAGE ENCODING METHOD, IMAGE DECODING APPARATUS, IMAGE DECODING METHOD, AND COMPUTER-READABLE STORAGE MEDIUM}
본 발명은 상이한 공간 해상도나 상이한 화질의 계층들의 부호화 및 복호화에 관한 것이다. 특히, 본 발명은 동화상을 구성하는 각각의 화상을 다수의 영역으로 분할하여 각각의 분할된 영역에 대한 부호화 및 복호화를 수행하는 화상 부호화 및 복호화 기술에 관한 것이다.
동화상의 압축 기록의 부호화 방법으로서, H.264/MPEG(Moving Picture Experts Group)-4 AVC(Advanced Video Coding)(이하 H.264로 지칭함)이 알려졌다.
최근 들어, H.264의 후계로서, 고효율 부호화 방법의 국제 표준화의 활동이 개시되고, JCT-VC(Joint Collaborative Team on Video Coding)가 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)와 ITU-T(International Telecommunication Union Telecommunication Standardization Sector) 사이에 설립되었다. JCT-VC에서는, 고효율 비디오 부호화(High Efficiency Video Coding)(이하, HEVC)의 표준화가 진행되고 있다(NPL 1 참고).
HEVC에서, 화상을 직사각형 영역(타일)들로 분할하고 개별 영역들의 부호화 및 복호화를 독립적으로 수행하는, 타일 분할 방법이라고 불리는 기술이 채용되고 있다. 또한, 타일 분할 방법에서, 하나 이상의 타일로 각각 구성되는 움직임 제약된 타일 세트(Motion Constrained Tile Set)(이하, MCTS)들의 부호화 및 복호화를 다른 타일과 독립적으로 수행하는 기술이 제안되었다(NPL 2 참고). NPL 2에 기재된 제안에서는, 각각의 시퀀스에 대해 설정될 수 있는 MCTS가 정의된다. 즉, MCTS는 동일한 시퀀스에서 각각의 프레임 내의 상대적으로 동일한 위치에 배열된다. 상기 제안에서는, 처리될 프레임 내의 MCTS의 부호화 및 복호화에서, 다른 프레임 내의 MCTS의 화소 그룹과 상대적으로 동일한 위치의 화소 그룹은 프레임 간 예측의 대상이 된다. 즉, 화소 그룹 내의 화소들과는 다른 화소들은 움직임 벡터 탐색에서 참조하는 참조 화소로서 이용되지 않는다. 이는 MCTS에서 부호화 및 복호화의 독립성을 확보할 수 있다. 또한, 화상 내의 MCTS에 포함되는 각각의 타일의 위치는 부호화를 위해 SEI(Supplemental Enhancement Information) 메시지에 포함된다.
HEVC의 표준화에서는, 계층 부호화로의 확장도 고려된다. 계층 부호화에서는, 부호화될 타일은 베이스층 및 확장층 상에서 부호화된다. 각각의 층에 부호화된 타일은 비트 스트림을 생성하기 위해 다중화된다. 상술한 계층 부호화에서는, 베이스층 상의 타일의 경계 위치와 확장층 상의 타일의 경계 위치를 독립적으로 설정하는 것이 가능하다. 확장층 상의 대응하는 타일의 부호화에서 베이스층 상에 부호화될 타일을 참조하는 것이 필요하기 때문에, 베이스층 상에서 대응하는 타일의 위치를 식별할 필요가 있다. 따라서, 확장층 상의 VUI(Video Usability Information) 파라미터(vui_parameters)로서 tile_boundaries_aligned_flag의 사용이 제안된다(NPL 3 참고). tile_boundaries_aligned_flag는 타일이 각각의 층들에서 상대적으로 동일한 위치에 배열되는지를 나타내는 일치 정보의 부호화로부터 생긴다. tile_boundaries_aligned_flag가 1의 값을 갖는 경우, 확장층 상의 타일의 경계 위치가 베이스층 상의 대응하는 타일의 경계 위치와 일치하는 것이 보장된다. 이것이, 확장층 상의 타일의 부호화 및 복호화에서 호출되는 베이스층 상의 타일 위치가 식별되는 것을 허용하기 때문에, 확장층 상에 타일을 독립적으로 부호화 및 복호화하는 것이 가능하여, 고속 부호화 및 복호화를 가능하게 한다. 베이스층은 최상위 층이 되고, 후속 확장층은 하위층이 된다.
그러나 NPL 2에 기재된 MCTS에서는, 계층 부호화가 고려되지 않는다. 특히, 타일의 경계 및 MCTS의 위치가 각각의 층에 대해 설정될 수 있을 때, 각 층 상의 타일의 상대적인 위치는 서로 일치하지 않을 수 있다. 예를 들어, 확장층 상의 소정의 타일이 MCTS에 포함되고, 베이스층 상의 소정의 타일에 대응하는 위치의 타일이 MCTS에 포함되지 않을 때, 베이스층 상에서, 소정의 타일에 대응하는 위치의 타일 이외에, 주변 타일들도 복호화할 필요가 있다.
이는 도 13을 참고해서 이하 구체적으로 설명될 것이다. 도 13은 프레임이 어떻게 타일들로 분할되는지를 예시한다. 도 13을 참고하면, 참조번호 1301 내지 1310은 각각 프레임을 지칭한다. 프레임들(1301 내지 1310) 각각은 타일 번호 0 내지 11의 12개의 타일을 포함한다. 이하에서 타일 번호 1의 타일은 타일 1이라고 지칭한다. 다른 타일 번호들에 대해서도 동일하게 적용된다. 설명을 위해, 베이스층 상에서 각각의 프레임은 수평 방향에서 2개의 타일로 분할되고, 수직 방향에서는 분할되지 않는다. 확장층 상에서 각각의 프레임은 수평 방향에서 4개의 타일로 분할되고, 수직 방향에서 3개의 타일로 분할된다. 도 13에서 가는선 박스들은 타일의 경계를 나타낸다.
프레임들(1301, 1303, 1305, 1307 및 1309) 각각은 시간 t에서 각각의 층의 프레임을 나타낸다. 프레임(1301)은 시간 t에서 베이스층 상의 프레임을 나타낸다. 프레임(1305)은 시간 t에서 확장 제1 층(제1 확장층) 상의 프레임을 나타낸다. 프레임(1303)은 프레임(1301)의 국소 복호화로 생긴 재구성 화상을 제1 확장층의 해상도로 확대한 프레임을 나타낸다. 프레임(1309)은 시간 t에서 확장 제2 층(제2 확장층) 상의 프레임을 나타낸다. 프레임(1307)은 프레임(1305)의 복호 화상을 제2 확장층의 해상도로 확대한 프레임을 나타낸다.
프레임들(1302, 1304, 1306, 1308 및 1310) 각각은 시간 t+δ에서 각각의 층의 프레임을 나타낸다. 프레임(1302)은 시간 t+δ의 베이스층의 프레임을 나타낸다. 프레임(1306)은 시간 t+δ에서 제1 확장층의 프레임을 나타낸다. 프레임(1304)은 프레임(1302)의 복호 화상을 제1 확장층의 해상도로 확대한 프레임을 나타낸다. 프레임(1310)은 시간 t+δ에서 제2 확장층 상의 프레임을 나타낸다. 프레임(1308)은 프레임(1306)의 복호 화상을 제2 확장층의 해상도로 확대한 프레임을 나타낸다.
이하, 확장층 상의 프레임들(프레임들(1305, 1306, 1309 및 1310)) 각각의 타일 5는 MCTS 내의 타일로서 설명된다. 도 13을 참고하면, 각각의 굵은선 박스는 MCTS에 속하는 타일 또는 타일에 대응하는 위치를 나타낸다.
도 13을 참고하면, 제2 확장층의 프레임(1306) 내의 MCTS(타일 5)를 복호화하기 위해서 제1 확장층 상의 프레임(1310) 내의 타일 5가 복호화될 필요가 있다. 또한, 제1 확장층 상의 프레임(1306) 내의 타일 5를 복호화하기 위해서 베이스층 상의 프레임(1302) 내의 타일 0이 복호화될 필요가 있다. 또한, 베이스층 상의 프레임(1302) 내의 타일 0을 복호화하기 위해서, 프레임 간 예측이 프레임(1301)을 참조하여 수행될 필요가 있고, 프레임(1301) 내의 모든 타일들이 복호화될 필요가 있다.
즉, 종래 기술에서, 시간 t+δ에서 제2 확장층 상의 MCTS를 복호화하는 경우에, 시간 t+δ에서 베이스층 상의 프레임(1302) 내의 타일 5의 위치를 나타내는 영역(프레임(1304) 내의 점선으로 표시된 영역) 이외의 영역을 복호화할 필요가 있다. 이에 따라, 계층 부호화에서 MCTS 등을 사용해서 소정의 타일을 부호화 및 복호화하는 경우에, MCTS의 위치에 대응하는 타일만을 독립적으로 부호화 및 복호화하는 것이 불가능하다는 문제가 있다.
NPL 1: ITU-T H.265(April, 2013) High efficiency video coding NPL 2: JCT-VC contributed article JCTVC-M0235 Internet <http://phenix.int-evry.fr/jct/doc_end_user/docments/13_Incheon/wg11/> NPL 3: JCT-VC contributed article JCTVC-M0202 Internet <http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/>
본 발명은 계층 부호화에서 MCTS로서 설정된 소정의 타일을 다른 타일과 독립적으로 부호화 및 복호화하기 위한 기술을 제공한다. 이하, MCTS에 포함되는 각각의 타일과 같이, 독립적으로 부호화 및 복호화될 수 있는 타일은 독립 타일로 지칭한다. 이하, MCTS와 같은 독립 타일의 집합은 독립 타일 세트로서 지칭한다.
본 발명은 동화상을 구성하는 화상들을 복수의 계층으로 계층 부호화하는 화상 부호화 장치를 제공한다. 화상 부호화 장치는 제1 생성 유닛, 부호화 유닛, 제1 취득 유닛 및 설정 유닛을 포함한다. 제1 생성 유닛은 화상들로부터 상이한 계층들의 제1 화상과 제2 화상을 생성한다. 부호화 유닛은 제1 화상과 제2 화상과 중 적어도 어느 하나를 부호화한다. 제1 취득 유닛은 제1 화상 내의 다른 영역을 참조하지 않고 부호화될 수 있는 제1 영역이 제1 화상 내에 존재하는지를 나타내는 정보를 취득한다. 설정 유닛은 제1 영역이 제1 취득 유닛에 의해 취득된 정보에 기초하여 제1 화상 내에 존재하는 경우, 제1 화상 내의 제1 영역에 대응하는, 제2 화상 내의 위치에 제2 영역을 설정한다.
본 발명은 동화상을 구성하는 화상들을 복수의 계층으로 계층 부호화하여 생긴 부호화 데이터를 복호화하는 화상 복호화 장치를 제공한다. 화상 복호화 장치는 제1 취득 유닛, 제2 취득 유닛, 및 복호화 유닛을 포함한다. 제1 취득 유닛은 제1 화상에 대응하는 제1 데이터와, 제1 화상과 계층이 상이한 제2 화상에 대응하는 제2 데이터를 취득하고, 제1 데이터와 제2 데이터는 부호화 데이터로부터 생성된다. 제2 취득 유닛은 상기 제1 화상 내의 다른 영역을 참조하지 않고 부호화될 수 있는 제1 영역이 제1 화상 내에 존재하는지를 나타내는 정보를 취득한다. 복호화 유닛은 제1 영역이 제2 취득 유닛에 의해 취득된 정보에 기초하여 제1 화상 내에 존재하는 경우, 제1 화상 내의 제1 영역에 대응하는, 제2 화상 내의 위치에 존재하는 제2 영역을 사용하여 제1 화상 내의 제1 영역을 복호화한다.
본 발명의 추가 특징들은 첨부 도면을 참고하여 다음의 예시적인 실시예들의 설명으로부터 자명하게 될 것이다.
본 발명에 따르면, 계층 부호화에서 독립적으로 부호화 및 복호화가 가능한 타일을 설정하는 것이 가능하다.
도 1은 제1 실시예에 따르는 화상 부호화 장치의 구성의 예를 도시한 블록도이다.
도 2는 예시적인 타일 구조를 도시한다.
도 3a는 제1 실시예의 화상 부호화 장치에서 예시적인 화상 부호화 프로세스를 나타내는 흐름도이다.
도 3b는 제1 실시예의 화상 부호화 장치에서 예시적인 화상 부호화 프로세스를 나타내는 흐름도이다.
도 4는 제1 실시예에서 다른 화상 부호화 장치의 구성의 예를 도시하는 블록도이다.
도 5는 도 4에 도시된 화상 부호화 장치에서 예시적인 화상 부호화 프로세스를 나타내는 흐름도이다.
도 6은 제2 실시예에 따르는 화상 복호화 장치의 구성의 예를 도시하는 블록도이다.
도 7은 제2 실시예에서 화상 복호화 유닛의 구성의 예를 도시하는 블록도이다.
도 8a는 도 7에 도시된 화상 복호화 유닛에서 예시적인 화상 복호화 프로세스를 나타내는 흐름도이다.
도 8b는 도 7에 도시된 화상 복호화 유닛에서 예시적인 화상 복호화 프로세스를 나타내는 흐름도이다.
도 9는 도 7에 도시된 화상 복호화 유닛의 예시적인 다른 구성을 도시하는 블록도이다.
도 10a는 도 9에 도시된 화상 복호화 유닛에서 예시적인 화상 복호화 프로세스를 나타내는 흐름도이다.
도 10b는 도 9에 도시된 화상 복호화 유닛에서 예시적인 화상 복호화 프로세스를 나타내는 흐름도이다.
도 11은 제1 실시예에 따르는 화상 부호화 장치와 제2 실시예에 따르는 화상 복호화 장치에 적용 가능한 컴퓨터의 예시적인 하드웨어 구성을 도시하는 블록도이다.
도 12는 비트 스트림의 vui_parameters의 신택스의 예를 도시한다.
도 13은 종래의 예시적인 타일 구조를 도시한다.
이하, 첨부의 도면을 참조하여 실시예들이 상세하게 설명될 것이다. 실시예들에 설명된 구성은 일례에 지나지 않고, 본 발명은 이하 설명되는 구성에 한정되지 않는다.
제1 실시예
이하, 도 1을 참고하여 제1 실시예에 따른 화상 부호화 장치를 구성하는 각 처리 유닛의 개요가 설명될 것이다. 도 1은 제1 실시예의 화상 부호화 장치(100)의 구성의 예를 도시하는 블록도이다.
도 1을 참고하면, 화상(입력 화상)은 단자(101)(입력 유닛)를 통해 화상 부호화 장치(100)로 입력된다. 입력 화상은 각각의 프레임에 대해 입력된다. 타일 설정 유닛(102)은 하나의 프레임 내의 수평 방향의 타일 분할의 수, 하나의 프레임 내의 수직 방향의 타일 분할의 수, 및 각각의 타일의 위치를 결정한다. 또한, 타일 설정 유닛(102)은 분할로 생긴 타일들 중에 어느 타일이 독립 타일로서 부호화될지를 결정한다. 타일 설정 유닛(102)에 의해 설정되는, 수평 방향의 타일의 분할 수, 수직 방향의 타일의 분할 수, 및 각각의 타일의 위치를 나타내는 정보는 이하 타일 분할 정보로서 지칭한다. 각각의 픽처에 대한 헤더 데이터인 픽처 파라미터 세트(PPS)(Picture Parameter Set)가 NPL 1에 기재된 부분에, 타일 분할 정보를 설명하고 있기 때문에, 이하에서는 분할 정보의 설명을 생략한다.
도 2는 제1 실시예에서 프레임을 타일들로 분할하는 방법의 예를 도시한다. 제1 실시예의 도 2 예에서, 하나의 프레임은 4K2K(4096 수평 방향 화소×2160 수직 방향 화소)이다. 이하, 제1 실시예에서 4096 수평 방향 화소×2160 수직 방향 화소는 4096×2160 화소로 표기한다. 상이한 수의 화소들에도 동일하게 적용된다. 도 2를 참고하면, 참조번호 201 내지 206은 프레임을 나타낸다. 프레임들(201 내지 206) 각각은 수평 방향으로 4개와 수직 방향으로 3개를 분할하여 타일 번호 0 내지 11의 12개의 타일로 구성된다. 즉, 하나의 타일의 사이즈는 1024×720 화소이다. 그러나 분할로 생긴 타일들의 수는 이 수에 한정되지 않는다. 도 2에서 프레임들(201 내지 206) 내의 굵은선 박스로 둘러싸인 타일 5 및 타일 6은 독립 타일들이고, 타일 5와 타일 6으로 이루어진 영역은 독립 타일 세트에 대응한다. 도 2에서 프레임들(201 내지 206) 내의 가는선 박스들은 타일들의 경계들을 나타낸다. 도 2에서 확대 화상 내의 굵은선 박스들은 독립 타일 세트에 대응하는 위치를 나타낸다. 도 2로부터 명백한 바와 같이, 수평 방향으로 분할된 타일들의 수, 수직 방향으로 분할된 타일들의 수, 및 각각의 타일의 상대 위치는 각각의 층들에서 공통이다.
도 2를 참고하면, 프레임(201)은 시간 t에 입력된 베이스층 상의 프레임을 나타낸다. 프레임(202)은 시간 t+δ에 입력된 베이스층 상의 프레임을 나타낸다. 프레임(201)은 시간 t+δ에서 부호화 및 국소 복호화(역양자화 및 역변환)의 대상이 되며, 국소 복화화에 대상이 되는 프레임(201)은 프레임(202)의 부호화시 참조 프레임으로서 사용할 수 있다.
프레임(203)은 프레임(201)의 부호화한 후 국소 복호화에 의해 재구성 화상의 생성으로부터 생긴 확대 화상을 나타내고, 재구성 화상은 확장층 상의 화상과 동일한 사이즈로의 확대이다. 프레임(204)은 프레임(202)의 부호화 후 국소 복호화에 의해 재구성 화상의 생성으로부터 생긴 확대 화상을 나타내고, 재구성 화상은 확장층 상의 화상과 동일한 사이즈로의 확대이다.
프레임(205)은 시간 t에 입력된 확장층 상의 프레임을 나타낸다. 프레임(206)은 시간 t+δ에 입력된 확장층 상의 프레임을 나타낸다.
도 1의 각 처리 유닛의 설명이 계속된다. 시간 t+δ에서 각각의 프레임은 부호화될 프레임으로서 설명된다.
타일 설정 유닛(102)은 각각의 시퀀스가 독립 타일을 포함하는지를 나타내는 정보를 표현하는 독립 타일 플래그를 생성한다. 타일 설정 유닛(102)은 독립 타일이 부호화될 프레임에 포함되는 경우 독립 타일 플래그의 값을 1로 설정하고, 독립 타일이 부호화될 프레임에 포함되지 않는 경우 독립 타일 플래그의 값을 0으로 설정한다. 타일 설정 유닛(102)은 독립 타일이 부호화될 프레임에 포함되는(독립 타일 플래그의 값이 1인) 경우, 독립 타일의 위치를 나타내는 독립 타일 위치 정보를 생성한다. 일반적으로, 독립 타일 위치 정보가 화상 내의 타일 번호로 표현되지만, 본 발명은 이에 한정되지 않는다. 타일 설정 유닛(102)은 생성되는 독립 타일 플래그 및 독립 타일 위치 정보를 타일 분할 정보로서 다운스트림 유닛에 제공된다. 제1 실시예에서, 타일 설정 유닛(102)으로부터 출력된 타일 분할 정보는 확장층 분할 유닛(104), 베이스층 분할 유닛(105), 독립 타일 결정 유닛(106) 및 헤더 부호화 유닛(114)에 제공된다.
축소 유닛(103)은 단자(101)로부터 제공된 입력 화상의 사이즈를 미리 결정된 필터 등을 사용해서 축소하여, 해상도를 저하시킨 축소 화상(베이스층 화상)을 생성한다.
확장층 분할 유닛(104)은 단자(101)로부터 제공된 입력 화상을 확장층 화상으로 사용하여, 타일 설정 유닛(102)에 의해 제공된 타일 분할 정보에 기초하여 확장층 화상을 하나 이상의 타일로 분할한다. 도 2의 예에서, 확장층 분할 유닛(104)은 12개의 타일(타일 0 내지 11)에 입력된 프레임(206)을 분할한다. 또한, 확장층 분할 유닛(104)은 분할로부터 생긴 타일들을 타일 번호들의 순서(0, 1, 2,..., 11)로 다운스트림 유닛에 제공한다.
헤더 부호화 유닛(114)은 각각의 시퀀스 및 각각의 픽처에 대한 헤더 부호화 데이터를 생성한다. 특히, 헤더 부호화 유닛(114)은 타일 설정 유닛(102)에서 생성된 독립 타일 플래그와 독립 타일 위치 정보를 수신하고, MCTS SEI(SEI 메시지)를 생성하고, VUI 파라미터(vui_parameters)를 부호화한다.
베이스층 분할 유닛(105)은 축소 유닛(103)에 의해 생성된 베이스층 화상을 타일 설정 유닛(102)으로부터 제공된 타일 분할 정보에 기초하여 하나 이상의 타일로 분할한다. 특히, 베이스층 분할 유닛(105)은 타일 분할 정보에 기초하는 각각의 타일의 위치가 축소 유닛(103)에 의해 생성된 베이스층 화상에서 상대적으로 동일한 위치에 있도록 베이스층 화상을 타일들로 분할한다. 제1 실시예에서, 베이스층 분할 유닛(105)은, 도 2에 도시한 바와 같이 12개의 타일(타일 0 내지 11)에 입력된 프레임(202)을 분할한다. 베이스층 분할 유닛(105)은 분할로부터 생긴 타일들을 타일 번호의 순서로 다운스트림 유닛에 제공한다. 베이스층 분할 유닛(105)은 출력될 타일(부호화될 타일)의 번호를 독립 타일 결정 유닛(106)에 제공한다.
독립 타일 결정 유닛(106)은 부호화될 타일(부호화 대상 타일)이 독립 타일인지를 결정한다. 독립 타일 결정 유닛(106)은 타일 설정 유닛(102)에 의해 생성된 독립 타일 플래그 및 독립 타일 위치 정보와, 베이스층 분할 유닛(105)로부터 제공된 부호화 대상 타일의 번호에 기초하여, 부호화 대상 타일이 독립 타일인지를 결정한다. 독립 타일 플래그가 1이고, 독립 타일 위치 정보가, 독립 타일의 위치가 타일 5인 것을 나타내고, 부호화 대상 타일이 타일 5인 경우에, 독립 타일 결정 유닛(106)은 부호화 대상 타일이 독립 타일이라고 결정할 수 있다. 독립 타일 결정 유닛(106)은 결정 결과를 독립 타일 부호화 플래그로서 다운스트림 유닛에 제공한다. 독립 타일 결정 유닛(106)은 부호화 대상 타일이 독립 타일일 경우 독립 타일 부호화 플래그의 값을 1로 설정하고, 부호화 대상 타일이 독립 타일이 아닐 경우 독립 타일 부호화 플래그의 값을 0으로 설정한다.
베이스층 부호화 유닛(107)은 베이스층 분할 유닛(105)으로부터 제공된 베이스층 화상 내의 부호화 대상 타일의 화상을 부호화한다. 베이스층 부호화 유닛(107)은 독립 타일 결정 유닛(106)으로부터 제공된 독립 타일 부호화 플래그에 기초하여 부호화 대상 타일을 부호화하여, 베이스층 부호화 데이터를 생성한다.
독립 타일 부호화 플래그가, 부호화 대상 타일이 독립 타일인 것을 나타내는 경우, 베이스층 부호화 유닛(107)은 다음의 방식으로 부호화를 수행한다. 베이스층 부호화 유닛(107)은 국소 복호화의 대상이 되는 베이스층 상의 재구성 화상에서 부호화 대상 타일을 포함하는 독립 타일 세트의 위치와 상대적으로 동일한 위치의 화소만을 참조하여 예측 및 부호화를 수행한다. 도 2의 예에서, 프레임(202) 내의 타일 5가 부호화 대상 타일인 경우, 베이스층 부호화 유닛(107)은 프레임(201)에서 독립 타일 세트 내의 타일 5 및 타일 6만을 참조하여 예측 및 부호화를 수행한다. 한편, 독립 타일 부호화 플래그가, 부호화 대상 타일이 독립 타일이 아닌 것을 나타내는 경우, 베이스층 부호화 유닛(107)은 국소 복호화의 대상이 되는 베이스층 상의 재구성 화상 내의 모든 화소를 참조하여 예측 및 예측 오차 등의 부호화를 수행한다. 도 2의 예에서, 프레임(202) 내의 타일 2가 부호화될 경우, 베이스층 부호화 유닛(107)은 프레임(201) 내의 모든 타일(타일들 0 내지 11)을 참조하여 예측 및 부호화를 수행한다.
베이스층 부호화 유닛(107)은 예측을 위해 사용된 예측 모드, 예측에 의해 생성된 예측 오차, 예측 오차를 부호화해서 생성한 베이스층 부호화 데이터 등을 다운스트림 유닛에 제공한다.
베이스층 재구성 유닛(108)은 베이스층 부호화 유닛(107)에 의해 생성된 계수(예측 모드 및 예측 오차)를 수신하고, 예측 오차의 국소 복호화를 수행하여 베이스층 상에 재구성 화상을 생성한다. 베이스층 재구성 유닛(108)은 생성된 재구성 화상을 유지한다. 이것은, 재구성 화상이 베이스층 부호화 유닛(107) 및 확장층 부호화 유닛(112)에서 예측을 위해 사용되기 때문이다.
확대 유닛(109)은 베이스층 상의 재구성 화상을 확장층 상의 사이즈로 확대한다. 도 2의 예에서, 확대 유닛(109)은 프레임(201) 및 프레임(202) 각각의 재구성 화상을 확대하여, 프레임(203) 및 프레임(204)을 각각 생성한다.
확장층 부호화 유닛(112)은 확장층 분할 유닛(104)으로부터 제공된 타일의 화상을 부호화한다. 특히, 확장층 부호화 유닛(112)은 독립 타일 결정 유닛(106)으로부터 제공된 독립 타일 부호화 플래그에 기초하여 참조 화상을 선택하고, 부호화 대상 타일을 부호화하여 확장층 부호화 데이터를 생성한다.
독립 타일 부호화 플래그가 1인 경우(부호화 대상 타일이 독립 타일인 경우), 확장층 부호화 유닛(112)은 베이스층 상에서 국소 복호화의 대상이 되는 재구성 화상의 확대로부터 생긴 확대 화상과, 국소 복호화의 대상이 되는 확장층 상의 재구성 화상을 참조한다. 확장층 부호화 유닛(112)은 확대 화상 및 재구성 화상 각각의 독립 타일 세트에 포함되는 화상을 참조하여 예측 및 부호화를 수행한다. 도 2의 예에서, 프레임(206) 내의 타일 5가 부호화되는 경우, 확장층 부호화 유닛(112)은 프레임(204) 내의 타일 5 및 타일 6과, 프레임(206) 내의 타일 5에서 국소 복호화의 대상이 되는 재구성 화상을 참조하여 예측 및 부호화를 수행한다. 독립 타일 부호화 플래그가 0인 경우(부호화 대상 타일이 독립 타일이 아닌 경우), 확장층 부호화 유닛(112)은 국소 복호화의 대상이 되는 베이스층 상의 확대 화상 및 국소 복호화의 대상이 되는 확장층 상의 재구성 화상을 참조하여 독립 타일에 한정하지 않고 예측을 수행한다. 확장층 부호화 유닛(112)은 예측에서 생성된 예측 오차 등을 부호화한다.
확장층 부호화 유닛(112)은 베이스층 부호화 유닛(107)과 마찬가지로, 예측을 위해 사용된 예측 모드, 예측에 의해 생성된 예측 오차, 예측 오차를 부호화해서 생성한 확장층 부호화 데이터 등을 다운스트림 유닛에 제공한다.
확장층 재구성 유닛(113)은 예를 들어, 확장층 상에서 재구성 화상을 생성하기 위한 부호화 도중에 확장층 부호화 유닛(112)에 의해 생성된 계수(예측 모드 및 예측 오차)를 사용하여 국소 복호화를 수행한다. 확장층 재구성 유닛(113)은 재구성 화상이 확장층 부호화 유닛(112)에서의 부호화에서 사용되기 때문에, 생성된 재구성 화상을 유지한다.
통합 유닛(110)은 베이스층 부호화 유닛(107)에 의해 생성된 베이스층 부호화 데이터, 확장층 부호화 유닛(112)에 의해 생성된 확장층 부호화 데이터, 헤더 부호화 유닛(114)에 의해 생성된 헤더 부호화 데이터를 서로 통합하여 비트 스트림을 생성한다. 통합 유닛(110)에 의해 생성된 비트 스트림은 단자(111)로부터 출력된다.
제어 유닛(115)은 화상 부호화 장치 내의 각 처리 유닛을 제어하고 처리 유닛들 사이에 파라미터를 전달한다. 제어 유닛(115)과 화상 부호화 장치 내의 각 처리 유닛 사이의 연결선은 도 1에서 생략된다. 제어 유닛(115)은 화상 부호화 장치 내의 처리 유닛들을 제어할 수 있고, 파라미터 신호선 또는 레지스터 버스를 통해 처리 유닛들 간의 파라미터를 판독하고 기입할 수 있다. 제1 실시예에서는, 도 1의 제어 유닛(115)이 화상 부호화 장치 내에 제공될지라도, 본 발명은 이것에 한정되지 않는다. 특히, 제어 유닛(115)은 화상 부호화 장치 외부에 제공되어, 화상 부호화 장치 내의 처리 유닛들을 제어하고 파라미터 신호선 또는 레지스터 버스를 통해 처리 유닛들 간의 파라미터를 판독하고 기입할 수 있다.
상술한 화상 부호화 장치(100)에서 화상의 예시적인 부호화 프로세스는 도 3a 및 3b의 흐름도를 참고해서 이하 설명될 것이다.
도 3a 및 3b를 참고하면, 단계 S301에서는 화상 부호화 장치(100)가 사용자에 의해 특정되는 계층 부호화에서 계층들의 수를 취득한다. 제1 실시예에서는 하나의 확장층이 사용되고, 2개의 계층(베이스층과 하나의 확장층)의 계층 부호화가 수행된다고 가정한다.
단계 S302에서, 타일 설정 유닛(102)은 부호화될 프레임 내의 분할된 타일들의 수 및 분할의 위치를 결정하고, 또한 부호화될 프레임 내의 어느 타일이 독립 타일로서 설정되는지를 결정한다. 제1 실시예에서는 타일 5 및 타일 6이 독립 타일이고, 타일 5 및 타일 6이 하나의 독립 타일 세트를 구성한다고 가정한다. 따라서 제1 실시예에서, 타일 설정 유닛(102)은 독립 타일 플래그를 1로 설정한다. 독립 타일이 부호화될 프레임 내에 포함되지 않은 경우, 타일 설정 유닛(102)은 독립 타일 플래그를 0으로 설정한다. 타일 설정 유닛(102)은 결정된 독립 타일 플래그를 확장층 분할 유닛(104), 베이스층 분할 유닛(105), 독립 타일 결정 유닛(106) 및 헤더 부호화 유닛(114)에 제공한다.
단계 S303에서, 헤더 부호화 유닛(114)은 타일 설정 유닛(102)으로부터 제공되는 독립 타일 플래그를 결정한다. 헤더 부호화 유닛(114)이, 독립 타일 플래그가 1이라고 결정한 경우, 프로세스는 단계 S304로 진행한다. 헤더 부호화 유닛(114)이, 독립 타일 플래그가 0이라고 결정한 경우 프로세스는 단계 S305로 진행한다.
단계 S304에서, 헤더 부호화 유닛(114)은 각각의 타일의 위치에 대한 일치 정보를 나타내는 vui_parameters의 tile_boundaries_aligned_flag를 1로 설정한다. vui_parameters의 tile_boundaries_aligned_flag는 타일이 각각의 층에서 상대적으로 동일한 위치에 배열되는지를 나타내는 일치 정보의 부호화로부터 생긴다.
단계 S305에서, 헤더 부호화 유닛(114)은 시퀀스 헤더에 있는 video_parameter_set를 부호화한다. video_parameter_set는 계층 부호화에서 계층들의 수를 나타내는 vps_max_layers_minus1을 포함한다. 제1 실시예에서는, vps_max_layers_minus1이 1이다. 그 후, 헤더 부호화 유닛(114)은 시퀀스 파라미터 세트(Sequence parameter set)(NPL 1의 7.3.2.2에 기재됨)를 부호화한다. Sequence parameter set는 vui_parameters도 포함한다. vui_parameters는 단계 S304에서 설정된 tile_boundaries_aligned_flag를 포함한다. 통합 유닛(110)은부호화 데이터(video_parameter_set 및 Sequence parameter set)를 수신하여 비트 스트림을 생성한다. 통합 유닛(110)은 생성된 비트 스트림을 단자(111)를 통해 화상 부호화 장치(100)의 외부로 출력한다.
단계 S306에서, 헤더 부호화 유닛(114)은 픽처 헤더인 픽처 파라미터 세트(Picture parameter set)(NPL 1의 7.4.3.3에 기재된)를 부호화한다. 통합 유닛(110)은 픽처 헤더에 대한 부호화 데이터(Picture parameter set)를 수신하여 비트 스트림을 생성한다. 통합 유닛(110)은 생성된 비트 스트림을 단자(111)를 통해 화상 부호화 장치(100)의 외부로 출력한다.
단계 S307에서, 헤더 부호화 유닛(114)은 타일 설정 유닛(102)으로부터 제공된 독립 타일 플래그를 결정한다. 헤더 부호화 유닛(114)이, 독립 타일 플래그가 1로 설정된다고 결정한 경우, 프로세스는 단계 S308로 진행한다. 헤더 부호화 유닛(114)이, 독립 타일 플래그가 0으로 설정된다고 결정한 경우, 프로세스는 단계 S309로 진행한다.
단계 S308에서, 헤더 부호화 유닛(114)은 부호화될 시퀀스가 독립 타일을 포함하기 때문에 MCTS SEI를 부호화한다. MCTS SEI는 NPL 2의 챕터 2에 기재된다. 제1 실시예에서, 하나의 독립 타일 세트가 하나의 프레임에 포함되기 때문에, num_sets_in_message_minus1은 0으로 설정된다. mcts_id의 값은 0으로 설정된다. num_tile_rects_in_set_minus1은 1로 설정된다. num_tile_rects_in_set_minus1은 MCTS에 속하는 독립 타일의 수를 나타낸다. 제1 실시예에서는 2개의 타일(타일 5 및 타일 6)이 독립 타일들로서 독립 타일 세트에 포함되기 때문에, num_tile_rects_in_set_minus1의 값은 1로 설정된다. top_left_tile_index 및 bottom_right_tile_index는 독립 타일의 위치를 나타낸다. 제1 실시예에서 top_left_tile_index은 5의 값을, bottom_right_tile_index은 6의 값을 갖는다. 헤더 부호화 유닛(114)은 상기 방식으로 여러 헤더 정보를 부호화하여 MCTS SEI를 생성한다. 통합 유닛(110)은 헤더 부호화 유닛(114)에 의해 생성된 MCTS SEI를 수신하여 비트 스트림을 생성하고, 생성된 비트 스트림을 단자(111)을 통해 화상 부호화 장치(100)의 외부로 출력한다.
단계 S309에서, 축소 유닛(103)은 입력 화상의 사이즈를 축소하여 베이스층 화상을 생성한다. 제1 실시예에서 확장층이 하나의 계층이기 때문에 베이스층이 축소 유닛(103)에 의해 생성될지라도, 본 발명은 이에 한정되지 않는다. 2 이상의 확장층(계층들의 전체 개수는 3 이상이다)이 사용되는 계층 부호화의 경우, 다수의 축소 유닛(103)이 제공될 수 있거나, 또는 하나의 축소 유닛(103)이 소정 수의 계층들의 화상을 생성할 수 있다.
단계 S310에서, 베이스층 분할 유닛(105)은 화상의 좌측 상단으로부터 타일 번호순으로, 부호화될 베이스층 상의 타일들의 화상들을 추출한다. 베이스층 분할 유닛(105)은 베이스층 상의 타일들의 추출된 화상들의 각각을 베이스층 부호화 유닛(107)에 제공한다.
단계 S311에서, 독립 타일 결정 유닛(106)은 베이스층 분할 유닛(105)으로부터 부호화 대상 타일의 타일 번호를 수신한다. 독립 타일 결정 유닛(106)은 타일 설정 유닛(102)으로부터 부호화 대상 타일에 대한 독립 타일 위치 정보를 수신한다. 제1 실시예에서 독립 타일 위치 정보는 5와 6을 나타낸다. 독립 타일 결정 유닛(106)은 부호화 대상 타일의 수신된 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 부호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호가 일치하는 경우(단계 S311에서 예), 독립 타일 결정 유닛(106)은 부호화 대상 타일이 독립 타일이라고 결정하고, 독립 타일 부호화 플래그를 1로 설정한다. 그 후 프로세스는 단계 S312로 진행한다. 부호화 대상 타일의 타일 번호가 독립 타일 위치 정보의 타일 번호가 일치하지 않는 경우(단계 S311에서 아니오), 독립 타일 결정 유닛(106)은 부호화 대상 타일이 독립 타일이 아니라고 결정하고, 독립 타일 부호화 플래그를 0으로 설정한다. 그 후, 프로세스는 단계 S313로 진행한다.
단계 S312에서, 부호화 대상 타일은 베이스층 상에서 부호화될 프레임에서의 독립 타일이다. 이에 따라, 베이스층 부호화 유닛(107)은 국소 복호화의 대상이 되는 베이스층 상의 다른 프레임 내의 부호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트에 포함되는 재구성 화상을 참조하여 프레임간 예측 및 부호화를 수행한다. 베이스층 부호화 유닛(107)은 부호화될 프레임에서 부호화 대상 타일 내의 국소 복호화의 대상이 되는 재구성 화상을 참조하여 인트라 예측 및 부호화를 수행한다. 이하, 도 2의 프레임(202) 내의 타일 5가 부호화되는 경우에 대해 설명한다. 베이스층 부호화 유닛(107)은 베이스층 재구성 유닛(108)에 저장되는, 프레임(201) 내의 타일 5 및 타일 6과, 프레임(202) 내의 타일 5의 국소 복호화의 대상이 되는 재구성 화상을 참조하여 예측 및 부호화를 수행한다. 베이스층 부호화 유닛(107)은 부호화로부터 생긴 베이스층 상의 부호화 대상 타일에 대한 부호화 데이터를 베이스층 부호화 데이터로서 통합 유닛(110)에 제공한다. 통합 유닛(110)은 베이스층 부호화 유닛(107)으로부터 제공된 베이스층 부호화 데이터와, 헤더 부호화 유닛(114) 및 확장층 부호화 유닛(112)으로부터 제공된 다른 여러 부호화 데이터를 통합하여, 비트 스트림을 생성한다. 통합 유닛(110)은 생성된 비트 스트림을 단자(111)를 통해 출력한다. 베이스층 재구성 유닛(108)은 예를 들어, 부호화 도중에 베이스층 부호화 유닛(107)에 의해 생성된 계수(예측 모드 및 예측 오차)를 사용하여 베이스층 상에 재구성 화상들을 순차 생성하여, 생성된 재구성 화상들을 유지한다.
단계 S313에서, 부호화 대상 타일은 베이스층 상에서 부호화될 프레임에서의 독립 타일이 아니다. 이에 따라, 베이스층 부호화 유닛(107)은 국소 복호화의 대상이 되는 베이스층 상의 다른 프레임의 화상 전체를 참조하여 부호화 대상 타일의 프레임간 예측 및 부호화를 수행한다. 도 2의 예에서, 프레임(202) 내의 타일 5의 부호화의 경우, 베이스층 부호화 유닛(107)은 베이스층 재구성 유닛(108)에 저장되는, 프레임(201) 내의 모든 타일과 프레임(202) 내의 타일 5의 국소 복호화의 대상이 되는 재구성 화상을 참조하여 예측 및 부호화를 수행한다. 베이스층 부호화 유닛(107)은 생성된 베이스층 부호화 데이터를 통합 유닛(110)에 제공한다. 통합 유닛(110)은 단계 S312와 마찬가지로, 베이스층 부호화 데이터와, 다른 여러 부호화 데이터를 통합하여 비트 스트림을 생성하고, 생성된 비트 스트림을 단자(111)를 통해 출력한다. 베이스층 재구성 유닛(108)은 예를 들어, 부호화 도중에 베이스층 부호화 유닛(107)에 의해 생성된 계수를 사용하여 베이스층 상에서 재구성 화상들을 순차 생성하고, 생성된 재구성 화상들을 유지한다.
단계 S314에서, 제어 유닛(115)은 베이스층 상의 모든 타일의 화상들의 부호화가 종료되었는지를 결정한다. 제어 유닛(115)이, 베이스층 상의 모든 타일의 화상들의 부호화가 종료되지 않았다고 결정된 경우(단계 S314에서 아니오), 프로세스는 단계 S310으로 복귀한다. 베이스층 분할 유닛(105)은 프로세스를 계속하기 위해 다음 타일 번호의 타일을 추출 및 출력한다. 제어 유닛(115)이, 베이스층 상의 모든 타일의 화상들의 부호화가 종료되었다고 결정된 경우(단계 S314에서 예), 프로세스는 단계 S315로 진행한다.
단계 S315에서, 확장층 분할 유닛(104)은 화상의 좌측 상단으로부터 타일 번호순으로, 부호화될 확장층 상의 타일들의 화상들을 추출한다. 확장층 분할 유닛(104)은 확장층 상의 타일들의 추출된 화상들의 각각을 확장층 부호화 유닛(112)에 제공한다.
단계 S316에서, 독립 타일 결정 유닛(106)은 단계 S311과 마찬가지로, 부호화 대상 타일의 수신된 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 부호화 대상 타일의 타일 번호가 독립 타일 위치 정보의 타일 번호와 일치하는 경우(단계 S316에서 예), 독립 타일 결정 유닛(106)은 부호화 대상 타일이 독립 타일이라고 결정하고, 독립 타일 부호화 플래그를 1로 설정한다. 그 후, 프로세스는 단계 S317로 진행한다. 부호화 대상 타일의 타일 번호가 독립 타일 위치 정보의 타일 번호와 일치하지 않는 경우(단계 S316에서 아니오), 독립 타일 결정 유닛(106)은 부호화 대상 타일이 독립 타일이 아니라고 결정하고, 독립 타일 부호화 플래그를 0으로 설정한다. 그 후, 프로세스는 단계 S319로 진행한다.
단계 S317에서, 부호화 대상 타일은 확장층 상에서 부호화될 프레임 내의 독립 타일이다. 이에 따라, 확대 유닛(109)은 베이스층 재구성 유닛(108)에 저장되는, 국소 복호화의 대상이 되는 베이스층 상의 재구성 화상으로부터 부호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트에 포함되는 재구성 화상을 수신한다. 확대 유닛(109)은 예를 들어, 수신된 재구성 화상만을 사용하여 필터링으로 참조 확대 화상을 생성하고, 확대 화상을 확장층 부호화 유닛(112)에 제공한다.
단계 S318에서, 확장층 부호화 유닛(112)은 확장층 분할 유닛(104)으로부터 제공된 부호화 대상 타일의 화상의 예측 및 부호화를, 국소 복호화의 대상이 되는 베이스층 상의 재구성 화상을 참조해서 수행한다. 특히, 확장층 부호화 유닛(112)은 단계 S317에서 생성된 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 부호화 유닛(112)은 확장층 재구성 유닛(113)에 저장되는 국소 복호화의 대상이 되는 확장층 상의 부호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트의 재구성 화상을 참조하여 부호화 대상 타일의 프레임간 예측을 수행한다. 확장층 부호화 유닛(112)은 부호화 대상 타일 내의 국소 복호화의 대상이 되는 재구성 화상을 참조하여 인트라 예측을 수행한다. 확장층 부호화 유닛(112)은 예측에 의해 얻어진 예측에 관한 정보(예를 들어, 프레임간 예측에 의해 얻어진 움직임 벡터) 및 예측 오차를 부호화한다. 확장층 재구성 유닛(113)은 부호화 도중에 확장층 부호화 유닛(112)에 의해 생성된 계수(예측 모드 및 예측 오차)를 사용하여 확장층의 재구성 화상들을 순차 생성하고, 생성된 재구성 화상들을 유지한다.
단계 S319에서, 부호화 대상 타일은 확장층 상에서 부호화될 프레임 내의 독립 타일이 아니다. 이에 따라, 확대 유닛(109)은 베이스층 재구성 유닛(108)에 저장되는 베이스층 상의 재구성 화상의 전체를 사용하여, 예를 들어 필터링으로 확대해서 확대 화상을 생성하고, 확대 화상을 확장층 부호화 유닛(112)에 제공한다.
단계 S320에서, 확장층 부호화 유닛(112)은 확장층 분할 유닛(104)으로부터 제공된 부호화 대상 타일의 화상들을, 국소 복호화의 대상이 되는 베이스층 상의 재구성 화상을 참조하여 부호화한다. 특히, 확장층 부호화 유닛(112)은 단계 S319에서 생성된 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 부호화 유닛(112)은 확장층 재구성 유닛(113)에 저장되는 국소 복호화의 대상이 되는 확장층 상의 재구성 화상을 참조하여 부호화 대상 타일의 프레임간 예측을 수행한다. 확장층 부호화 유닛(112)은 부호화 대상 타일 내의 국소 복호화의 대상이 되는 재구성 화상을 참조하여 부호화 대상 타일의 인트라 예측을 수행한다. 확장층 부호화 유닛(112)은 예측에 의해 얻어진 예측에 관한 정보 및 예측 오차를 부호화한다. 확장층 재구성 유닛(113)은 예를 들어, 부호화 도중에 확장층 부호화 유닛(112)에 의해 생성된 계수를 사용하여 확장층 상에 재구성 화상들을 순차 생성하고, 생성된 재구성 화상들을 유지한다.
단계 S321에서, 제어 유닛(115)은 확장층 상의 모든 타일의 화상들의 부호화가 종료되었는지를 결정한다. 제어 유닛(115)이, 확장층 상의 모든 타일의 화상들의 부호화가 종료되지 않았다고 결정한 경우(단계 S321에서 아니오), 프로세스는 단계 S315로 복귀한다. 확장층 분할 유닛(104)은 프로세스를 계속하기 위해 다음 타일 번호의 타일을 추출 및 출력한다. 제어 유닛(115)이, 확장층 상의 모든 타일의 화상들의 부호화가 종료되었다고 결정한 경우(단계 S321에서 예), 프로세스는 단계 S322로 진행한다.
단계 S322에서, 제어 유닛(115)은 단자(101)로부터 제공되는 시퀀스에 포함되는 모든 프레임의 화상들의 부호화가 종료되었는지를 결정한다. 부호화되지 않은 임의의 프레임이 존재하는 경우(단계 S322에서 아니오), 프로세스는 단계 S309로 복귀하여 다음 프레임을 처리한다. 부호화되지 않는 프레임이 존재하지 않는 경우(단계 S322에서 예), 부호화 프로세스는 종료된다.
이상의 구성과 동작에 의해, 독립 타일 및 독립 타일 세트가 사용될 때, 확장층 상의 각각의 타일의 위치와 베이스층 상의 타일의 상대적인 위치를 일치시킬 수 있다. 즉, 베이스층 상에 설정된 독립 타일 세트에 포함되는 타일은 각각의 확장층 상에서 베이스층 상의 독립 타일 세트의 위치와 상대적으로 동일한 위치의 독립 타일 세트에 포함되도록 설정된다. 이는 독립 타일의 예측 및 복호화를 위해 참조되는 화소들의 수가 계층 부호화에서 임의의 계층에 제한되게 할 수 있어, 고속 예측을 구현할 수 있다. 특히, 대상 영역 등을 독립 타일에 설정함으로써, 독립 타일이 베이스층에서 확장층까지의 다른 타일들을 참조하지 않고 독립적으로 부호화될 수 있기 때문에, 필요한 부분을 종래보다도 고속으로 처리하는 것이 가능해진다.
도 2와 마찬가지로, 예측 및 부호화가 부호화될 프레임보다 빠른 프레임만을 참조 프레임으로 이용하여 수행되는 예가 제1 실시예에서 설명되었지만, 본 발명은 이에 한정되지 않는다. 예측 및 부호화가 다수의 프레임을 참조하여 수행되는 경우에도 동일하게 적용되는 것은 상기의 설명으로부터 명백하다.
제1 실시예에서는 축소 유닛(103) 및 확대 유닛(109)을 사용하는 화상 부호화 장치(100)가 설명되었지만, 본 발명은 이에 한정되지 않는다. 축소 유닛(103) 및 확대 유닛(109)은 생략될 수 있다. 대안적으로, 확장층 부호화 유닛(112) 내에 설정된 양자화 파라미터는 축소율 및 확대율을 1로서 설정하는 베이스층 부호화 유닛(107) 내에 설정된 양자화 파라미터보다도 작을 수 있다. 이에 의해 신호-대-잡음비(SNR)(Signal-to-Noise Ratio) 계층 부호화를 수행하는 것이 가능해진다.
확장층 상의 독립 타일 세트 내의 타일의 예측에서, 참조될 확대 화상이 제1 실시예에서 독립 타일 세트의 위치와 상대적으로 동일한 위치의 베이스층 상의 타일들 화상들만을 이용하여 생성된다 할지라도, 본 발명은 이에 한정되지 않는다. 즉, 단계 S319와 마찬가지로, 베이스층 상의 독립 타일의 주변 화소들도 참조될 수 있다.
베이스층과 하나의 확장층의 계층 부호화(전체 2개의 계층의 계층 부호화)가 제1 실시예에서 수행된다 할지라도, 본 발명은 이에 한정되지 않고, 전체가 3이상의 계층의 계층 부호화가 수행될 수 있다. 이 경우, 축소 유닛(103), 확장층 분할 유닛(104), 확장층 부호화 유닛(112), 확장층 재구성 유닛(113) 및 확대 유닛(109)을 하나의 세트로 하고, 이 세트를 확장층의 계층의 수만큼 제공함으로써, 더 많은 계층이 지원될 수 있다. 대안적으로, 도 4에 도시한 바와 같이, 하나의 확장층 부호화 유닛(112), 하나의 확장층 재구성 유닛(413), 하나의 확대 유닛(409) 및 하나의 축소 유닛(403)은 확장층의 부호화에서 공유될 수 있다.
도 4는 복수의 계층의 확장층을 부호화할 수 있는 화상 부호화 장치(400)의 구성의 예를 도시한 블록도이다. 도 4의 화상 부호화 장치는 하나의 확장층 부호화 유닛(112), 하나의 확장층 재구성 유닛(413), 하나의 확대 유닛(409) 및 하나의 축소 유닛(403)을 포함한다. 도 4에서는 도 1의 화상 부호화 장치(100)의 처리 유닛들과 동일한 기능을 갖는 컴포넌트를 식별하기 위해 동일한 침조 번호가 사용된다. 이들 컴포넌트들의 설명은 본 명세서에서 생략된다. 도 4를 참고하면, 계층수 설정 유닛(401)은 계층 부호화에서 계층들의 수를 설정한다. 축소 유닛(403)은 계층수 설정 유닛(401)으로부터 제공된 계층 수에 기초하여 입력 화상의 사이즈를 축소해서 다수의 계층의 축소 화상을 생성하는 반면, 도 1의 축소 유닛(103)은 단자(101)로부터 제공된 입력 화상의 사이즈를 축소해서 1개의 축소 화상을 생성한다. 프레임 메모리(402)는 축소 유닛(403)에서 생성된 각각의 계층의 축소 화상을 저장한다. 확대 유닛(409)은 계층수 설정 유닛(401)으로부터 제공된 계층 수에 기초하여 재구성 화상을 확대해서 상이한 해상도를 갖는 다수의 계층의 확대 화상들을 생성하는 반면, 도 1의 확대 유닛(109)은 베이스층 상의 재구성 화상을 확장층의 사이즈로 확대해서 1개의 확대 화상을 생성한다. 확장층 재구성 유닛(413)은 계층 수 설정 유닛(401)으로부터 계층들의 수를 수신하여, 예를 들어 확장층 부호화 유닛(112)에 의해 생성된 계수를 사용해서 확장층 상에 재구성 화상을 생성하고, 재구성 화상을 확대 유닛(409) 및 확장층 부호화 유닛(112)에 제공한다. 통합 유닛(410)은 계층 들의 수에 대응하는 여러 부호화 데이터를 서로 통합하기 위해 계층 수 설정 유닛(401)으로부터 계층들의 수를 수신하여, 비트 스트림을 생성한다.
도 5는 도 4에 도시된 화상 부호화 장치(400)에서 처리 유닛들에 의해 수행되는 예시적인 부호화 프로세스를 나타내는 흐름도이다. 도 3a 및 3b의 단계들 S309 내지 S320 중에서, 도 3a 및 3b의 단계들과 상이한 단계들만이 도 5를 참고하여 설명된다. 도 5에서는 도 3a 및 3b와 동일한 기능을 갖는 단계들을 식별하기 위해 동일한 참조 번호가 사용된다. 이런 단계들의 설명은 본 명세서에서 생략된다. 계층수 설정 유닛(401)이 도 3a의 단계 S301에서 계층들의 수를 3으로 설정한다고 가정한다. 계층들의 수는 특별히 한정되지 않는다. vps_max_layers_minus1이 도 3a의 단계 S305에서 2로 설정되어 헤더 부호화 데이터를 생성한다고 가정한다.
도 5를 참고하면, 단계 S501에서, 축소 유닛(403)은 하나의 프레임에서 계층들 수의 축소 화상을 생성한다. 제1 실시예에서 계층들의 수가 단계 S301에서 3으로 설정되기 때문에, 축소 유닛(403)은 하나의 베이스층 화상과 2개의 확장층 화상을 생성한다. 특히, 축소 유닛(403)은 입력 화상을 종횡으로 2로 분할하여 생긴 확장 제1 계층(제1 확장층) 화상과, 제1 확장층 화상을 종횡으로 2로 분할하여 생긴 베이스층 화상을 생성한다. 축소 유닛(403)은 입력 화상의 해상도를 갖는 화상을 제2 계층(제2 확장층) 화상으로서 설정한다. 축소 유닛(403)은 베이스층 화상, 제1 확장층 화상 및 제2 확장층 화상을 프레임 메모리(402)에 제공한다.
단계들 S312 내지 S314에서, 전술한 바와 같이, 제어 유닛(115)은 프레임 메모리(402)로부터 제공된 베이스층 화상을 부호화한다. 베이스층 재구성 유닛(108)은 부호 화상의 국소 복호화를 수행해서 재구성 화상을 생성하고, 생성된 재구성 화상을 유지한다.
단계 S502에서, 계층수 설정 유닛(401)은 단계 S312 또는 단계 S313에서 부호화된 베이스층, 또는 후술하는 단계 S518 또는 단계 S520에서 부호화된 계층의 확장층을 상위층으로서 설정한다. 계층수 설정 유닛(401)은 부호화될 후속 확장층을 하위층으로서 설정한다. 여기서, 단계 S312 또는 단계 S313에서 부호화된 베이스층은 상위층으로 설정되고, 제1 확장층은 하위층으로서 설정된다.
단계 S515에서, 확장층 분할 유닛(104)은 부호화될 계층 상의 화상의 좌측 상단으로부터 타일 번호순으로, 부호화될 확장층 상의 타일들의 화상들을 추출한다. 확장층 분할 유닛(104)은 확장층 상의 타일들의 추출된 화상들을 확장층 부호화 유닛(112)에 제공한다. 여기서, 확장층 분할 유닛(104)은 제1 확장층 화상 내의 부호화 대상 타일의 화상을 추출하고, 해당 화상을 확장층 부호화 유닛(112)에 제공한다.
단계 S517에서, 부호화 대상 타일은 부호화될 프레임 내의 독립 타일이다. 이에 따라, 확대 유닛(409)은 베이스층 재구성 유닛(108) 또는 확장층 재구성 유닛(413)에 저장되는 상위층 상의 재구성 화상들로부터 부호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트에 포함되는 재구성 화상을 수신한다. 확대 유닛(409)은 수신된 재구성 화상만을 사용하여, 예를 들어 필터링으로 확대해서 확대 화상을 생성하고, 확대 화상을 확장층 부호화 유닛(112)에 제공한다. 특히, 확대 유닛(409)은 베이스층 재구성 유닛(108)에 저장된 재구성 화상으로부터 확대 화상을 생성하고, 확대 화상을 확장층 부호화 유닛(112)에 제공한다.
단계 S518에서, 확장층 부호화 유닛(112)은 확장층 분할 유닛(104)으로부터 제공된 부호화 대상 타일의 화상의 예측 및 부호화를, 국소 복호화의 대상이 되는 재구성 화상을 참조하여 수행한다. 특히, 확장층 부호화 유닛(112)은 단계 S517에서 생성된 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 부호화 유닛(112)은 확장층 재구성 유닛(413)에 저장된 국소 복호화의 대상이 되는 확장층 상의 다른 프레임 내의 부호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트의 재구성 화상을 참조하여 프레임간 예측을 수행한다. 확장층 부호화 유닛(112)은 부호화 대상 타일 내의 국소 복호화의 대상이 되는 재구성 화상을 참조하여 인트라 예측을 수행한다. 확장층 부호화 유닛(112)은 이 예측에 의해 얻어진 예측에 관한 정보(예를 들어, 프레임간 예측에 의해 얻어진 움직임 벡터) 및 예측 오차를 부호화한다. 확장층 재구성 유닛(413)은 예를 들어, 부호화 도중에 확장층 부호화 유닛(112)에 의해 생성된 계수(예측 모드 및 예측 오차)를 사용하여 확장층의 재구성 화상들을 순차 생성하고, 생성된 재구성 화상들을 유지한다.
단계 S519에서, 부호화 대상 타일은 부호화될 프레임 내의 독립 타일이 아니다. 이에 따라, 확대 유닛(409)은 베이스층 재구성 유닛(108)에 저장되는 베이스층 상의 재구성 화상의 전체 또는 확장층 재구성 유닛(413)에 저장되는 상위 확장층 상의 재구성 화상의 전체를 사용하여, 예를 들어 필터링으로 확대해서 확대 화상을 생성한다. 확대 유닛(409)은 생성된 확대 화상을 확장층 부호화 유닛(112)에 제공한다. 여기서, 확대 유닛(409)은 베이스층 재구성 유닛(108)에 저장되는 재구성 화상으로부터 확대 화상을 생성한다.
단계 S520에서, 확장층 부호화 유닛(112)은 확장층 분할 유닛(104)으로부터 제공된 부호화 대상 타일의 화상을, 국소 복호화의 대상이 되는 재구성 화상을 참조하여 부호화한다. 특히, 확장층 부호화 유닛(112)은 단계 S519에서 생성된 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 부호화 유닛(112)은 확장층 재구성 유닛(413)에 저장되는 국소 복호화의 대상이 되는 확장층 상의 재구성 화상을 참조하여 부호화 대상 타일의 프레임간 예측을 수행한다. 확장층 부호화 유닛(112)은 부호화 대상 타일 내의 국소 복호화의 대상이 되는 재구성 화상을 참조하여 부호화 대상 타일의 인트라 예측을 수행한다. 확장층 부호화 유닛(112)은 이 예측에 의해 얻어진 예측에 관한 정보 및 예측 오차를 부호화한다. 확장층 재구성 유닛(413)은 예를 들어, 부호화 도중에 확장층 부호화 유닛(112)에 의해 생성된 계수를 사용하여 확장층 상에 재구성 화상들을 순차 생성하고, 생성된 재구성 화상들을 유지한다.
단계 S503에서, 제어 유닛(115)은 계층수 설정 유닛(401)에 의해 설정된 모든 계층의 부호화가 종료되었는지를 결정한다. 제어 유닛(115)이, 모든 계층의 타일의 부호화가 종료되지 않았다고 결정한 경우(단계 S503에서 아니오), 프로세스는 단계 S502로 복귀한다. 계층수 설정 유닛(401)은 프로세스를 계속하기 위해 다음 계층을 하위층으로서 설정한다. 제어 유닛(115)이, 확장층의 모든 타일의 부호화가 종료했다고 결정한 경우(단계 S503에서 예), 프로세스는 단계 S522로 진행한다. 여기서, 제어 유닛(115)은 제2 확장층의 부호화가 종료되지 않았다고 결정한다(단계 S503에서 아니오). 프로세스는 단계 S502로 복귀한다.
단계 S522에서, 제어 유닛(115)은 단자(101)로부터 제공되는 시퀀스에 포함되는 모든 프레임의 화상들의 부호화가 종료되었는지를 결정한다. 부호화되지 않은 프레임이 존재하는 경우(단계 S522에서 아니오), 프로세스는 다음 프레임을 처리하기 위해 단계 S501로 복귀한다. 부호화되지 않는 프레임이 존재하지 않는 경우(단계 S522에서 예), 부호화 프로세스는 종료된다.
이하, 제2 확장층 화상의 부호화가 설명될 것이다. 단계 S502에서, 계층수 설정 유닛(401)은 단계 S518 또는 단계 S520에서 부호화된 제1 확장층을 상위층으로 설정하고, 제2 확장층을 하위층으로서 설정한다. 단계 S515에서, 확장층 분할 유닛(104)은 제2 확장층 화상에서 부호화 대상 타일의 화상을 추출하고, 추출된 화상을 확장층 부호화 유닛(112)에 제공한다.
단계 S517에서, 부호화 대상 타일은 부호화될 프레임 내의 독립 타일이다. 이에 따라, 확대 유닛(409)은 확장층 재구성 유닛(413)에 저장되는 상위층(제1 확장층)의 재구성 화상으로부터 부호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트에 포함되는 재구성 화상을 수신한다. 확대 유닛(409)은 수신된 독립 타일 세트의 재구성 화상만을 사용하여, 예를 들어 필터링으로 확대해서 상위층(제1 확장층) 상에 확대 화상을 생성하고, 확대 화상을 확장층 부호화 유닛(112)에 제공한다. 단계 S518에서, 확장층 부호화 유닛(112)은 확장층 분할 유닛(104)으로부터 제공된 하위층(제2 확장층) 상의 부호화 대상 타일의 화상의 예측 및 부호화를, 국소 복호화의 대상이 되는 재구성 화상을 참조하여 수행한다. 특히, 확장층 부호화 유닛(112)은 단계 S517에서 생성된 상위층(제1 확장층) 상의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 부호화 유닛(112)은 확장층 재구성 유닛(413)에 저장되는 국소 복호화의 대상이 되는 하위층(제2 확장층) 상의 부호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트의 화상을 참조하여 프레임간 예측을 수행한다. 확장층 부호화 유닛(112)은 부호화 대상 타일 내의 국소 복호화의 대상이 되는 하위층(제2 확장층) 상의 재구성 화상을 참조하여 인트라 예측을 수행한다. 확장층 부호화 유닛(112)은 이 예측에 의해 얻어진 예측에 관한 정보(예를 들어, 프레임간 예측에 의해 얻어진 움직임 벡터) 및 예측 오차를 부호화한다. 확장층 재구성 유닛(413)은, 예를 들어 부호화 도중에 확장층 부호화 유닛(112)에 의해 생성된 계수를 사용하여 하위층(제2 확장층) 상에 재구성 화상들을 순차 생성하고, 생성된 재구성 화상들을 유지한다.
단계 S519에서, 부호화 대상 타일은 부호화될 프레임 내의 독립 타일이 아니다. 이에 따라, 확대 유닛(409)은 확장층 재구성 유닛(413)에 저장되는 상위 확장층(제1 확장층) 상의 재구성 화상을 사용해서, 예를 들어 필터링으로 확대해서 상위층(제1 확장층) 상에 확대 화상을 생성한다. 확대 유닛(409)은 생성된 확대 화상을 확장층 부호화 유닛(112)에 제공한다.
단계 S520에서, 확장층 부호화 유닛(112)은 확장층 분할 유닛(104)으로부터 제공된 부호화 대상 타일의 화상을 국소 복호화의 대상이 되는 재구성 화상을 참조하여 부호화한다. 특히, 확장층 부호화 유닛(112)은 단계 S519에서 생성된 상위층(제1 확장층)의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 부호화 유닛(112)은 확장층 재구성 유닛(413)에 저장되는 국소 복호화의 대상이 되는 하위층(제2 확장층 계층) 상의 재구성 화상을 참조하여 프레임간 예측을 수행한다. 확장층 부호화 유닛(112)은 하위층(제2 확장층) 상의 부호화 대상 타일 내의 국소 복호화의 대상이 되는 재구성 화상을 참조하여 인트라 예측을 수행한다. 확장층 부호화 유닛(112)은 이 예측에 의해 얻어진 예측에 관한 정보 및 예측 오차를 부호화한다. 확장층 재구성 유닛(413)은, 예를 들어 부호화 도중에 확장층 부호화 유닛(112)에 의해 생성된 계수를 사용하여 하위층(제2 확장층) 상에 재구성 화상들을 순차 생성하고, 생성된 재구성 화상들을 유지한다.
단계 S503에서, 제어 유닛(115)은 계층수 설정 유닛(401)에 의해 설정된 모든 계층의 부호화가 종료되었는지를 결정한다. 제어 유닛(115)이, 모든 계층의 부호화가 종료되었다고 결정한 경우(단계 S503에서 예), 프로세스는 단계 S522로 진행한다. 제어 유닛(115)이, 모든 계층의 부호화가 종료되지 않았다고 결정한 경우(단계 S503에서 예), 프로세스는 단계 S502로 복귀한다. 여기서, 제2 확장층까지의 부호화가 종료되기 때문에, 프로세스는 단계 S522로 진행한다. 단계 S522에서, 제어 유닛(115)은 단자(101)로부터 제공된 시퀀스에 포함되는 모든 프레임의 화상들의 부호화가 종료되었는지 결정한다. 제어 유닛(115)이, 모든 프레임의 화상들의 부호화가 종료했다고 결정한 경우(단계 S522에서 예), 부호화 프로세스는 종료된다.
이상의 프로세스에 의해, 다수의 계층의 확장층들이 존재하는 경우에도, 독립 타일 세트를 요구하는 부호화 데이터만이 최소량의 화상 데이터만을 참조하여 복호 화상을 재생하도록 복호화되는 부호화 데이터를 생성하는 것이 가능하다.
MCTS SEI가 비트 스트림에 존재하는 경우, 타일 위치에 대한 일치 정보인 vui_parameters의 tile_boundaries_aligned_flag는 항상 1로 설정된다. 즉, MCTS SEI가 vui_parameters 내의 비트 스트림에 존재하는 경우, 부호화 데이터로서 tile_boundaries_aligned_flag는 생략될 수 있다. MCTS SEI가 비트 스트림에 없는 경우, tile_boundaries_aligned_flag의 값은 부호화되고, 그 부호화 데이터는 비트 스트림에 포함된다. MCTS SEI가 비트 스트림에 존재하는 경우, tile_boundaries_aligned_flag의 값은 부호화되지 않고, 복호화 측에서 항상 1로 설정된다. 이는 중복되는 tile_boundaries_aligned_flag가 감소되게 할 수 있다.
계층 부호화에서, 부호화를 위해 중요한 영역을 절단하고 그 절단된 영역에 독립 타일 세트를 적응시킴으로써, 중요한 영역을 고속으로 판독하는 부호화 데이터를 생성할 수 있다.
제2 실시예
이하, 도 6을 참고하여 제2 실시예에 따른 화상 복호화 장치를 구성하는 각 처리 유닛의 개요를 설명한다. 도 6은 제2 실시예의 화상 복호화 유닛(605)을 포함하는 화상 복호화 장치(600)의 구성의 예를 도시하는 블록도이다. 제2 실시예에서는, 제1 실시예에서 생성된 비트 스트림을 복호화하는 경우를 예로 들어 설명한다.
도 6을 참고하면, 비트 스트림은 인터페이스(601)를 통해 통신 등에 의해 화상 복호화 장치(600)에 입력된다. 저장 유닛(602)은 인터페이스(601)로부터 제공된 비트 스트림 및 미리 기록된 비트 스트림을 저장한다. 표시 제어 유닛(603)은 사용자에 의해 지시된 비트 스트림을 표시하는 방법을 특정한다. 표시 제어 유닛(603)은 복호화될 층(계층)과 복호화될 영역(표시 영역)을 표시 제어 신호로서 화상 복호화 유닛(605)에 제공한다. 제2 실시예에서, 복호화될 계층이 계층들의 수로 표현되고 표시 영역이 표시될 타일의 위치에 의해 표현되었지만, 본 발명은 이에 한정되지 않는다. 선택기(604)는 입력되는 비트 스트림의 목적지를 특정한다. 화상 복호화 유닛(605)은 이하 상세히 설명될 것이다. 표시 유닛(606)은 화상 복호화 유닛(605)에 의해 생성된 복호 화상을 표시한다.
화상 표시 장치(600)에서 화상의 표시 동작은 이하에 설명될 것이다. 표시 제어 유닛(603)이 사용자로부터 비트 스트림에서의 베이스층 화상을 복호화 및 표시하기 위한 지시를 수신하는 경우가 설명될 것이다. 이것은 감시 카메라 등에 의해 촬상된 화상의 부호화로 생긴 비트 스트림이 수신되어 촬상되는 화상의 전체를 모니터링하는 경우에 해당한다. 인터페이스(601)는 감시 카메라 등으로부터 각각의 프레임에 대해 화상 복호화 장치(600)에 입력되는 비트 스트림(입력 비트 스트림)을 수신하고, 입력된 비트 스트림을 저장 유닛(602) 및 선택기(604)에 제공한다. 저장 유닛(602)은 입력 비트 스트림을 기록한다. 선택기(604)는 표시 제어 유닛(603)에 의한 지시에 응답하여, 입력 비트 스트림을 화상 복호화 유닛(605)에 제공한다. 화상 복호화 유닛(605)은 표시 제어 유닛(603)으로부터 표시 제어 신호로서, 표시될 계층, 및 표시될 타일 등에 대한 정보를 수신한다. 특히, 표시 제어 유닛(603)이 사용자로부터 비트 스트림에서의 베이스층 화상을 복호화 및 표시하기 위한 지시를 수신하기 때문에, 복호화될 층이 베이스층인 것을 나타내는 정보와, 표시 영역이 모든 타일인 것을 나타내는 정보는 화상 복호화 유닛(605)에 제공된다.
이하, 도 7을 참고하여 제2 실시예에 따른 화상 복호화 유닛(605)을 구성하는 각 처리 유닛의 개요가 설명될 것이다. 도 7은 제2 실시예의 화상 복호화 유닛(605)의 구성의 예를 도시하는 블록도이다.
도 7을 참고하면, 선택기(604)로부터 제공된 비트 스트림은 단자(701)를 통해 화상 복호화 유닛(605)으로 입력된다. 간략화를 위해, 각각의 프레임에 대한 헤더 데이터 및 부호화 데이터가 비트 스트림으로서 입력된다고 가정한다. 하나의 프레임을 구성하는 모든 계층에 대한 부호화 데이터(계층 부호화 데이터)가 제2 실시예에서 각각의 프레임에 대한 부호화 데이터에 포함된다 할지라도, 본 발명은 이에 한정되지 않고, 데이터는 각각의 슬라이스에 대한 화상 복호화 유닛(605)에 입력될 수 있다. 프레임의 데이터 구조도 이에 한정되지 않는다.
도 6의 표시 제어 유닛(603)으로부터 제공되는 복호화에 관한 표시 제어 신호는 단자(702)를 통해 화상 복호화 유닛(605)에 입력된다. 복호화될 층과 복호화될 타일에 대한 위치 정보는 표시 제어 신호로서 입력된다. 단자(702)에 입력된 표시 제어 신호는 분리기(704), 베이스층 디코더(707), 및 확장층 디코더(710)에 제공된다. 버퍼(703)는 단자(701)로부터 제공된 하나의 프레임에 대응하는 계층 부호화 데이터를 저장한다.
분리기(704)는 버퍼(703)로부터 제공된 계층 부호화 데이터로부터 헤더 부호화 데이터, 베이스층 부호화 데이터, 각각의 확장층 상의 확장층 부호화 데이터를 분리한다. 분리기(704)는 각각의 층에 대해 분리된 계층 부호화 데이터(베이스층 부호화 데이터 및 각각의 확장층 상의 확장층 부호화 데이터)를 각각의 타일에 대한 부호화 데이터에 대해 각각 분리해서 각각의 타일에 대한 부호화 데이터를 출력한다. 분리기(704)는 각각의 타일에 대한 부호화 데이터를 헤더 디코더(705), 베이스층 디코더(707), 확장층 디코더(710)에 제공한다. 분리기(704)는 각각의 타일에 대한 부호화 데이터가 각 처리 유닛에 제공될 때, 출력될 타일(복호화될 타일)의 번호를 타일에 대한 위치 정보로서 독립 타일 결정기(706)에 제공한다.
헤더 디코더(705)는 각각의 시퀀스 및 각각의 픽처에 대한 헤더 부호화 데이터를 복호화하여 복호화에 필요한 파라미터를 재생한다. 특히, MCTS SEI가 헤더 부호화 데이터에 존재하는 경우, 헤더 디코더(705)는 MCTS SEI을 복호화한다. 헤더 디코더(705)는 독립 타일 플래그와 독립 타일 위치 정보를 복호화하고 재생한다. 독립 타일 결정기(706)는 복호화될 타일(복호화 대상 타일)이 독립 타일 인지를 결정한다. 독립 타일 결정기(706)는 헤더 디코더(705)로부터 제공된 독립 타일 플래그 및 독립 타일 위치 정보와, 분리기(704)로부터 제공된 복호화 대상 타일에 대한 위치 정보에 기초하여, 복호화 대상 타일이 독립 타일 인지를 결정한다. 독립 타일 결정기(706)는 결정 결과를 베이스층 디코더(707) 및 확장층 디코더(710)에 제공한다.
베이스층 디코더(707)는 분리기(704)에 의해 분리된 베이스층 상의 각각의 타일에 대한 부호화 데이터를 복호화하여, 베이스층 상에 복호 화상을 생성한다. 프레임 메모리(708)는 베이스층 디코더(707)에 의해 생성된 베이스층 상의 각각의 타일의 복호 화상을 유지한다. 확대기(709)는 베이스층 상의 복호 화상을 확장층의 해상도로 확대해서 확대 화상을 생성한다. 선택기(720)는 베이스층 상의 복호 화상 또는 확장층 상의 복호 화상 중에서 원하는 복호 화상을 선택하여, 선택된 복호 화상을 단자(712)에 제공한다. 선택기(720)로부터 제공된 복호 화상은 단자(712)를 통해 화상 복호화 유닛(605)의 외부에 출력된다.
확장층 디코더(710)는 분리기(704)에 의해 분리된 확장층 상의 각각의 타일에 대한 부호화 데이터를 복호화하여, 확장층 상에 복호 화상을 생성한다. 프레임 메모리(711)는 확장층 디코더(710)에 의해 생성된 확장층 상의 각각의 타일의 복호 화상을 유지한다.
제어기(714)는 화상 복호화 유닛(605) 내의 각 처리 유닛을 제어하고, 각 처리 유닛들 사이에 파라미터를 전달한다. 제어기(714)와 화상 복호화 유닛(605) 내의 각 처리 유닛들 사이의 연결선들은 도 7에 생략된다. 제어기(714)는 화상 복호화 유닛(605) 내의 각 처리 유닛을 제어할 수 있고, 파라미터 신호선 또는 레지스터 버스를 통해 처리 유닛들 사이에 파라미터를 판독 및 기입할 수 있다. 도 7의 제어기(714)가 제2 실시예에서 화상 복호화 유닛(605)에 제공된다 할지라도, 본 발명은 이에 한정되지 않는다. 특히, 제어기(714)는 화상 복호화 유닛(605)의 외부에 설치되어, 화상 복호화 유닛(605) 내의 처리 유닛을 제어하고 파라미터 신호선 또는 레지스터 버스를 통해 처리 유닛들 사이에서 파라미터를 판독 및 기입할 수 있다.
도 8a 및 8b는 상술한 화상 복호화 유닛(605)에서 화상의 예시적인 복호화 프로세스를 나타내는 흐름도이다.
이하, 복호화될 층(복호화 대상 층)이 베이스층만인 경우에 대해 설명할 것이다. 여기서는, 표시 제어 유닛(603)이 인터페이스(601)로부터 제공되는 비트 스트림에서의 베이스층을 복호화 및 표시하기 위한 지시를 사용자로부터 수신한다고 가정한다.
도 8a 및 8b를 참고하면, 단계 S801에서, 단자(701)를 통해 화상 복호화 유닛(605)에 입력된, 비트 스트림의 선두에 있는 헤더 부호화 데이터는 버퍼(703) 및 분리기(704)에서 처리를 거쳐 헤더 디코더(705)에 제공된다. 헤더 디코더(705)는 시퀀스 헤더에 있는 video_parameter_set를 복호화한다. video_parameter_set는 계층 부호화에서 계층들의 수를 나타내는 vps_max_layers_minus1를 포함한다. vps_max_layers_minus1는 제2 실시예에서 1로 설정된다. 그 후, 헤더 디코더(705)는 Sequence parameter set를 복호화한다. Sequence parameter set는 vui_parameters을 포함한다. vui_parameters는 타일 위치에 대한 일치 정보인 tile_boundaries_aligned_flag를 포함한다. tile_boundaries_aligned_flag는 제2 실시예에서 1로 설정된다.
단계 S802에서, 헤더 디코더(705)는 Picture parameter set를 복호화한다. 헤더 부호화 데이터의 복호화가 NPL 1에 기재되고 있으므로 여기서는 설명을 생략한다.
단계 S803에서, 헤더 디코더(705)는 독립 타일이 복호화될 프레임 내에 있는지를 결정한다. 헤더 디코더(705)는 결정 결과를 독립 타일 플래그로서 사용한다. 헤더 디코더(705)는 실제로 MCTS SEI가 존재하는지를 결정한다. 헤더 디코더(705)가, MCTS SEI가 헤더 부호화 데이터에 존재한다고 결정한 경우(단계 S803에서 예), 헤더 디코더(705)는 독립 타일 플래그를 1로 설정한다. 그 후 프로세스는 단계 S804로 진행한다. 헤더 디코더(705)가, MCTS SEI가 헤더 부호화 데이터에 존재하지 않는다고 결정한 경우(단계 S803에서 아니오), 헤더 디코더(705)는 독립 타일 플래그를 0으로 설정한다. 그 후 프로세스는 단계 S805로 진행한다. 제2 실시예에서, 헤더 디코더(705)는 MCTS SEI가 헤더 부호화 데이터에 존재한다고 결정하고, 헤더 디코더(705)는 독립 타일 플래그를 1로 설정한다. 그 후 프로세스는 단계 S804로 진행한다. 독립 타일이 복호화될 프레임 내에 존재하는 경우, 타일 위치에 대한 일치 정보인 vui_parameters의 tile_boundaries_aligned_flag를 1로 설정할 필요가 있다. 만일 vui_parameters의 tile_boundaries_aligned_flag가 1로 설정되지 않으면, 헤더 디코더(705)는 복호화를 정지하기 위해 에러를 리턴할 수 있다. 헤더 디코더(705)는 독립 타일 플래그를 독립 타일 결정기(706), 베이스층 디코더(707) 및 확장층 디코더(710)에 제공한다.
단계 S804에서, 헤더 디코더(705)는 MCTS SEI를 복호화하여, 독립 타일 플래그와 독립 타일 위치 정보를 취득한다.
단계 S805에서, 분리기(704)는 단자(702)로부터 제공된 표시 영역에서 타일에 대한 위치 정보를 수신한다. 제2 실시예에서, 베이스층 전체의 표시가 지시된다. 이에 따라, 베이스층 상의 모든 타일들은 표시 영역에 있다. 특히, 분리기(704)는 베이스층 상의 복호화 대상 타일에 대한 부호화 데이터를, 타일 0으로부터 타일 번호순으로 버퍼(703)로부터 추출하고, 베이스층 상의 복호화 대상 타일에 대한 부호화 데이터를 베이스층 디코더(707)에 제공한다.
단계 S806에서, 독립 타일 결정기(706)는 분리기(704)로부터 복호화 대상 타일의 번호를 수신한다. 독립 타일 결정기(706)는 헤더 디코더(705)로부터 독립 타일 위치 정보를 수신한다. 제2 실시예에서는, 하나의 독립 타일 세트가 존재하고, 독립 타일 위치 정보가 5와 6을 나타낸다. 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 독립 타일 결정기(706)가, 복호화 대상 타일의 타일 번호가 독립 타일 위치 정보의 타일 번호와 일치한다고 결정한 경우(단계 S806에서 예), 독립 타일 결정기(706)는 복호화 대상 타일이 독립 타일이라고 결정한다. 그 후 프로세스는 단계 S807로 진행한다. 독립 타일 결정기(706)가, 복호화 대상 타일의 타일 번호가 독립 타일 위치 정보의 타일 번호와 일치하지 않는다고 결정한 경우(단계 S806에서 아니오), 독립 타일 결정기(706)는 복호화 대상 타일이 독립 타일 세트의 타일이 아니하고 결정한다. 그 후 프로세스는 단계 S808로 진행한다.
단계 S807에서, 복호화 대상 타일은 베이스층 상에 복호화될 프레임 내의 독립 타일이다. 이에 따라, 베이스층 디코더(707)는 복호화된 베이스층 상의 다른 프레임에서 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트 내의 독립 타일과, 복호화 대상 타일 내의 복호화된 화소들만을 참조하여 복호화를 수행한다. 특히, 베이스층 디코더(707)는 프레임 메모리(708)에 저장되는, 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트 내의 독립 타일의 복호 화상을 참조하여 프레임간 예측을 수행한다. 베이스층 디코더(707)는 프레임 메모리(708)에 저장되는 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 베이스층 디코더(707)는 복호화된 베이스층 상의 복호화 대상 타일의 복호 화상을 프레임 메모리(708)에 저장한다. 복호 화상은 후속 타일의 복호화 시에 참조된다. 베이스층 디코더(707)는 베이스층 상의 복호화 대상 타일의 복호 화상을 선택기(720) 및 단자(712)을 통해 도 6의 표시 유닛(606)에 제공한다.
단계 S808에서, 복호화 대상 타일은 베이스층 상에 복호화될 프레임 내의 독립 타일이 아니다. 이에 따라, 베이스층 디코더(707)는 복호화된 프레임의 베이스층 상의 복호 화상과 복호화될 프레임의 베이스층 상의 복호화된 화소를 참조하여 복호화를 수행한다. 특히, 베이스층 디코더(707)는 프레임 메모리(708)에 저장되는 복호 화상을 참조하여 프레임간 예측을 수행한다. 베이스층 디코더(707)는 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 베이스층 디코더(707)는 복호화된 베이스층 상의 복호화 대상 타일의 복호 화상을 프레임 메모리(708)에 저장한다. 복호 화상은 후속 타일의 복호화 시에 참조된다. 베이스층 디코더(707)는 베이스층 상의 복호화 대상 타일의 복호 화상을 선택기(720) 및 단자(712)를 통해 도 6의 표시 유닛(606)에 제공한다.
단계 S809에서, 제어기(714)는 베이스층 상의 하나의 프레임에 대응하는 모든 타일에 대한 부호화 데이터의 복호화가 종료되었는지를 결정한다. 제어기(714)가, 베이스층 상의 하나의 프레임에 대응하는 모든 타일에 대한 부호화 데이터의 복호화가 종료되지 않았다고 결정된 경우(단계 S809에서 아니오), 프로세스는 단계 S805로 복귀한다. 분리기(704)는 프로세스를 계속하기 위해 다음 타일을 추출해서 출력한다. 제어기(714)가, 베이스층 상의 하나의 프레임에 대응하는 모든 타일에 대한 부호화 데이터의 복호화가 종료되었다고 결정된 경우(단계 S809에서 예), 프로세스는 단계 S810으로 진행한다.
단계 S810에서, 분리기(704)는 도 6의 표시 제어 유닛(603)으로부터 단자(702)를 통해 제공된 표시 제어 신호에 기초하여, 복호화 및 표시될 층에 확장층이 포함되는지를 결정한다. 확장층의 복호화 및 표시가 지시되는 경우(단계 S810에서 예), 프로세스는 단계 S811로 진행한다. 확장층의 복호화 및 표시가 지시되지 않은 경우(단계 S810에서 아니오), 프로세스는 단계 S818로 진행한다. 여기서, 베이스층만이 복호화되기 때문에, 프로세스는 단계 S818로 진행한다. 확장층 디코더(710)는 복호화를 수행하지 않는다.
단계 S818에서, 제어기(714)는 단자(701)로부터 제공되는 시퀀스에 포함되는 모든 프레임의 베이스층 상의 부호화 데이터 또는 확장층 상의 부호화 데이터의 복호화가 종료되었는지를 결정한다. 여기서, 제어기(714)는 모든 프레임의 베이스층 상의 부호화 데이터의 복호화가 종료되었는지를 결정한다. 복호화되지 않은 베이스층 또는 확장층 상의 부호화 데이터가 존재하는 경우(단계 S818에서 아니오), 프로세스는 다음 프레임을 처리하기 위해 단계 S805로 복귀한다. 복호화되지 않은 프레임에 대한 부호화 데이터가 존재하지 않는 경우(단계 S818에서 예), 복호화 프로세스는 종료된다.
화상 복호화 유닛(605)에 의해 복호화된 화상은 도 6의 표시 유닛(606)에 제공된다. 표시 유닛(606)은 표시 제어 유닛(603)으로부터의 베이스층 상에 화상을 표시하기 위한 지시에 응답하여, 화상 복호화 유닛(605)으로부터 제공되는 복호 화상 전체를 베이스층 상에 표시한다.
기록되는 동화상의 베이스층의 표시가 사용자로부터의 지시에 응답하여 표시 제어 유닛(603)으로부터 지시되는 경우, 선택기(604)는 저장 유닛(602)으로부터 입력을 수신한다. 표시 제어 유닛(603)은 필요한 비트 스트림이 저장 유닛(602)으로부터 선택되고 선택된 비트 스트림이 선택기(604)에 제공되도록 제어를 수행한다.
이하, 복호화 대상 층이 확장층인 경우에 대해 설명할 것이다. 표시 제어 유닛(603)이 인터페이스(601)로부터 제공되는 비트 스트림에서의 확장층을 복호화하기 위한 지시와, 비트 스트림에서의 확장층의 일부를 표시하기 위한 지시를 사용자로부터 수신한 경우의 복호화 처리가 후술될 것이다. 이것은 감시 카메라 등에 의해 촬영된 화상의 일부를 상세하게 모니터링할 경우에 해당한다. 화상 복호화 유닛(605)은 표시 제어 유닛(603)으로부터 베이스층과 확장층 상에 복호화되고 표시될 영역에 포함되는 타일의 번호에 대한 지시를 수신한다. 제2 실시예에서는 설명을 간단하게 하기 위해, 표시될 영역에 포함되는 타일이 도 2의 타일 5와 타일 6의 영역이라고 가정한다. 이하, 화상 복호화 유닛(605)에서 확장층 상의 화상의 예시적인 복호화 프로세스는, 화상 복호화 유닛(605)이 베이스층만을 복호화 및 표시하기 위한 지시를 수신하는 경우와 같이, 도 8a 및 8b의 흐름도를 참고하여 설명될 것이다. 베이스층만의 복호화 프로세스에 공통적인 단계들은 설명을 간략히한다.
단계 S801에서, 헤더 디코더(705)는 베이스층만의 표시가 지시된 경우와 같이 video_parameter_set 및 Sequence parameter set를 복호화한다. 헤더 디코더(705)는 video_parameter_set 내의 vps_max_layers_minus1, 및 Sequence parameter set 내의 tile_boundaries_aligned_flag를 복호화한다.
단계 S802에서, 헤더 디코더(705)는 베이스층만의 표시와 마찬가지로, Picture parameter set를 복호화한다.
단계 S803에서, 헤더 디코더(705)는 베이스층만의 표시와 마찬가지로, 독립 타일이 헤더 부호화 데이터에 존재하는지를 결정한다.
단계 S804에서, 헤더 디코더(705)는 베이스층만의 표시와 마찬가지로, MCTS SEI를 복호화하여 독립 타일 플래그와 독립 타일 위치 정보를 취득한다.
단계 S805에서, 분리기(704)는 단자(702)로부터 제공된 표시 영역에서 타일에 대한 위치 정보를 수신한다. 제2 실시예에서, 표시가 특정되는 타일의 위치는 타일 5와 타일 6이다. 이에 따라, 분리기(704)는 단자(702)로부터 제공되는, 표시가 특정되는 타일에 대한 위치 정보에 기초하여 타일 5를 복호화 대상 타일로서 설정하고, 타일 5의 베이스층 상에서 부호화 데이터를 추출하고, 추출된 부호화 데이터를 베이스층 디코더(707)에 제공한다. 분리기(704)는 표시가 특정되는 타일에 대한 위치 정보를 독립 타일 결정기(706)에 제공한다.
단계 S806에서, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 복호화 대상 타일인 타일 5가 독립 타일이기 때문에, 프로세스는 단계 S807로 진행한다.
단계 S807에서, 복호화 대상 타일은 독립 타일이다. 베이스층 디코더(707)는 베이스층만의 표시에서와 같이, 베이스층 상의 타일 5에 대한 부호화 데이터를 복호화해서 복호 화상을 생성하고, 복호 화상을 프레임 메모리(708)에 저장한다. 여기서 확장층의 표시가 수행되기 때문에, 베이스층 디코더(707)는 생성된 복호 화상을 단자(712)로부터 출력하지 않는다. 그러나 본 발명은 이에 한정되지 않고, 베이스층 디코더(707)는 복호 화상을 출력할 수 있다. 이 경우, 베이스층 디코더(707)에 의해 생성되는 복호 화상과, 확장층 디코더(710)에 의해 생성되는 복호 화상의 양쪽이 출력되고, 표시 유닛(606)은 선택된 복호 화상을 표시하기 위해 복호 화상들 중 어느 하나를 선택할 수 있다.
단계 S809에서, 제어기(714)는 분리기(704)로부터 제공되는, 표시 영역에서 베이스층 상의 모든 타일에 대한 부호화 데이터의 복호화가 종료되었는지를 결정한다. 여기서는, 타일 6에 대한 부호화 데이터의 복호화가 종료되지 않았기 때문에, 프로세스는 단계 S805로 복귀하여, 타일 6의 베이스층 상에서 부호화 데이터를 복호화한다.
이하, 타일 6의 베이스층 상의 부호화 데이터의 복호화가 설명될 것이다.
단계 S805에서, 분리기(704)는 타일 6의 베이스층 상에서 부호화 데이터를 추출한다. 단계 S806에서, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 복호화 대상 타일인 타일 6이 독립 타일이기 때문에, 프로세스는 단계 S807로 진행한다. 단계 S807에서, 베이스층 디코더(707)는 타일 6의 베이스층 상의 부호화 데이터를 복호화하여 복호 화상을 생성하고, 생성된 복호 화상을 프레임 메모리(708)에 저장한다.
단계 S809에서, 제어기(714)는 분리기(704)로부터 제공되는, 표시 영역에서 베이스층 상의 모든 타일에 대한 부호화 데이터의 복호화가 종료되었다고 결정한다(단계 S809에서 예). 그 후, 프로세스는 단계 S810으로 진행한다.
단계 S810에서, 분리기(704)는 확장층이 도 6의 표시 제어 유닛(603)으로부터 단자(702)를 통해 제공된 표시 제어 신호에 기초하여, 표시될 층에 포함되는지를 결정한다. 확장층이 여기에 표시되기 때문에(단계 S810에서 예), 프로세스는 단계 S811로 진행한다.
단계 S811에서, 단계 S805와 마찬가지로, 분리기(704)는 단자(702)로부터 제공된 표시 영역에서 타일에 대한 위치 정보를 수신한다. 여기서, 표시가 특정되는 타일의 위치는 타일 5와 타일 6이다. 이에 따라, 분리기(704)는 표시가 특정되는 타일에 대한 수신된 위치 정보에 기초하여, 복호화 대상 타일인 타일 5의 확장층 상의 부호화 데이터를 추출하고, 추출된 부호화 데이터를 확장층 디코더(710)에 제공한다. 분리기(704)는 표시가 특정되는 타일에 대한 위치 정보를 독립 타일 결정기(706)에 제공한다.
단계 S812에서, 단계 S806과 마찬가지로, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 복호화 대상 타일의 타일 번호가 독립 타일 위치 정보의 타일 번호와 일치하면(단계 S812에서 예), 프로세스는 단계 S813으로 진행한다. 복호화 대상 타일의 타일 번호가 독립 타일 위치 정보의 타일 번호와 일치하지 않으면(단계 S812에서 아니오), 프로세스는 단계 S815로 진행한다. 여기서, 독립 타일 위치 정보는 5와 6을 나타낸다. 따라서, 독립 타일 결정기(706)는 복호화 대상 타일인 타일 5가 독립 타일 세트 내의 타일이라고 결정한다(단계 S812에서 예). 프로세스는 단계 S813으로 진행한다.
단계 S813에서, 복호화 대상 타일은 확장층 상에서 복호화될 프레임 내의 독립 타일이다. 확대기(709)는 프레임 메모리(708)에 저장되는, 복호화된 베이스층 상의 복호 화상으로부터 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트에 포함되는 복호 화상을 수신한다. 확대기(709)는 수신된 독립 타일의 복호 화상만을 사용하여, 예를 들어 필터링으로 확대를 수행하여 확대 화상을 생성하고, 확대 화상을 확장층 디코더(710)에 제공한다.
단계 S814에서, 확장층 디코더(710)는 분리기(704)로부터 제공된 복호화 대상 타일의 확장층 상의 부호화 데이터를 복호화한다. 확장층 디코더(710)는 확대기(709)로부터 제공되는 확대 화상과, 프레임 메모리(711)에 저장된 복호화된 확장층 상의 복호 화상과, 복호화 대상 타일의 복호화된 화소를 참조하여 복호 화상을 생성한다. 특히, 확장층 디코더(710)는 단계 S813에서 생성된 베이스층 상의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 디코더(710)는 프레임 메모리(711)에 저장되는 확장층 상의 복호 화상들 중에서 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트 내의 복호 화상을 참조하여 프레임간 예측을 수행한다. 확장층 디코더(710)는 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 도 2의 예에서, 프레임(206) 내의 타일 5의 복호화 시에, 확장층 디코더(710)는 프레임(204)의 확대 화상, 복호화된 프레임(205)의 타일 5와 타일 6의 복호 화상, 및 프레임(206)의 타일 5 내의 복호화된 화소를 참조하여 복호화를 수행한다. 확장층 디코더(710)에 의해 생성된 확장층 상의 타일의 복호 화상은 프레임 메모리(711)에 제공되고, 프레임 메모리(711)에서 유지된다. 확장층 디코더(710)에 의해 생성된 확장층 상의 복호 화상은 선택기(720) 및 단자(712)을 통해 도 6의 표시 유닛(606)에 제공된다.
단계 S817에서, 제어기(714)는 분리기(704)로부터 제공되는 표시 영역에서 확장층 상의 모든 타일에 대한 부호화 데이터의 복호화가 종료되었는지를 결정한다. 여기서, 타일 6의 확장층 상의 부호화 데이터의 복호화가 종료되지 않았기 때문에(단계 S817에서 아니오), 프로세스는 단계 S811로 복귀하여, 타일 6의 확장층 상의 부호화 데이터를 복호화한다.
이하, 타일 6의 확장층 상의 부호화 데이터의 복호화가 설명될 것이다.
단계 S811에서, 분리기(704)는 타일 6의 확장층 상의 부호화 데이터를 추출한다. 단계 S812에서, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 복호화 대상 타일인 타일 6이 독립 타일이기 때문에(단계 S812에서 예), 프로세스는 단계 S813으로 진행한다.
단계 S813에서, 확대기(709)는 수신된 독립 타일의 복호 화상만을 사용하여 확대 화상을 생성한다.
단계 S814에서, 확장층 디코더(710)은 타일 6의 확장층 상의 부호화 데이터를 복호화해서 복호 화상을 생성하고, 복호 화상을 프레임 메모리(711)에 저장한다. 확장층 디코더(710)은 타일 6의 확장층 상의 부호화 데이터의 복호화에서, 확대기(709)로부터 제공되는 확대 화상과, 프레임 메모리(711)에 저장된 복호화된 확장층 상의 복호 화상과, 복호화 대상 타일 내의 복호화된 화소를 참조한다. 특히, 확장층 디코더(710)는 단계 S813에서 생성된 베이스층 상의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 디코더(710)는 프레임 메모리(711)에 저장되는 확장층 상의 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트 내의 복호 화상을 참조하여 프레임간 예측을 수행한다. 확장층 디코더(710)는 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 도 2의 예에서, 프레임(206) 내의 타일 6의 복호화 시, 확장층 디코더(710)는 프레임(204)의 확대 화상, 복호화된 프레임(205)의 타일 5와 타일 6의 복호 화상, 및 프레임(206)의 타일 6의 복호화된 화소를 참조하여 복호화를 수행한다. 확장층 디코더(710)에 의해 생성된 확장층 상의 타일의 복호 화상은 프레임 메모리(711)에 제공되고, 프레임 메모리(711)에 유지된다. 확장층 디코더(710)에 의해 생성된 확장층 상의 복호 화상은 선택기(720) 및 단자(712)를 통해 도 6의 표시 유닛(606)에 제공된다.
단계 S817에서, 제어기(714)는 표시 영역에서 확장층 상의 모든 타일에 대한 부호화 데이터의 복호화가 완료되었다고 결정한다(단계 S817에서 예). 프로세스는 단계 S818로 진행한다.
단계 S818에서, 제어기(714)는 단자(701)로부터 제공되는 시퀀스에 포함되는 모든 프레임 내의 표시 영역에서 타일에 대한 부호화 데이터의 복호화가 종료되었는지를 결정한다. 복호화되지 않는 임의의 프레임이 존재하는 경우(단계 S818에서 아니오), 프로세스는 다음 프레임을 처리하기 위해 단계 S805로 복귀한다. 복호화되지 않는 프레임이 존재하지 않는 경우(단계 S818에서 예), 복호화 프로세스는 종료된다.
이상, 표시 영역(복호화 대상 타일)이 독립 타일 세트로 구성되어 있는 경우의 복호화 프로세스가 설명되었다. 표시 영역(복호화 대상 타일)이 독립 타일 세트로 구성되지 않는 경우의 복호화 프로세스가 이하 설명될 것이다. 복호화 프로세스에서 단계들 S801 내지 S805는 전술한 바와 같다.
단계 S806에서, 독립 타일 결정기(706)는 복호화 대상 타일이 독립 타일이 아니라고 결정한다(단계 S806에서 아니오). 프로세스는 단계 S808로 진행한다. 단계 S808에서, 베이스층 디코더(707)는 복호화 대상 층이 베이스층만인 경우와 마찬가지로, 베이스층 상의 타일을 복호화해서 복호 화상을 생성하고, 생성된 복호 화상을 프레임 메모리(708)에 저장한다. 여기서 확장층의 표시가 수행되기 때문에, 베이스층 디코더(707)는 생성된 복호 화상을 단자(712)로부터 출력하지 않는다.
단계 S809에서, 제어기(714)는 베이스층 상의 하나의 프레임에 대응하는 모든 타일에 대한 부호화 데이터의 복호화가 종료되었는지를 결정한다. 여기서, 제어기(714)는 베이스층 상의 하나의 프레임에 대응하는 모든 타일에 대한 부호화 데이터의 복호화가 종료되었다고 결정한다(단계 S809에서 예). 프로세스는 단계 S810로 진행한다. 단계 S810에서, 분리기(704)는 수신되는 표시 제어 신호에 기초하여 확장층의 표시가 지시되었다고 결정한다(단계 S810에서 예). 프로세스는 단계 S811로 진행한다. 단계 S811에서, 분리기(704)는 표시 영역에서 타일에 대한 위치 정보를 단자(702)로부터 수신한다. 분리기(704)는 수신된 위치 정보에 기초하여, 복호화 대상 타일인 타일의 확장층 상의 부호화 데이터를 추출한다. 단계 S812에서, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 여기서, 독립 타일 결정기(706)는 복호화 대상 타일이 독립 타일 세트 내의 타일이 아니라고(복호화 대상 타일의 타일 번호가 독립 타일 위치 정보의 타일 번호와 일치하지 않는다고) 결정한다(단계 S812에서 아니오). 프로세스는 단계 S815로 진행한다.
단계 S815에서, 복호화 대상 타일은 독립 타일이 아니다. 확대기(709)는 프레임 메모리(708)에 저장되는 복호화된 베이스층 상의 복호 화상으로부터, 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 베이스층의 타일과, 그 타일 주위의 타일의 복호 화상을 수신한다. 확대기(709)는 수신된 베이스층 상의 복호 화상을 사용하여, 예를 들어 필터링으로 확대해서 확대 화상을 생성하고, 생성된 확대 화상을 확장층 디코더(710)에 제공한다.
단계 S816에서, 확장층 디코더(710)는 분리기(704)로부터 제공된 복호화 대상 타일의 확장층 상의 부호화 데이터를 복호화한다. 확장층 디코더(710)는 확대기(709)로부터 제공되는 확대 화상과, 프레임 메모리(711)에 저장된 복호화된 확장층의 복호 화상과, 복호화 대상 타일의 복호화된 화소를 참조하여 복호 화상을 생성한다. 특히, 확장층 디코더(710)는 단계 S815에서 생성된 베이스층 상의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 디코더(710)는 프레임 메모리(711)에 저장되는 확장층 상의 복호 화상을 참조하여 프레임간 예측을 수행한다. 확장층 디코더(710)는 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 확장층 디코더(710)에 의해 생성된 확장층 상의 타일의 복호 화상은 프레임 메모리(711)에 제공되고, 프레임 메모리(711)에 유지된다. 확장층 디코더(710)에 의해 생성된 확장층 상의 복호 화상은 선택기(720)와 단자(712)를 통해 도 6의 표시 유닛(606)에 제공된다.
단계 S817에서, 제어기(714)는 단자(702)로부터 분리기(704)에 제공되는 표시 영역에서 타일에 대한 위치 정보에 기초하여 모든 타일의 복호화가 완료되었는지를 결정한다. 표시 영역에서 모든 타일의 복호화가 종료되지 않았다면(단계 S817에서 아니오), 프로세스는 단계 S811로 복귀한다. 분리기(704)는 프로세스를 계속하기 위해 다음 타일을 추출해서 출력한다. 표시 영역에서 모든 타일의 복호화가 종료되었다면(단계 S817의 예), 프로세스는 단계 S818로 진행한다.
단계 S818에서, 제어기(714)는 모든 프레임에 대응하는 부호화 데이터의 복호화가 종료되었는지를 결정한다. 복호화되지 않는 임의의 부호화 데이터가 존재하는 경우(단계 S818에서 아니오), 프로세스는 다음 프레임을 처리하기 위해 단계 S805로 복귀한다. 복호화되지 않는 부호화 데이터가 존재하지 않는 경우(단계 S818에서 예), 복호화 프로세스는 종료된다.
도 6을 참고하면, 표시 유닛(606)은 표시 제어 유닛(603)으로부터 확장층 상의 화상을 표시하기 위한 지시를 수신한다. 이에 따라, 표시 유닛(606)은 화상 복호화 유닛(605)에 의해 복호화된 확장층 상의 복호 화상을 표시한다. 확장층이 베이스층보다 높은 해상도를 갖기 때문에, 확장층 상의 복호 화상을 표시함으로써, 표시 유닛(606)이 베이스층의 화상 일부가 표시를 위해 확대되는 경우와 같은 효과를 얻을 수 있다.
사용자로부터의 지시에 응답하여, 표시 제어 유닛(603)으로부터 기록되고 있는 동화상의 베이스층의 표시가 지시된 경우, 선택기(604)는 저장 유닛(602)으로부터 입력을 수신한다. 표시 제어 유닛(603)은 필요한 비트 스트림이 저장 유닛(602)으로부터 선택되고 선택된 비트 스트림이 선택기(604)에 제공되도록 제어를 수행한다.
이상의 구성과 동작에 의해, 독립 타일 및 독립 타일 세트를 사용하는 경우, 확장층 상의 각각의 타일의 상대 위치와 베이스층 상의 타일의 상대 위치를 일치시킬 수 있다. 즉, 타일이 베이스층 상에서 독립 타일 세트에 포함될 때, 타일의 위치와 상대적으로 동일한 위치의 타일은 확장층 상의 독립 타일 세트에 포함된다. 이에 따라, 계층 부호화에서 비트 스트림의 복호화의 경우, 임의의 계층 내의 화상 데이터의 최소량만을 참조하여 독립 타일을 복호화할 수 있다. 이와 같이, 예측을 위해 참조되는 화상 데이터를 감소시킴으로써, 데이터의 전송량을 억제하거나, 연산량을 삭감하거나, 저소비 전력을 실현하는 것이 가능하게 된다. 또한, 베이스층에서 확장층까지의 각각의 계층 상의 독립 타일과는 다른 타일을 참조하지 않는 독립 복호화는 고속 처리의 구현을 가능하게 한다. 특히, 독립 타일 세트가 부호화 측에서 중요한 영역에 적응되도록 부호화해서 비트 스트림을 생성함으로써, 비트 스트림의 복호화에서 중요한 영역이 고속으로 복호화될 수 있다.
제2 실시예에서는 도 2의 예와 마찬가지로, 복호화될 프레임보다 빠른 프레임만을 참조 프레임으로 이용하여 예측 및 부호화하는 예가 설명되었지만, 본 발명은 이에 한정되지 않는다. 다수의 프레임을 참조하여 예측 및 복호화하는 경우에도 동일하게 적용되는 것은 상기 설명으로부터 명백하다.
제2 실시예에서, 확대기(709)를 사용하는 화상 복호화 유닛(605)이 설명되었지만, 본 발명은 이에 한정되지 않는다. 확대기(709)가 생략될 수 있다. 대안적으로, 확장층 디코더(710)에서 복호화되는 양자화 파라미터는 확대율을 1로 설정하여, 베이스층 디코더(707)에서 복호화되는 양자화 파라미터보다 작게 할 수 있다. 이는 SNR 계층 부호화의 데이터가 복호화되는 것을 가능하게 한다.
제2 실시예에서는 하나의 프레임에 대응하는 부호화 데이터에 모든 계층의 부호화 데이터가 포함되는 예를 설명했지만, 본 발명은 이에 한정되지 않고, 부호화 데이터는 층마다 입력될 수 있다. 예를 들어, 각각의 층에 대한 부호화 데이터는 저장 유닛(602)에 저장될 수 있고, 확장층 상의 부호화 데이터는 필요하다면 저장 유닛(602)으로부터 잘라내서 판독될 수 있다.
제2 실시예에서는, 베이스층과 하나의 확장층의 계층 부호화(전체 2개의 계층의 계층 부호화)를 설명했지만, 본 발명은 이에 한정되지 않고, 전체 3개 이상의 계층의 계층 부호화가 수행될 수 있다. 이 경우, 확장층 디코더(710), 프레임 메모리(711) 및 확대기(709)를 하나의 세트로 하고, 이 세트를 확장층의 계층의 수만큼 제공함으로써, 더 많은 계층이 지원될 수 있다. 대안적으로, 도 9에 도시한 바와 같이, 하나의 확장층 디코더(710), 하나의 프레임 메모리(911) 및 하나의 확대기(909)는 계층들의 복호화에서 공유될 수 있다. 도 9는 다수의 계층의 확장층을 복호화할 수 있는 화상 복호화 유닛의 예시적 구성을 도시한 블록도이다. 도 9의 화상 복호화 유닛은 하나의 확장층 디코더(710), 하나의 프레임 메모리(911) 및 하나의 확대기(909)를 포함한다. 도 9에서는, 도 7의 화상 복호화 유닛(605)의 처리 유닛들과 동일한 기능을 갖는 컴포넌트들을 식별하기 위해 동일한 참조 번호가 사용된다. 그런 컴포넌트들의 설명은 여기서 생략된다. 도 9를 참고하면, 프레임 메모리(908)는 베이스층 디코더(707)에 의해 생성된 복호 화상을 유지한다. 프레임 메모리(908)는 이것이 선택기(920)로의 출력 기능을 추가로 갖는다는 점에서 도 7의 프레임 메모리(708)와 상이하다. 확대기(909)는 이것이 프레임 메모리(911)로부터의 입력과 프레임 메모리(908)로부터의 입력을 선택적으로 수신할 수 있다는 점에서 도 7의 확대기(709)와 상이하다. 프레임 메모리(911)는 이것이 원하는 타일에 대한 부호화 데이터를 확대기(909) 및 선택기(920)에 제공하는 기능을 추가로 갖는다는 점에서 도 7의 프레임 메모리(711)와 상이하다. 선택기(920)는 프레임 메모리(908) 또는 프레임 메모리(911)로부터 원하는 복호 화상을 선택적으로 수신하여, 선택된 복호 화상을 단자(912)에 제공한다. 선택기(920)로부터 제공된 복호 화상은 단자(912)를 통해 화상 복호화 유닛(605)의 외부에 출력된다.
도 10a 및 10b는 도 9에 도시된 화상 복호화 유닛(605) 내의 처리 유닛들에 의해 수행되는 예시적인 복호화 프로세스를 나타내는 흐름도이다. 도 8a 및 8b의 단계들 S805 내지 S818 중 도 8a 및 8b와 상이한 단계들만이 도 10a 및 10b를 참고하여 설명된다. 도 10a 및 10b에서는, 도 8a 및 8b의 단계과 동일한 기능을 갖는 단계들을 식별하기 위해 동일한 참조 번호를 사용한다. 그런 단계들의 설명은 생략한다. 여기서는, 제1 실시예의 도 4에 도시된 화상 부호화 장치(400)에 의해, 도 5의 부호화 방법에서 생성되고 계층수가 3인 비트 스트림을 복호화하는 예가 설명된다. 단계들 S801 내지 S804에서, 전술한 바와 같이, 헤더 디코더(705)는 헤더 부호화 데이터를 복호화한다. 여기서는, vps_max_layers_minus1가 2로 설정된다.
이하, 복호화 대상 층이 단지 베이스층인 경우에 대해 설명한다. 여기서는, 표시 제어 유닛(603)이 인터페이스(601)로부터 제공되는 비트 스트림에서의 전체 베이스층의 복호화 및 표시를 개시하기 위한 지시를 사용자로부터 수신한다고 가정한다. 또한, 상술한 베이스층만의 표시와 마찬가지로, 도 8a의 단계들 S805 내지 S809에서, 베이스층 상의 하나의 프레임의 복호화가 종료된다고 가정한다. 그러나 베이스층 디코더(707)에 의해 생성된 복호 화상은 모두 프레임 메모리(908)에 저장된다.
도 10a 및 10b를 참고하면, 단계 S1010에서, 베이스층 디코더(707) 또는 확장층 디코더(710)는 복호화된 계층의 계층수와 표시 제어 유닛(603)에 의해 특정되는 표시될 계층을 비교하거나, 또는 표시될 계층이 복호화되었는지를 결정한다. 표시될 계층이 복호화된 계층의 수를 포함하는 경우(단계 S1010에서 예), 프로세스는 단계 S1003로 진행한다. 표시될 계층이 복호화된 계층의 수를 포함하지 않는 경우(단계 S1010에서 아니오), 프로세스는 단계 S1001로 진행한다. 여기서는, 분리기(704)가, 표시될 계층이 단자(702)로부터 제공되는 표시 제어 신호에 기초하여 단지 베이스층이라고 결정한다고 가정한다. 이에 따라, 베이스층 디코더(707)는 표시될 계층이 복호화된 계층들의 수에 포함된다고 결정한다(단계 S1010에서 예). 프로세스는 단계 S1003으로 진행한다.
단계 S1003에서, 선택기(920)는 복호화된 계층들 중에서 최하위 계층 상의 복호 화상을 선택한다. 이 경우, 최하위 계층이 베이스층이므로, 선택기(920)는 프레임 메모리(908)로부터 복호화된 베이스층 상의 복호 화상을 판독하고, 판독된 복호 화상을 단자(912)를 통해 도 6의 표시 유닛(606)에 제공한다. 표시 유닛(606)은 표시 제어 유닛(603)으로부터의 베이스층 상에 화상을 표시하기 위한 지시에 응답하여, 화상 복호화 유닛(605)으로부터 제공된 베이스층 상에 복호 화상 전체를 표시한다.
이하, 복호화 대상 층이 확장층인 경우에 대해 설명한다. 여기서는, 표시 제어 유닛(603)이 인터페이스(601)로부터 제공되는 비트 스트림에서의 확장층을 복호화하고 확장층 상의 복호 화상의 일부를 표시하기 위한 지시를 수신한 경우의 복호화가 설명될 것이다. 여기서는, 표시될 계층이 제2 확장층(계층수가 3)이라고 가정한다. 또한, 설명을 간단하게 하기 위해, 표시될 영역에 포함되는 타일들이 도 2의 타일 5와 타일 6이라고 가정한다. 복호화 프로세스는 베이스층만의 복호화 및 표시가 지시된 경우와 마찬가지로, 도 10a 및 10b의 흐름도를 참고하여 설명될 것이다. 베이스층만의 복호화에 공통인 단계들은 간략히 설명된다.
단계 S806에서, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 복호화 대상 타일인 타일 5가 독립 타일이므로, 프로세스는 단계 S807로 진행한다. 단계 S807에서, 베이스층 디코더(707)는 베이스층 상의 타일 5에 대한 복호화 데이터를 복호화해서 복호 화상을 생성하고, 복호 화상을 프레임 메모리(908)에 저장한다. 단계 S809에서, 제어기(714)는 분리기(704)로부터 제공되는, 표시 영역 내의 베이스층 상의 모든 타일에 대한 부호화 데이터의 복호화가 종료되었는지를 결정한다.
단계 S1010에서, 베이스층 디코더(707) 또는 확장층 디코더(710)는 복호화된 계층의 계층수와 표시 제어 유닛(603)에 의해 특정되는 표시될 계층을 비교하여, 표시될 계층이 복호화되었는지를 결정한다. 여기서, 표시될 계층은 단자(702)로부터 제공되는 표시 제어 신호에 기초하여 제2 확장층(계층수는 3)이다. 따라서, 베이스층 디코더(707)는 표시될 계층이 복호화되지 않았다고 결정한다(단계 S1010에서 아니오). 프로세스는 단계 S1001로 진행한다.
단계 S1001에서, 확장층 디코더(710)는 단계들 S807 내지 S808에서 복호화된 베이스층, 또는 후술하는 단계들 S1014 내지 S1016에서 복호화된 계층의 확장층을 상위층으로 설정한다. 확장층 디코더(710)는 복호화될 후속 확장층을 하위층으로 설정한다. 먼저, 확장층 디코더(710)는 단계 S807 또는 S803에서 복호화된 베이스층을 상위층으로 설정하고, 제1 확장층을 하위층으로서 설정한다.
단계 S1011에서, 분리기(704)는 단자(702)로부터 제공되는 표시 영역에서 타일에 대한 위치 정보를 수신한다. 여기서, 표시 영역 내의 타일들의 위치는 타일 5와 타일 6이다. 분리기(704)는 단자(702)로부터 제공되는 위치 정보에 기초하여, 버퍼(703)에 저장된 계층 부호화 데이터에서 복호화 대상 타일인 타일 5의 하위층(제1 확장층) 상의 부호화 데이터를 추출한다. 분리기(704)는 추출된 부호화 데이터를 확장층 디코더(710)에 제공한다. 분리기(704)는 타일에 대한 위치 정보를 독립 타일 결정기(706)에 제공한다.
단계 S812에서, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호가 일치하면(단계 S812에서 예), 프로세스는 단계 S1013로 진행한다. 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호가 일치하지 않으면(단계 S812에서 아니오), 프로세스는 단계 S1015로 진행한다. 여기서, 독립 타일 위치 정보는 5와 6을 나타내며, 복호화 대상 타일인 타일 5는 독립 타일 위치 정보의 타일 번호와 일치한다. 따라서, 독립 타일 결정기(706)는 복호화 대상 타일이 독립 타일 세트 내의 타일이라고 결정한다. 프로세스는 단계 S1013으로 진행한다.
단계 S1013에서, 복호화 대상 타일은 독립 타일이다. 확대기(909)는 상위층이 베이스층이기 때문에, 프레임 메모리(908)에 저장되는 베이스층 상의 복호 화상으로부터 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트에 포함되는 독립 타일의 복호 화상을 수신한다. 확대기(909)는 수신된 독립 타일의 복호 화상만을 사용하여, 예를 들어 필터링으로 확대해서 확대 화상을 생성하고, 확대 화상을 확장층 디코더(710)에 제공한다.
단계 S1014에서, 단계 S814와 마찬가지로, 확장층 디코더(710)는 분리기(704)로부터 제공되는 복호화 대상 타일의 하위층(제1 확장층) 상의 부호화 데이터를 복호화한다. 확장층 디코더(710)는 확대기(909)로부터 제공되는 확대 화상과, 프레임 메모리(711)에 저장되는 복호화된 확장층(제1 확장층) 상의 복호 화상과, 복호화 대상 타일 내의 복호화된 화소를 참조하여 복호 화상을 생성한다. 특히, 확장층 디코더(710)는 단계 S1013에서 생성된 상위층(베이스층) 상의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 디코더(710)는 프레임 메모리(911)에 저장되는 하위층(제2 확장층) 상의 복호 화상들 중 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트 내의 복호 화상을 참조하여 프레임간 예측을 수행한다. 확장층 디코더(710)는 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 확장층 디코더(710)에 의해 복호화된 하위층(제1 확장층) 상의 타일의 복호 화상은 프레임 메모리(911)에 제공되고, 프레임 메모리(911)에 유지된다.
단계 S1017에서, 제어기(714)는 분리기(704)로부터 제공되는 표시 영역 내의 하위층(제1 확장층) 상의 모든 타일의 부호화 데이터의 복호화가 종료했는지를 결정한다. 여기서는 타일 6의 확장층 상의 부호화 데이터의 복호화가 종료되지 않았기 때문에, 프로세스는 단계 S1011로 복귀하여, 타일 6의 하위층(제1 확장층) 상의 부호화 데이터를 복호화한다.
이하, 타일 6의 하위층(제1 확장층) 상의 부호화 데이터의 복호화에 대해서 설명한다.
단계 S1011에서, 분리기(704)는 버퍼(703)에 저장되는 계층 부호화 데이터에서, 복호화 대상 타일인 타일 6의 하위층(제1 확장층) 상의 부호화 데이터를 추출한다. 단계 S812에서, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 여기서, 독립 타일 결정기(706)는 복호화 대상 타일인 타일 6이 독립 타일이라고 결정한다. 프로세스는 단계 S1013으로 진행한다.
단계 S1013에서, 확대기(909)는 상위층(베이스층) 상의 독립 타일에 대한 수신된 복호 화상만을 사용하여, 확대 화상을 생성한다. 특히, 확대기(909)는 프레임 메모리(908)로부터 복호 화상을 수신하고, 예를 들어 필터링으로 수신된 복호 화상을 확대해서 확대 화상을 생성한다.
단계 S1014에서, 확장층 디코더(710)는 타일 6의 하위층(제1 확장층) 상의 부호화 데이터를 복호화해서 복호 화상을 생성하고, 복호 화상을 프레임 메모리(911)에 제공한다. 확장층 디코더(710)는 타일 6의 하위층(제1 확장층) 상의 부호화 데이터의 복호화에서, 확대기(909)로부터 제공되는 확대 화상과, 프레임 메모리(911)에 저장되는 복호화된 확장층 상의 복호 화상과, 복호화 대상 타일의 복호화된 화소를 참조한다. 특히, 확장층 디코더(710)는 단계 S1013에서 생성된 상위층(베이스층) 상의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 디코더(710)는 프레임 메모리(911)에 저장되는 하위층(제1 확장층) 상의 복호 화상들 중 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트 내의 복호 화상을 참조하여 프레임간 예측을 수행한다. 확장층 디코더(710)는 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 확장층 디코더(710)에 의해 복호화된 하위층(제1 확장층) 상의 타일의 복호 화상은 프레임 메모리(911)에 제공되고, 프레임 메모리(911)에 유지된다.
단계 S1017에서, 제어기(714)는 표시 영역 내의 하위층(제1 확장층) 상의 모든 타일에 대한 부호화 데이터의 복호화가 완료되었다고 결정한다. 프로세스는 단계 S1002로 진행한다.
단계 S1002에서, 제어기(714)는 복호화된 vps_max_layers_minus1에 의해 표현되는 모든 계층의 복호화가 종료되었는지를 결정한다. 제어기(714)가, 모든 계층의 타일의 복호화가 종료되지 않았다고 결정하면(단계 S1002에서 아니오), 프로세스는 단계 S1010로 복귀하여, 표시에 관한 결정을 수행한다. 제어기(714)가, 모든 계층의 타일 복호화가 종료되었다고 결정하면(단계 S1002에서 예), 프로세스는 단계 S1003으로 진행한다. 여기서는, 확장층의 복호화가 종료되지 않았기 때문에, 확장층 디코더(710)는 모든 계층의 타일 복호화가 종료되지 않았다고 결정한다. 프로세스는 단계 S1010으로 복귀한다.
여기서, 제2 확장층의 복호화가 수행된다. 단계 S1010에서, 확장층 디코더(710)는 표시될 계층이 복호화되었는지를 결정한다. 표시될 계층은 단자(702)로부터 제공되는 표시 제어 신호에 기초하여 제2 확장층이다. 확장층 디코더(710)가, 제1 확장층까지의 복호화가 종료되었다고 결정하기 때문에(제2 확장층은 복호화되지 않는다)(단계 S1010에서 아니오), 프로세스는 단계 S1001로 진행한다. 단계 S1001에서, 확장층 디코더(710)는 단계 S1014 또는 S1016에서 복호화된 제1 확장층을 상위층으로 설정하고, 제2 확장층을 하위층으로서 설정한다.
단계 S1011에서, 분리기(704)는 버퍼(703)에 저장된 계층 부호화 데이터에서 하위층(제2 확장층) 상의 타일에 대한 부호화 데이터를 추출하고, 추출된 부호화 데이터를 확장층 디코더(710)에 제공한다. 여기서, 분리기(704)는 타일 5의 하위층(제2 확장층) 상의 부호화 데이터를 추출하고, 추출된 부호화 데이터를 확장층 디코더(710)에 제공한다. 단계 S812에서, 독립 타일 결정기(706)는, 복호화 대상 타일인 타일 5가 독립 타일이라고 결정한다. 프로세스는 단계 S1013으로 진행한다. 단계 S1013에서, 상위층은 확장층(제1 확장층)이다. 이에 따라, 확대기(909)는 프레임 메모리(908)에 저장되는 상위층(제1 확장층) 상의 복호 화상으로부터 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트에 포함되는 독립 타일의 복호 화상을 수신한다. 확대기(909)는 상위층(제1 확장층) 상의 독립 타일의 수신된 복호 화상만을 사용하여, 예를 들어 필터링으로 확대해서 확대 화상을 생성하고, 확대 화상을 확장층 디코더(710)에 제공한다.
단계 S1014에서, 확장층 디코더(710)는 분리기(704)로부터 제공되는 복호화 대상 타일의 하위층(제2 확장층) 상의 부호화 데이터를 복호화한다. 확장층 디코더(710)는 다음 화상을 참조하여 복호 화상을 생성한다. 특히, 확장층 디코더(710)는 확대기(909)로부터 제공되는 상위층(제1 확장층) 상의 확대 화상과, 프레임 메모리(911)에 저장되는 복호화된 확장층(제2 확장층) 상의 복호 화상과, 복호화 대상 타일의 복호화된 화소를 참조한다. 더욱 특히, 확장층 디코더(710)는 단계 S1013에서 생성된 상위층(제1 확장층) 상의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 디코더(710)는 프레임 메모리(911)에 저장되는 하위층(제1 확장층) 상의 복호 화상들 중 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 독립 타일 세트 내의 복호 화상을 참조하여 프레임간 예측을 수행한다. 확장층 디코더(710)는 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 확장층 디코더(710)에 의해 복호화된 하위층(제2 확장층) 상의 타일의 복호 화상은 프레임 메모리(911)에 제공되고, 프레임 메모리(911)에 유지된다.
단계 S1017에서, 제어기(714)는 분리기(704)로부터 제공되는 표시 영역 내의 하위층(제2 확장층) 상의 모든 타일에 대한 부호화 데이터의 복호화가 종료되었는지를 결정한다. 여기서는, 타일 6의 확장층 상의 부호화 데이터의 복호화가 종료되지 않았기 때문에, 프로세스는 단계 S1011로 복귀하여, 타일 6의 하위층(제2 확장층) 상의 부호화 데이터를 복호화한다. 타일 6의 하위층의 복호화가, 타일 5의 제2 확장층 상의 부호화 데이터의 복호화에 동일한 방식으로 수행되기 때문에, 타일 6의 하위층의 복호화의 설명은 여기서 생략된다. 그러나, 이 경우, 제1 확장층은 상위층으로 설정되고, 제2 확장층은 하위층으로 설정된다.
단계 S1002에서, 제어기(714)는 제2 확장층의 복호화가 종료되었기 때문에, 모든 계층의 타일의 복호화가 종료되었다고 결정한다. 프로세스는 단계 S1003으로 진행한다. 단계 S1003에서, 선택기(920)는 복호화된 계층들 중에서, 최하위 계층 상의 복호 화상을 선택한다. 이 경우, 최하위 계층이 제2 확장층이기 때문에, 선택기(920)는 프레임 메모리(911)로부터 제2 확장층 상의 복호 화상을 판독하고, 제2 확장층 상의 복호 화상을 단자(912)를 통해 도 6의 표시 유닛(606)에 제공한다. 표시 유닛(606)은 표시 제어 유닛(603)으로부터의 제2 확장층 상에 화상을 표시하기 위한 지시에 응답하여, 화상 복호화 유닛(605)으로부터 제공되는 제2 확장층 상의 복호 화상 전체를 표시한다.
표시될 계층은 상기 설명에서 제2 확장층(계층 수는 3)이다. 그러나 계층 부호화에서 부호화 데이터의 계층 수가 3 이상이고 표시될 계층이 제1 확장층(계층 수는 2)인 경우, 제1 확장층의 복호화가 종료된(단계 S1002에서 아니오) 후에, 프로세스는 단계 S1010로 복귀하고 그 후 단계 S1003으로 진행한다. 이에 따라, 제2 확장층보다 더 상위의 계층 상의 부호화 데이터의 복호화는 수행되지 않는다.
이상, 표시 영역(복호화 대상 타일)이 독립 타일 세트로 구성되어 있는 경우에 대해서 설명했다. 이하에서는 표시 영역(복호화 대상 타일)이 독립 타일 세트로 구성되지 않는 경우에 대해 설명한다. 단계들 S801 내지 S805는 전술한 바와 같이 수행된다.
단계 S806에서, 독립 타일 결정기(706)는 복호화 대상 타일이 독립 타일이 아니라고 결정한다. 프로세스는 단계 S808로 진행한다. 단계 S808에서, 복호화 대상 층이 단지 베이스층인 경우와 마찬가지로, 베이스층 디코더(707)는 베이스층 상의 타일을 복호화해서 복호 화상을 생성하고, 생성된 복호 화상을 프레임 메모리(908)에 저장한다.
단계 S809에서, 제어기(714)는 베이스층 상의 하나의 프레임에 대응하는 모든 타일에 대한 부호화 데이터의 복호화가 종료되었는지를 결정한다. 여기서, 제어기(714)는 베이스층 디코더(707)가 베이스층 상의 하나의 프레임에 대응하는 모든 타일에 대한 부호화 데이터의 복호화를 종료했다고 결정한다(단계 S809에서 예). 프로세스는 단계 S1010으로 진행한다. 단계 S1010에서, 베이스층 디코더(707) 또는 확장층 디코더(710)는 제2 확장층까지 표시가 수행되었기 때문에, 표시될 계층이 복호화되지 않았다고 결정한다(단계 S1010에서 아니오). 프로세스는 단계 S1001으로 진행한다.
단계 S1001에서, 확장층 디코더(710)는 단계 S808에서 복호화된 베이스층을 상위층으로서 설정하고, 복호화될 후속 확장층(제1 확장층)을 하위층으로서 설정한다. 단계 S1011에서, 분리기(704)는 단자(702)로부터 제공되는 표시 영역 내의 타일에 대한 위치 정보를 수신한다. 분리기(704)는 수신된 위치 정보에 기초하여, 버퍼(703)에 저장된 계층 부호화 데이터에서 복호화 대상 타일의 하위층(제1 확장층) 상의 부호화 데이터를 추출한다. 단계 S812에서, 독립 타일 결정기(706)는 복호화 대상 타일의 타일 번호와 독립 타일 위치 정보의 타일 번호를 비교한다. 여기서, 복호화 대상 타일인 타일 5는 독립 타일 위치 정보의 타일 번호와 일치하지 않는다. 따라서, 독립 타일 결정기(706)는 복호화 대상 타일이 독립 타일 세트 내의 타일이 아니라고 결정한다(단계 S812에서 아니오). 프로세스는 단계 S1015로 진행한다.
단계 S1015에서, 확대기(909)는 프레임 메모리(708)에 저장되는 상위층(베이스층) 상의 복호 화상으로부터, 복호화 대상 타일의 위치와 상대적으로 동일한 위치의 베이스층 상의 타일과, 그 타일의 주변 타일의 복호 화상들을 수신한다. 확대기(909)는 베이스층 상의 타일의 수신된 복호 화상만을 사용하여, 예를 들어 필터링으로 확대해서 확대 화상을 생성하고, 생성된 확대 화상을 확장층 디코더(710)에 제공한다.
단계 S1016에서, 확장층 디코더(710)는 분리기(704)로부터 제공되는 복호화 대상 타일의 하위층(제1 확장층) 상의 부호화 데이터를 복호화한다. 확장층 디코더(710)는 다음의 화상들을 참조하여 예측 화상을 생성한다. 특히, 확장층 디코더(710)는 확대기(909)로부터 제공되는 상위층(베이스층) 상의 확대 화상과, 프레임 메모리(911)에 저장되는 복호화된 하위층(제1 확장층) 상의 복호 화상과, 복호화 대상 타일의 하위층(제1 확장층) 상의 복호화된 화소를 참조한다. 확장층 디코더(710)는 참조를 통해 생성된 예측 화상과 복호화된 예측 오차로부터 복호 화상을 생성한다. 더욱 특히, 확장층 디코더(710)는 단계 S1015에서 생성된 상위층(베이스층) 상의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 디코더(710)는 프레임 메모리(711)에 저장되는 하위층(제1 확장층) 상의 복호 화상을 참조하여 프레임간 예측을 수행한다. 확장층 디코더(710)는 하위층(제1 확장층) 상의 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 확장층 디코더(710)에 의해 생성된 하위층(제1 확장층) 상의 타일의 복호 화상은 프레임 메모리(911)에 제공되고, 프레임 메모리(911)에 유지된다.
단계 S1017에서, 제어기(714)는, 표시 영역에서 하위층(제1 확장층) 상의 모든 타일들에 관한 부호화 데이터의 복호화가 종료되었는지를 결정한다. 여기서 제어기(714)는 확장층 디코더(710)가 제1 확장층 상의 모든 타일들에 관한 부호화 데이터의 복호화를 종료했다고 결정한다(단계 S1017에서 예). 프로세스는 단계 S1002로 진행한다. 단계 S1002에서, 제어기(714)는, 모든 계층들의 복호화가 종료되었는지를 결정한다. 여기서, 제어기(714)는, 확장층 디코더(710)가 제2 확장층의 복호화를 종료하지 않았다고 판단한다(단계 S1002에서 아니오). 프로세스는 단계 S1010으로 복귀한다.
여기서 제2 확장층의 복호화가 수행된다. 단계 S1010에서, 확장층 디코더(710)는, 표시될 제2 확장층의 복호화가 종료되지 않았다고 결정한다(단계 S1010에서 아니오). 프로세스는 단계 S1001로 진행한다. 단계 S1001에서, 확장층 디코더(710)는, 단계 S1016에서 복호화된 제1 확장층을 상위층으로 설정하고, 제2 확장층을 하위층으로 설정한다. 단계 S1011에서, 분리기(704)는 하위층(제2 확장층) 상의 복호화 대상 타일에 관한 부호화 데이터를 추출하고, 추출된 부호화 데이터를 확장층 디코더(710)에 제공한다. 단계 S812에서, 독립 타일 결정기(706)는, 복호화 대상 타일이 독립 타일 세트의 타일이 아니라고 결정한다(단계 S812에서 아니오). 프로세스는 단계 S1015로 진행한다. 단계 S1015에서, 확대기(909)는, 상위층이 확장층(제1 확장층)이기 때문에, 프레임 메모리(908)에 저장되어 있는 확장층(제1 확장층) 층의 복호 화상을 수신한다. 확대기(909)는, 수신된 상위층(제1 확장층)의 복호 화상을 사용하여, 예를 들어 필터링으로 확대해서 확대 화상을 생성한다. 여기서, 확대기(909)는 확대 화상을 생성하기 위해, 복호화 대상 타일의 위치와 상대적으로 동등한 위치의 타일과, 그 타일의 주변 화소들을 사용할 수 있다. 확대기(909)는 생성된 확대 화상을 확장층 디코더(710)에 제공한다.
단계 S1016에서, 확장층 디코더(710)는, 분리기(704)로부터 제공된 복호화 대상 타일의 하위층(제2 확장층)의 부호화 데이터를 복호화한다. 확장층 디코더(710)는 확대기(909)로부터 제공되는 상위층(제1 확장층)의 확대 화상과, 프레임 메모리(911)에 저장된 복호화 확장층(제2 확장층)의 복호 화상과, 복호화 대상 타일의 복호화 화소들을 참조하여 복호 화상을 생성한다. 특히, 확장층 디코더(710)는 단계 S1015에서 생성된 상위층(제1 확장층)의 확대 화상을 참조하여 층간 예측을 수행한다. 확장층 디코더(710)는, 프레임 메모리(911)에 저장되어 있는 하위층(제2 확장층) 상의 복호 화상을 참조하여 프레임간 예측을 수행한다. 확장층 디코더(710)는, 복호화 대상 타일 내의 복호 화상을 참조하여 인트라 예측을 수행한다. 확장층 디코더(710)에 의해 복호화된 하위층(제2 확장층)의 타일의 복호 화상은 프레임 메모리(911)에 제공되어, 프레임 메모리(911)에 유지된다.
단계 S1017에서, 제어기(714)는, 분리기(704)로부터 제공된 표시 영역에서 하위층(제2 확장층)의 모든 타일들에 관한 부호화된 데이터의 복호화가 종료되었는지를 결정한다. 이후 여기에서 제어기(714)는 확장층 디코더(710)가 제2 확장층 상의 모든 타일들에 관한 부호화 데이터의 복호화를 종료했다고 결정한다. 프로세스는 단계 S1002로 진행한다. 단계 S1002에서, 제어기(714)는, 제2 확장층의 복호화가 종료되었기 때문에, 모든 계층들의 타일들의 복호화가 종료되었다고 결정한다(단계 S1002에서 예). 프로세스는 단계 S1003으로 진행한다. 단계 S1003에서, 선택기(920)는, 복호화된 계층들 중에서, 최하위 계층의 복호 화상을 선택한다. 이 경우, 최하위 계층이 제2 확장층이기 때문에, 선택기(920)는 프레임 메모리(911)로부터 복호 화상을 판독하고, 판독된 복호 화상을 단자(912)를 통해 도 6의 표시 유닛(606)에 제공한다. 표시 유닛(606)은, 표시 제어 유닛(603)으로부터의 제2 확장층의 화상을 표시하기 위한 지시에 응답하여, 화상 복호화 유닛(605)으로부터 제공된 제2 확장층의 복호 화상을 표시한다.
위의 설명에 있어서, 표시될 계층은 제2 확장층(계층 수는 3임)이다. 그러나, 계층 코딩의 부호화 데이터의 계층 수가 3 이상이고 표시될 계층이 제1 확장층(계층 수는 2임)일 경우, 제1 확장층의 복호화가 종료된 후(단계 S1002에서 아니오), 프로세스는 단계 S1010으로 복귀하고 그 후 단계 S1003으로 진행한다. 이에 따라, 제2 확장층보다 상위의 계층들의 부호화 데이터의 복호화는 행해지지 않는다.
이상의 구성과 동작에 의해, 각각의 확장층 상의 각각의 독립 타일의 상대적 위치와 베이스층 상의 독립 타일의 복호화 상대적 위치를 일치시킬 수 있다. 즉, 베이스층에서 소정 타일이 독립 타일로서 설정되는 경우, 각 확장층에 있어서, 베이스층의 독립 타일의 위치와 상대적으로 동일한 위치의 타일은 각각의 확장층에서 독립 타일이다. 이것은, 계층적 부호화의 임의의 계층에 있어서도, 독립 타일의 부호화 데이터에 관한 예측 및 복호화를 위해서 참조될 화소수가 제한되게 해준다. 특히, 도 6의 예에서, 표시 제어 유닛(603)에 의해 표시가 특정되는 타일이 독립 타일이라면, 저장 유닛(602)으로부터 필요한 부호화 데이터가 판독될 수 있다. 화상 복호화 유닛(605)은 부호화 데이터만을 복호화할 수 있다. 이에 따라, 종래 기술에 비해 고속 처리를 실현하는 것이 가능해진다.
MCTS SEI가 비트 스트림에 존재하는 경우, 타일 위치에 관한 일치 정보인 vui_parameters의 tile_boundaries_aligned_flag는 항상 1로 설정된다. 즉, vui_parameters에 있어서, MCTS SEI가 비트 스트림에 존재하는 경우, 부호화 데이터로서 tile_boundaries_aligned_flag가 생략될 수 있다. MCTS SEI가 비트 스트림에 존재하지 않는다면, tile_boundaries_aligned_flag가 복호화되고, 복호화된 데이터는 후속 복호화에서 참조된다. MCTS SEI가 비트 스트림에 존재한다면, tile_boundaries_aligned_flag가 부호화되어 있지 않기 때문에, 복호화 측에서 tile_boundaries_aligned_flag는 항상 1로 설정된다. 이것은 tile_boundaries_aligned_flag가 없어도 마찬가지로 복호화가 행해지도록 해준다.
제3 실시예
도 1, 도 4, 도 6, 도 7, 및 도 9에 나타낸 처리 유닛들은 제1 실시예 및 제2 실시예의 하드웨어로서 구성된다. 그러나, 처리 유닛들에서 행해지는 프로세스들은 컴퓨터 프로그램들에 의해 실행될 수 있다.
도 11은 제1 실시예에 따른 화상 부호화 장치 및 제2 실시예에 따른 화상 복호화 장치의 각각의 처리 유닛의 처리를 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
도 11을 참조하면, 중앙 처리 유닛(CPU)(1101)은 랜덤 액세스 메모리(RAM)(1102) 및 판독 전용 메모리(ROM)(1103)에 저장되어 있는 컴퓨터 프로그램들 및 데이터를 사용하여 컴퓨터 전체를 제어하고, 제1 실시예에 따른 화상 부호화 장치 및 제2 실시예에 따른 화상 복호화 장치에 의해 행해지는 전술한 프로세스들을 실행한다. 즉, CPU(1101)는 도 1, 도 4, 도 6, 도 7, 및 도 9에 나타낸 각각의 처리 유닛으로서 기능한다.
RAM(1102)은 외부 저장 디바이스(1106)로부터 로딩된 컴퓨터 프로그램들 및 데이터, I/F(인터페이스)(1107)를 통해 외부로부터 취득된 데이터 등이 일시적으로 저장되는 영역을 갖는다. 또한, RAM(1102)은, CPU(1101)가 각종 처리들을 실행하기 위해 사용하는 작업 영역을 갖는다. 즉, RAM(1102)은, 예를 들어 프레임 메모리로서 할당될 수 있고, 다양한 다른 영역들을 적절히 제공할 수 있다.
ROM(1103)은 컴퓨터의 설정 데이터, 부트 프로그램 등을 저장한다. 조작 유닛(1104)은 키보드나 마우스 등에 의해 구성되어 있고, 사용자의 조작들에 응답하여 각종 명령어들을 CPU(1101)에 발행할 수 있다. 출력 유닛(1105)은, CPU(1101)에 의한 처리 결과를 표시하기 위한 제어를 행한다. 또한 출력 유닛(1105)은, 예를 들어 액정 디스플레이에 의해 구성되는 표시 유닛(도시되지 않음)에 있어서, CPU(1101)에 의한 처리 결과를 표시하기 위한 제어를 행한다.
외부 저장 디바이스(1106)는 하드디스크 드라이브로 대표되는, 대용량 정보 저장 디바이스이다. 외부 저장 디바이스(1106)에는, 운영 시스템(OS), 및 도 1, 도 4, 도 6, 도 7, 및 도 9에 나타낸 처리 유닛들의 기능을 실현하기 위해 CPU(1101)에 위해 이용되는 컴퓨터 프로그램들이 저장된다. 외부 저장 디바이스(1106)에는 처리될 화상 데이터가 저장될 수 있다.
외부 저장 디바이스(1106)에 저장된 컴퓨터 프로그램들 및 데이터는 CPU(1101)의 제어 하에 RAM(1102)에 적절히 로딩되어 CPU(1101)에 의해 처리된다. I/F(1107)에는, 근거리 통신망(LAN) 또는 인터넷 등의 네트워크, 및 투영 장치 또는 표시 장치 등의 다른 기기가 접속될 수 있다. 컴퓨터는 I/F(1107)를 통해 각종 정보를 취득하고 송신할 수 있다. 상기의 컴포넌트들은 버스(1108)를 통해 서로 연결된다.
흐름도를 참조하여 설명된 상기의 구성들의 동작들은 주로 CPU(1101)에 의해 제어된다.
다른 실시예들
본 발명을 용이하게 실현하기 위해서, 비트 스트림의 헤드에 가까운 레벨에서 독립 타일의 존재를 명시적으로 지시하는 것이 유용하다. 예를 들어, vui_parameters를 이용하는 방법이 이제 도 12를 참조하여 설명될 것이다. 도 12는 vui_parameters의 신택스를 도시하는 도면이다. vui_parameters 중에는, 비트 스트림에 항상 독립 타일이 존재하는 것을 지시하는 motion_constrained_tile_sets_flag가 포함되어 있다. motion_constrained_tile_sets_flag가 1로 설정된다면, MCTS SEI가 포함되고, 비트 스트림에 독립 타일이 존재하고, 베이스층 상의 각각의 타일의 상대적 위치가 확장층 상의 타일의 상대적 위치와 일치한다. 즉, tile_boundaries_aligned_flag가 항상 1로 설정되기 때문에, tile_boundaries_aligned_flag를 부호화할 필요가 없다. 이와 대조적으로, motion_constrained_tile_sets_flag가 0으로 설정된다면, MCTS SEI가 포함되지 않고, 비트 스트림에 독립 타일이 존재하지 않는다. 그에 따라, tile_boundaries_aligned_flag를 부호화할 필요가 있다. 비트 스트림을 복호화하는 이러한 화상 복호화 장치는, 비트 스트림에 독립 타일이 포함됨을 지시하는 정보를 각각의 타일의 복호화 처리를 행하기 전에 취득할 수 있다. 이에 따라, 소정 영역을 복호화하는 경우에, 화상 복호화 장치는 독립 타일을 사용하여 고속으로 복호화 처리를 하는 것이 가능하다. 그 결과, 예를 들어 부분 확대 애플리케이션이 유효인지를, 각각의 타일의 복호화 처리가 행해지기 전에 결정할 수 있게 된다.
화상의 사이즈, 타일의 분할 수, 독립 타일의 일 프레임 내의 위치는 상기의 실시예들에 설명된 것들로 한정되지 않는다.
본 발명의 실시형태는 또한 본 발명의 상기 실시형태(들) 중 하나 이상의 기능을 실행하기 위해 기록 매체(예를 들어, 비일시적 컴퓨터 판독가능 기록 매체)에 기록된 컴퓨터 실행가능 명령어를 판독 및 실행하는 시스템 또는 장치의 컴퓨터에 의해, 그리고 예를 들어 상기 실시형태(들) 중 하나 이상의 기능을 실행하기 위해 기록 매체로부터의 컴퓨터 실행가능 명령어를 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 실행되는 방법에 의해 실현될 수 있다. 컴퓨터는 중앙 처리 유닛(CPU), 마이크로 처리 유닛(MPU), 또는 다른 회로 중 하나 이상을 포함할 수 있고 별도의 컴퓨터 또는 별도의 컴퓨터 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행 가능 명령어는 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터로 제공될 수 있다. 저장 매체는 예컨대, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 저장부, 광학 디스크(예컨대, 콤팩트 디스크(CD), 디지털 다목적 디스크(DVD) 또는 블루레이 디스크(BD)(등록상표)), 플래시 메모리 장치, 메모리 카드 등 중 하나 이상을 포함할 수 있다.
본 발명이 예시적인 실시예를 참조하여 설명되었지만, 본 발명은 개시된 예시적인 실시예에 제한되지 않는다는 점이 이해되어야 한다. 이하의 청구항의 범위는 그러한 변경예 및 등가적 구조예 및 기능예 모두를 포함하도록 가장 광의의 해석에 따라야 한다.
본 출원은 2013년 7월 12일자로 출원된 일본 특허출원 제2013-146305호인 우선권을 주장하며, 그 전문을 원용함에 의해 본원에 포함되는 것으로 한다.

Claims (21)

  1. 동화상을 구성하는 화상들을 복수의 계층으로 계층 부호화하는 화상 부호화 장치로서,
    제1 화상의 계층과는 상이한 계층의 제2 화상을 생성하는 생성 유닛;
    상기 제1 화상에 있어서, 하나 이상의 타일로 구성되는 제1 타일 세트와, 상기 제2 화상에 있어서, 하나 이상의 타일로 구성되는 제2 타일 세트를 부호화하는 부호화 유닛; 및
    정보 부호화 유닛
    을 포함하고,
    상기 제2 타일 세트는, 상기 제2 화상에 있어서 상기 제1 타일 세트에 대응하는 위치에 배치되고,
    상기 부호화 유닛은, 상기 제1 화상에 있어서 상기 제1 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제1 타일 세트를 부호화하고, 상기 제2 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제2 타일 세트를 부호화하고,
    상기 부호화 유닛이 상기 제2 화상의 적어도 일부의 영역을 참조하여 상기 제1 타일 세트를 부호화하는 경우에, 상기 부호화 유닛은 상기 제2 화상에 있어서 상기 제2 타일 세트만을 참조하도록 제한하여 상기 제1 타일 세트를 부호화하고,
    상기 정보 부호화 유닛은, 상기 제1 타일 세트 및 상기 제2 타일 세트의 복호화 처리에 관한 제한을 나타내는 SEI(Supplemental Enhancement Information) 메시지를 부호화하는, 화상 부호화 장치.
  2. 제1항에 있어서,
    상기 제1 화상 및 상기 제2 화상은 해상도 또는 화질이 상이한, 화상 부호화 장치.
  3. 제1항에 있어서,
    상기 제1 화상은 확장층이고, 상기 제2 화상은 베이스층인, 화상 부호화 장치.
  4. 제1항에 있어서,
    상기 제1 화상의 상기 제1 타일 세트와 상기 제2 화상의 상기 제2 타일 세트는 각각 상기 제1 화상 및 상기 제2 화상 내에 동일한 위치에 배치되는, 화상 부호화 장치.
  5. 제1항에 있어서,
    상기 SEI 메시지는 적어도 상기 제1 타일 세트의 위치를 나타내는 정보를 포함하는, 화상 부호화 장치.
  6. 동화상을 구성하는 화상들을 복수의 계층으로 계층 부호화하여 생긴 부호화 데이터를 복호화하는 화상 복호화 장치로서,
    하나 이상의 타일로 구성되는 타일 세트의 복호화 처리에 관한 제한을 나타내는 SEI 메시지를 복호화하는 정보 복호화 유닛; 및
    상기 SEI 메시지에 따라, 제1 화상의 제1 타일 세트와 제2 화상의 제2 타일 세트를 복호화하는 복호화 유닛
    을 포함하고,
    상기 제2 타일 세트는, 상기 제2 화상에 있어서 상기 제1 타일 세트에 대응하는 위치에 배치되고,
    상기 복호화 유닛은, 상기 제1 화상에 있어서 상기 제1 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제1 타일 세트를 복호화하고, 상기 제2 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제2 타일 세트를 복호화하고,
    상기 복호화 유닛이 상기 제2 화상의 적어도 일부의 영역을 참조하여 상기 제1 타일 세트를 복호화하는 경우에, 상기 복호화 유닛은 상기 제2 화상에 있어서 상기 제2 타일 세트만을 참조하도록 제한하여 상기 제1 타일 세트를 복호화하는, 화상 복호화 장치.
  7. 제6항에 있어서,
    상기 제1 화상 및 상기 제2 화상은 해상도 또는 화질이 상이한, 화상 복호화 장치.
  8. 제6항에 있어서,
    상기 제1 화상은 확장층이고, 상기 제2 화상은 베이스층인, 화상 복호화 장치.
  9. 제6항에 있어서,
    상기 제1 화상의 상기 제1 타일 세트와 상기 제2 화상의 상기 제2 타일 세트는 각각 상기 제1 화상 및 상기 제2 화상 내에 동일한 위치에 배치되는, 화상 복호화 장치.
  10. 제6항에 있어서,
    상기 SEI 메시지는 적어도 상기 제1 타일 세트의 위치를 나타내는 정보를 포함하는, 화상 복호화 장치.
  11. 동화상을 구성하는 화상들을 복수의 계층으로 계층 부호화하는 화상 부호화 방법으로서,
    제1 화상의 계층과는 상이한 계층의 제2 화상을 생성하는 단계;
    상기 제1 화상에 있어서, 하나 이상의 타일로 구성되는 제1 타일 세트와, 상기 제2 화상에 있어서, 하나 이상의 타일로 구성되는 제2 타일 세트를 부호화하는 단계; 및
    정보 부호화 단계
    를 포함하고,
    상기 제2 타일 세트는, 상기 제2 화상에 있어서 상기 제1 타일 세트에 대응하는 위치에 배치되고,
    상기 부호화하는 단계에서, 상기 제1 화상에 있어서 상기 제1 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제1 타일 세트를 부호화하고, 상기 제2 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제2 타일 세트를 부호화하고,
    상기 부호화하는 단계에서 상기 제2 화상의 적어도 일부의 영역을 참조하여 상기 제1 타일 세트를 부호화하는 경우에, 상기 부호화하는 단계에서 상기 제2 화상에 있어서 상기 제2 타일 세트만을 참조하도록 제한하여 상기 제1 타일 세트를 부호화하고,
    상기 정보 부호화 단계에서, 상기 제1 타일 세트 및 상기 제2 타일 세트의 복호화 처리에 관한 제한을 나타내는 SEI 메시지를 부호화하는, 화상 부호화 방법.
  12. 동화상을 구성하는 화상들을 복수의 계층으로 계층 부호화하여 생긴 부호화 데이터를 복호화하는 화상 복호화 방법으로서,
    하나 이상의 타일로 구성되는 타일 세트의 복호화 처리에 관한 제한을 나타내는 SEI 메시지를 복호화하는 정보 복호화 단계; 및
    상기 SEI 메시지에 따라, 제1 화상의 제1 타일 세트와 제2 화상의 제2 타일 세트를 복호화하는 단계
    를 포함하고,
    상기 제2 타일 세트는, 상기 제2 화상에 있어서 상기 제1 타일 세트에 대응하는 위치에 배치되고,
    상기 복호화하는 단계에서, 상기 제1 화상에 있어서 상기 제1 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제1 타일 세트를 복호화하고, 상기 제2 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제2 타일 세트를 복호화하고,
    상기 복호화하는 단계에서 상기 제2 화상의 적어도 일부의 영역을 참조하여 상기 제1 타일 세트를 복호화하는 경우에, 상기 복호화하는 단계에서 상기 제2 화상에 있어서 상기 제2 타일 세트만을 참조하도록 제한하여 상기 제1 타일 세트를 복호화하는, 화상 복호화 방법.
  13. 컴퓨터로 하여금 동화상을 구성하는 화상들을 복수의 계층으로 계층 부호화를 실행하게 하기 위한 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체로서, 상기 프로그램은,
    제1 화상의 계층과는 상이한 계층의 제2 화상을 생성하는 단계;
    상기 제1 화상에 있어서, 하나 이상의 타일로 구성되는 제1 타일 세트와, 상기 제2 화상에 있어서, 하나 이상의 타일로 구성되는 제2 타일 세트를 부호화하는 단계; 및
    정보 부호화 단계를 위한 컴퓨터 실행 가능 명령어들을 포함하며,
    상기 제2 타일 세트는, 상기 제2 화상에 있어서 상기 제1 타일 세트에 대응하는 위치에 배치되고,
    상기 부호화하는 단계에서, 상기 제1 화상에 있어서 상기 제1 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제1 타일 세트를 부호화하고, 상기 제2 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제2 타일 세트를 부호화하고,
    상기 부호화하는 단계에서 상기 제2 화상의 적어도 일부의 영역을 참조하여 상기 제1 타일 세트를 부호화하는 경우에, 상기 부호화하는 단계에서 상기 제2 화상에 있어서 상기 제2 타일 세트만을 참조하도록 제한하여 상기 제1 타일 세트를 부호화하고,
    상기 정보 부호화 단계에서, 상기 제1 타일 세트 및 상기 제2 타일 세트의 복호화 처리에 관한 제한을 나타내는 SEI 메시지를 부호화하는, 컴퓨터 판독 가능 저장 매체.
  14. 컴퓨터로 하여금 동화상을 구성하는 화상들을 복수의 계층으로 계층 부호화하여 생긴 부호화 데이터의 복호화를 실행하게 하기 위한 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체로서, 상기 프로그램은,
    하나 이상의 타일로 구성되는 타일 세트의 복호화 처리에 관한 제한을 나타내는 SEI 메시지를 복호화하는 정보 복호화 단계; 및
    상기 SEI 메시지에 따라, 제1 화상의 제1 타일 세트와 제2 화상의 제2 타일 세트를 복호화하는 단계를 위한 컴퓨터 실행 가능 명령어들을 포함하며,
    상기 제2 타일 세트는, 상기 제2 화상에 있어서 상기 제1 타일 세트에 대응하는 위치에 배치되고,
    상기 복호화하는 단계에서, 상기 제1 화상에 있어서 상기 제1 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제1 타일 세트를 복호화하고, 상기 제2 타일 세트 이외의 타일 세트는 참조하지 않고 상기 제2 타일 세트를 복호화하고,
    상기 복호화하는 단계에서 상기 제2 화상의 적어도 일부의 영역을 참조하여 상기 제1 타일 세트를 복호화하는 경우에, 상기 복호화하는 단계에서 상기 제2 화상에 있어서 상기 제2 타일 세트만을 참조하도록 제한하여 상기 제1 타일 세트를 복호화하는, 컴퓨터 판독 가능 저장 매체.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020187028461A 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체 KR101973919B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013146305A JP6261215B2 (ja) 2013-07-12 2013-07-12 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JPJP-P-2013-146305 2013-07-12
PCT/JP2014/003506 WO2015004879A1 (en) 2013-07-12 2014-07-01 Image encoding apparatus, image encoding method, recording medium and program, image decoding apparatus, image decoding method, and recording medium and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167003477A Division KR101906686B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197011714A Division KR102092518B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체

Publications (2)

Publication Number Publication Date
KR20180112105A KR20180112105A (ko) 2018-10-11
KR101973919B1 true KR101973919B1 (ko) 2019-04-29

Family

ID=51303098

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020187028461A KR101973919B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020167003477A KR101906686B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020207027185A KR102196379B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020197011714A KR102092518B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020207017514A KR102160568B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020207007781A KR102126345B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020167003477A KR101906686B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020207027185A KR102196379B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020197011714A KR102092518B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020207017514A KR102160568B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR1020207007781A KR102126345B1 (ko) 2013-07-12 2014-07-01 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체

Country Status (8)

Country Link
US (5) US10085033B2 (ko)
EP (1) EP3020190A1 (ko)
JP (1) JP6261215B2 (ko)
KR (6) KR101973919B1 (ko)
CN (5) CN110049329A (ko)
BR (1) BR112016000233B1 (ko)
RU (6) RU2674933C1 (ko)
WO (1) WO2015004879A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190045411A (ko) * 2013-07-12 2019-05-02 캐논 가부시끼가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150029592A (ko) * 2013-09-10 2015-03-18 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150046743A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150046741A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9967575B2 (en) * 2013-10-29 2018-05-08 Kt Corporation Multilayer video signal encoding/decoding method and device
US10869032B1 (en) * 2016-11-04 2020-12-15 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames
US10264265B1 (en) 2016-12-05 2019-04-16 Amazon Technologies, Inc. Compression encoding of images
TWI605704B (zh) * 2017-03-01 2017-11-11 晨星半導體股份有限公司 重組影像檔案的方法
US10687055B2 (en) * 2017-03-03 2020-06-16 Qualcomm Incorporated Coding MCTS-EIS SEI messages of an access unit
CN109963176B (zh) * 2017-12-26 2021-12-07 中兴通讯股份有限公司 视频码流处理方法、装置、网络设备和可读存储介质
US11445215B2 (en) 2017-12-28 2022-09-13 Electronics And Telecommunications Research Institute Method and device for image encoding and decoding, and recording medium having bit stream stored therein
JP6371017B1 (ja) * 2018-01-12 2018-08-08 株式会社アドイン研究所 情報処理システム、情報処理方法及びプログラム
KR102106716B1 (ko) * 2018-11-15 2020-05-04 전자부품연구원 타일 기반 스트리밍을 위한 분산 트랜스코딩 방법 및 시스템
WO2021237475A1 (zh) * 2020-05-26 2021-12-02 华为技术有限公司 图像编解码方法和装置
US11012714B1 (en) * 2020-06-23 2021-05-18 Google Llc Image coding using lexicographic coding order with floating block-partitioning
US11321878B2 (en) 2020-06-26 2022-05-03 Sony Group Corporation Decoded tile hash SEI message for V3C/V-PCC
JP2023540210A (ja) 2020-09-01 2023-09-22 ヒュンダイ スチール カンパニー ホットスタンピング用素材及びその製造方法
TWI774165B (zh) * 2020-12-24 2022-08-11 金隆化學工業股份有限公司 一種黏結材及積層製造的方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP2003018602A (ja) 2001-04-24 2003-01-17 Monolith Co Ltd 画像データ符号化および復号のための方法および装置
US7200272B2 (en) * 2002-01-31 2007-04-03 Canon Kabushiki Kaisha Image processing method storing input encoded data into a memory
US20040190615A1 (en) * 2002-05-22 2004-09-30 Kiyofumi Abe Moving image encoding method, moving image decoding method, and data recording medium
MXPA05000558A (es) * 2002-07-16 2005-04-19 Nokia Corp Metodo de acceso aleatorio y renovacion gradual de imagen en codificacion de video.
JP4949836B2 (ja) * 2003-08-29 2012-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 記述的モデルパラメータを用いたエンハンスメントレイヤデータを符号化及び復号化するシステム及び方法
WO2005109896A2 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus to construct bi-directional predicted frames for temporal scalability
EP1790170A2 (en) * 2004-09-14 2007-05-30 Gary Demos High quality wide-range multi-layer compression coding system
US8848789B2 (en) * 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
CN101422046A (zh) * 2006-11-09 2009-04-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP2529551B1 (en) * 2010-01-27 2022-03-16 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
US20110194602A1 (en) * 2010-02-05 2011-08-11 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for sub-pixel interpolation
TWI526056B (zh) * 2011-04-27 2016-03-11 Jvc Kenwood Corp A moving picture coding apparatus, a motion picture coding method, a motion picture coding program, a transmission apparatus, a transmission method, a transmission program, a video decoding apparatus, a video decoding method, a video decoding program, a reception device, a reception method, Receiving program
CN108391137B (zh) 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
CN103828371B (zh) * 2011-09-22 2017-08-22 太阳专利托管公司 运动图像编码方法、运动图像编码装置、及运动图像解码方法以及运动图像解码装置
IN2014CN03712A (ko) * 2011-10-31 2015-09-04 Mitsubishi Electric Corp
JP2013110518A (ja) * 2011-11-18 2013-06-06 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9819949B2 (en) * 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
MY168021A (en) * 2012-04-06 2018-10-11 Sony Corp Decoding device and decoding method, and encoding device and encoding method
JP6295951B2 (ja) * 2012-06-25 2018-03-20 ソニー株式会社 画像復号装置及び画像復号方法
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
CN110139130B (zh) * 2012-10-12 2022-09-20 佳能株式会社 流传输数据的方法、发送和接收视频数据的方法和设备
KR102539065B1 (ko) * 2013-01-04 2023-06-01 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
US9578339B2 (en) * 2013-03-05 2017-02-21 Qualcomm Incorporated Parallel processing for video coding
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
CN110234007B (zh) * 2013-03-21 2023-05-23 索尼公司 图像解码装置和方法
JP6449241B2 (ja) * 2013-04-08 2019-01-09 ジーイー ビデオ コンプレッション エルエルシー 効率的なマルチビュー／レイヤ符号化を可能とする符号化コンセプト
WO2015005622A1 (ko) * 2013-07-07 2015-01-15 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G. Tech, et al. AHG 13: Restriction of inter-layer prediction on tile boundaries. JCT-3V of ITU-T and ISO/IEC. JCT3V-D0051 Ver.2, Apr. 22, 2013, pp.1-3
T. C. Thang, et al. Spatial Scalability of Multiple ROIs in Surveillance Video. JVT of ISO/IEC MPEG & ITU-T VCEG. JVT-O037. Apr. 14, 2005, pp.1-13
T. C. Thang, et al. SVC CE8 report: Spatial scalability of multiple ROIs. JVT of ISO/IEC MPEG & ITU-T VCEG. JVT-P042. Jul. 21, 2005, pp.1-23
Y. Wu, et al. Motion-constrained tile sets SEI message. JCT-VC of ITU-T and ISO/IEC. JCTVC-M0235 Ver.3, Apr. 25, 2013, pp.1-4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190045411A (ko) * 2013-07-12 2019-05-02 캐논 가부시끼가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR102092518B1 (ko) * 2013-07-12 2020-03-23 캐논 가부시끼가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체

Also Published As

Publication number Publication date
US20200145677A1 (en) 2020-05-07
CN109889828A (zh) 2019-06-14
KR101906686B1 (ko) 2018-10-10
RU2674933C1 (ru) 2018-12-13
RU2699414C1 (ru) 2019-09-05
KR20200074282A (ko) 2020-06-24
KR102160568B1 (ko) 2020-09-28
KR102092518B1 (ko) 2020-03-23
JP2015019303A (ja) 2015-01-29
KR20200031714A (ko) 2020-03-24
BR112016000233B1 (pt) 2023-03-28
US10085033B2 (en) 2018-09-25
CN105379274A (zh) 2016-03-02
US20160150236A1 (en) 2016-05-26
US11115670B2 (en) 2021-09-07
RU2736140C1 (ru) 2020-11-11
RU2016104560A (ru) 2017-08-17
EP3020190A1 (en) 2016-05-18
JP6261215B2 (ja) 2018-01-17
CN110049329A (zh) 2019-07-23
KR20190045411A (ko) 2019-05-02
KR20180112105A (ko) 2018-10-11
RU2646389C2 (ru) 2018-03-02
BR112016000233A2 (ko) 2017-07-25
RU2748726C1 (ru) 2021-05-31
CN110087069A (zh) 2019-08-02
KR20200111293A (ko) 2020-09-28
US10869046B2 (en) 2020-12-15
US20210076052A1 (en) 2021-03-11
KR20160031515A (ko) 2016-03-22
KR102196379B1 (ko) 2020-12-30
US10567778B2 (en) 2020-02-18
CN105379274B (zh) 2018-12-04
US20210076053A1 (en) 2021-03-11
CN110049328A (zh) 2019-07-23
RU2715291C1 (ru) 2020-02-26
US20180367807A1 (en) 2018-12-20
KR102126345B1 (ko) 2020-06-24
WO2015004879A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
KR101973919B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
JP5950541B2 (ja) 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
JP6271888B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6834039B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、及び、プログラム
JP6656335B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、及び、プログラム
JP2016192777A (ja) 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
JP6419297B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant