KR101865014B1 - 비디오 디코딩 장치, 방법 및 프로그램 - Google Patents

비디오 디코딩 장치, 방법 및 프로그램 Download PDF

Info

Publication number
KR101865014B1
KR101865014B1 KR1020177026262A KR20177026262A KR101865014B1 KR 101865014 B1 KR101865014 B1 KR 101865014B1 KR 1020177026262 A KR1020177026262 A KR 1020177026262A KR 20177026262 A KR20177026262 A KR 20177026262A KR 101865014 B1 KR101865014 B1 KR 101865014B1
Authority
KR
South Korea
Prior art keywords
video
picture
information
displayable area
refresh
Prior art date
Application number
KR1020177026262A
Other languages
English (en)
Other versions
KR20170109082A (ko
Inventor
히로후미 아오끼
게이이찌 조노
마사또 즈까다
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20170109082A publication Critical patent/KR20170109082A/ko
Application granted granted Critical
Publication of KR101865014B1 publication Critical patent/KR101865014B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 디코딩 장치는 인코딩된 슬라이스의 비디오 데이터를 포함하는 비디오 비트스트림, 점차적 리프레시에서의 선두 픽처를 지시하는 정보를 가지는 보조 정보, 및 현재 픽처에서 리프레시가 완료된 세그먼트들을 지시하는 정보를 가지는 보조 정보를 역다중화하기 위한 역다중화 수단; 역다중화된 보조 정보의 일부인 메시지로부터 상기 정보를 추출하기 위한 추출 수단; 및 적어도 인터 예측을 이용하여, 화상 데이터를 역다중화된 비디오 비트스트림으로부터 디코딩하기 위한 비디오 디코딩 수단을 포함하고, 상기 비디오 디코딩 수단은 점차적 리프레시에서의 선두 픽처에 기초하여 디코딩을 시작한다.

Description

비디오 디코딩 장치, 방법 및 프로그램{VIDEO DECODING DEVICE, METHOD, AND PROGRAM}
본 발명은 비디오 코딩 기술에 관한 것으로, 구체적으로는 인트라-픽처 코딩과 인터-픽처 예측 코딩을 적응적으로 스위칭함으로써 압축을 수행하는 적응성 예측 코딩을 이용하는 비디오 코딩 기술에 관한 것이다.
비디오는 많은 양의 정보를 가지며, 따라서 비디오가 디지털 데이터로서 기록되고 전송될 때 고효율의 비디오 압축 인코딩을 수행하는 것이 필요하다. 고효율 압축을 실현하기 위해, 다양한 요소 기술들이 비디오 압축 인코딩에 사용된다.
비디오 압축 인코딩을 위한 요소 기술들 중 하나로서 예측 코딩 기술이 있다. 예측 코딩 기술은, 비디오 내의 각각의 픽셀이 순차적으로 인코딩될 때, 시간적으로 그리고/또는 공간적으로 이웃하는 하나 또는 복수의 픽셀을 이용하여 현재 인코딩될 픽셀의 예측 값을 생성하고, 원 신호를 직접 인코딩하는 대신에 원 신호와 예측 신호 간의 차분 신호를 인코딩하기 위한 기술이다. 일반적으로, 비디오 내의 픽셀들 각각은 시간적으로 그리고/또는 공간적으로 이웃하는 픽셀들과 높은 상관성을 가지므로, 예측 코딩 기술을 이용하여 고효율 압축이 수행될 수 있다.
예측 코딩 기술들 중 하나는 동일 픽처 내에 포함된 픽셀들의 그룹을 참조하여 예측을 수행하는 인트라-픽처 예측 코딩이라 하며, 다른 하나의 기술은 (참조 픽처로서 지칭되는) 상이한 픽처 내에 포함된 픽셀들의 그룹을 참조하여 예측을 수행하는 인터-픽처 예측 코딩이라 한다. 일반적으로, 비디오 내에는 소정의 모션이 존재하므로, 인터-픽처 예측 코딩 기술은 일반적으로 공간 변위 정보를 이용하여 예측 효율을 향상시키기 위해 모션 보상 기술과 함께 사용된다. "픽처"는 스크린의 처리 단위를 나타내며, 인터레이스 포맷의 비디오 영상이 필드 단위로 인코딩되는 경우에는 필드에 대응하는 반면, 논-인터레이스 포맷(프로그레시브 포맷)의 비디오 영상이 인코딩되고, 인터페이스 포맷의 비디오 영상이 프레임 단위로 인코딩되는 경우에는 프레임에 대응한다는 점에 유의한다.
일반적으로, 비디오에서는 특히 공간보다 시간적으로 더 높은 상관성이 존재한다. 따라서, 예측 코딩 기술들 중 인터-픽처 예측 코딩 기술은 특히 고효율 압축을 달성할 수 있다. 한편, 전경과 배경 간의 위치 관계의 이동 또는 편집에 의한 스크린 변화에 기초하여 전체 또는 부분 스크린에서 시간 상관성이 크게 감소하는 경우가 존재한다. 따라서, 비특허 문헌 1에서 설명되는 ISO/IEC 14496-10 AVC(advanced video coding)를 포함하는 범용 비디오 코딩 포맷들은 인터-픽처 예측 코딩과 인트라-픽처 예측 코딩을 적응적으로 스위칭함으로써 또는 인터-픽처 예측 코딩, 인트라-픽처 예측 코딩 및 예측 없는 인트라-픽처 코딩 중 하나를 적응적으로 스위칭함으로써 픽처를 세분하여 얻어지는 단위들로서 부분 영상들을 인코딩하기 위한 적응성 예측 코딩 방법을 구현한다. 단위의 크기는 비디오 코딩 포맷들에 따라 변하지만, 수직 방향의 16개 픽셀과 수평 방향의 16개 픽셀을 포함하는 (매크로 블록으로 지칭되는) 직사각 영역이 통상적으로 사용된다. 이하, 인트라-픽처 코딩은 인트라 코딩(intra coding)으로 지칭될 수 있다.
적응성 예측 코딩 방법을 이용하는 경우, 픽처들 간의 상관성의 차이로 인해, 예측 효율의 차이가 발생한다. 결과적으로, 압축 효율의 차이가 발생한다. 결과적으로, 각각의 픽처에서 코드 양이 변하는 상황이 발생한다. 게다가, 압축 인코딩에 의해 획득된 (비트스트림으로 지칭되는) 데이터 그룹을 송신하는 송신 경로의 송신 대역에 관계없이 변동이 발생한다. 따라서, 범용 비디오 인코딩 장치 및 일반 비디오 디코딩 장치는 코드 양의 변동을 흡수하여 사전 결정된 송신 대역에서의 송신을 보증하기 위해 비트스트림을 저장하기 위한 버퍼 메모리를 포함한다. 버퍼 메모리는 AVC 표준에서는 코딩된 픽처 버퍼(CPB)로 지칭된다. 버퍼 메모리의 용량은 인코딩 장치 및 디코딩 장치가 적용되는 시스템의 특성들에 따라 크게 다르지만, 예를 들어 0.5초와 송신 비트 레이트를 곱한 값에 대응하는 용량이 통상적으로 제공된다.
텔레비전 방송의 채널 스위칭 또는 저장 타입 콘텐츠의 특수 재생을 포함하는 다양한 예들에서는, 비디오를 기록하고 송신할 때 비트스트림의 중간에서 디코딩을 시작하는 것이, 즉 랜덤 액세스가 필요하다. 인터-픽처 예측 코딩에 의해 생성되는 비트스트림의 중간에서 디코딩이 시작될 때는, 디코딩되지 않은 참조 픽처에 기초하는 인터-픽처 예측 프로세스로 인해, 비디오가 정상적으로 디코딩되지 못한다. 따라서, 적응성 예측 코딩을 구현하는 범용 비디오 인코딩 장치는 비트스트림의 중간에서 디코딩이 시작될 때 사전 결정된 시간 내에 정상적인 디코딩된 비디오를 획득하기 위해 인트라 코딩을 적절히 삽입하기 위한 (리프레시로서 지칭되는) 인코딩 제어를 수행한다.
리프레시 방법들 중 하나는 (인트라 코딩된 픽처로서 지칭되는) 픽처를 삽입하기 위한 순간 리프레시이며, 이 경우에 전체 픽처는 인트라-픽처 코딩에 의해 인코딩된다. 도 14는 순간 리프레시의 동작의 일례를 나타낸다. 도면에서, 파선 테두리에 의해 지시되는 영역은 리프레시 제어의 단위인 픽처들의 그룹이고, 이 그룹은 픽처들의 리프레싱 그룹(RGOP)으로 지칭된다. 도 14에 도시된 동작 예에서, 비디오 인코딩 장치는 인트라 코딩된 픽처를 4개의 픽처마다 삽입하고, 인트라 코딩된 픽처에 이어지는 3개의 픽처가 바로 이전의 인트라 코딩된 픽처 전에 인코딩된 픽처를 참조 픽처로서 사용하지 않도록, 즉 픽처들의 리프레싱 그룹 내에서 인터-픽처 예측이 수행되도록 제어한다. 이러한 방식으로, 비트스트림의 중간에서 디코딩을 시작할 때에도, 디코딩 장치는 픽처들의 각각의 리프레싱 그룹의 선두 인트라-픽처로부터 디코딩 프로세스를 시작함으로써 올바른 디코딩된 영상을 획득할 수 있다. 위의 비특허 문헌 1에서 설명되는 AVC에서는, 후속 픽처들이 이전에 인코딩된 픽처를 참조하지 않도록 후속 픽처들을 제한하는 인트라 코딩된 픽처가 순간 디코딩 리프레시(IDR) 픽처로 지칭되며, 비트스트림 내의 IDR 픽처에는 특수 픽처 식별자가 할당된다. AVC 표준에 따르는 비디오 인코딩 장치는 픽처들의 리프레싱 그룹의 선두 픽처를 IDR 픽처로서 인코딩함으로써 리프레시를 위한 디코딩을 시작하기 위한 올바른 타이밍을 비디오 디코딩 장치에 올바르게 통지할 수 있다.
그러나, 순간 리프레시는 송신 지연을 증가시키는 것이 문제이다. 전술한 바와 같이, 일반적으로, 비디오 내에는 특히 시간적으로 높은 상관성이 존재한다. 따라서, 인터 픽처 예측을 채택할 수 없는 인트라 코딩된 픽처는 사전 결정된 영상 품질을 유지하기 위해 다른 픽처들보다 많은 코드 양을 필요로 한다. 픽처들 간의 생성된 코드 양의 더 큰 차이는 비디오 인코딩 장치 및 비디오 디코딩 장치를 위해 제공되는 버퍼 메모리의 필요 용량을 증가시킨다. 버퍼 메모리의 용량의 증가는 인코딩 장치와 디코딩 장치 간의 송신 지연의 증가를 유발한다. 따라서, 순간 리프레시는 비디오를 통한 장비 원격 제어와 같은 고도의 실시간 특성을 필요로 하는 용도에는 적합하지 않다.
한편, 송신 지연의 감소에 대한 요구를 충족시키는 리프레시 방법으로서는, 스크린을 분할하여 획득되는 (세그먼트로서 지칭되는) 부분 영역의 단위로 스크린을 단계적으로 리프레싱하고, 리프레시의 완료 시까지 복수의 픽처에 걸쳐 리프레시를 수행하기 위한 (점차적 리프레시로서 지칭되는) 방법이 존재한다. 통상의 점차적 리프레시 중 하나는 예를 들어 특허 문헌 1에 개시된 인트라 슬라이스 리프레시이다. 슬라이스는 픽처 내의 코딩 단위 블록들의 세트이며, 픽처 내의 다른 코딩 단위 블록들과 무관한 세그먼트를 지칭한다. 인트라 슬라이스는, 슬라이스 내의 모든 코딩 단위들에 대해 인트라 프레임 코딩이 선택되고, 동일 프레임의 다른 슬라이스를 포함하는 다른 슬라이스들 내의 픽셀들을 이용하는 예측이 수행되지 않는 슬라이스를 지칭한다. 인트라 슬라이스 리프레시는 픽처 내의 슬라이스의 일부가 인트라 슬라이스로서 인코딩되는 리프레시를 수행하며, 연속 픽처들 각각에서 인트라 슬라이스로서 인코딩되는 영역이 이동하여 픽처들 내의 임의의 영역이 사전 결정된 기간 내에 적어도 한 번 인트라 슬라이스로서 인코딩되도록 제어한다.
도 15는 인트라 슬라이스 리프레시의 동작의 일례를 나타낸다. 아래에서 시간 t에서의 픽처가 P(t)로 지시된다. 도 15에서, P(ti -4), P(ti) 및 P(ti + 4)는 점차적 리프레시의 시작 프레임들이고, 리프레시가 완료될 때까지 4개의 픽처가 리프레시된다. 리프레시의 시작으로부터 끝까지의 (도 15에서 4개의 픽처에 대응하는) 기간은 리프레싱 기간으로 지칭된다. 도 15에서, 블랙 페인트에 지시되는 부분 영역들은 인트라 슬라이스들을 나타낸다. 리프레싱 기간 동안, 스크린 내의 모든 영역들 각각을 적어도 한 번 인트라 슬라이스로서 설정함으로써 영상의 리프레시가 수행된다.
도 15에 도시된 인트라 슬라이스 리프레시에서는, 리프레시를 확실하게 하기 위해, 도 15에 도시된 순간 리프레시와 동일한 방식으로 인트라 슬라이스 밖에서도 예측을 위해 참조 가능한 범위에 대해 제한이 가해진다. 도 15에서, 파선 테두리에 의해 지시되는 영역은 리프레시 제어의 단위인 부분 영역들의 그룹을 구성하며, 세그먼트들의 리프레싱 그룹(RGOS)으로 지칭된다. 순간 리프레시에서의 픽처들의 리프레싱 그룹과 같이, 세그먼트들의 각각의 리프레싱 그룹은 세그먼트들의 리프레싱 그룹에 속하는 영역을 갖는 제1 픽처 전의 픽처로부터 시작하는 세그먼트들의 상이한 리프레싱 그룹을 참조하지 않도록 제한된다. 전술한 바와 같이 인코딩된 비트스트림을 수신 및 디코딩하는 비디오 디코딩 장치는 리프레싱 기간 내의 선두 픽처로부터 디코딩을 시작함으로써 전체 스크린에서의 교란 없이 리프레싱 기간의 종료 위치 후에 픽처들의 올바른 디코딩된 영상을 획득할 수 있다. 아래에서, 리프레싱 기간 내의 선두 픽처는 동기화 시작 픽처로서 지칭된다. 동기화 시작 픽처로부터 인코딩이 수행될 때 전체 스크린에서의 교란 없이 올바른 디코딩된 영상을 획득할 수 있는 제1 픽처는 동기화 완료 픽처로서 지칭된다.
게다가, 점차적 리프레시는 반드시 인트라 슬라이스를 사용할 필요는 없으며, 일반적으로 세그먼트들의 리프레싱 그룹들 간의 예측 참조 관계를 제한함으로써 실현된다. 도 16은 일반적인 점차적 리프레시의 일례를 나타낸다. 리프레시를 확실하게 하기 위해, 파선 테두리에 의해 지시되는 세그먼트들의 각각의 리프레싱 그룹에 속하는 영역들은 세그먼트들의 리프레싱 그룹의 선두 픽처 전의 픽처로부터 시작하는 세그먼트들의 상이한 리프레싱 그룹을 참조하지 않도록 제한된다. 또한, 더 일반적으로, 리프레시의 완료 후의 디코딩된 영상이 비트스트림의 시작으로부터 디코딩된 영상과 충분히 유사한 것이 보증될 때, 세그먼트들의 각각의 리프레싱 그룹에 속하는 영역은 세그먼트들의 리프레싱 그룹의 선두 프레임 전의 프레임으로부터 시작하는 세그먼트들의 다른 리프레싱 그룹을 참조할 수 있다.
점차적 리프레시에서, 리프레시로 인한 코드 양의 증가는 전체 리프레싱 기간으로 분산된다. 즉, 순간 리프레시의 인트라 코딩된 픽처와 달리, 전체 스크린에서의 코드 양의 증가를 유발하는 픽처가 존재하지 않는다. 따라서, 픽처들 간의 코드 양의 변동이 순간 리프레시를 이용하는 예에서의 변동보다 감소한다. 결과적으로, 필요한 버퍼 메모리 용량이 감소하며, 더구나 인코딩 장치와 디코딩 장치 간의 송신 지연이 감소한다.
한편, 점차적 리프레시를 이용하는 경우, IDR 픽처와 달리, 명확한 리프레시 시작 포인트가 존재하지 않는다. 따라서, 점차적 리프레시를 이용하여 비트스트림을 생성하는 비디오 인코딩 장치는 동기화 시작 픽처 및 동기화 완료 픽처에 대한 정보(리프레시 정보)를 비트스트림 상에 다중화하고, 비트스트림을 디코딩 장치로 전송하며, 따라서 디코딩 장치는 동기화 시작 픽처로부터 디코딩을 시작하고, 또한 동기화 완료 픽처로부터 영상 표시를 재개할 수 있다.
비특허 문헌 1에서 설명되는 AVC에서는, 인코딩 장치가 리프레시 정보를 디코딩 장치로 전송하는 수단으로서, 회복 포인트 보조 정보 메시지(회복 포인트 SEI 메시지)라고 하는 데이터 그룹이 정의된다. AVC 준수 인코딩 장치는 회복 포인트 SEI 메시지를 비트스트림 상에 다중화함으로써 메시지를 디코딩 장치로 전송한다. AVC 준수 디코딩 장치는 회복 포인트 SEI 메시지에 따라 동기화 시작 픽처로부터 디코딩을 시작하고, 동기화 완료 픽처로부터 영상 표시를 재개할 수 있다. 회복 포인트 SEI 메시지는 동기화 시작 픽처 및 동기화 완료 픽처에 대한 정보를 포함하며, 순간 리프레시 및 점차적 리프레시 쌍방에 대응한다.
도 17의 리스트는 AVC 준수 인코딩 장치로부터 AVC 준수 디코딩 장치로 리프레시 정보를 전송하는 데 사용되는 회복 포인트 SEI 메시지를 구성하는 신택스 요소들을 나타낸다.
recovery_frame_cnt는 동기화 완료 픽처의 통지를 위한 파라미터이다. 즉, 예를 들어 도 14에 도시된 P(ti -4), P(ti) 및 P(ti +4) 및 예를 들어 도 15에 도시된 P(ti-1), P(ti +3) 및 P(ti + 7)가 통지된다. 쌍을 이루는 동기화 시작 픽처가 회복 포인트 SEI 메시지의 존재 자체에 의해 비디오 디코딩 장치로 통지된다. 즉, AVC 준수 비디오 디코딩 장치는 회복 포인트 SEI 메시지와 관련된 동기화 시작 픽처로부터 디코딩을 시작하고, recovery_frame_cnt에 의해 지시되는 동기화 완료 픽처까지 디코딩을 계속하여, 전체 스크린에서의 교란 없이, 디코딩된 영상을 획득한다. 따라서, 비디오 디코딩 장치는 점차적 리프레시를 이용하여 생성되는 비트스트림과 관련하여 교란 없는 영상들만을 선택하여 표시할 수 있다.
exact_match_flag는 recovery_frame_cnt에 의해 지시되는 동기화 완료 픽처에 있어서 동기화 시작 픽처로부터 디코딩을 시작하는 경우의 디코딩된 영상이 비트스트림을 그의 시작으로부터 수신하여 디코딩하는 경우의 디코딩된 영상과 정확하게 매칭되는지를 통지하기 위한 파라미터이다.
broken_link_flag는 동기화 시작 픽처로부터 디코딩이 시작될 때 recovery_frame_cnt에 지시되는 동기화 완료 픽처까지 존재하는 픽처들의 그룹에서 시각적으로 허용될 수 없을 정도로 교란이 발생할 가능성이 존재하는지를 통지하기 위한 파라미터이다.
changing_slice_group_idc는 동기화 시작 픽처로부터 디코딩이 시작될 때 recovery_frame_cnt에 지시되는 동기화 완료 픽처까지 존재하는 픽처들의 그룹에서 디코딩 프로세스가 생략되는 경우에도 리프레시의 완료에 영향을 주지 않는 부분 영역이 존재하는지를 통지하기 위한 파라미터이다.
도 17의 리스트와 관련된 전통적인 리프레시 정보의 다중화의 일례와 관련된 설명이 종료된다.
PLT 1: JP 2007-221411 A (단락 0005 및 0006)
NPL 1: ISO/IEC 14496-10 Information technology - coding of audio-visual objects Part 10: Advanced Video Coding, December 15, 2010
점차적 리프레시가 이용될 때, 스크린의 리프레시는 동기화 시작 픽처와 동기화 완료 픽처 사이의 픽처들에서 부분적으로 완료된다. 리프레시가 완료된 부분 영역들 내에 시청자에게 즉시 통지할 필요가 있는 중요한 정보가 존재할 때는, 동기화 완료 픽처를 기다리는 대신에, 리프레시가 완료된 영역들을 부분적으로 표시하기 시작하는 것이 바람직하다. 그러나, 동기화 시작 픽처 및 동기화 완료 픽처를 회복 포인트 SEI 메시지에 의해 통지하는 방법이 이용될 때, 비디오 디코딩 장치로 하여금 리프레시가 완료된 스크린 내의 부분들을 쉽게 알게 하기 위한 수단이 존재하지 않는다. 따라서, 비디오 디코딩 장치가 동기화 완료 메시지까지 표시를 수행하지 못하는, 즉 표시의 지연이 발생하는 문제가 있다.
한편, 세그먼트들의 각각의 리프레싱 그룹에 대한 참조 영역 제한이 엄격히 유지될 때, 비디오 디코딩 장치는 디코딩 동안 예측 단위들인 부분 영상들 각각에 대한 예측 프로세스에서 참조되는 범위를 알 수 있다. 따라서, 비디오 디코딩 장치는 리프레싱된 부분 영역들을 계산에 의해 획득할 수 있다. 그러나, 비디오 디코딩 장치가 예측 참조 범위 정보를 이용하여 계산을 통해 리프레싱된 부분 영역들을 획득하는 경우, 이것은 비디오 디코딩 장치의 계산의 양이 증가하는 문제를 유발한다.
세그먼트들의 각각의 리프레싱 그룹에 대한 참조 영역 제한이 엄격히 유지되지 않을 때, 즉 회복 포인트 SEI 메시지의 exact_match_flag가 0으로 설정될 때, 디코더는 예측 참조 범위 정보를 이용하는 계산을 통해서도 리프레싱된 부분 영역들을 알지 못한다. 따라서, 디코더가 예측 참조 범위 정보를 이용하는 계산을 통해 리프레싱된 부분 영역들을 알기 위해서는, 비디오 인코딩 장치에서 예측 참조 범위가 제한되어야 한다. 즉, 비디오 디코딩 장치가 예측 참조 범위 정보를 이용하는 계산을 통해 리프레싱된 부분 영역들을 획득하는 경우에는, 비디오 압축 효율이 감소하며, 따라서 디코딩된 영상의 정확한 매칭을 반드시 필요로 하지는 않는 시스템에서 비디오 품질이 상대적으로 감소하는 문제가 발생한다.
따라서, 본 발명은 그러한 문제들을 고려하여 이루어졌으며, 그 목적은 점차적 리프레시에서 디코딩 장치의 계산 양의 증가 없이 동기화 완료 픽처까지 표시되기 시작할 수 있는 스크린 내의 부분 영역을 디코딩 장치에 통지할 수 있는 비디오 인코딩 장치, 비디오 인코딩 방법 및 프로그램을 제공하는 것이다.
본 발명의 다른 목적은 점차적 리프레시에서 비디오 품질의 저하 없이 동기화 완료 픽처까지 표시되기 시작할 수 있는 스크린 내의 부분 영역을 디코딩 장치에 통지할 수 있는 비디오 인코딩 장치, 비디오 인코딩 방법 및 프로그램을 제공하는 것이다.
본 발명의 또 다른 목적은, 점차적 리프레시를 이용하여 생성된 비트스트림이 디코딩되고, 비디오가 재생될 때, 계산 양의 증가 없이 동기화 완료 픽처까지 부분적 표시를 시작할 수 있는 비디오 디코딩 장치, 비디오 디코딩 방법 및 프로그램을 제공하는 것이다.
본 발명의 또 다른 목적은, 점차적 리프레시를 이용하여 생성된 비트스트림이 디코딩되고, 비디오가 재생될 때, 동기화 완료 픽처까지 고품질 비디오의 부분적 표시를 시작할 수 있는 비디오 디코딩 장치, 비디오 디코딩 방법 및 프로그램을 제공하는 것이다.
본 발명에 따른 비디오 디코딩 장치는 인코딩된 슬라이스의 비디오 데이터를 포함하는 비디오 비트스트림, 점차적 리프레시에서의 선두 픽처를 지시하는 정보를 가지는 보조 정보, 및 현재 픽처에서 리프레시가 완료된 세그먼트들을 지시하는 정보를 가지는 보조 정보를 역다중화하기 위한 역다중화 수단; 역다중화된 보조 정보의 일부인 메시지로부터 상기 정보를 추출하기 위한 추출 수단; 및 적어도 인터 예측을 이용하여, 화상 데이터를 역다중화된 비디오 비트스트림으로부터 디코딩하기 위한 비디오 디코딩 수단을 포함하고, 상기 비디오 디코딩 수단은 점차적 리프레시에서의 선두 픽처에 기초하여 디코딩을 시작한다.
본 발명에 따른 비디오 디코딩 방법은 인코딩된 슬라이스의 비디오 데이터를 포함하는 비디오 비트스트림, 점차적 리프레시에서의 선두 픽처를 지시하는 정보를 가지는 보조 정보, 및 현재 픽처에서 리프레시가 완료된 세그먼트들을 지시하는 정보를 가지는 보조 정보를 역다중화하는 단계; 역다중화된 보조 정보의 일부인 메시지로부터 상기 정보를 추출하는 단계; 및 적어도 인터 예측을 이용하여, 화상 데이터를 역다중화된 비디오 비트스트림으로부터 디코딩하는 단계를 포함하고, 상기 디코딩은 점차적 리프레시에서의 선두 픽처에 기초하여 시작된다.
컴퓨터 판독가능한 정보 기록 매체는 본 발명에 따른 비디오 디코딩 프로그램을 저장하고, 비디오 디코딩 프로그램은 컴퓨터로 하여금, 인코딩된 슬라이스의 비디오 데이터를 포함하는 비디오 비트스트림, 점차적 리프레시에서의 선두 픽처를 지시하는 정보를 가지는 보조 정보, 및 현재 픽처에서 리프레시가 완료된 세그먼트들을 지시하는 정보를 가지는 보조 정보를 역다중화하는 역다중화 처리; 역다중화된 보조 정보의 일부인 메시지로부터 상기 정보를 추출하는 추출 처리; 및 적어도 인터 예측을 이용하여, 화상 데이터를 역다중화된 비디오 비트스트림으로부터 디코딩하는 비디오 디코딩 처리를 수행하게 하고, 상기 비디오 디코딩 처리는 점차적 리프레시에서의 선두 픽처에 기초하여 시작된다.
본 발명에 따르면, 비디오 디코딩 장치가 비디오 인코딩 장치에 의해 생성된 비트스트림을 그의 중간에서 수신하여 재생할 때, 동기화 완료 픽처까지 부분 표시를 시작할 수 있으며, 따라서 표시 지연을 줄일 수 있다.
도 1은 본 발명에 따른 제1 실시예의 비디오 인코딩 장치의 구성 예를 나타내는 블록도를 도시한다.
도 2는 제1 실시예의 비디오 인코딩 장치의 동작 예를 나타내는 흐름도를 도시한다.
도 3은 점차적 리프레시에 의한 비디오 인코딩의 일례를 나타내는 설명 도면을 도시한다.
도 4는 표시 가능 영역 정보를 다중화하는 일례를 나타내는 설명 도면을 도시한다.
도 5는 표시 가능 영역 정보를 다중화하는 다른 예를 나타내는 설명 도면을 도시한다.
도 6은 표시 가능 영역 정보를 다중화하는 또 다른 예를 나타내는 설명 도면을 도시한다.
도 7은 표시 가능 영역 정보를 다중화하는 또 다른 예를 나타내는 설명 도면을 도시한다.
도 8은 본 발명에 따른 제2 실시예의 비디오 디코딩 장치의 구성 예를 나타내는 블록도를 도시한다.
도 9는 제2 실시예의 비디오 디코딩 장치의 동작 예를 나타내는 흐름도를 도시한다.
도 10은 본 발명에 따른 제3 실시예의 비디오 인코딩 장치의 구성 예를 나타내는 블록도를 도시한다.
도 11은 본 발명에 따른 제4 실시예의 비디오 인코딩 장치의 구성 예를 나타내는 블록도를 도시한다.
도 12는 제4 실시예의 비디오 인코딩 장치의 동작 예를 나타내는 흐름도를 도시한다.
도 13은 본 발명에 따른 프로그램을 이용하는 정보 처리 시스템의 일례를 나타내는 블록도를 도시한다.
도 14는 순간 리프레시의 동작 예를 나타내는 설명 도면을 도시한다.
도 15는 인트라 슬라이스 리프레시의 동작 예를 나타내는 설명 도면을 도시한다.
도 16은 일반화된 점차적 리프레시의 일례를 나타내는 설명 도면을 도시한다.
도 17은 회복 포인트 보조 정보 메시지를 구성하는 신택스 요소들의 예들을 나타내는 설명 도면을 도시한다.
이하, 첨부 도면들을 참조하여 본 발명의 실시예들을 설명한다.
(제1 실시예)
도 1은 본 발명의 제1 실시예에 따른 비디오 인코딩 장치의 블록도이다. 도면에 도시된 바와 같이, 제1 실시예의 비디오 인코딩 장치는 비디오 인코더(101), 리프레시 제어기(102), 표시 가능 영역 인코더(103) 및 다중화기(104)를 포함한다. 본 실시예는 다중화기(104)에 공급하기 위해 리프레시 제어기(102)로부터 획득되는 각각의 픽셀의 표시 가능 영역 정보를 인코딩하는 표시 가능 영역 인코더(103)를 특징으로 한다.
비디오 인코더(101)는 입력 비디오 내의 픽처들 각각에 대해 인코딩을 수행하고, 비디오의 비트스트림을 다중화기(104)에 제공한다.
비디오 인코더(101)에서 적응성 예측 인코딩이 수행될 때, 리프레시 제어기(102)는 의도된 리프레시를 수행하기 위해 세그먼트들의 리프레싱 그룹들 사이에 예측 제한이 유지되도록 비디오 인코더(101)에 제어 신호를 제공한다. 리프레시 제어기(102)는 세그먼트들의 리프레싱 그룹들로부터 획득되는 각각의 픽처의 표시 가능 영역 정보를 표시 가능 영역 인코더(103)에 제공한다.
표시 가능 영역 인코더(103)는 리프레시 제어기(102)로부터 제공되는 표시 가능 영역 정보를 인코딩하고, 인코딩된 표시 가능 영역 정보를 표시 가능 영역 정보 비트스트림으로서 다중화기(104)에 제공한다.
다중화기(104)는 비디오 인코더(101)로부터 획득되는 비디오 비트스트림 및 표시 가능 영역 인코더(103)로부터 획득되는 표시 가능 영역 정보 비트스트림을 다중화하고, 다중화된 비트스트림을 비트스트림으로서 출력한다.
제1 실시예의 비디오 인코딩 장치에 의한 비디오 인코딩 프로세스는 도 2의 흐름도를 참조하여 아래에 설명된다.
단계 S10001에서, 리프레시 제어기(102)는 리프레시 동작을 정의하는 제어 정보를 비디오 인코더(101) 및 표시 가능 영역 인코더(103)에 제공한다.
단계 S10002에서, 비디오 인코더(101)는 입력 비디오의 각각의 픽처를 인코딩하고, 그의 비디오 비트스트림을 다중화기(104)에 제공한다.
단계 S10003에서, 현재 인코딩되는 픽처가 동기화 시작 픽처와 동기화 완료 픽처 사이의 픽처일 때, 프로세스는 단계 S10004로 진행한다. 현재 인코딩되는 픽처가 동기화 시작 픽처와 동기화 완료 픽처 사이의 픽처가 아닐 때, 단계 S10004의 처리가 생략되고, 프로세스는 단계 S10005로 진행한다.
단계 S10004에서, 표시 가능 영역 인코더(103)는 각각의 픽처의 표시 가능 영역을 정의하는 정보를 인코딩하고, 그의 비트스트림을 다중화기(104)로 출력한다.
단계 S10005에서, 다중화기(104)는 비디오 인코더(101)로부터 제공되는 비디오 비트스트림 및 표시 가능 영역 인코더(103)로부터 제공되는 표시 가능 영역 정보 비트스트림을 다중화하고, 비트스트림을 출력한다.
단계 S10006에서, 단계 S10005에서의 비트스트림 출력이 인코딩될 최종 픽처에 대응할 때, 비디오 인코딩이 완료된다. 비트스트림이 최종 픽처에 대응하지 않는 경우, 프로세스는 S10001로 복귀한다.
위의 구성에 따르면, 비디오 인코딩 장치가 점차적 리프레시를 이용하여 비트스트림을 생성하는 경우, 비디오 인코딩 장치는 비트스트림을 생성할 수 있고, 따라서 비디오 디코딩 장치가 비트스트림을 비트스트림의 중간에서 수신하고 재생할 때, 비디오 디코딩 장치는 동기화 완료 픽처까지 부분적 표시를 시작하여 표시 지연을 줄일 수 있다. 이것은 다중화기(104)가 표시 가능 영역 인코더(103)로부터 각각의 픽처 내의 표시 가능 시작 영역을 정의하는 제어 정보를 수신하고, 비트스트림 상에 제어 정보를 다중화하고, 제어 정보를 비디오 디코딩 장치로 전송함에 따라 비디오 디코딩 장치가 동기화 완료 픽처까지 픽처들에서 부분적으로 표시될 수 있는 영역을 알 수 있기 때문이다.
(예)
위의 제1 실시예의 비디오 인코딩 장치의 구체적인 예가 아래에 설명된다.
본 예에서, 각각의 프레임에 대한 공간 해상도가 320 x 240 픽셀인 프로그레시브 비디오와 관련하여, 픽처를 수평 방향으로 5개로 균일하게 분할하여 얻어지는 64 x 240 픽셀 영역들 중 가장 좌측의 영역이 인트라 코딩된 세그먼트로서 설정되고, 인트라 코딩된 세그먼트가 5개의 픽처를 통해 서로 오버랩되지 않게 시프트되도록 리프레시가 수행된다.
도 3은 리프레시가 수행되는 구체적인 예를 나타낸다. 도 3에서, 시간 ti에서의 픽처 P(ti)이 동기화 시작 픽처로서 가정되고, P(ti + 4)가 동기화 완료 픽처로서 가정된다. 시간 t에서의 픽처 P(t) 내의 리프레시 완료 세그먼트는 시간 ti에서 시간 t까지 한 번 인트라 코딩된 세그먼트로서 설정되는 영역을 지시한다. 이 경우, 픽처들 P(ti), P(ti +1), P(ti +2), P(ti +3) 및 P(ti + 4)의 각각의 표시 가능 영역은 픽처들의 좌측으로부터 각각 64x240 픽셀, 128x240 픽셀, 192x240 픽셀, 256x 240 픽셀 및 320x240 픽셀 직사각 영역들이다. 표시 가능 영역 인코더(103)는 다중화기(104)에 제공하기 위해 각각의 표시 가능 영역들을 인코딩한다.
전술한 표시 가능 영역들의 정보는 예를 들어 비특허 문헌 1의 "Specification of syntax functions, categories, and descriptors"의 설명에 따라 보조 정보 메시지의 (부분 표시 가능 영역 보조 정보 메시지로 지칭되는) 일부로서 비트스트림 상에 다중화될 수 있다.
도 4의 리스트 내의 표시 가능 영역 정보의 다중화의 일례가 아래에 설명된다.
부분 표시 가능 영역 보조 정보 메시지와 관련된 픽처의 픽처 번호가 CurrPicOrderCnt인 것으로 가정하면, 아래의 식 1에 의해 획득되는 픽처 번호 RecvStartPicOrderCnt에 의해 정의되는 동기화 시작 픽처로서 가정되는 픽처에 대해 디코딩이 시작되는 경우에, recovery_starting_poc_cnt는 부분 표시 가능 영역 보조 정보 메시지 내에 표현되는 표시 가능 영역이 적용된다는 것을 지시한다.
Figure 112017090522246-pat00001
partial_recovery_cnt_minus1은 부분 표시 가능 영역 보조 정보 메시지 내에 존재하는 직사각 영역들의 수를 나타낸다. 부분 표시 가능 영역 보조 정보 메시지와 관련된 픽처 내의 표시 가능 영역은 표시 가능 직사각 영역들의 합집합으로서 얻어진다.
exact_match_flag[i]는 표시 가능 직사각 영역에서 RecvStartPicOrderCnt에 의해 정의되는 픽처로부터 디코딩이 시작되는 경우에 있어서의 디코딩된 영상이 비트스트림이 비트스트림의 처음으로부터 수신되어 디코딩되는 경우에 있어서의 디코딩된 영상과 정확히 매칭되는지를 지시한다. exact_match_flag[i]의 디코딩된 값이 1인 경우에, 이는 디코딩된 영상의 정확한 매칭이 표시 가능 직사각 영역 내의 모든 픽셀들에 대해 달성된 것을 지시한다. exact_match_flag[i]의 디코딩된 값이 0인 경우에, 이는 디코딩된 영상의 정확한 매칭이 표시 가능 직사각 영역 내의 모든 픽셀들에 대해 달성되지는 못할 가능성이 존재한다는 것을 지시한다.
recovery_rect_left_offset[i], recovery_rect_right_offset[i], recovery_rect_top_offset[i] 및 recovery_rect_bottom_offset[i]는 표시 가능 직사각 영역의 스크린 상의 위치를 지시하는 파라미터들의 그룹이다. 디코딩된 영상의 좌상 픽셀의 수평 좌표 및 수직 좌표가 0으로 설정될 뿐만 아니라, 디코딩된 영상의 우하 픽셀의 수평 좌표 및 수직 좌표가 각각 PicWidthInSamples - 1 및 PicHeightInSamples - 1로 설정되는 경우, CurrPicOrderCnt에서 정의되는 픽처 내의 직사각 영역의 좌상 픽셀 수평 좌표, 좌상 픽셀 수직 좌표, 우하 픽셀 수평 좌표 및 우하 픽셀 수직 좌표가 CurrRecvRectLeft[i], CurrRecvRectRight[i], CurrRecvRectTop[i] 및 CurrRecvRectBottom[i]일 때, CurrRecvRectLeft[i], CurrRecvRectRight[i], CurrRecvRectTop[i] 및 CurrRecvRectBottom[i]의 값들은 아래의 식 2에 의해 계산된다.
Figure 112017090522246-pat00002
이제, 도 4의 표시 가능 영역 정보의 다중화 예의 설명이 종료된다.
본 예는 동기화 시작 픽처로부터 동기화 완료 픽처까지의 픽처들과 관련하여 픽처별로 표시 가능 영역 정보가 직접 인코딩되고, 보조 정보 메시지로서 비트스트림 상에 다중화되는 일례이다. 그러나, 본 발명에 따르면, 예를 들어, 제1 픽처와 관련하여, 표시 가능 영역 정보는 도 4에 도시된 부분 표시 가능 영역 보조 정보 메시지로서 다중화되며, 후속 픽처들과 관련하여, 표시 가능 영역의 갱신 정보가 비트스트림 상에 픽처별로 도 5에 도시된 부분 표시 가능 영역 갱신 보조 정보 메시지로서 다중화될 수 있다.
아래에서는 도 5의 리스트 내의 표시 가능 영역 정보의 다중화 예가 설명된다.
partial_recovery_ref_poc_cnt는 부분 표시 가능 영역 갱신 보조 정보 메시지와 관련된 픽처의 픽처 번호가 CurrPicOrderCnt인 것으로 가정할 때, ,픽처의 표시 가능 영역이 아래의 식 3에 의해 계산되는 픽처 번호 PartRecvRefPicOrderCnt에 의해 정의되는 픽처와 관련된 부분 표시 가능 보조 정보 메시지 또는 부분 표시 가능 영역 갱신 보조 정보 메시지에 의해 정의되는 다른 표시 가능 영역을 참조하여 계산된다는 것을 지시한다.
Figure 112017090522246-pat00003
exact_match_flag[i]는 표시 가능 직사각 영역에서 RecoveryStartingPicOrderCnt에 의해 정의되는 픽처로부터 디코딩이 시작되는 경우에 있어서의 디코딩된 영상이 비트스트림이 비트스트림의 처음으로부터 수신되어 디코딩되는 경우에 있어서의 디코딩된 영상과 정확히 매칭되는지를 지시한다. exact_match_flag[i]의 디코딩된 값이 1인 경우에, 이는 디코딩된 영상의 정확한 매칭이 표시 가능 직사각 영역 내의 모든 픽셀들에 대해 달성된 것을 지시한다. exact_match_flag[i]의 디코딩된 값이 0인 경우에, 이는 디코딩된 영상의 정확한 매칭이 표시 가능 직사각 영역 내의 모든 픽셀들에 대해 달성되지는 못할 가능성이 존재한다는 것을 지시한다.
recovery_rect_left_offset_decr[i], recovery_rect_right_offset_decr[i], recovery_rect_top_offset_decr[i] 및 recovery_rect_bottom_offset_decr[i]는 픽처 내의 표시 가능 직사각 영역의 스크린 상의 위치를 갱신하기 위한 파라미터들의 그룹이다. PartRecvRefPicOrderCnt에 의해 정의되는 픽처에서 결정되는 i 번째 표시 가능 직사각 영역 내의 좌상 픽셀 수평 좌표, 좌상 픽셀 수직 좌표, 우하 픽셀 수평 좌표 및 우하 픽셀 수직 좌표가 RefRecvRectLeft[i], RefRecvRectRight[i], RefRecvRectTop[i] 및 RefRecvRectBottom[i]인 것으로 가정하면, CurrPicOrderCnt에서 정의되는 픽처 내의 직사각 영역 내의 좌상 픽셀 수직 좌표 CurrRecvRectLeft[i], 좌상 픽셀 수직 좌표 CurrRecvRectRight[i], 우하 픽셀 수평 좌표 CurrRecvRectTop[i] 및 우하 픽셀 수직 좌표 CurrRecvRectBottom[i]의 값들은 아래의 식 4에 의해 계산된다.
Figure 112017090522246-pat00004
recovery_rect_left_offset_decr[i], recovery_rect_right_offset_decr[i], recovery_rect_top_offset_decr[i] 및 recovery_rect_bottom_offset_decr[i]와 관련하여, 각각의 변수가 비트스트림 상에 존재하지 않을 때, 그의 값은 0으로 간주된다.
이제, 도 5의 표시 가능 영역 갱신 정보의 다중화 예의 설명이 종료된다.
또한, 본 예는 표시 가능 영역 정보가 도 4 및 5에서 다른 보조 정보 메시지들과 무관한 보조 정보 메시지로서 비트스트림 상에 다중화되는 일례이다. 그러나, 본 발명에 따르면, 예를 들어, 동기화 시작 픽처에서, 도 6의 리스트 내에 표시된 바와 같은 부분 표시 가능 영역의 정보가 도 17의 리스트 내에 표시된 회복 포인트 보조 정보 메시지 상에 중첩될 수 있으며, 비트스트림 상에 다중화될 수 있다.
도 6의 리스트 내에 표시된 표시 가능 영역 정보의 다중화 예가 아래에 설명된다.
partital_recovery_info_present_flag는 부분 표시 가능 영역의 정보가 관련 보조 정보 메시지 내에 존재하는지를 지시하는 파라미터이다.
도 6의 리스트 내에 표시된 다른 파라미터들은 도 4 및 도 17의 리스트 내에 표시된 파라미터들과 동일하므로, 여기서는 그에 대한 설명이 생략된다.
이제, 도 6의 표시 가능 영역 정보의 다중화 예의 설명이 종료된다.
또한, 본 발명의 제1 실시예의 비디오 인코딩 장치에서의 비디오 인코딩 프로세스의 위의 설명에서, 표시 가능 영역을 갖는 각각의 픽처에 대해 표시 가능 영역 정보를 인코딩하고, 표시 가능 영역 정보를 비트스트림 상에 다중화하는 동작 예가 설명된다. 그러나, 본 발명에 따르면, 동기화 시작 픽처 내의 표시 가능 영역 정보는 도 7의 리스트 내에 표시된 바와 같이 회복 포인트 보조 정보 메시지 상에 중첩될 수 있고, 동기화 완료 픽처까지 비트스트림 상에 다중화될 수 있거나, 표시 가능 영역 정보는 수 개의 픽처마다 인코딩되어 비트스트림 상에 다중화될 수 있다.
도 7에 도시된 표시 가능 영역 정보의 다중화 예가 아래에 설명된다.
partial_recovery_update_info_present_flag[i]는 동기화 시작 픽처 뒤의 픽처 내에 i 번째 표시 가능 영역의 갱신 정보가 존재하는지를 지시하는 파라미터이다.
도 7의 리스트 내에 표시된 다른 파라미터들은 도 6 및 도 17의 리스트 내에 표시된 파라미터들과 동일하므로, 그들에 대한 설명은 여기서는 생략된다.
이제, 도 7의 표시 가능 영역 정보의 다중화 예의 설명이 종료된다.
본 예는 표시 가능 영역 정보가 각각의 픽처와 관련하여 보조 정보 메시지로서 다중화되는 일례이다. 그러나, 본 발명에 따르면, 표시 가능 영역 정보는 예를 들어 전체 비트스트림의 인코딩 및 디코딩을 위해 사용되는 시퀀스 파라미터 세트와 함께 다중화될 수 있거나, 표시 가능 영역 정보는 예를 들어 픽처 파라미터 세트와 함께 다중화될 수 있다.
게다가, 본 예에서, 표시 가능 영역 정보는 동기화 시작 픽처로부터 동기화 완료 픽처까지의 모든 픽처들에 대해 인코딩되고, 비트스트림 상에 다중화된다. 그러나, 본 발명은 동기화 시작 픽처로부터 동기화 완료 픽처까지의 모든 픽처들에 대한 표시 가능 영역 정보의 인코딩으로 한정되지 않으며, 표시 가능 영역 정보는 동기화 시작 픽처로부터 동기화 완료 픽처까지의 소정의 픽처들에 대해 선택적으로 인코딩될 수 있고, 비트스트림 상에 다중화될 수 있다.
본 예에서는, 인트라 코딩된 세그먼트를 스크린 내에서 좌에서 우로 오버랩 없이 균일한 간격으로 시프트시킴으로써 리프레시가 수행된다. 그러나, 본 발명은 전술한 리프레시로 한정되지 않으며, 리프레시 방향이 임의로 선택될 수 있다. 예를 들어, 리프레시가 임의의 방향으로, 예컨대 우에서 좌로, 위에서 아래로, 좌상에서 우하로, 픽처의 중앙에서 좌우로 또는 픽처의 중앙으로부터 회오리 형상을 따라 수행될 수 있다. 게다가, 인트라 코딩된 세그먼트를 리프레시를 위해 시프트시키는 방법은 임의적이다. 인트라 코딩된 세그먼트의 크기는 각각의 픽처에 대해 변할 수 있으며, 동일 영역이 리프레싱 기간 동안 두 번 이상 인트라 코딩된 세그먼트로서 설정될 수 있다. 게다가, 본 명세서에서 설명되는 점차적 리프레시의 설명으로부터 알려지는 바와 같이, 본 발명은 인트라 코딩된 세그먼트들에 기초하는 리프레시로 한정되지 않으며, 리프레시는 인터 픽처 예측 코딩의 예측 범위를 제한하는 방법과 같은 임의의 방법을 이용하여 수행될 수 있다.
이 예에서는 표시 가능 영역이 픽처의 상하좌우 에지들로부터의 오프셋 값들로서 인코딩되고, 비트스트림 상에 다중화되지만, 본 발명은 표시 가능 영역이 픽처의 상하좌우 에지들로부터의 오프셋 값들로서 인코딩되는 구성으로 한정되지 않으며, 표시 가능 영역은 임의의 표현 방법을 이용하여 인코딩될 수 있다.
표시 가능 영역 정보가 비특허 문헌 1에서 설명되는 AVC의 기술 방법에 다중화되지만, 본 발명은 AVC의 사용으로 한정되지 않으며, 다른 비디오 코딩 방법들에 또는 이차원 비디오 대신에 임의 차원의 비디오 인코딩 방법에 적용될 수 있다.
본 예에서는, 표시 가능 영역이 이차원 영상 상의 직사각 영역들의 세트로서 인코딩되고, 비트스트림 상에 다중화되지만, 본 발명은 이차원 영상 상의 직사각 영역들의 세트로서의 표시 가능 영역의 인코딩으로 한정되지 않으며, 표시 가능 영역은 직사각 영역들의 세트 대신에 임의의 표현 방법을 이용하여 인코딩될 수 있거나, 임의 차원 영역으로서 인코딩될 수 있다.
이제, 본 발명의 제1 실시예의 비디오 인코딩 장치의 설명이 종료된다.
(제2 실시예)
도 8은 본 발명의 제2 실시예에 따른 비디오 디코딩 장치의 블록도이다. 도 8에 도시된 바와 같이, 제2 실시예의 비디오 디코딩 장치는 역다중화기(201), 비디오 디코더(202), 표시 가능 영역 디코더(203) 및 비디오 출력 제어기(204)를 포함한다. 본 실시예는, 각각의 픽처 내의 표시 가능 영역의 정보를 디코딩하여 출력하는 표시 가능 영역 디코더(203)가 제공되며, 표시 가능 영역을 해석하고, 표시 가능 영역과 다른 디코딩된 영상이 출력되지 않도록 제어를 수행하는 비디오 출력 제어기(204)도 제공되는 것을 특징으로 한다.
역다중화기(201)는 비트스트림을 역다중화하고, 비디오 비트스트림 및 표시 가능 영역 정보 비트스트림을 추출하고, 비디오 비트스트림을 비디오 디코더(202)에 제공하고, 표시 가능 영역 정보 비트스트림을 표시 가능 영역 디코더(203)에 제공한다.
비디오 디코더(202)는 비디오 비트스트림을 디코딩하고, 획득된 재구성 영상을 비디오 출력 제어기(204)에 제공한다.
표시 가능 영역 디코더(203)는 표시 가능 영역 정보 비트스트림을 디코딩하고, 획득된 표시 가능 영역 정보를 비디오 출력 제어기(204)에 제공한다.
비디오 출력 제어기(204)는 표시 가능 영역 디코더(203)로부터 얻어진 표시 가능 영역 밖의 영상이 비디오 디코더(202)로부터 제공되는 재구성 영상과 관련하여 표시되지 않도록 제어하며, 처리 결과를 디코딩된 비디오로서 출력한다.
제2 실시예의 비디오 디코딩 장치에 의한 비디오 디코딩 프로세스가 아래에서 도 9의 흐름도를 참조하여 설명된다.
단계 S20001에서, 역다중화기(201)는 비트스트림을 역다중화하고, 비디오 비트스트림 및 표시 가능 영역 정보 비트스트림을 추출하고, 비디오 비트스트림을 비디오 디코더(202)에 제공하고, 표시 가능 영역 정보 비트스트림을 표시 가능 영역 디코더(203)에 제공한다.
단계 S20002에서, 비디오 디코더(202)는 비디오 비트스트림을 디코딩하고, 획득된 재구성 영상을 비디오 출력 제어기(204)에 제공한다.
단계 S20003에서, 표시 가능 영역 정보가 픽처와 관련될 때, 프로세스는 단계 S20004로 진행한다. 표시 가능 영역 정보가 픽처와 관련되지 않을 때, 단계 S20004의 처리가 생략되고, 프로세스는 단계 S20005로 진행한다.
단계 S20004에서, 표시 가능 영역 디코더(203)는 표시 가능 영역 정보 비트스트림을 디코딩하고, 획득된 표시 가능 영역 정보를 비디오 출력 제어기(204)에 제공한다.
단계 S20005에서, 비디오 출력 제어기(204)는 표시 가능 영역 디코더(203)로부터 얻어진 표시 가능 영역 밖의 영상이 비디오 디코더(202)로부터 제공되는 재구성 영상과 관련하여 표시되지 않도록 제어하며, 처리 결과를 디코딩된 비디오로서 출력한다.
단계 S20006에서, 단계 S20002에서 디코딩된 비트스트림이 디코딩될 최종 픽처에 대응할 때, 비디오 디코딩이 종료된다. 비트스트림이 최종 픽처에 대응하지 않는 경우, 프로세스는 S20001로 복귀한다.
위의 구성에 따르면, 비트스트림의 중간에서의 점차적 리프레시를 이용하여 생성되는 비트스트림을 수신하여 재생할 때, 비디오 디코딩 장치는 동기화 완료 픽처의 디코딩을 기다리는 것이 아니라, 계산에 의해 예측 참조 범위로부터 표시 가능 영역을 획득하지 않고서 부분적 표시를 시작하며, 따라서 표시 지연을 줄인다. 이것은 비디오 디코딩 장치가 표시 가능 영역을 정의하는 정보를 비디오 인코딩 장치로부터 비트스트림으로서 수신하고, 역다중화기(201)가 정보를 표시 가능 영역 디코더(203)에 제공함에 따라 표시 가능 영역 밖의 영상이 디코딩된 비디오로서 출력되지 않도록 비디오 출력 제어기(204)가 제어할 수 있기 때문이다.
이제, 본 발명의 제2 실시예의 비디오 디코딩 장치의 설명이 종료된다.
(제3 실시예)
도 10은 본 발명의 제3 실시예에 따른 비디오 인코딩 장치의 블록도이다. 도 10에 도시된 바와 같이, 제3 실시예의 비디오 인코딩 장치는 도 1에 도시된 제1 실시예의 비디오 인코딩 장치와 비교할 때 동일 컴포넌트들을 포함한다는 점에서 유사하지만, 제어 신호가 비디오 인코더(101)가 아니라 표시 가능 영역 인코더(103)에 제공된다는 점에서 상이하다. 제3 실시예의 비디오 인코딩 장치의 컴포넌트들 중에서 리프레시 제어기(102) 및 다중화기(104)의 동작들은 제1 실시예의 비디오 인코딩 장치의 그것들의 동작들과 동일하므로, 아래에서는 나머지 블록들에 대한 설명이 제공된다.
비디오 인코더(101)는 입력 비디오를 구성하는 픽처들 각각에 대해 인코딩을 수행하고, 비디오의 비트스트림을 다중화기(104)에 제공한다. 게다가, 리프레시가 완료된 영역에 관한 정보가 표시 가능 영역 인코더(103)에 제공된다.
표시 가능 영역 인코더(103)는 리프레시 제어기(102)로부터 제공되는 표시 가능 영역 정보 및 비디오 인코더(101)로부터 제공되는 리프레시 완료 영역 정보에 기초하여 표시 가능 영역 정보를 계산하고 인코딩하며, 표시 가능 영역 정보를 표시 가능 영역 정보 비트스트림으로서 다중화기(104)에 제공한다.
제3 실시예의 비디오 인코딩 장치에 의한 비디오 인코딩 프로세스가 제1 실시예의 비디오 인코딩 장치에 의한 비디오 인코딩 프로세스와 같이 도 2의 흐름도에 의해 표시된다. 이 예에서, 제3 실시예의 비디오 인코딩 장치에 의한 비디오 인코딩 프로세스의 흐름에 대한 설명은 생략된다.
위의 구성에 따르면, 제1 실시예의 비디오 인코딩 장치의 표시 가능 영역보다 넓은 표시 가능 영역이 비디오 디코딩 장치로 전송될 수 있는 효과가 얻어진다. 이것은, 인트라 코딩이 결국 리프레시 제어기(102)로부터 제공되는 제어 신호와 무관하게 선택되고, 따라서 표시 가능 영역이 비디오 인코더(101)에서 리프레시를 완료함으로써 생성되는 경우에, 표시 가능 영역 인코더(103)가 더 넓은 표시 가능 영역을 인코딩할 수 있고, 표시 가능 영역을 다중화기(104)에 제공할 수 있기 때문이다.
이제, 본 발명의 제3 실시예의 비디오 인코딩 장치의 설명이 종료된다.
(제4 실시예)
도 11은 본 발명의 제4 실시예에 따른 비디오 인코딩 장치의 블록도이다. 도 11에 도시된 바와 같이, 제4 실시예의 비디오 인코딩 장치는 도 1에 도시된 제1 실시예의 비디오 인코딩 장치와 비교할 때 표시 가능 영역 인코딩 제어기(105)가 그의 컴포넌트로서 새로 포함된다는 점에서 상이하다. 제4 실시예의 비디오 인코딩 장치의 컴포넌트들 중에서 비디오 인코더(101), 리프레시 제어기(102) 및 다중화기(104)의 동작들은 제1 실시예의 비디오 인코딩 장치의 그것들의 동작들과 동일하므로, 아래에서는 나머지 블록들에 대한 설명이 제공된다.
표시 가능 영역 인코딩 제어기(105)는 표시 가능 영역 정보의 인코딩을 제어하기 위한 제어 신호를 표시 가능 영역 인코더(103)에 제공한다.
표시 가능 영역 인코더(103)는 리프레시 제어기(102)로부터 제공되는 표시 가능 영역 정보 중에서, 표시 가능 영역 인코딩 제어기(105)로부터 공급되는 제어 신호에 의해 인코딩이 지시되는 정보를 인코딩하고, 정보를 표시 가능 영역 정보 비트스트림으로서 다중화기(104)에 제공한다.
제4 실시예의 비디오 인코딩 장치에 의한 비디오 인코딩 프로세스가 도 12의 흐름도를 참조하여 아래에 설명된다.
단계 S10001에서, 리프레시 제어기(102)는 리프레시 동작을 정의하는 제어 정보를 비디오 인코더(101) 및 표시 가능 영역 인코더(103)에 제공한다.
단계 S10002에서, 비디오 인코더(101)는 입력 비디오의 각각의 픽처를 인코딩하고, 그의 비디오 비트스트림을 다중화기(104)에 제공한다.
단계 S10003에서, 현재 인코딩되는 픽처가 동기화 시작 픽처와 동기화 완료 픽처 사이의 픽처인 경우, 프로세스는 단계 S10007로 진행한다. 현재 인코딩되는 픽처가 동기화 시작 픽처로부터 동기화 완료 픽처까지의 픽처가 아닌 경우, 단계 S10007 및 단계 S10004의 처리가 생략되고, 프로세스는 단계 S10005로 진행한다.
단계 S10007에서, 현재 표시 가능 영역이 인코딩될 영역일 때, 프로세스는 단계 S10004로 진행한다. 그렇지 않은 경우, 단계 S10004의 처리가 생략되고, 프로세스는 단계 S10005로 진행한다.
단계 S10004에서, 표시 가능 영역 인코더(103)는 각각의 픽처의 표시 가능 영역을 정의하는 정보를 인코딩하고, 그의 비트스트림을 다중화기(104)로 출력한다.
단계 S10005에서, 다중화기(104)는 비디오 인코더(101)로부터 제공되는 비디오 비트스트림 및 표시 가능 영역 인코더(103)로부터 제공되는 표시 가능 영역 정보 비트스트림을 다중화하고, 다중화된 비트스트림을 비트스트림으로서 출력한다.
단계 S10006에서, 단계 S10005에서의 비트스트림 출력이 인코딩될 최종 픽처에 대응할 때, 비디오 인코딩이 종료된다. 비트스트림이 최종 픽처에 대응하지 않는 경우, 프로세스는 S10001로 복귀한다.
위의 구성에 따르면, 제1 실시예의 비디오 인코딩 장치에 의해 얻어지는 효과에 더하여, 비디오 인코딩 장치가 동기화 완료 픽처 전에 표시를 개시할 수 있는 부분 영역을 비디오 디코딩 장치에 통지할 때 비디오 데이터의 압축 효율의 감소가 비교적 억제될 수 있는 효과가 얻어진다. 이것은 표시 가능 영역 인코딩 제어기(105)가 인코딩될 표시 가능 영역을 제한함에 따라 표시 가능 영역 정보를 전송하는 데 필요한 데이터 양이 감소할 수 있기 때문이다.
이제, 본 발명의 제4 실시예의 비디오 인코딩 장치의 설명이 종료된다.
본 발명의 실시예들의 설명으로부터 명백하듯이, 본 발명은 하드웨어 또는 컴퓨터 프로그램에 의해 구현될 수 있다.
도 13에 도시된 정보 처리 시스템은 프로세서(1001), 프로그램 메모리(1002) 및 저장 매체들(1003, 1004)을 포함한다. 저장 매체(1003) 및 저장 매체(1004)는 개별 저장 매체들 또는 동일 저장 매체 내에 포함된 저장 영역들일 수 있다. 저장 매체로서, 하드 디스크와 같은 자기 저장 매체가 저장 매체로서 사용될 수 있다.
도 13에 도시된 정보 처리 시스템에서, 프로그램 메모리(1002)는 도 1, 도 8, 도 10 및 도 11에 도시된 각각의 블록의 기능들을 구현하기 위한 프로그램들을 저장한다. 프로세서(1001)는 프로그램 메모리(1002)에 저장된 프로그램에 따라 프로세스들을 수행하여, 도 1, 도 8, 도 10 및 도 11에 도시된 비디오 인코딩 장치 또는 비디오 디코딩 장치의 기능들을 구현한다.
전술한 실시예들 중 일부 또는 전부가 후술하는 부기들로서 설명될 수 있지만, 본 발명의 구조는 아래의 구조들로 한정되지 않는다.
(부기 1)
비디오 인코딩 장치는 입력 동영상의 영상 데이터를 예측에 기초하여 인코딩하고, 인코딩된 픽처들의 비디오 비트스트림을 생성하기 위한 비디오 인코딩 수단; 상기 픽처 내의 부분 영역이 리프레싱될 단위 영역으로서 가정되고, 리프레싱될 상기 단위 영역이 픽처별로 이동되도록 리프레싱하기 위한 리프레시 제어 수단; 리프레싱에서 각각의 픽처에 대한 표시 가능 영역을 인코딩하고, 표시 가능 영역 정보 비트스트림을 생성하기 위한 표시 가능 영역 인코딩 수단; 및 비디오 비트스트림 및 상기 표시 가능 영역 정보 비트스트림을 다중화하기 위한 다중화 수단을 포함한다.
(부기 2)
부기 1에 따른 비디오 인코딩 장치에 있어서, 상기 표시 가능 영역 인코딩 수단은 인코딩될 픽처 내의 표시 가능 영역과 과거에 인코딩된 픽처 내의 표시 가능 영역 간의 차이를 이용하여 상기 표시 가능 영역 정보 비트스트림을 생성한다.
(부기 3)
부기 1 또는 2에 따른 비디오 인코딩 장치는 상기 표시 가능 영역을 인코딩할지를 제어하기 위한 표시 가능 영역 인코딩 제어 수단을 더 포함하고, 상기 표시 가능 영역 인코딩 수단은 상기 표시 가능 영역 인코딩 제어 수단에 의해 인코딩될 것으로 결정되는 표시 가능 영역을 선택하여 인코딩한다.
(부기 4)
부기 1 내지 3 중 어느 하나에 따른 비디오 인코딩 장치에 있어서, 상기 리프레시 제어 수단은 인트라 코딩에 의해 리프레시를 수행한다.
(부기 5)
부기 1 내지 4 중 어느 하나에 따른 비디오 인코딩 장치에 있어서, 상기 리프레시 제어 수단은 복수의 픽처에 의해 구성되는 예측 제한 범위 내에서 리프레싱될 단위 영역을 시프트시키며, 상기 비디오 인코딩 수단은 예측에 기초하여 인코딩을 수행할 때 상기 예측 제한 범위를 벗어나는 인트라 픽처 예측 또는 인터 픽처 예측에 의한 예측 값을 배제한다.
(부기 6)
비디오 디코딩 장치는 비디오 데이터를 포함하는 비트스트림 및 디코딩되는 영상에 있어서의 표시 가능 영역 정보를 포함하는 비트스트림을 역다중화하기 위한 역다중화 수단; 상기 역다중화된 비디오 비트스트림을 예측에 기초하여 디코딩하여 영상 데이터를 생성하기 위한 비디오 디코딩 수단; 상기 영상 데이터의 출력 영역을 상기 역다중화된 표시 가능 영역 정보에 기초하여 제한하기 위한 비디오 출력 제어 수단; 및 사전 결정된 방법에 따라 상기 역다중화된 표시 가능 영역 정보 비트스트림을 디코딩하여 상기 표시 가능 영역 정보의 적어도 일부를 추출하기 위한 표시 가능 영역 디코딩 수단을 포함한다.
(부기 7)
부기 6에 따른 비디오 디코딩 장치에 있어서, 상기 표시 가능 영역 정보 비트스트림은 적어도, 디코딩될 픽처 내의 표시 가능 영역과 과거에 디코딩된 픽처 내의 표시 가능 영역 간의 차이를 포함하고, 상기 표시 가능 영역 디코딩 수단은 디코딩될 상기 픽처 내의 상기 표시 가능 영역과 과거에 디코딩된 상기 픽처 내의 상기 표시 가능 영역 간의 상기 차이를 상기 표시 가능 영역 정보 비트스트림으로부터 추출하고, 디코딩될 상기 픽처 내의 표시 가능 영역을 획득한다.
(부기 8)
비디오 인코딩 방법은 입력 동영상의 영상 데이터를 예측에 기초하여 인코딩하고, 인코딩된 픽처들의 비디오 비트스트림을 생성하는 단계; 상기 픽처 내의 부분 영역이 리프레싱될 단위 영역으로서 가정되고, 리프레싱될 상기 단위 영역이 픽처별로 이동되도록 리프레싱하는 단계; 리프레싱에서 각각의 픽처에 대한 표시 가능 영역을 인코딩하고, 표시 가능 영역 정보 비트스트림을 생성하는 단계; 및 비디오 비트스트림 및 상기 표시 가능 영역 정보 비트스트림을 다중화하는 단계를 포함한다.
(부기 9)
부기 8에 따른 비디오 인코딩 방법은 인코딩될 픽처 내의 표시 가능 영역과 과거에 인코딩된 픽처 내의 표시 가능 영역 간의 차이를 이용하여 상기 표시 가능 영역 정보 비트스트림을 생성하는 단계를 더 포함한다.
(부기 10)
부기 8 또는 9에 따른 비디오 인코딩 방법은 상기 표시 가능 영역을 인코딩할지를 제어하고, 상기 제어에 의해 인코딩될 것으로 결정되는 표시 가능 영역을 인코딩하는 단계를 더 포함한다.
(부기 11)
부기 8 내지 10 중 어느 하나에 따른 비디오 인코딩 방법은 픽처 리프레시가 수행될 때 인트라 코딩에 의해 리프레싱하는 단계를 더 포함한다.
(부기 12)
부기 8 내지 11 중 어느 하나에 따른 비디오 인코딩 방법에 있어서, 픽처 리프레시가 수행될 때, 복수의 픽처에 의해 구성되는 예측 제한 범위 내에서 리프레싱될 단위 영역을 시프트시키고, 예측에 기초하여 인코딩을 수행할 때 상기 예측 제한 범위 밖에 있는 인트라 픽처 예측 또는 인터 픽처 예측에 의한 예측 값을 배제한다.
(부기 13)
비디오 디코딩 방법은 비디오 데이터를 포함하는 비트스트림 및 디코딩되는 영상에 있어서의 표시 가능 영역 정보를 포함하는 비트스트림을 역다중화하는 단계; 상기 역다중화된 비디오 비트스트림을 예측에 기초하여 디코딩하여 영상 데이터를 생성하는 단계; 상기 영상 데이터의 출력 영역을 상기 역다중화된 표시 가능 영역 정보에 기초하여 제한하는 단계; 및 사전 결정된 방법에 따라 상기 역다중화된 표시 가능 영역 정보 비트스트림을 디코딩하여 상기 표시 가능 영역 정보의 적어도 일부를 추출하는 단계를 포함한다.
(부기 14)
부기 13에 따른 비디오 디코딩 방법은 디코딩될 픽처 내의 표시 가능 영역과 과거에 디코딩된 픽처 내의 표시 가능 영역 간의 차이를 디코딩될 상기 픽처 내의 상기 표시 가능 영역과 과거에 디코딩된 상기 픽처 내의 상기 표시 가능 영역 간의 상기 차이를 적어도 포함하는 상기 표시 가능 영역 정보 비트스트림으로부터 추출하고, 디코딩될 상기 픽처 내의 표시 가능 영역을 획득하는 단계를 더 포함한다.
(부기 15)
비디오 인코딩 프로그램은 컴퓨터로 하여금 입력 동영상의 영상 데이터를 예측에 기초하여 인코딩하고, 인코딩된 픽처들의 비디오 비트스트림을 생성하는 비디오 인코딩 프로세스; 상기 픽처 내의 부분 영역이 리프레싱될 단위 영역으로서 가정되고, 리프레싱될 상기 단위 영역이 픽처별로 이동되도록 리프레싱하는 리프레시 제어 프로세스; 리프레싱에서 각각의 픽처에 대한 표시 가능 영역을 인코딩하고, 표시 가능 영역 정보 비트스트림을 생성하는 표시 가능 영역 인코딩 프로세스; 및 비디오 비트스트림 및 상기 표시 가능 영역 정보 비트스트림을 다중화하는 다중화 프로세스를 수행하게 한다.
(부기 16)
부기 15에 따른 비디오 인코딩 프로그램에 있어서, 상기 표시 가능 영역 인코딩 프로세스에서, 상기 컴퓨터는 인코딩될 픽처 내의 표시 가능 영역과 과거에 인코딩된 픽처 내의 표시 가능 영역 간의 차이를 이용하여 상기 표시 가능 영역 정보 비트스트림을 생성하는 프로세스를 수행한다.
(부기 17)
부기 15 또는 16에 따른 비디오 인코딩 프로그램에 있어서, 상기 컴퓨터는 상기 표시 가능 영역을 인코딩할지를 제어하는 상기 표시 가능 영역 인코딩 제어 프로세스를 수행하고, 상기 표시 가능 영역 인코딩 프로세스에서, 상기 표시 가능 영역 인코딩 제어 프로세스에서 인코딩될 것으로 결정되는 표시 가능 영역을 선택하여 인코딩하는 프로세스를 수행한다.
(부기 18)
부기 15 내지 17 중 어느 하나에 따른 비디오 인코딩 프로그램에 있어서, 상기 리프레시 제어 프로세스에서, 상기 컴퓨터는 인트라 코딩에 의해 리프레시를 수행한다.
(부기 19)
부기 15 내지 18 중 어느 하나에 따른 비디오 인코딩 프로그램에 있어서, 상기 리프레시 제어 프로세스에서, 상기 컴퓨터는 복수의 픽처에 의해 구성되는 예측 제한 범위 내에서 리프레싱될 단위 영역을 시프트시키는 프로세스를 수행하고, 상기 비디오 인코딩 프로세스에서, 예측에 기초하여 인코딩이 수행될 때 상기 예측 제한 범위 밖에 있는 인트라 픽처 예측 또는 인터 픽처 예측에 의한 예측 값을 배제하는 프로세스를 수행한다.
(부기 20)
비디오 디코딩 프로그램은 컴퓨터로 하여금 비디오 데이터를 포함하는 비트스트림 및 디코딩되는 영상에 있어서의 표시 가능 영역 정보를 포함하는 비트스트림을 역다중화하는 역다중화 프로세스; 상기 역다중화된 비디오 비트스트림을 예측에 기초하여 디코딩하여 영상 데이터를 생성하는 비디오 디코딩 프로세스; 상기 영상 데이터의 출력 영역을 상기 역다중화된 표시 가능 영역 정보에 기초하여 제한하는 비디오 출력 제어 프로세스; 및 사전 결정된 방법에 따라 상기 역다중화된 표시 가능 영역 정보 비트스트림을 디코딩하여 상기 표시 가능 영역 정보의 적어도 일부를 추출하는 표시 가능 영역 디코딩 프로세스를 수행하게 한다.
(부기 21)
부기 20에 따른 비디오 디코딩 프로그램에 있어서, 상기 표시 가능 영역 디코딩 프로세스에서, 상기 컴퓨터는 디코딩될 픽처 내의 표시 가능 영역과 과거에 디코딩된 픽처 내의 표시 가능 영역 간의 차이를 표시 가능 영역에서 디코딩될 상기 픽처 내의 상기 표시 가능 영역과 과거에 디코딩된 상기 픽처 내의 상기 표시 가능 영역 간의 상기 차이를 적어도 포함하는 상기 표시 가능 영역 정보 비트스트림으로부터 추출하고, 디코딩될 상기 픽처 내의 표시 가능 영역을 획득하는 프로세스를 수행한다.
본 발명은 실시예들 및 사례들을 참조하여 설명되었지만, 본 발명은 전술한 실시예들 및 사례들로 한정되지 않는다. 본 발명의 구조들 및 상세들에 대해 본 발명의 범위 내에서 이 분야의 기술자들이 이해할 수 있는 다양한 변경들이 행해질 수 있다.
본원은 2012년 6월 25일자로 출원된 일본 특허 출원 제2012-141924호에 기초하여 우선권을 주장하며, 그 개시 내용 전체가 본 명세서에 참고로 포함된다.
101: 비디오 인코더
102: 리프레시 제어기
103: 표시 가능 영역 인코더
104: 다중화기
105: 표시 가능 영역 인코딩 제어기
201: 역다중화기
202: 비디오 디코더
203: 표시 가능 영역 디코더
204: 비디오 출력 제어기

Claims (3)

  1. 비디오 디코딩 장치로서,
    인코딩된 슬라이스의 비디오 데이터를 포함하는 비디오 비트스트림, 점차적 리프레시에서의 선두 픽처를 지시하는 제1 정보를 가지는 보조 정보(Supplemental-Enhancement-Information), 및 현재 픽처에서 리프레시가 완료된 세그먼트들을 지시하는 제2 정보를 가지는 보조 정보를 역다중화(demultiplexing)하기 위한 역다중화 수단;
    상기 역다중화된 보조 정보의 일부인 메시지로부터 상기 제2 정보를 추출하기 위한 추출 수단; 및
    적어도 인터 예측을 이용하여, 화상 데이터를 상기 역다중화된 비디오 비트스트림으로부터 디코딩하기 위한 비디오 디코딩 수단
    을 포함하고,
    상기 비디오 디코딩 수단은 점차적 리프레시에서의 상기 선두 픽처에 기초하여 디코딩을 시작하는 비디오 디코딩 장치.
  2. 비디오 디코딩 방법으로서,
    인코딩된 슬라이스의 비디오 데이터를 포함하는 비디오 비트스트림, 점차적 리프레시에서의 선두 픽처를 지시하는 제1 정보를 가지는 보조 정보, 및 현재 픽처에서 리프레시가 완료된 세그먼트들을 지시하는 제2 정보를 가지는 보조 정보를 역다중화하는 단계;
    상기 역다중화된 보조 정보의 일부인 메시지로부터 상기 제2 정보를 추출하는 단계; 및
    적어도 인터 예측을 이용하여, 화상 데이터를 상기 역다중화된 비디오 비트스트림으로부터 디코딩하는 단계
    를 포함하고,
    상기 디코딩은 점차적 리프레시에서의 상기 선두 픽처에 기초하여 시작되는 비디오 디코딩 방법.
  3. 비디오 디코딩 프로그램을 저장하는 컴퓨터 판독가능한 정보 기록 매체로서,
    상기 비디오 디코딩 프로그램은 컴퓨터로 하여금,
    인코딩된 슬라이스의 비디오 데이터를 포함하는 비디오 비트스트림, 점차적 리프레시에서의 선두 픽처를 지시하는 제1 정보를 가지는 보조 정보, 및 현재 픽처에서 리프레시가 완료된 세그먼트들을 지시하는 제2 정보를 가지는 보조 정보를 역다중화하는 역다중화 처리;
    상기 역다중화된 보조 정보의 일부인 메시지로부터 상기 제2 정보를 추출하는 추출 처리; 및
    적어도 인터 예측을 이용하여, 화상 데이터를 상기 역다중화된 비디오 비트스트림으로부터 디코딩하는 비디오 디코딩 처리
    를 수행하게 하고,
    상기 비디오 디코딩 처리는 점차적 리프레시에서의 상기 선두 픽처에 기초하여 시작되는, 컴퓨터 판독가능한 정보 기록 매체.
KR1020177026262A 2012-06-25 2013-05-31 비디오 디코딩 장치, 방법 및 프로그램 KR101865014B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012141924 2012-06-25
JPJP-P-2012-141924 2012-06-25
PCT/JP2013/003458 WO2014002385A1 (ja) 2012-06-25 2013-05-31 映像符号化／復号装置、方法、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167034488A Division KR101781774B1 (ko) 2012-06-25 2013-05-31 비디오 디코딩 장치, 방법 및 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187015166A Division KR101979559B1 (ko) 2012-06-25 2013-05-31 비디오 디코딩 장치, 방법 및 프로그램

Publications (2)

Publication Number Publication Date
KR20170109082A KR20170109082A (ko) 2017-09-27
KR101865014B1 true KR101865014B1 (ko) 2018-06-05

Family

ID=49782587

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020147036335A KR101687092B1 (ko) 2012-06-25 2013-05-31 비디오 인코딩/디코딩 장치, 방법 및 프로그램
KR1020177026262A KR101865014B1 (ko) 2012-06-25 2013-05-31 비디오 디코딩 장치, 방법 및 프로그램
KR1020197013346A KR20190053290A (ko) 2012-06-25 2013-05-31 비디오 인코딩/디코딩 장치, 방법 및 프로그램
KR1020167034488A KR101781774B1 (ko) 2012-06-25 2013-05-31 비디오 디코딩 장치, 방법 및 프로그램
KR1020187015166A KR101979559B1 (ko) 2012-06-25 2013-05-31 비디오 디코딩 장치, 방법 및 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020147036335A KR101687092B1 (ko) 2012-06-25 2013-05-31 비디오 인코딩/디코딩 장치, 방법 및 프로그램

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020197013346A KR20190053290A (ko) 2012-06-25 2013-05-31 비디오 인코딩/디코딩 장치, 방법 및 프로그램
KR1020167034488A KR101781774B1 (ko) 2012-06-25 2013-05-31 비디오 디코딩 장치, 방법 및 프로그램
KR1020187015166A KR101979559B1 (ko) 2012-06-25 2013-05-31 비디오 디코딩 장치, 방법 및 프로그램

Country Status (9)

Country Link
US (5) US10511862B2 (ko)
EP (1) EP2866438A4 (ko)
JP (3) JP6194884B2 (ko)
KR (5) KR101687092B1 (ko)
CN (5) CN107743231B (ko)
AU (1) AU2013282644B2 (ko)
CA (1) CA2876110C (ko)
HK (1) HK1207225A1 (ko)
WO (1) WO2014002385A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
KR102312681B1 (ko) * 2015-03-17 2021-10-13 한화테크윈 주식회사 영상 처리 시스템 및 방법
KR102513784B1 (ko) 2015-10-07 2023-03-23 에스케이온 주식회사 리튬 이차 전지
CN112534810A (zh) * 2018-08-06 2021-03-19 夏普株式会社 运动图像解码装置以及运动图像编码装置
CN112956206B (zh) * 2018-08-29 2024-07-30 夏普株式会社 发送逐渐刷新的方法
WO2020054784A1 (ja) * 2018-09-11 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2020054781A1 (ja) * 2018-09-11 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
JP7399977B2 (ja) * 2019-03-11 2023-12-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
US20210136378A1 (en) * 2020-12-14 2021-05-06 Intel Corporation Adaptive quality boosting for low latency video coding
WO2022168516A1 (ja) * 2021-02-08 2022-08-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318788A (ja) 1996-09-02 2007-12-06 Toshiba Corp 情報伝送システムにおける復号化・逆多重化装置
WO2009037726A1 (ja) 2007-09-18 2009-03-26 Fujitsu Limited 動画像符号化装置および動画像復号装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568200A (en) 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
CN1941905A (zh) 1996-09-02 2007-04-04 株式会社东芝 编解码设备及编码/多路复用设备和解码/多路分解设备
KR100604105B1 (ko) 1998-09-21 2006-07-26 소니 가부시끼 가이샤 부호화 장치 및 방법, 복호 장치 및 방법, 및 기록 매체
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
AU2003205899A1 (en) 2002-02-21 2003-09-09 British Telecommunications Public Limited Company Video processing
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US8184660B2 (en) * 2005-09-15 2012-05-22 Lsi Corporation Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure
JP4649615B2 (ja) 2006-02-16 2011-03-16 国立大学法人三重大学 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
US7898535B2 (en) * 2006-10-31 2011-03-01 Dell Products, Lp System and method for providing dynamic refresh rates for displays
JP4181598B2 (ja) * 2006-12-22 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
KR101115547B1 (ko) * 2007-04-24 2012-03-05 노키아 코포레이션 미디어 파일들에서의 다중 디코딩 시각들을 시그날링
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
KR101401967B1 (ko) * 2007-12-04 2014-06-27 삼성전자주식회사 암호화된 데이터 스트림의 트릭 플레이 방법 및 장치
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
JP5050964B2 (ja) * 2008-03-31 2012-10-17 富士通株式会社 復号装置，復号方法および復号プログラム
JP4935746B2 (ja) 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
US8780986B2 (en) * 2008-06-06 2014-07-15 Apple Inc. Refresh pixel group selection and coding adjustment
US9807422B2 (en) 2009-09-03 2017-10-31 Nec Corporation Video encoding device, video encoding method, and video encoding program
CN105847813B (zh) * 2010-07-13 2018-11-06 日本电气株式会社 视频解码装置和视频解码方法
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
JP4749508B2 (ja) 2010-11-18 2011-08-17 三洋電機株式会社 画像復号方法
MY166191A (en) * 2011-06-30 2018-06-07 Ericsson Telefon Ab L M Absolute or explicit reference picture signaling
JP5760953B2 (ja) * 2011-10-31 2015-08-12 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、及び動画像符号化方法
KR102162119B1 (ko) * 2012-06-29 2020-10-06 지이 비디오 컴프레션, 엘엘씨 비디오 데이터 스트림 개념
US9491456B2 (en) * 2012-09-24 2016-11-08 Qualcomm Incorporated Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9479782B2 (en) * 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
GB2513303B (en) * 2013-04-16 2017-06-07 Canon Kk Method and device for partitioning an image
US10212435B2 (en) * 2013-10-14 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US9866869B2 (en) * 2014-03-17 2018-01-09 Qualcomm Incorporated POC value design for multi-layer video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318788A (ja) 1996-09-02 2007-12-06 Toshiba Corp 情報伝送システムにおける復号化・逆多重化装置
WO2009037726A1 (ja) 2007-09-18 2009-03-26 Fujitsu Limited 動画像符号化装置および動画像復号装置
US20100172412A1 (en) * 2007-09-18 2010-07-08 Fujitsu Limited Video encoder and video decoder

Also Published As

Publication number Publication date
US11706457B2 (en) 2023-07-18
EP2866438A1 (en) 2015-04-29
US11412261B2 (en) 2022-08-09
HK1207225A1 (en) 2016-01-22
JP2018164293A (ja) 2018-10-18
CN104412589A (zh) 2015-03-11
US10728579B2 (en) 2020-07-28
CN107743233B (zh) 2020-10-16
KR20150013902A (ko) 2015-02-05
KR20190053290A (ko) 2019-05-17
CN107749985A (zh) 2018-03-02
JP6358377B2 (ja) 2018-07-18
CN107743233A (zh) 2018-02-27
US20200322638A1 (en) 2020-10-08
EP2866438A4 (en) 2015-12-02
CA2876110A1 (en) 2014-01-03
CN107749985B (zh) 2020-05-15
CN107743232A (zh) 2018-02-27
CA2876110C (en) 2020-06-02
CN104412589B (zh) 2017-11-17
JP2017216735A (ja) 2017-12-07
JPWO2014002385A1 (ja) 2016-05-30
US11695961B2 (en) 2023-07-04
KR101687092B1 (ko) 2016-12-15
KR20180063354A (ko) 2018-06-11
US20220109881A1 (en) 2022-04-07
US10511862B2 (en) 2019-12-17
KR101781774B1 (ko) 2017-09-25
KR101979559B1 (ko) 2019-05-16
AU2013282644B2 (en) 2016-05-12
KR20160145205A (ko) 2016-12-19
WO2014002385A1 (ja) 2014-01-03
CN107743232B (zh) 2020-12-04
US20220109880A1 (en) 2022-04-07
US20190327493A1 (en) 2019-10-24
CN107743231B (zh) 2020-10-16
JP6194884B2 (ja) 2017-09-13
JP6648783B2 (ja) 2020-02-14
US20150181240A1 (en) 2015-06-25
AU2013282644A1 (en) 2015-01-22
KR20170109082A (ko) 2017-09-27
CN107743231A (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
KR101865014B1 (ko) 비디오 디코딩 장치, 방법 및 프로그램
JPWO2012111325A1 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
JP5957769B2 (ja) 映像処理装置及び映像処理方法
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
JP2012028960A (ja) 画像復号装置、画像復号方法および画像復号プログラム
KR101750316B1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant