KR101882596B1 - 비트스트림의 생성과 처리 방법, 장치 및 시스템 - Google Patents

비트스트림의 생성과 처리 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR101882596B1
KR101882596B1 KR1020167019738A KR20167019738A KR101882596B1 KR 101882596 B1 KR101882596 B1 KR 101882596B1 KR 1020167019738 A KR1020167019738 A KR 1020167019738A KR 20167019738 A KR20167019738 A KR 20167019738A KR 101882596 B1 KR101882596 B1 KR 101882596B1
Authority
KR
South Korea
Prior art keywords
poc
identifier
bitstream
control information
image
Prior art date
Application number
KR1020167019738A
Other languages
English (en)
Other versions
KR20160102490A (ko
Inventor
밍 리
핑 우
꾸오치앙 상
위탕 시에
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20160102490A publication Critical patent/KR20160102490A/ko
Application granted granted Critical
Publication of KR101882596B1 publication Critical patent/KR101882596B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명은 비트스트림의 생성과 처리 방법, 장치 및 시스템을 제공한다. 비트스트림의 생성 방법은 응용 수요에 따라 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행할 필요가 있는가를 판단하는 단계와, 판단 결과에 근거하여 식별자 및 제어 정보를 상기 비트스트림에 기입하는 단계를 포함하고, 상기 식별자 및 제어 정보가 상기 비트스트림에 전부 및/또는 일부의 POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함한다. 본 발명에 의하면 비트스트림의 제어의 영활성을 향상시킨다.

Description

비트스트림의 생성과 처리 방법, 장치 및 시스템{BITSTREAM GENERATION AND PROCESSING METHODS AND DEVICES AND SYSTEM}
본 발명은 영상 전송 기술 분야에 관한 것으로, 특히 비트스트림의 생성과 처리 방법, 장치 및 시스템에 관한 것이다.
현재 제정중의 고효율 동영상 부호화(H.265/High Efficiency Video Coding, HEVC) 표준 호환성에 기반한 3차원 동영상(Three-Dimensional Video, 3DV) 부호화 표준MV-HEVC(HEVC Multi-view video coding extension framework), 3D-HEVC(3D High Efficiency Video Coding), 스케일러블 동영상 부호화(Scalable video coding)에 있어서, 통일적인 고층 구조 설계를 이용하고 있다. 이 통일적인 설계 구조는 "멀티레이어 동영상 부호화" 개념에 근거하여 MV-HEVC 또는 3D-HEVC의 텍스쳐 콤포넌트(Texture Component)와 깊이 콤포넌트(Depth Component), 스케일러블 부호화의 서로다른 스케일러블 레이어를 모두 "레이어(Layer)"로 추상화하고 레이어 식별자(Layer Id)로 서로다른 시점과 스케일러블 레이어을 표시한다. 현재 이미 반포된 H.265/HEVC 표준은 "H.265/HEVC Version 1"으로 불리운다.
멀티레이어 동영상의 부호화에 있어서, 동일 시각에 획득한 동영상 영상 및 이에 대응되는 부호화 비트에 의하여 하나의 액세스유닛(Access Unit, AU)을 구성한다. 동일한 AU에 있어서, 각 레이어 영상은 서로다른 부호화 방법을 이용할 수 있다. 이로하여 동일한 AU에 있어서, 어느한 레이어의 영상을 랜덤 포인트의 프레임 내 부호화 랜덤 액세스(Intra Random Access Point, IRAP) 영상으로 할 수 있고 기타 하나 또는 다수의 레이어는 보통 프레임 사이, 레이어 사이의 예측 부호화 영상이다. 실제 응용에 있어서, 서로다른 레이어는 네트워크의 전송 상황, 동영상 콘텐츠의 변경 상황 등에 따라 각자의 IRAP 영상 삽입 전략을 선택한다. 예를 들어, H.265/HEVC와의 호환성을 구비하는 기본 레이어 동영상 영상에 대하여 빈도가 높은 IRAP 영상 삽입 전략을 이용할 수 있고 강화 레이어 동영상 영상은 빈도가 낮은 IRAP 영상 삽입 전략을 이용할 수 있다. 이로하여 이러한 레이어별(layer-wise)로 액세스하는 멀티레이어 동영상 부호화 구조를 통하여 큰 코더 레이트의 격증이 발생되지 않는 상황하에서 멀티레이어 동영상 부호화 비트스트림의 랜덤 액세스 성능을 보장할 수 있다.
멀티레이어 동영상 부호화 비트스트림에 대하여, 기본 레이어(Base Layer, BL)의 비트스트림은 H.265/HEVC Version 1 표준의 규범에 부합되어야 한다. 즉, 멀티레이어 동영상 부호화 비트스트림은 H.265/HEVC Version 1 표준에 따라 설계된 디코더가 정확하게 멀티레이어 동영상 부호화 비트스트림으로부터 추출하는 BL 비트스트림을 복호화할 수 있도록 보장하여야 한다. 특히 MV-HEVC와 3D-HEVC의 경우, BL는 기본 시점(Base View) 또는 독립 시점(Independent View)에 대응되고 EL는 강화 시점(Enhancement View) 또는 비 독립 시점(Dependent View)에 대응된다. 실제 응용에 있어서, 멀티레이어 동영상 부호화 비트스트림을 추출하는 방법을 통하여 전통적인 2차원 TV 방송에만 이용되는 기본 시점 비트스트림, 3차원 입체 표시를 지원하는 쌍시점 비트스트림 및 더욱 풍부한 3차원 입체 표시를 지원하는 다시점 비트스트림을 획득할 수 있다.
H.265/HEVC Version 1 표준에 있어서, IRAP 영상의 타입은 IDR(Instantaneous Decoding Refresh) 영상, BLA(Broken Link Access) 영상, CRA(Clean Random Access) 영상의 3가지가 있다. 이 3가지 영상은 모두 프레임 내(Intra) 부호화 방식으로 부호화를 수행하고 그 복호화는 기타 영상에 의존하지 않는다. 이 3가지 영상 타입의 차이는 동영상 영상 카운트(Picture Order Count, POC)와 복호화 영상 버퍼 영역(Decoded Picture Buffer，DPB)에 대한 조작에 있다.
POC는 H.265/HEVC Version 1중의 영상 방송 순서를 나타내는 번호이다. H.265/HEVC Version 1 표준에 의하면, 영상의 POC 값은 두 부분으로 구성된다. PicOrderCntVal로 영상의 POC 값을 표시하면 PicOrderCntVal = PicOrderCntMsb + PicOrderCntLsb이다. 여기서, PicOrderCntMsb는 영상 POC 값의 MSB(Most Significant Bit) 값이고 PicOrderCntLsb는 영상 POC 값의 LSB(Least Significant Bit)이다. 일반적으로, PicOrderCntMsb의 값은 복호화 순서에 따라 현재 영상 바로전의 TemporalId가 0인 영상의 PicOrderCntMsb의 값과 동일하고 PicOrderCntLsb의 값은 슬라이스(slice) 헤드 정보중의 slice_pic_order_cnt_lsb 필드의 값과 동일하다. slice_pic_order_cnt_lsb 필드의 비트수량은 시퀀스 파라미터 집합(Sequance Parameter Set, SPS)중의 log2_max_pic_order_cnt_lsb_minus4에 의하여 결정되고 필요한 비트수량은 log2_max_pic_order_cnt_lsb_minus4 + 4와 동일하다.
H.265/HEVC Version 1에 있어서, 현재 영상이 IDR 영상이면 PicOrderCntMsb의 값은 0으로 설정되고 슬라이스 헤드 정보에 slice_pic_order_cnt_lsb 필드를 포함하지 않고 PicOrderCntLsb의 값이 0이라고 묵인한다. 현재 영상이 BLA 영상이면 PicOrderCntMsb의 값은 0으로 설정되고 슬라이스 헤드 정보에 slice_pic_order_cnt_lsb 필드를 포함하고 PicOrderCntLsb의 값을 결정한다. 현재 영상이 CRA 영상이고 또한 플래그 비트 HandleCraAsBlaFlag의 값이 0이면 일반적인 방법으로 POC를 계산한다. 현재 영상이 CRA 영상이고 또한 플래그 비트 HandleCraAsBlaFlag의 값이 1이면 BLA 영상의 방법으로 그 CRA 영상의 POC 값을 계산한다.
다만, 멀티레이어 동영상 부호화 표준에 있어서, 영상 타입에 상관없이 강화 레이어(Enhancement Layer, EL)의 슬라이스 헤드 정보에는 시종 slice_pic_order_cnt_lsb 필드가 포함되어 있다.
이에 근거하여 멀티레이어 동영상 부호화 비트스트림에 대하여 DPB 제어중에 동일 시각의 영상을 검측하는 동시에 디코더가 POC 값을 이용하여 비트스트림으로부터 각 AU의 시작/종료 위치를 간단하게 결정하도록 보장하기 위하여, AU중의 모든 영상이 모두 동일한 POC 값을 가질것을 요구하고 있다. layer-wise의 부호화 구조의 경우, AU에 동시에 IRAP 영상와 비IRAP 영상이 포함되었을 가능성이 있다. 이로하여 IRAP 영상이 IDR 영상과 BLA 영상이면 그 AU에 포함되는 영상의 POC 값은 서로다르다. 따라서 layer-wise 구조일 경우 AU중의 각 영상이 동일한 POC을 가지도록 멀티레이어 동영상 부호화 표준에 POC 정렬(POC Alignment) 기능을 설계하여야 한다.
이러한 문제를 해결하기 위하여, JCT-VC 표준 회의 제안인 JCTVC-N0244에서 POC 정렬 방법을 제기하였다. 이 방법은 슬라이스 헤드 정보중의 예비 비트를 이용하여 길이가 1비트인 poc_reset_flag 필드를 추가하는 것이다. 이 필드의 값이 1일 경우, 우선 일반적인 방법으로 영상 POC 값의 복호화를 수행하고 그 다음, DPB중의 동일한 레이어(BL를 포함)중의 영상의 POC 값을 그전에 계산하여 얻은 POC 값만큼 줄이고(즉, POC 평행 이동 조작) 마지막에 그 슬라이스가 위치하는 영상의 POC 값을 0으로 설정한다.
이 방법의 가장 주요한 문제점은 BL 비트스트림이 H.265/HEVC Version 1 표준과 호환성을 구비하지 않는 것, 즉, H.265/HEVC Version 1 표준에 부합되는 디코더가 멀티레이어 동영상 부호화 비트스트림으로부터 추출하여 얻은 BL 비트스트림을 복호화할 수 있도록 보장할 수 없는 것이다.
이 호환성 문제를 해결하기 위하여, JCT-VC 회의 제안인 JCTVC-O0140과 JCTVC-O0213에 있어서, JCTVC-N0244에 근거하여 POC 정렬이 필요할 경우 POC중의 MSB만을 0으로 설정하도록 제안하였다. 진일보로, 재설정된 POC 값을 휴대한 플래그 비트의 슬라이스의 손실과 프레임 속도의 서로다른 응용 상황에 대응하도록 JCTVC-O0213에 POC 정렬의 지연 조작 선택사항을 추가하였다. JCTVC-O0176에 있어서, IDR 영상의 경우 명시적인 슬라이스 헤드 플래그 비트를 이용하는 것이 아니라 직접 POC 정렬을 수행하고 BL 비트스트림의 IDR 영상 슬라이스 헤드에 예비 비트를 추가하여 그 영상이 CRA 영상이고 IDR 영상이 아닐 경우의 POC 값을 계산하도록 제안하였고 그 계산을 통하여 얻은 POC 값은 EL 레이어의 DPB에 기억된 영상의 POC 평행 이동 조작에 이용된다. JCTVC-O0275에 있어서, layer POC 개념이 제기되었고 EL 레이어 영상에 대하여 2세트의 서로다른 POC를 유지한다. 그중, Layer POC는 POC 정렬 조건을 이용하지 않은 상황에서 얻은 POC 값이고 그 값은 참조 영상 세트(Reference Picture Set, RPS) 등 복호화 알고리즘에 관련되는 조작에 이용된다. 다른 한 세트는 POC 정렬 처리를 거친 POC로 그 POC는 동일한 AU중의 BL 영상의 POC 값과 일치하고 POC 값은 영상의 출력, 방송 프로세스의 제어에 이용된다. JCTVC-O0275에 제안된 방법에 의하면, POC 정렬을 수행할 경우, BL의 정보를 사용하고 또한 POC 정렬의 트리거에 인코더/디코더의 내부에서 유지하고 있는 변수 플래그 비트를 이용하며 그 플래그 비트의 값은 BL 레이어의 영상 타입과 관련된다.
멀티레이어 동영상의 경우, 동일한 AU에 포함된 레이어의 영상가 동일한 POC 값을 구비하도록 대부분이 POC 정렬을 수행하여 영상 출력의 제어, AU 경계 검출 등 조작의 편의를 도모하여야 한다. 하지만 일부 응용에 있어서는 POC 정렬을 수행할 필요가 없다. 예를 들어, 비조정형 연속 방송(uncoordinated simulcast)에 있어서 어느한 시간대에서 BL 또는 단독으로 어느한 EL 레이어의 동영상 비트스트림만을 적용할 경우, 그 비트스트림중에 POC 정렬을 사용할 필요가 ?다. 연속 방송하는 비트스트림에 추출, 편집, 재구성을 수행할 때, 비트스트림을 발생하는 과정에도 POC 정렬을 사용할 필요가 없다. 그리고, 하이브리드 스케일러블 동영상 부호화(hybrid scalable video coding)의 경우, BL와 EL는 서로다른 동영상 부호화 표준에 따라 부호화를 수행하고 서로다른 부호화 표준에서 서로다른 POC 시스템과 POC에 기반한 영상 출력 제어 조작 방식을 이용함으로 하이브리드 스케일러블 동영상 부호화에 있어서도 POC 정렬 조작을 사용할 필요가 없다. 그리고, 멀티레이어 동영상 부호화 비트스트림의 경우, 시스템 레이어 또는 매체 파일을 패킷화할 때에 추가한 시간 표시 정보에 의하여 동일 시각에 수집된 영상의 방송 시간상의 정렬을 실현할 수 있고 이때, 동영상 비트스트림에 POC 정렬을 수행할 필요가 없다.
이와 같이, JCTVC-N0244에 의하여 BL 정보 또는 예측 구조 정보에 암시된 것으로부터 추정하여 POC 정렬 조작을 수행하는 방법에 있어서 명시적인 POC 정렬 조작 플래그 비트를 사용하지 않는다. 예측 구조가 일정한 조건을 만족시킬 때, POC 정렬 조작을 수행한다. POC 정렬 조작이 필요하지 않을 경우 POC 정렬 조작의 일부 및/또는 전부를 닫을 수 없다.
기존 기술중의 상기 문제에 감안하여 본 발명은 최소한 상기 문제를 해결할 수 있는 비트스트림의 생성과 처리 방법, 장치 및 시스템을 제공한다.
본 발명의 일 실시예에 의하면, 응용 수요에 따라 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행할 필요가 있는가를 판단하는 단계와, 판단 결과에 근거하여 식별자 및 제어 정보를 상기 비트스트림에 기입하는 단계를 포함하고, 여기서, 상기 식별자 및 제어 정보가 상기 비트스트림에 전부 및/또는 일부의 POC 정렬 조작을 실행하는가를 표시하는 지시 정보를 포함하는 비트스트림의 생성 방법을 제공한다.
상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합이 위치하는 필드에 위치하여 상기 비트스트림중의 상기 식별자 및 제어 정보가 위치하는 파라미터 집합을 사용한 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 파라미터 집합이 동영상 파라미터 집합VPS, 시퀀스 파라미터 집합SPS, 영상 파라미터 집합PPS중의 최소한 하나를 포함하는 것이 바람직하다.
다수의 상기 파라미터 집합에 모두 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보가 포함되었으면, 파라미터 집합 사이의 인용관계에 근거하여 현재의 파라미터 집합중의 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보로 직접 및/또는 간접적으로 인용된 파라미터 집합중의 대응되는 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보를 오버라이드하는 것이 바람직하다.
상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합의 필드 외의 기타 최소한 영상 레이어에 작용하는 데이터 구조에 대응되는 필드에 위치하여 상기 비트스트림의 상기 데이터 구조의 유효 작용 범위내의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 식별자 및 제어 정보가 상기 비트스트림중의 보충 강화 보조 정보SEI(Supplemental Enhancement Information)가 위치하는 필드에 위치하여 SEI 정보 유효 범위내의 상기 비트스트림중의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 식별자 및 제어 정보가 상기 비트스트림의 시스템 레이어중의 동영상 매체의 속성을 기술하는 필드에 위치하여 시스템 비트스트림에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 식별자 및 제어 정보가 상기 비트스트림의 매체 파일중의 동영상 매체의 속성을 기술하는 필드에 위치하여 상기 매체 파일에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 식별자 및 제어 정보가 POC 정렬 조작을 온/오프하는 시작 영상 위치 정보 및/또는 POC 정렬 조작을 온/오프하는 종료 영상 위치 정보를 더 포함하고, 상기 식별자 및 제어 정보를 상기 비트스트림에 기입하기 전에, 예측 구조와 응용 수요에 따라 POC 정렬 조작을 온/오프하는 영상 방송 순서 또는 영상 복호화 순서에 따라 연속되는 한 구간의 영상의 시작 및/또는 종료 위치를 결정하는 단계를 더 포함하는 것이 바람직하다.
본 발명의 다른 일 실시예에 의하면, 응용 수요에 따라 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행할 필요가 있는가를 판단하도록 구성되는 판단수단과, 판단 결과에 근거하여 식별자 및 제어 정보를 상기 비트스트림에 기입하도록 구성되는 기입수단을 포함하고, 상기 식별자 및 제어 정보가 상기 비트스트림의 전부 및/또는 일부에 POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함하는 비트스트림의 생성 장치를 제공한다.
상기 식별자 및 제어 정보가 POC 정렬 조작을 온/오프하는 시작 영상 위치 정보 및/또는 POC 정렬 조작을 온/오프하는 종료 영상 위치 정보를 더 포함하고, 상기 장치가 예측 구조와 응용 수요에 따라 POC 정렬 조작을 온/오프하는 영상 방송 순서 또는 영상 복호화 순서에 따라 연속되는 한 구간의 영상의 시작 및/또는 종료 위치를 결정하도록 구성되는 결정수단을 더 포함하는 것이 바람직하다.
본 발명의 다른 일 실시예에 의하면, 비트스트림으로부터 상기 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함하는 식별자 및 제어 정보를 획득하는 단계와, 상기 식별자 및 제어 정보의 지시에 따라 상기 비트스트림중의 POC 정렬 조작을 실행할 필요가 있는 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는 단계를 포함하는 비트스트림의 처리 방법을 제공한다.
상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합이 위치하는 필드에 위치하여 상기 비트스트림중의 상기 마크 및 정보가 위치하는 파라미터 집합을 사용한 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 파라미터 집합이 동영상 파라미터 집합VPS, 시퀀스 파라미터 집합SPS, 영상 파라미터 집합PPS중의 최소한 하나를 포함하는 것이 바람직하다.
다수의 상기 파라미터 집합에 모두 POC 정렬 조작의 실행을 지시하는 식별자 및 제어 정보가 포함되었으면, 파라미터 집합 사이의 인용관계에 근거하여 현재의 파라미터 집합중의 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보로 직접 및/또는 간접적으로 인용된 파라미터 집합중의 대응되는 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보를 오버라이드하는 것이 바람직하다.
상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합의 필드 외의 기타 최소한 영상 레이어에 작용하는 데이터 구조에 대응되는 필드에 위치하여 상기 비트스트림의 상기 데이터 구조의 유효 작용 범위내의 전부 및/또는 일부의 상기 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 식별자 및 제어 정보가 상기 비트스트림중의 강화 보조 정보SEI가 위치하는 필드에 위치하여 SEI 정보 유효 범위내의 상기 비트스트림중의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 식별자 및 제어 정보가 상기 비트스트림의 시스템 레이어중의 동영상 매체의 속성을 기술하는 필드에 위치하여 시스템 비트스트림에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 식별자 및 제어 정보가 상기 멀티레이어 동영상 비트스트림의 매체 파일중의 동영상 매체의 속성을 기술하는 필드에 위치하여 상기 매체 파일에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 것이 바람직하다.
상기 식별자 및 제어 정보의 지시에 따라 상기 비트스트림중의 POC 정렬 조작을 실행할 필요가 있는 영상에 POC 정렬 조작을 실행하는 단계가, 상기 식별자 및 제어 정보가 위치하는 필드의 유효 범위 및 상기 식별자 및 제어 정보의 값에 근거하여 상기 비트스트림중의 POC 정렬 조작을 온/오프하는 영상을 결정하는 단계와, POC 정렬 조작을 온하는 영상에 POC 정렬 조작을 실행하는 단계를 포함하는 것이 바람직하다.
본 발명의 다른 일 실시예에 의하면, 비트스트림으로부터 상기 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함한 식별자 및 제어 정보를 획득하도록 구성되는 획득수단과, 상기 식별자 및 제어 정보의 지시에 따라 상기 비트스트림중의 POC 정렬 조작을 실행할 필요가 있는 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하도록 구성되는 실행수단을 포함하는 비트스트림의 처리 장치를 제공한다.
상기 실행수단이, 상기 식별자 및 제어 정보가 위치하는 필드의 유효 범위 및 상기 식별자 및 제어 정보의 값에 근거하여 상기 비트스트림중의 POC 정렬 조작을 온/오프하는 영상을 결정하도록 구성되는 결정수단과, POC 정렬 조작을 온하는 영상에 POC 정렬 조작을 실행하도록 구성되는 제어수단을 포함하는 것이 바람직하다.
본 발명의 다른 일 실시예에 의하면, 상기한 비트스트림의 생성 장치를 포함하는 소스디바이스와, 상기한 비트스트림의 처리 장치를 포함하는 수신지 디바이스 (destination device)를 포함하는 비트스트림을 사용한 통신 시스템을 제공한다.
본 발명에 의하면, 비트스트림을 생성할 때 비트스트림에 비트스트림의 전부 및/또는 일부에 POC 정렬 조작을 실행할 필요가 있는가를 지시하는 지시 및 제어 정보를 기입함으로써 POC 정렬 조작의 일부 및/또는 전부를 오프할 수 있고 비트스트림 제어의 영활성을 향상시킨다.
도면은 본 발명에 대한 이해를 돕기위한 것으로 본 발명의 명세서의 일부분이고 본 발명에 예시적으로 나타낸 실시예 및 그 설명은 본 발명을 해석하기 위한 것으로 본 발명을 한정하는 것이 아니다.
도 1은 본 발명의 실시예에 따른 비트스트림의 생성 방법(100)을 나타낸 흐름도이다.
도 2는 본 발명의 실시예에 따른 비트스트림의 생성 장치(200)의 구조를 나타낸 도이다.
도 3은 본 발명의 실시예에 따른 비트스트림의 처리 방법(300)을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따른 비트스트림의 처리 장치(400)의 구조를 나타낸 도이다.
도 5는 본 발명의 실시예에 따른 비트스트림을 사용한 통신 시스템(500)의 구조를 나타낸 도이다.
아래 도면을 참조하고 실시예를 결합하여 본 발명을 상세하게 설명한다. 다만, 모순되지 않는 상황하에서 본 출원의 실시예 및 실시예중의 특징을 결합시킬 수 있다.
POC 정렬이 필요할 경우, 인코더는 기존의 POC 정렬 방법으로 멀티레이어 동영상 부호화 비트스트림을 생성할 수 있고 디코더는 기존 기술중의 POC 정렬 방법에 대응되는 복호화 방법으로 현재 영상의 POC 값을 획득할 수 있다. 일부의 응용에 있어서, POC 정렬을 필요로 하지 않는다. 예를 들어, 비조정형 연속 방송, 하이브리드 스케일러블 동영상 부호화 등 응용에서 필요로 하지 않는다.
따라서 본 발명의 실시예에 있어서, 멀티레이어 동영상 인코더/디코더와 비트스트림의 영활성을 향상시켜 여러가지 응용 수요에 적응하기 위하여, 멀티레이어 동영상 부호화의 고위(high-level) 데이터의 프로세스에 있어서 POC 정렬 조작에 대한 식별자 정보 및 대응되는 조작을 추가한다.
다만, 본 발명의 실시예에 있어서 소스디바이스는 인코더를 포함하고 멀티레이어 동영상 부호화 비트스트림을 생성할 수 있고 또한 필요한 파일, 시스템 레이어의 처리를 수행하는 디바이스를 말하고, 수신지 디바이스는 디코더를 포함하고 필요한 파일, 시스템 레이어의 처리를 수행하고 멀티레이어 동영상 부호화 비트스트림의 복호화를 수행할 수 있는 디바이스를 말한다.
실시예1
본 발명의 실시예에 의하면 비트스트림의 생성 방법을 제공한다.
도 1은 본 발명의 실시예에 따른 비트스트림의 생성 방법(100)을 나타낸 흐름도이다. 도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 비트스트림의 생성 방법은 단계S102와 S104를 포함한다. 단계S102에 있어서, 응용 수요(예를 들어, 전부 레이어 또는 다수의 레이어의 영상에 동시에 복호화를 수행하여 출력할 것인가)에 따라 비트스트림의 전부 및/또는 일부에 POC 정렬 조작을 실행할 것인가를 판단한다. 그 후, 단계S104에 있어서, 판단 결과에 근거하여 식별자 및 제어 정보를 비트스트림에 기입하고, 여기서, 식별자 및 제어 정보는 비트스트림의 전부 및/또는 일부에 POC 정렬 조작을 실행하는 지시정보를 포함한다.
구체적인 실시 과정에 있어서, 소스디바이스는 비트스트림을 전송할 필요가 있을 때 상기 단계S102와 단계S104를 실행하고 전송하는 비트스트림에 POC 정렬 조작 식별자 및 제어 정보를 기입할 수 있다.
본 발명의 실시예에 있어서, 상기 비트스트림은 멀티레이어 동영상 비트스트림일 수 있고 시스템 레이어상의 기타 비트스트림일 수도 있으며 본 발명의 실시예에 있어서는 구체적으로 한정하지 않는다.
상기 단계S102~S104를 통하여 응용의 수요에 따라 멀티레이어 동영상 부호화의 고위 데이터의 프로세스에 있어서 POC 정렬 조작에 대한 식별자 및 제어 정보와 대응되는 조작을 증가하여 멀티레이어 동영상 인코더/디코더와 비트스트림의 영활성을 향상시킬 수 있다.
본 발명의 실시예에 있어서, 상기 식별자 및 제어 정보를 비트스트림의 서로다른 위치에 기입하여 식별자 및 제어 정보의 작용 범위를 표시할 수 있다. 본 발명의 실시예에 있어서, 상기 식별자 및 제어 정보는 비트스트림중의 동영상 비트스트림중의 기존의 파라미터 집합 필드와, 동영상 비트스트림중의 파라미터 집합 외의 기타 최소한 영상 레이어에 작용하는 데이터 구조에 대응되는 필드와, 동영상 비트스트림중의 강화 보조 정보(SEI)가 위치하는 필드와, 시스템 레이어중의 동영상 매체의 속성을 기술하는 필드와, 매체 파일중의 동영상 매체의 속성을 기술하는 필드중의 최소한 하나에 위치할 수 있다.
또한, 본 발명의 실시예에 있어서, 상기 식별자 및 제어 정보는 하기 방식으로 POC 정렬 조작을 실행하는가를 지시할 수 있다:
(1) 상기 식별자 및 제어 정보가 비트스트림중의 파라미터 집합이 위치하는 필드에 위치하여 비트스트림중의 식별자 및 제어 정보가 위치하는 파라미터 집합을 사용한 영상 레이어에 POC 정렬 조작을 실행하는가를 지시할 수 있다. 여기서, 파라미터 집합은 동영상 파라미터 집합, 시퀀스 파라미터 집합, 영상 파라미터 집합중의 최소한 하나를 포함할 수 있다. 예를 들어, 식별자 및 제어 정보가 동영상 파라미터 집합(Video Parameter Set, VPS)에 위치하면 식별자 및 제어 정보의 제어 범위는 멀티레이어 동영상의 전부의 영상 레이어이고, 식별자 및 제어 정보가 시퀀스 파라미터 집합(Sequence Parameter Set, SPS)에 위치하면 식별자 및 제어 정보의 제어 범위는 그 SPS를 사용한 멀티레이어 동영상의 영상 레이어이며, 식별자 및 제어 정보가 영상 파라미터 집합(Picture Parameter Set, PPS)에 위치하면 식별자 및 제어 정보의 제어 범위는 그 PPS를 사용한 멀티레이어 동영상의 영상 레이어이다.
이러한 상황하에서, 다수의 상기 파라미터 집합에 모두 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보가 포함되었으면 파라미터 집합 사이의 인용관계에 근거하여 현재의 파라미터 집합중의 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보로 직접 및/또는 간접적으로 인용된 파라미터 집합중의 대응되는 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보를 오버라이드한다.
(2) 상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합의 필드 외의 기타 최소한 영상 레이어에 작용하는 데이터 구조에 대응되는 필드에 위치하여 상기 비트스트림의 상기 데이터 구조가 작용하는 영상 레이어에 POC 정렬 조작을 실행할 것인가를 지시한다. 여기서, 데이터 구조의 작용 범위는 최소한 하나의 영상(프레임 영상 및/또는 필드 영상)을 포함한다.
(3) 상기 식별자 및 제어 정보가 비트스트림중의 보충 강화 정보(Supplemental Enhancement Information, SEI)에 위치하여 SEI 정보의 유효 범위내의 상기 비트스트림중의 영상에 POC 정렬 조작을 실행할 것인가를 지시한다.
(4) 상기 식별자 및 제어 정보가 상기 비트스트림의 시스템 레이어중의 동영상 매체의 속성을 기술하는 필드, 즉 시스템 레이어 기술자(Descriptor)에 위치하여 시스템 비트스트림에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행할 것인가를 지시한다.
(5) 상기 식별자 및 제어 정보가 상기 멀티레이어 동영상 비트스트림의 매체 파일중의 동영상 매체의 속성을 기술하는 필드, 즉 파일 기술자(Descriptor )에 위치하여 상기 매체 파일에 포함된 비트스트림의 전부와 일부에 POC 정렬 조작을 실행할 것인가를 지시한다.
상기 식별자 및 제어 정보는 동시에 상술한 다수의 위치에 위치하여 동시에 다수의 범위내의 영상에 POC 정렬 조작을 실행하는가를 지시할 수도 있다.
본 발명의 실시예에 있어서, 상기 식별자 및 제어 정보는 POC 정렬 조작을 온/오프하는 시작 영상 위치 정보 및/또는 POC 정렬 조작을 온/오프하는 종료 영상 위치 정보를 더 포함할 수 있다. 이로하여 도 1에 도시한 바와 같이, 단계S104 전에, 방법(100)은 예측 구조와 응용 수요에 따라 POC 정렬 조작을 온/오프하는 영상 방송 순서 또는 영상 복호화 순서에 따라 연속되는 한 구간의 영상의 시작 및/또는 종료 위치를 결정하는 단계(단계S103)를 더 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 식별자 및 제어 정보를 비트스트림에 기입한 후, 비트스트림을 전송할 수 있고 수신측(수신지 디바이스로도 불리움)이 멀티레이어 동영상 비트스트림을 수신하고 상기 멀티레이어 동영상 비트스트림으로부터 상기 식별자 및 제어 정보를 획득하며, 상기 식별자 및 제어 정보의 지시에 따라 멀티레이어 동영상 비트스트림에 복호화 조작 및/또는 방송 조작을 실행할 수 있다. 예를 들어, 상기 식별자 및 제어 정보에 근거하여 POC 정렬 조작을 온/오프하는 비트스트림을 결정하고 복호화 및/또는 방송을 수행할 때 POC 정렬 조작을 온하는 비트스트림에 POC 정렬을 실행한다.
실시예2
본 발명의 실시예에 의하면, 비트스트림의 생성 장치를 제공하고 장치는 실시예1에서 제공하는 방법을 실시하기 위한 것이다.
도 2는 본 발명의 실시예에 따른 비트스트림의 생성 장치(200)의 구조를 나타낸 도로, 도 2에 도시한 바와 같이, 생성 장치(200)는 판단수단(202)과 기입수단(204)을 포함할 수 있다. 여기서 도 2에 도시한 각 수단의 연결관계는 예시적으로 나타낸 것으로 당업자는 기타 연결관계를 이용할 수 있고 각 수단이 본 발명의 기능을 실현할 수 있는 연결관계이면 된다.
본 명세서에 있어서, 각 수단의 기능을 전용 하드웨어 또는 적절한 소프트웨어와 결합하여 처리를 실행할 수 있는 하드웨어로 실현할 수 있다. 이러한 하드웨어 또는 전용 하드웨어는 전용 집적회로(ASIC), 각종 기타 회로, 각종 프로세서 등을 포함할 수 있다. 프로세서로 실현할 경우, 기능을 하나의 전용 프로세서, 하나의 공용 프로세서 또는 다수의 독립된 프로세서(그중의 일부가 공용될 가능성이 있다)를 통하여 제공할 수도 있다. 그리고, 프로세서를 소프트웨어를 실행가능한 하드웨어만을 표시한다고 이해하여서는 않되고 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 기억하기 위한 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 비휘발성 메모리를 포함하지만 이에 한정되지 않는다.
본 발명의 실시예에 있어서, 판단수단(202)은 응용 수요에 따라 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행할 필요가 있는가를 판단하도록 구성된다. 기입수단(204)은 판단수단(202)의 판단 결과에 근거하여 상기 멀티레이어 동영상 비트스트림의 전부 및/또는 일부에 POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함한 식별자 및 제어 정보를 비트스트림에 기입하도록 구성된다.
상기 실시예1에 대응되게, 기입수단(204)은 멀티레이어 동영상 비트스트림의 서로다른 위치에 상기 식별자 및 제어 정보를 기입함으로써 멀티레이어 동영상 비트스트림의 전부 및/또는 일부에서 POC 정렬 조작을 온 또는 오프하는가를 지시할 수 있다. 구체적인 설명은 생략한다.
상기 식별자 및 제어 정보는 POC 정렬 조작을 온/오프하는 시작 영상 위치 정보 및/또는 POC 정렬 조작을 온/오프하는 종료 영상 위치 정보를 더 포함할 수 있고 이때, 도 2에 도시한 바와 같이, 장치(200)는 예측 구조와 응용 수요에 따라 POC 정렬 조작을 온/오프하는 영상 방송 순서 또는 영상 복호화 순서에 따라 연속되는 한 구간의 영상의 시작 및/또는 종료 위치를 결정하도록 구성되는 결정수단(206)을 더 포함할 수 있다.
상기 장치는 상기 식별자 및 제어 정보가 기입된 상기 비트스트림을 출력하도록 구성되는 출력수단을 더 포함할 수도 있다.
본 실시예의 장치는 동영상 통신 응용중의 관련되는 비트스트림을 생성하는 디바이스일 수 있고 예를 들어, 휴대폰, 컴퓨터, 서버, 셋톱박스, 휴대형 이동단말, 디지털 카메라，TV 방송 시스템 디바이스 등 일 수 있다. 상기 장치는 소스디바이스에 위치하는 할 수 있고 출력 장치는 스케일러블 동영상, 다시점 동영상, 다시점 깊이, 다시점 동영상+ 다시점 깊이중의 최소한 한가지 멀티레이어 동영상 신호를 처리할 수 있다. 여기서, 입체 동영상은 다시점 동영상중의 시점 수량이 2인 특수한 형식이다.
실시예3
상기 실시예1에서 제공한 방법에 대응하여 본 발명의 실시예에 의하면 진일보로, 비트스트림의 처리 방법을 제공하여 상기 생성된 비트스트림을 처리한다.
도 3은 본 발명의 실시예에 따른 비트스트림의 처리 방법(300)을 나타낸 흐름도로, 도 3에 도시한 바와 같이, 본 발명의 실시예에 따른 멀티레이어 동영상 비트스트림의 처리 방법(300)은 주로 단계S302와 단계S304를 포함한다. 단계S302에 있어서, 비트스트림으로부터 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함한 식별자 및 제어 정보를 획득한다. 그 후, 단계S304에 있어서, 상기 식별자 및 제어 정보의 지시에 근거하여 비트스트림중의 POC 정렬 조작을 실행할 필요가 있는 부분에 POC 조작을 실행한다.
본 실시예에 있어서, 상기 실시예1에 대응하여, 상기 식별자 및 제어 정보는 비트스트림의 다수의 필드에 위치하여 식별자 및 제어 정보의 유효 범위를 지시할 수 있고 구체적으로는 실시예1을 참조할 수 있고 본 실시예에서는 상세한 설명을 생략한다.
상기 실시예1에 대응하여 식별자 및 제어 정보를 비트스트림의 서로다른 위치에 기입하여 비트스트림의 서로다른 부분에 POC 정렬 조작을 실행하는가를 지시할 수 있고 단계S304는 상기 식별자 및 제어 정보가 위치하는 필드의 유효 범위 및 상기 식별자 및 제어 정보의 값에 근거하여 상기 비트스트림중의 POC 정렬 조작을 온/오프하는 영상을 결정하는 단계와, POC 정렬 조작을 온하는 영상에 POC 정렬을 실행하는 단계를 포함할 수 있다.
실시예4
본 발명의 실시예에 의하면 진일보로, 실시예3에서 제공하는 방법을 실시하는 비트스트림의 처리 장치를 제공한다.
도 4는 본 발명의 실시예에 따른 비트스트림의 처리 장치(400)의 구조를 나타낸 도로, 도 4에 도시한 바와 같이, 처리 장치(400)는 주로 획득수단(402)과 실행수단(404)을 포함한다. 여기서, 도 4에 도시한 각 수단의 연결관계는 예시적으로 나타낸 것으로 당업자는 기타 연결관계를 이용할 수 있고 각 수단이 본 발명의 기능을 실현할 수 있는 연결관계이면 된다.
본 명세서에 있어서, 각 수단의 기능을 전용 하드웨어 또는 적절한 소프트웨어와 결합하여 처리를 실행할 수 있는 하드웨어로 실현할 수 있다. 이러한 하드웨어 또는 전용 하드웨어는 전용 집적회로(ASIC), 각종 기타 회로, 각종 프로세서 등을 포함할 수 있다. 프로세서로 실현할 경우, 기능을 하나의 전용 프로세서, 하나의 공용 프로세서 또는 다수의 독립된 프로세서(그중의 일부가 공용될 가능성이 있다)를 통하여 제공할 수도 있다. 그리고, 프로세서를 소프트웨어를 실행가능한 하드웨어만을 표시한다고 이해하여서는 않되고 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 기억하기 위한 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 비휘발성 메모리를 포함하지만 이에 한정되지 않는다.
본 발명의 실시예에 있어서, 획득수단(402)은 비트스트림으로부터 멀티레이어 동영상 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함한 식별자 및 제어 정보를 획득하도록 구성된다. 실행수단(404)은 상기 식별자 및 제어 정보의 지시에 따라 상기 비트스트림중의 POC 정렬 조작을 실행할 필요가 있는 부분에 POC 정렬을 실행하도록 구성된다.
실행수단(404)은 상기 식별자 및 제어 정보가 위치하는 필드의 유효 범위 및 상기 식별자 및 제어 정보의 값에 근거하여 상기 멀티레이어 동영상 비트스트림중의 POC 정렬 조작을 온/오프하는 영상을 결정하도록 구성되는 결정수단과, POC 정렬 조작을 온하는 영상에 POC 정렬 조작을 실행하도록 구성되는 제어수단을 포함할 수 있다.
본 실시예의 장치는 동영상 통신 응용중의 관련되는 비트스트림을 수신하여 방송하는 디바이스일 수 있고 예를 들어, 휴대폰, 컴퓨터, 서버, 셋톱박스, 휴대형 이동단말, 디지털 카메라，TV 방송 시스템 디바이스 등 일 수 있다. 상기 장치는 수신지 디바이스에 위치하는 할 수 있고 처리 장치는 스케일러블 동영상, 다시점 동영상, 다시점 깊이, 다시점 동영상+ 다시점 깊이중의 최소한 한가지 멀티레이어 동영상 신호를 처리할 수 있다. 여기서, 입체 동영상은 다시점 동영상중의 시점 수량이 2인 특수한 형식이다.
실시예5
본 발명의 실시예에 의하면, 비트스트림을 사용한 통신 시스템을 제공한다.
도 5는 본 발명의 실시예에 따른 비트스트림을 사용한 통신 시스템(500)의 구조를 나타낸 도로, 도 5에 도시한 바와 같이, 본 발명의 실시예에 따른 멀티레이어 동영상 비트스트림의 전송 시스템(500)은 소스디바이스(502)와 수신지 디바이스(504)를 포함한다. 여기서, 소스디바이스(502)는 상기 실시예2에 기재된 비트스트림의 생성 장치(200)를 포함하고 수신지 디바이스(504)는 상기 실시예4에 기재된 비트스트림의 처리 장치(400)를 포함한다. 본 실시예에 있어서, 소스디바이스(502)는 실시예1에 기재된 방법에 따라 비트스트림을 생성하여 출력하고 수신지 디바이스(504)는 그 비트스트림을 수신하여 실시예3에 기재된 방법에 따라 비트스트림에 처리를 수행할 수 있고 구체적으로는 상기 실시예를 참조할 수 있고 본 실시예에 있어서는 상세한 설명을 생략한다.
본 발명의 실시예에서 제공하는 기술방안을 진일보로 설명하기 위하여 아래 구체적인 실례로 본 발명의 실시예에서 제공하는 기술방안을 설명한다.
하기 실례에서 사용하는 POC 정렬 조작에 대한 고위 비트스트림 구성 방법은 표1과 표2에 나타낸 구조를 이용한다.
표1과 표2에 나타낸 바와 같이, 비트스트림에 전부 및/또는 일부의 비트스트림에 POC 정렬 조작을 사용하였는가를 표시하는 식별자 정보가 포함된다. 대응되는 비트스트림에 전부 및/또는 일부의 비트스트림이 POC 정렬 조작을 사용하였는가를 표시하는 정보의 하나 또는 다수의 비트 필드를 휴대한다.
표3에 나타낸 바와 같이, 비트스트림에 POC 정렬 조작을 온 또는 오프하는 시작 및/또는 종료 위치의 정보가 포함된다. 대응되는 비트스트림에 POC 정렬 조작을 온 또는 오프하는 시작 및/또는 종료 위치 정보의 하나 또는 다수의 비트 필드를 휴대한다.
표1, POC 정렬을 온하는 비트스트림의 구성 방법
Figure 112016070233310-pct00001
표2, POC 정렬을 오프하는 비트스트림의 구성 방법
Figure 112016070233310-pct00002
표3, POC 정렬에 관련되는 시작/종료 위치의 비트스트림의 구성 방법
Figure 112016070233310-pct00003
여기서, 표1중의 각 필드의 의미(대응되는 제어 조작)은 하기와 같다 : poc_alignment_enable_flag의 값이 1이면 비트스트림의 복호화중에 POC 정렬 조작을 사용할 필요가 있음을 표시한다. poc_alignment_enable_flag의 값이 0이면 비트스트림의 복호화중에 POC 정렬 조작을 사용하지 않음을 표시하며, 여기서 당업자는 poc_alignment_enable_flag의 값 및 그 값이 표시하는 의미를 기타 방식으로 표시할 수 있고 본 발명의 실시예에 있어서는 구체적으로 한정하지 않는다. poc_alignment_enable_flag는 u(1)에 대응되는 부호화/복호화 방법을 사용한다.
비트스트림에 poc_alignment_enable_flag에 대응되는 비트 필드가 존재하지 않으면 대응되는 변수 poc_alignment_enable_flag의 값이 1이라고 묵인한다.
표2중의 각 필드의 의미(대응되는 제어 조작)은 하기와 같다 : poc_alignment_disable_flag의 값이 1이면 비트스트림의 복호화에 POC 정렬 조작을 사용하지 않음을 표시한다. poc_alignment_disable_flag의 값이 0이면 비트스트림의 복호화에 POC 정렬 조작을 사용함을 표시한다. poc_alignment_disable_flag는 u(1)에 대응되는 부호화/복호화 방법을 사용한다. 또한, 비트스트림에 poc_alignment_disable_flag에 대응되는 비트 필드가 존재하지 않으면 대응되는 변수 poc_alignment_disable_flag의 값이 0이라고 묵인한다. 그리고 당업자는 poc_alignment_disable_flag의 값 및 그 값이 표시하는 의미를 기타 방식으로 표시할 수 있고 본 발명의 실시예에 있어서는 구체적으로 한정하지 않는다.
표3중의 각 필드의 의미(대응되는 제어 조작)는 하기와 같다 : start_info를 통하여 POC 정렬 조작을 온 또는 오프하는 시작 영상 위치를 지시한다. start_info는 se(v)에 대응되는 부호화/복호화 방법을 사용한다. end_info를 통하여 POC 정렬 조작을 온 또는 오프하는 종료 영상 위치를 지시한다. end_info는 se(v)에 대응되는 부호화/복호화 방법을 사용한다.
표3중의 필드를 표1과 표2중의 필드를 조합하여 사용할 수 있다. 표3중의 필드와 표1중의 필드를 조합하여 사용할 경우, POC 정렬 조작을 온하는 시작 영상 위치와 종료 영상 위치를 지시한다. 표3중의 필드와 표2중의 필드를 조합하여 사용할 경우 POC 정렬 조작을 오프하는 시작 영상 위치와 종료 영상 위치를 지시한다.
표3에 있어서, 시작 영상 위치와 종료 영상 위치를 영상의 POC 값, POC의 최하위 비트(LSB)의 값, POC의 최상위 비트(MSB) 정보， 영상 타임코드 정보, 영상 복호화 순서 정보, 영상 방송 순서 정보중의 한가지 또는 여러가지로 표시할 수 있다.
표1, 표2, 표3중의 신택스 요소는 아래의 하나 또는 다수의 데이터 구조에 사용되고 표1, 표2, 표3중의 신택스 요소에 대응되는 비트 필드는 데이터 구조에 대응되는 비트스트림에 사용할 수 있다 :
(1) 동영상 파라미터 집합(Video Parameter Set, VPS),
(2) 시퀀스 파라미터 집합(Sequence Parameter Set, SPS),
(3) 영상 파라미터 집합(Picture Parameter Set, PPS),
(4) 보충 강화 정보(Supplemental Enhancement Information, SEI),
(5) 상기 데이터 구조 외의 기타 작용 범위가 최소한 하나의 영상(프레임 영상 및/또는 필드 영상)을 포함하는 데이터 구조,
(6) 시스템 레이어 기술자(Descriptor),
(7) 파일 기술자(Descriptor),
(8) 하이브리드 사용.
아래의 상기한 각종 방법에 대한 설명은 대응되는 방법의 구체적인 실례에 불과하다. 동시에 여러가지 방법을 사용할 경우 아래에서 설명하는 방법의 실례를 간단하게 조합하거나 연결시키면 대응되는 실례를 얻을 수 있다.
하기 실시 방법에 있어서, 표1과 표2의 비트스트림 필드는 동일한 데이터 구조에 위치하지 않는다. 하기 실시 방법은 표1의 비트스트림 필드poc_alignment_enable_flag를 예로 설명한다. 표2의 비트스트림 필드poc_alignment_disable_flag에 대응되는 실시 방법도 동일하고 다만 동일한 상황하에서 poc_alignment_disable_flag의 값과 poc_alignment_enable_flag의 값이 반대되는 점에서 차이가 있다.
실례1
본 실례에 있어서, poc_alignment_enable_flag는 VPS에 위치하고 그 제어 범위는 멀티레이어 동영상의 전부 레이어이다. 그 값이 1이면 동일한 AU에 포함된 영상이 동일한 POC 값을 가짐을 표시한다. 값이 0이면 동일한 AU에 포함된 영상이 동일한 POC 값을 가질 수도 있고 서로다른 POC 값을 가질 수도 있음을 표시한다.
poc_alignment_enable_flag 필드 다음에 진일보로 표3의 비트 필드를 사용하여 poc_alignment_enable_flag에 대응되는 조작의 시작 영상 위치와 종료 영상 위치를 표시할 수 있다. 표3의 비트 필드가 존재할 경우, poc_alignment_enable_flag에 한정되는 조작의 유효 범위는 표3의 비트 필드가 지시하는 시작 영상과 종료 영상 및 (영상 방송 순서 또는 영상 복호화 순서에 따른) 그 사이의 모든 영상을 포함한다.
본 실례에 있어서, 멀티레이어 동영상 비트스트림의 전송은 주로 하기 단계를 포함한다 :
소스디바이스가 응용 수요(예를 들어, 전부 레이어 또는 다수의 레이어 영상을 동시에 복호화하여 출력하는가)에 따라 멀티레이어 동영상에 POC 정렬 조작을 실행할 필요가 있는가를 판단한다(단계1).
POC 정렬 조작의 사용이 필요하면 소스디바이스는 poc_alignment_enable_flag의 값을 1로 설정하고 그렇지 않으면 0으로 설정한다.
소스디바이스가 u(1)에 대응되는 부호화 방법으로 poc_alignment_enable_flag의 값을 VPS 비트스트림에 기입한다(단계2).
소스디바이스가 예측 구조와 응용 수요에 따라 (영상 방송 순서 또는 영상 복호화 순서에 따라) 연속되는 한 구간의 영상에 poc_alignment_enable_flag의 값에 의하여 지시된 조작을 실행할 것인가를 결정한다. YES이면 소스디바이스는 예측 구조와 응용 수요에 따라 start_info와 end_info의 값을 결정하고 se(v)에 대응되는 부호화 방법으로 양자의 값을 비트스트림에 기입한다(단계3).
수신지 디바이스는 비트스트림을 수신한 후, u(1)에 대응되는 복호화 방법으로 VPS 비트스트림으로부터 poc_alignment_enable_flag의 값을 획득한다(단계4).
비트스트림에 표3에 나타낸 필드가 존재할 경우, 수신지 디바이스는 se(v)에 대응되는 복호화 방법으로 비트스트림으로부터 start_info와 end_info의 값을 획득한다. 수신지 디바이스는 start_info와 end_info의 값에 근거하여 poc_alignment_enable_flag의 값에 대응되는 조작의 유효 영상 범위를 결정한다. 비트스트림에 표3에 나타낸 필드가 포함되지 않았으면 수신지 디바이스는 poc_alignment_enable_flag의 값에 대응되는 조작의 유효 범위를 동영상 부호화 시퀀스(Coded Video Sequence, CVS) 전체로 설정한다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 1이라고 판단하였을 경우, 수신지 디바이스는 POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행할 수 있다. 수신지 디바이스는 "동일한 AU의 출력 영상의 POC 값이 동일하다"를 비트스트림의 에러 검출과 방송 조작의 제어 조건으로 한다. 복호화된 비트스트림이 제어 조건에 부합되지 않으면 수신지 디바이스는 에러 제어 메커니즘을 실행하여 에러 코더의 은폐(concealment) 및/또는 정보의 피드백을 통하여 소스디바이스에 에러를 보고함을 수행한다. 수신지 디바이스는 직접 POC 값에 근거하여 영상을 출력하고 방송을 제어할 수 있다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 0이라고 판단하였을 경우, 수신지 디바이스는 비POC 조건을 이용하여 동영상 비트스트림의 AU 경계 구획을 수행할 수 있다. 동일한 AU에서 획득한 영상에 대하여 이에 대응되는 시스템 레이어 또는 파일중의 시간 표시 정보가 동일하면 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
실례2
본 실례에 있어서, poc_alignment_enable_flag는 SPS에 위치하고 그 제어 범위는 그 SPS를 사용한 멀티레이어 동영상의 레이어이다. 그 값이 1이면 AU중의 레이어의 영상이 BL 레이어의 영상(그 AU에 존재하거나 또는 존재한다고 가설)과 동일한 POC 값을 가짐을 표시한다. 그 값이 0이면 AU중의 레이어의 영상이 BL 레이어의 영상(그 AU에 존재하거나 또는 존재한다고 가설)과 동일한 POC 값을 가질 가능성이 있고 서로다른 POC 값을 가질 가능성도 있다.
poc_alignment_enable_flag 필드 후에, 진일보로 표3의 비트 필드를 사용하여 poc_alignment_enable_flag에 대응되는 조작의 시작 영상 위치와 종료 영상 위치를 표시할 수 있다. 표3의 비트 필드가 존재할 경우, poc_alignment_enable_flag에 한전된 조작의 유효 범위는 표3의 비트 필드에 의하여 지시된 시작 영상과 종료 영상 및 그 사이(영상 방송 순서 또는 영상 복호화 순서에 따른)의 모든 영상을 포함한다.
본 실례에 있어서, 멀티레이어 동영상 비트스트림의 전송은 주로 하기 단계를 포함한다 :
소스디바이스가 응용 수요(예를 들어, 전부 레이어 또는 다수의 레이어 영상을 동시에 복호화히야 출력할 것인가)에 따라 동영상 비트스트림중의 그 레이어의 영상과 BL 레이어의 영상에 POC 정렬 조작을 실행할 필요가 있는가를 판단한다(단계1).
POC 정렬 조작이 필요하면 소스디바이스는 그 레이어에서 사용한 SPS중의 poc_alignment_enable_flag의 값을 1로 설정하고 그렇지 않으면 0으로 설정한다.
소스디바이스는 u(1)에 대응되는 부호화 방법으로 poc_alignment_enable_flag의 값을 SPS 비트스트림에 기입한다(단계2).
소스디바이스는 예측 구조와 응용 수요에 따라 poc_alignment_enable_flag의 값에 의하여 지시된 조작을 실행하도록 (영상 방송 순서 또는 영상 복호화 순서에 따라) 연속되는 한 구간의 영상을 설치할 것인가를 결정한다. YES이면 소스디바이스는 예측 구조와 응용 수요에 따라 start_info와 end_info의 값을 결정하고 se(v)에 대응되는 부호화 방법으로 양자의 값을 비트스트림에 기입한다(단계3).
수신지 디바이스는 비트스트림을 수신한 후, u(1)에 대응되는 복호화 방법으로 SPS 비트스트림으로부터 poc_alignment_enable_flag의 값을 획득한다(단계4).
비트스트림에 표3에 나타낸 필드가 존재할 경우, 수신지 디바이스는 se(v)에 대응되는 복호화 방법으로 비트스트림으로부터 start_info와 end_info의 값을 획득한다. 수신지 디바이스는 start_info와 end_info의 값에 근거하여 poc_alignment_enable_flag의 값에 대응되는 조작의 유효 영상 범위를 결정한다. 비트스트림에 표3에 나타낸 필드가 포함되지 않았으면 수신지 디바이스는 poc_alignment_enable_flag의 값에 대응되는 조작의 유효 범위를 CVS 전체로 결정한다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 1이라고 판단하였을 경우, 수신지 디바이스는 POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행할 수 있다. 수신지 디바이스는 "AU중의 그 레이어의 출력 영상의 POC 값이(존재한다고 가설) BL 레이어의 영상과 동일하다"를 비트스트림의 에러 검출 및 방송 조작 제어 조건으로 설정한다. 복호화된 비트스트림이 그 제어 조건에 부합되지 않을 경우, 수신지 디바이스는 에러 제어 메커니즘을 실행하고 에러 코더의 은폐 및/또는 정보의 피드백을 통하여 소스디바이스에 에러를 보고함을 실행한다. 수신지 디바이스는 직접 POC 값에 근거하여 그 레이어의 영상과 BL 영상에 출력 및 방송을 제어할 수 있다. 기타 동일한 AU에 위치하지만 POC 값이 서로다른 영상에 대하여 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 0이라고 판단하였을 경우, 수신지 디바이스는 비POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행한다. 동일한 AU에서 획득한 영상에 대하여 이에 대응되는 시스템 레이어 또는 파일중의 시간 표시 정보가 동일하면 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
실례3
본 실례에 있어서, poc_alignment_enable_flag가 PPS에 위치하고 그 제어 범위는 그 PPS를 사용한 멀티레이어 동영상의 레이어중의 하나 또는 다수의 영상이다. 그 값이 1이면 AU중의 그 레이어의 영상이 BL 레이어의 영상(그 AU에 존재하거나 또는 존재한다고 가설)과 동일한 POC 값을 가진다. 그 값이 0이면 AU중의 그 레이어의 영상과 BL 레이어의 영상(그 AU에 존재하거나 또는 존재한다고 가설)이 동일한 POC 값을 가질 가능성이 있고 서로다른 POC 값을 가질 가능성도 있다.
poc_alignment_enable_flag 필드 후에 진일보로, 표3의 비트 필드를 사용하여 poc_alignment_enable_flag에 대응되는 조작의 시작 영상 위치와 종료 영상 위치를 표시할 수 있다. 표3의 비트 필드가 존재할 경우, poc_alignment_enable_flag에 한정된 조작의 유효 범위는 표3의 비트 필드에 의하여 지시된 시작 영상과 종료 영상 및 그 사이(영상 방송 순서 또는 영상 복호화 순서에 따라 )의 모든 영상을 포함한다.
본 실례에 있어서, 멀티레이어 동영상 비트스트림의 전송은 주로 하기 단계를 포함한다 :
소스디바이스가 응용 수요(예를 들어, 전부 레이어 또는 다수의 레이어 영상을 동시에 복호화하여 출력할 것인가)에 따라 하나 또는 어느한 구간의 레이어의 영상과 BL 레이어의 영상에 POC 정렬 조작을 실행할 필요가 있는가를 판단한다(단계1).
POC 정렬 조작의 사용이 필요하면 소스디바이스는 그 레이어가 사용한 SPS중의 poc_alignment_enable_flag의 값을 1로 설정하고 그렇지 않으면 0으로 설정한다.
소스디바이스는 u(1)에 대응되는 부호화 방법으로 poc_alignment_enable_flag의 값을 PPS 비트스트림에 기입한다(단계2).
소스디바이스는 예측 구조와 응용 수요에 따라 poc_alignment_enable_flag의 값에 지시된 조작을 실행하도록 (영상 방송 순서 또는 영상 복호화 순서에 따라) 연속되는 한 구간의 영상을 설치할 것인가를 결정한다. YES이면 소스디바이스는 예측 구조와 응용 수요에 따라 start_info와 end_info의 값을 결정하고 se(v)에 대응되는 부호화 방법으로 양자의 값을 비트스트림에 기입한다(단계3).
수신지 디바이스는 비트스트림을 수신한 후, u(1)에 대응되는 복호화 방법으로 PPS 비트스트림으로부터 poc_alignment_enable_flag의 값을 획득한다(단계4).
비트스트림에 표3에 표시 필드가 존재할 경우, 수신지 디바이스는 se(v)에 대응되는 복호화 방법으로 비트스트림으로부터 start_info와 end_info의 값을 획득한다. 수신지 디바이스는 start_info와 end_info의 값에 근거하여 poc_alignment_enable_flag의 값에 대응되는 조작의 유효 영상 범위를 결정한다. 비트스트림에 표3에 표시 필드가 포함되지 않았으면 수신지 디바이스는 poc_alignment_enable_flag의 값에 대응되는 조작의 유효 범위를 CVS 전체로 설정한다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 1이라고 판단하였을 경우, 수신지 디바이스는 POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행할 수 있다. 수신지 디바이스는 "AU중의 그 레이어의 출력 영상의 POC 값이(존재한다고 가설) BL 레이어의 영상과 동일하다"를 비트스트림의 에러 검출 및 방송 조작 제어의 조건으로 설정한다. 복호화된 비트스트림이 그 제어 조건에 부합되지 않을 경우, 수신지 디바이스는 에러 제어 메커니즘을 실행하여 에러 코더의 은폐 및/또는 정보의 피드백을 통하여 소스디바이스에 에러를 보고함을 실행한다. 수신지 디바이스는 직접 POC 값에 근거하여 그 레이어의 영상과 BL 영상 에 출력과 방송을 제어할 수 있다. 기타 동일한 AU에 위치하지만 POC 값이 서로다른 영상에 대하여 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 0이라고 판단하였을 경우, 수신지 디바이스는 비POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행한다. 동일한 AU에서 획득한 영상에 대하여 이에 대응되는 시스템 레이어 또는 파일중의 시간 표시 정보가 동일하면 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
실례4
본 실례에 있어서, poc_alignment_enable_flag는 SEI에 위치하고 그 지시 범위는 그 SEI를 사용한 멀티레이어 동영상의 레이어중의 하나 또는 다수의 영상이다. 그 값이 1이면 AU중의 전부의 영상이 동일한 POC 값(AU 전체에 관련되는 SEI)을 가짐을 표시하고 또는 어느한 EL 레이어의 영상이 BL 레이어의 영상(그 AU에 존재하거나 또는 존재한다고 가설)과 동일한 POC 값(어느한 AU에 관련되는 SEI)을 가짐을 지시한다. 그 값이 0이면 AU중의 모든 영상이 동일한 POC 값을 가질 가능성이 있고 동일한 POC 값을 가지지 않을 가능성도 있음(AU 전체에 관련되는 SEI)을 표시하고, 또는 어느한 EL 레이어의 영상이 BL 레이어의 영상(그 AU에 존재하거나 또는 존재한다고 가설)과 동일한 POC 값을 가질 가능성이 있고 동일한 POC 값을 가지지 않을 가능성도 있음(어느한 AU에 관련되는 SEI)을 지시한다.
poc_alignment_enable_flag 필드 후에 진일보로 표3의 비트 필드를 사용하여 poc_alignment_enable_flag에 대응되는 조작의 시작 영상 위치와 종료 영상 위치를 표시할 수 있다. 표3의 비트 필드가 존재할 경우, poc_alignment_enable_flag에 한정된 조작의 유효 범위는 표3의 비트 필드에 의하여 지시된 시작 영상과 종료 영상 및 그 사이(영상 방송 순서 또는 영상 복호화 순서에 따라)의 모든 영상을 포함한다.
본 실례에 있어서, 멀티레이어 동영상 비트스트림의 전송은 주로 하기 단계를 포함한다 :
소스디바이스가 발생된 멀티레이어 동영상 부호화 비트스트림에 근거하여 하나 또는 어느한 구간의 영상에 POC 정렬 조작을 실행할 것인가를 판단한다(단계1).
POC 정렬 조작을 사용하면 소스디바이스는 대응되는 SEI중의 poc_alignment_enable_flag의 값을 1로 설정하고 그렇지 않으면 0으로 설정한다. 상기 대응되는 SEI는 AU 전체에 관련되는 SEI 또는 어느한 EL 레이어에 관련되는 SEI를 말한다.
소스디바이스는 u(1)에 대응되는 부호화 방법으로 poc_alignment_enable_flag의 값을 SEI 비트스트림에 기입하고 SEI의 필드를 동영상 비트스트림중의 관련되는 위치에 삽입한다(단계2).
소스디바이스가 예측 구조와 응용 수요에 따라 poc_alignment_enable_flag의 값에 의하여 지시된 조작을 실행하도록 (영상 방송 순서 또는 영상 복호화 순서에 따라) 연속되는 한 구간의 영상을 설치할 것인가를 결정한다. YES이면 소스디바이스는 예측 구조와 응용 수요에 따라 start_info와 end_info의 값을 결정하고 se(v)에 대응되는 부호화 방법으로 양자의 값을 비트스트림에 기입한다(단계3).
수신지 디바이스는 비트스트림을 수신한 후, u(1)에 대응되는 복호화 방법으로 SEI 비트스트림으로부터 poc_alignment_enable_flag의 값을 획득한다(단계4).
비트스트림에 표3에 표시 필드가 존재할 경우, 수신지 디바이스는 se(v)에 대응되는 복호화 방법으로 비트스트림으로부터 start_info와 end_info의 값을 획득한다. 수신지 디바이스는 start_info와 end_info의 값에 근거하여 poc_alignment_enable_flag의 값에 대응되는 조작의 유효 영상 범위를 결정한다. 비트스트림에 표3에 표시 필드가 포함되지 않았으면 수신지 디바이스는 poc_alignment_enable_flag의 값에 대응되는 조작의 유효 범위를 동영상 부호화 시퀀스(Coded Video Sequence, CVS) 전체로 설정한다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 1이라고 판단하였을 경우, 그 SEI가 AU 전체에 관련되는 SEI이면 수신지 디바이스는 POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행할 수 있다. 수신지 디바이스는 "동일한 AU의 출력 영상의 POC 값이 동일하다"를 비트스트림의 에러 검출 및 방송 조작 제어의 조건으로 설정한다. 복호화된 비트스트림이 그 제어 조건에 부합되지 않을 경우 수신지 디바이스는 에러 제어 메커니즘을 실행하고 에러 코더의 은폐 및/또는 정보의 피드백을 통하여 소스디바이스에 에러를 보고함을 실행한다. 수신지 디바이스는 직접 POC 값에 근거하여 영상을 출력하고 방송을 제어할 수도 있다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 1이라고 판단하였을 경우, 그 SEI가 어느한 EL에 관련되는 SEI이면 수신지 디바이스는 비POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행할 수 있다. 수신지 디바이스는 "AU중의 그 레이어의 출력 영상의 POC 값이(존재한다고 가설) BL 레이어의 영상과 동일하다"를 비트스트림의 에러 검출 및 방송 조작 제어의 조건으로 설정한다. 복호화된 비트스트림이 그 제어 조건에 부합되지 않을 경우 수신지 디바이스는 에러 제어 메커니즘을 실행하고 에러 코더의 은폐 및/또는 정보의 피드백을 통하여 소스디바이스에 에러를 보고함을 실행한다. 수신지 디바이스는 직접 POC 값에 근거하여 그 레이어의 영상과 BL 영상에 출력과 방송을 제어할 수 있다. 기타 동일한 AU에 위치하지만 POC 값이 서로다른 영상에 대하여 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 0이라고 판단하였을 경우, 수신지 디바이스는 비POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행할 수 있다. 동일한 AU에서 획득한 영상에 대하여 이에 대응되는 시스템 레이어 또는 파일중의 시간 표시 정보가 동일하면 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
실례5
본 실례에 있어서, 상기 실별자 정보는 작용 범위가 최소한 하나의 영상(프레임 영상 및/또는 필드 영상)을 포함한 기타 데이터 구조에 위치하여 상기 작용 범위가 최소한 하나의 영상(프레임 영상 및/또는 필드 영상)을 포함한 기타 데이터 구조에 대하여 그 데이터 구조에 기타 복호화에 반드시 필요한 데이터 정보가 포함되었으면 그 데이터 구조는 복호화에 필요한 데이터 구조이다. 이때, 그 데이터 구조의 작용 범위가 멀티레이어 동영상 전체이면 소스디바이스와 수신지 디바이스의 poc_alignment_enable_flag에 대한 조작 방법은 실례1과 유사하다. 데이터 구조의 작용 범위가 멀티레이어 동영상중의 어느한 EL 동영상이면 소스디바이스와 수신지 디바이스의 poc_alignment_enable_flag에 대한 조작 방법은 실례2와 유사하다. 데이터 구조의 작용 범위가 멀티레이어 동영상중의 어느 EL상의 하나 또는 다수의 영상이면 소스디바이스와 수신지 디바이스의 poc_alignment_enable_flag에 대한 조작 방법은 실례3과 유사하다.
상기 작용 범위가 최소한 하나의 영상(프레임 영상 및/또는 필드 영상)을 포함하는 기타 데이터 구조의 경우, 그 데이터 구조에 기타 복호화에 필요한 데이터 정보가 포함되지 않았으면 그 데이터 구조는 복호화에 필요한 데이터 구조가 아니다. 이때, 소스디바이스와 수신지 디바이스의 poc_alignment_enable_flag에 대한 조작 방법은 실례4와 유사하다.
poc_alignment_enable_flag 필드 후에 진일보로 표3의 비트 필드를 사용하여 poc_alignment_enable_flag에 대응되는 조작의 시작 영상 위치와 종료 영상 위치를 표시할 수 있다. 표3의 비트 필드가 존재할 경우, poc_alignment_enable_flag에 한정된 조작의 유효 범위는 표3의 비트 필드에 의하여 지시된 시작 영상과 종료 영상 및 그 사이(영상 방송 순서 또는 영상 복호화 순서에 따라)의 모든 영상을 포함한다.
실례5가 실례1 내지 실례4와 구별되는 것은 소스디바이스가 u(1)에 대응되는 부호화 방법으로 poc_alignment_enable_flag의 값을 상기 최소한 하나의 영상(프레임 영상 및/또는 필드 영상)을 포함한 데이터 구조의 대응되는 비트스트림에 기입하고 수신지 디바이스가 u(1)에 대응되는 복호화 방법으로 상기 최소한 하나의 영상(프레임 영상 및/또는 필드 영상)을 포함한 데이터 구조의 대응되는 비트스트림으로부터 poc_alignment_enable_flag에 대응되는 필드를 해석하여 poc_alignment_enable_flag의 값을 획득하는데 있다.
실례6
본 실례에 있어서, 상기 식별자 정보는 시스템 기술자에 위치하고 poc_alignment_enable_flag를 포함하는 기술자의 작용 범위가 시스템 비트스트림중의 멀티레이어 동영상 부호화 비트스트림 전체이면 소스디바이스와 수신지 디바이스의 poc_alignment_enable_flag에 대한 조작 방법은 실례4중의 "AU 전체에 관련되는 SEI"인 경우의 조작 방법에 유사하다.
poc_alignment_enable_flag를 포함하는 기술자의 작용 범위가 시스템 비트스트림중의 멀티레이어 동영상 부호화 비트스트림중의 어느 EL 비트스트림이면 소스디바이스와 수신지 디바이스의 poc_alignment_enable_flag에 대한 조작 방법은 실례4중의 "어느한 EL 레이어에 관련되는 SEI"의 경우의 조작 방법에 유사하다.
실례6이 실례4와 구별되는 것은 소스디바이스가 u(1)에 대응되는 또는 u(1)과 동일한 부호화 방법으로 poc_alignment_enable_flag의 값을 상기 기술자의 대응되는 시스템 비트스트림에 기입하고 필요하면 소스디바이스가 se(v)에 대응되는 또는 se(v)와 동일한 부호화 방법으로 start_info와 end_info의 값을 상기 기술자의 대응되는 시스템 비트스트림에 기입하며, 수신지 디바이스가 u(1)에 대응되는 또는 u(1)과 동일한 복호화 방법으로 상기 기술자 데이터 구조의 대응되는 시스템 비트스트림으로부터 poc_alignment_enable_flag에 대응되는 필드를 해석하여 poc_alignment_enable_flag의 값을 획득하고 표3의 필드가 비트스트림에 존재하면 수신지 디바이스가 se(v)에 대응되는 또는 se(v)와 동일한 복호화 방법으로 비트스트림으로부터 start_info와 end_info의 값을 획득하는데 있다.
실례7
본 실례에 있어서, 상기 식별자 정보는 파일 기술자에 위치하고 실례에서 poc_alignment_enable_flag를 포함하는 기술자의 작용 범위가 매체 파일 비트스트림중의 멀티레이어 동영상 부호화 비트스트림 전체이면 소스디바이스와 수신지 디바이스의 poc_alignment_enable_flag에 대한 조작 방법은 실례4중의 "AU 전체에 관련되는 SEI"인 경우의 조작 방법에 유사하다.
poc_alignment_enable_flag를 포함하는 기술자의 작용 범위가 매체 파일 비트스트림중의 멀티레이어 동영상 부호화 비트스트림중의 어느한 EL 비트스트림이면 소스디바이스와 수신지 디바이스의 poc_alignment_enable_flag에 대한 조작 방법은 실례4중의 "어느한 EL 레이어에 관련되는 SEI"인 경우의 조작 방법에 유사하다.
실례7이 실례4와 구별되는 것은 소스디바이스가 u(1)에 대응되는 또는 u(1)과 동일한 부호화 방법으로 poc_alignment_enable_flag의 값을 상기 기술자의 대응되는 시스템 비트스트림에 기입하고, 필요하면 소스디바이스가 se(v)에 대응되는 또는 se(v)와 동일한 부호화 방법으로 start_info와 end_info의 값을 상기 기술자의 대응되는 시스템 비트스트림에 기입하며, 수신지 디바이스가 u(1)에 대응되는 또는 u(1)과 동일한 복호화 방법으로 상기 기술자 데이터 구조의 대응되는 시스템 비트스트림으로부터 poc_alignment_enable_flag에 대응되는 필드를 해석하여 poc_alignment_enable_flag의 값을 획득하고 표3의 필드가 비트스트림에 존재하면 수신지 디바이스가 se(v)에 대응되는 또는 se(v)와 동일한 복호화 방법으로 비트스트림으로부터 start_info와 end_info의 값을 획득하는데 있다.
실례8
본 실례에 있어서, 혼합한 사용 방법으로 상기 식별자 정보를 휴대한다. 멀티레이어 동영상 부호화 비트스트림 구조에 대하여 복호화에 있어서 PPS가 SPS를 인용하고 SPS가 VPS를 인용한다. 여기서, VPS는 SPS 또는 PPS보다 고위의 데이터 구조이고 SPS는 PPS보다 고위 데이터 구조로 한다.
실례에 있어서, poc_alignment_enable_flag를 서로다른 레이어의 데이터 구조에서 부호화를 수행할 수 있다. 고위 레이어의 데이터 구조와 저위 레이어의 데이터 구조중의 poc_alignment_enable_flag의 값이 서로다를 경우, 저위 레이어의 데이터 구조중의 poc_alignment_enable_flag로 고위 레이어의 데이터 구조중의 poc_alignment_enable_flag를 오버라이드(override)한다. 표3중의 start_info와 end_info의 값이 서로다를 경우, poc_alignment_enable_flag의 값의 작용 범위는 고위 레이어의 데이터 구조중의 start_info와 end_info에 의하여 한정된 영상 범위와 저위 레이어의 데이터 구조중의 start_info와 end_info에 의하여 한정된 영상 범위와의 최소 교집합이다.
고위 레이어의 데이터 구조와 저위 레이어의 데이터 구조중의 poc_alignment_enable_flag의 값은 동일하지만 표3중의 start_info와 end_info의 값이 서로다를 경우, poc_alignment_enable_flag의 값의 작용 범위는 고위 레이어의 데이터 구조중의 start_info와 end_info에 의하여 한정된 영상 범위와 저위 레이어의 데이터 구조중의 start_info와 end_info에 의하여 한정된 영상 범위의 최대 합집합이다.
혼합한 사용 방법에 있어서, 소스디바이스는 우선 입력 동영상, 부호화 예측 구조와 응용 수요에 근거하여 POC 정렬을 사용하는 레이어, POC 정렬을 사용하는 영상의 시작/종료 위치를 포함한 POC 정렬의 사용 방식을 결정한다. 소스디바이스는 이상에서 결정한 정보에 근거하여 실례1, 실례2, 실례3에 기재된 방법에 따라 VPS, SPS, PPS중의 poc_alignment_enable_flag 및 필요한 start_info와 end_info의 값을 설정하고 대응되는 부호화 방법으로 비트스트림에 기입한다. 동시에 소스디바이스는 응용 수요에 근거하여 실례4, 실례6, 실례7에 기재된 방법에 따라 동영상 비트스트림에 필요한 보조 정보 및 시스템 레이어, 매체 파일에 관련되는 기술자중의 대응되는 필드 정보를 설정하고 대응되는 부호화 방법으로 비트스트림에 기입한다.
수신지 디바이스는 수신한 비트스트림에 처리를 수행하고 실례1, 실례2, 실례3에 기재된 방법에 따라 VPS, SPS, PPS로부터 poc_alignment_enable_flag 및 필요한 start_info와 end_info의 값을 획득하고 서로다른 영상 구간과 레이어의 POC 정렬 사용 제어를 설정하고 수신한 비트스트림에 복호화를 수행한다. 복호화를 수행함에 있어서 수신지 디바이스가 동영상 보조 정보, 시스템 레이어 정보, 매체 파일 정보중의 POC 정렬 기술 정보를 획득할 수 있으면 수신지 디바이스는 상기 각 방법에 따라 수신, 복호화 과정의 에러 제어, 방송 제어수단을 설정한다.
수신지 디바이스는 비POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행할 수 있다. 수신지 디바이스는 "AU중의 그 레이어의 출력 영상의 POC 값이 (존재한다고 가설) BL 레이어의 영상과 동일하다"를 비트스트림의 에러 검출 및 방송 조작 제어의 조건으로 설정한다. 복호화된 비트스트림이 그 제어 조건에 부합되지 않을 경우, 수신지 디바이스는 에러 제어 메커니즘을 실행하고 에러 코더의 은폐 및/또는 정보의 피드백을 통하여 소스디바이스에 에러를 보고함을 실행한다. 수신지 디바이스가 직접 POC 값에 근거하여 그 레이어의 영상과 BL 영상에 출력과 방송을 제어할 수 있다. 기타 동일한 AU에 위치하지만 POC 값이 서로다른 영상에 대하여 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
수신지 디바이스가 poc_alignment_enable_flag의 값이 0이라고 판단하였을 경우, 수신지 디바이스는 비POC 조건을 이용하여 동영상 비트스트림에 AU 경계 구획을 수행할 수 있다. 동일한 AU에서 획득한 영상에 대하여 이에 대응되는 시스템 레이어 또는 파일중의 시간 표시 정보가 동일하면 수신지 디바이스는 그 시간 표시 정보에 지시된 시각에서 영상을 출력하고 방송을 제어한다.
상기한 바와 같이 상기 실시예중의 하나에서 제공하는 기술방안에 의하면, 즉시 통신 등 업무에 대하여 사용자가 통신을 수행하기 전에 상대측의 각 단말의 정보(예를 들어, 단말 명칭, 닉네임이라고도 함)를 얻을 수 있음으로 주동적으로 통신 수신측의 단말을 선택하여 통신을 수행할 수 있고 상대측과 통신을 하기 전에 통신 수신측의 다수의 단말의 명칭(닉네임)을 획득하여 하나를 선택하여 통신(음성통화, 화상 전화 또는 문자메시지)을 수행할 수 있고 사용자의 체험을 향상시킨다.
이와 같이 본 발명의 실시예에서 제공하는 방법에 의하면, 비트스트림의 고위, 보조 정보, 시스템 레이어 기술자 등에 POC 정렬에 대한 기술을 추가할 수 있다. 동시에 비트스트림의 고위 구조에서 레이어 기술 메커니즘을 이용하여 비트스트림의 생성 과정에 영활한 제어를 실현할 수 있다.
당업자라면 상기한 본 발명의 각 수단 혹은 각 단계를 범용 계산장치를 통하여 실현할 수 있고 단일 계산장치에 집중시키거나 혹은 다수의 계산장치로 구성된 네트워크에 분포시킬수 있고, 또한 계산장치가 실행할 수 있는 프로그램 코더로 실현할 수 도 있음으로, 기억장치에 기억하여 계산장치에 실행시킬 수 있고 때로는 여기서 설명한 순서와 다른 순서로 도시한 또는 상기 설명한 단계를 수행할 수도 있고 또는 각각 집적회로 수단으로 만들거나 혹은 그중의 다수의 수단 혹은 단계를 하나의 집적회로 수단으로 만들어 실현할 수 도 있음을 알수 있다. 따라서 본 발명은 특정된 하드웨어와 소프트웨어의 결합에 한정되지 않는다.
상기한 내용은 본 발명의 바람직한 실시예로, 본 발명을 한정하는 것이 아니다. 당업자라면 본 발명에 여러가지 변경과 변화를 가져올 수 있다. 본 발명의 정신과 원칙을 벗어나지 않는 범위내에서 수행하는 모든 수정, 동등교체, 개량 등은 본 발명의 보호 범위에 속한다.
산업이용가능성
본 발명의 실시예에서 제공하는 상기 기술방안에 의하면, 비트스트림을 생성할 때 비트스트림에 비트스트림의 전부 및/또는 일부에 POC 정렬 조작을 실행할 필요가 있는가를 표시하는 지시 및 제어 정보를 기입함으로써 POC 정렬 조작의 일부 및/또는 전부를 오프할 수 있고 비트스트림 제어의 영활성을 향상시킬 수 있다.

Claims (23)

  1. 응용 수요에 따라 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행할 필요가 있는가를 판단하는 단계와,

    판단 결과에 근거하여 식별자 및 제어 정보를 상기 비트스트림에 기입하는 단계를 포함하고, 상기 식별자 및 제어 정보가 상기 비트스트림에 전부 및/또는 일부의 POC 정렬 조작을 실행하는가를 표시하는 지시 정보를 포함하고,

    상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합이 위치하는 필드에 위치하여 상기 비트스트림중의 상기 식별자 및 제어 정보가 위치하는 파라미터 집합을 사용한 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하고,

    상기 파라미터 집합이 동영상 파라미터 집합VPS, 시퀀스 파라미터 집합SPS, 영상 파라미터 집합PPS중의 최소한 하나를 포함하는 비트스트림의 생성 방법.
  2. 제1항에 있어서,
    다수의 상기 파라미터 집합에 모두 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보가 포함되었으면, 파라미터 집합 사이의 인용관계에 근거하여 현재의 파라미터 집합중의 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보로 직접 및/또는 간접적으로 인용된 파라미터 집합중의 대응되는 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보를 오버라이드하는 비트스트림의 생성 방법.
  3. 제1항에 있어서,
    상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합의 필드 외의 기타 최소한 영상 레이어에 작용하는 데이터 구조에 대응되는 필드에 위치하여 상기 비트스트림의 상기 데이터 구조의 유효 작용 범위내의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 비트스트림의 생성 방법.
  4. 제1항에 있어서,
    상기 식별자 및 제어 정보가 상기 비트스트림중의 보충 강화 보조 정보SEI가 위치하는 필드에 위치하여 SEI 정보 유효 범위내의 상기 비트스트림중의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 비트스트림의 생성 방법.
  5. 제1항에 있어서,
    상기 식별자 및 제어 정보가 상기 비트스트림의 시스템 레이어중의 동영상 매체의 속성을 기술하는 필드에 위치하여 시스템 비트스트림에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 비트스트림의 생성 방법.
  6. 제1항에 있어서,
    상기 식별자 및 제어 정보가 상기 비트스트림의 매체 파일중의 동영상 매체의 속성을 기술하는 필드에 위치하여 상기 매체 파일에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 비트스트림의 생성 방법.
  7. 제1항 내지 제6항중의 임의의 한 항에 있어서,
    상기 식별자 및 제어 정보가 POC 정렬 조작을 온/오프하는 시작 영상 위치 정보 및/또는 POC 정렬 조작을 온/오프하는 종료 영상 위치 정보를 더 포함하고,

    상기 식별자 및 제어 정보를 상기 비트스트림에 기입하기 전에,

    예측 구조와 응용 수요에 따라 POC 정렬 조작을 온/오프하는 영상 방송 순서 또는 영상 복호화 순서에 따라 연속되는 한 구간의 영상의 시작 및/또는 종료 위치를 결정하는 단계를 더 포함하는 비트스트림의 생성 방법.
  8. 응용 수요에 따라 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행할 필요가 있는가를 판단하도록 구성되는 판단수단과,

    판단 결과에 근거하여 식별자 및 제어 정보를 상기 비트스트림에 기입하도록 구성되는 기입수단을 포함하고, 상기 식별자 및 제어 정보가 상기 비트스트림의 전부 및/또는 일부에 POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함하고,

    상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합이 위치하는 필드에 위치하여 상기 비트스트림중의 마크 및 정보가 위치하는 파라미터 집합을 사용한 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하고,
    상기 파라미터 집합이 동영상 파라미터 집합VPS, 시퀀스 파라미터 집합SPS, 영상 파라미터 집합PPS중의 최소한 하나를 포함는 비트스트림의 생성 장치.
  9. 제8항에 있어서,
    상기 식별자 및 제어 정보가 POC 정렬 조작을 온/오프하는 시작 영상 위치 정보 및/또는 POC 정렬 조작을 온/오프하는 종료 영상 위치 정보를 더 포함하고,

    예측 구조와 응용 수요에 따라 POC 정렬 조작을 온/오프하는 영상 방송 순서 또는 영상 복호화 순서에 따라 연속되는 한 구간의 영상의 시작 및/또는 종료 위치를 결정하도록 구성되는 결정수단을 더 포함하는 비트스트림의 생성 장치.
  10. 비트스트림으로부터 상기 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함하는 식별자 및 제어 정보를 획득하는 단계와,

    상기 식별자 및 제어 정보의 지시에 따라 상기 비트스트림중의 POC 정렬 조작을 실행할 필요가 있는 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는 단계를 포함하고,

    상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합이 위치하는 필드에 위치하여 상기 비트스트림중의 상기 마크 및 정보가 위치하는 파라미터 집합을 사용한 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하고,
    상기 파라미터 집합이 동영상 파라미터 집합VPS, 시퀀스 파라미터 집합SPS, 영상 파라미터 집합PPS중의 최소한 하나를 포함는 비트스트림의 처리 방법.
  11. 제10항에 있어서,
    다수의 상기 파라미터 집합에 모두 POC 정렬 조작의 실행을 지시하는 식별자 및 제어 정보가 포함되었으면, 파라미터 집합 사이의 인용관계에 근거하여 현재의 파라미터 집합중의 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보로 직접 및/또는 간접적으로 인용된 파라미터 집합중의 대응되는 POC 정렬 조작을 실행하는가를 지시하는 식별자 및 제어 정보를 오버라이드하는 비트스트림의 처리 방법.
  12. 제10항에 있어서,
    상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합의 필드 외의 기타 최소한 영상 레이어에 작용하는 데이터 구조에 대응되는 필드에 위치하여 상기 비트스트림의 상기 데이터 구조의 유효 작용 범위내의 전부 및/또는 일부의 상기 영상에 POC 정렬 조작을 실행하는가를 지시하는 비트스트림의 처리 방법.
  13. 제10항에 있어서,
    상기 식별자 및 제어 정보가 상기 비트스트림중의 강화 보조 정보SEI가 위치하는 필드에 위치하여 SEI 정보 유효 범위내의 상기 비트스트림중의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 비트스트림의 처리 방법.
  14. 제10항에 있어서,
    상기 식별자 및 제어 정보가 상기 비트스트림의 시스템 레이어중의 동영상 매체의 속성을 기술하는 필드에 위치하여 시스템 비트스트림에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 비트스트림의 처리 방법.
  15. 제10항에 있어서,
    상기 식별자 및 제어 정보가 상기 비트스트림의 매체 파일중의 동영상 매체의 속성을 기술하는 필드에 위치하여 상기 매체 파일에 포함된 상기 비트스트림의 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하는 비트스트림의 처리 방법.
  16. 제10항에 있어서,
    상기 식별자 및 제어 정보의 지시에 따라 상기 비트스트림중의 POC 정렬 조작을 실행할 필요가 있는 영상에 POC 정렬 조작을 실행하는 단계가,

    상기 식별자 및 제어 정보가 위치하는 필드의 유효 범위 및 상기 식별자 및 제어 정보의 값에 근거하여 상기 비트스트림중의 POC 정렬 조작을 온/오프하는 영상을 결정하는 단계와,

    POC 정렬 조작을 온하는 영상에 POC 정렬 조작을 실행하는 단계를 포함하는 비트스트림의 처리 방법.
  17. 비트스트림으로부터 상기 비트스트림의 전부 및/또는 일부에 동영상 영상 카운트 POC 정렬 조작을 실행하는가를 표시하는 지시정보를 포함한 식별자 및 제어 정보를 획득하도록 구성되는 획득수단과,

    상기 식별자 및 제어 정보의 지시에 따라 상기 비트스트림중의 POC 정렬 조작을 실행할 필요가 있는 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하도록 구성되는 실행수단을 포함하고,

    상기 식별자 및 제어 정보가 상기 비트스트림중의 파라미터 집합이 위치하는 필드에 위치하여 상기 비트스트림중의 마크 및 정보가 위치하는 파라미터 집합을 사용한 전부 및/또는 일부의 영상에 POC 정렬 조작을 실행하는가를 지시하고,
    상기 파라미터 집합이 동영상 파라미터 집합VPS, 시퀀스 파라미터 집합SPS, 영상 파라미터 집합PPS중의 최소한 하나를 포함는 비트스트림의 처리 장치.
  18. 제17항에 있어서,
    상기 실행수단이,
    상기 식별자 및 제어 정보가 위치하는 필드의 유효 범위 및 상기 식별자 및 제어 정보의 값에 근거하여 상기 비트스트림중의 POC 정렬 조작을 온/오프하는 영상을 결정하도록 구성되는 결정수단과,

    POC 정렬 조작을 온하는 영상에 POC 정렬 조작을 실행하도록 구성되는 제어수단을 포함하는 비트스트림의 처리 장치.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
KR1020167019738A 2013-12-27 2014-10-15 비트스트림의 생성과 처리 방법, 장치 및 시스템 KR101882596B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310739934.2 2013-12-27
CN201310739934.2A CN104754358B (zh) 2013-12-27 2013-12-27 码流的生成和处理方法、装置及系统
PCT/CN2014/088677 WO2015096540A1 (zh) 2013-12-27 2014-10-15 码流的生成和处理方法、装置及系统

Publications (2)

Publication Number Publication Date
KR20160102490A KR20160102490A (ko) 2016-08-30
KR101882596B1 true KR101882596B1 (ko) 2018-08-24

Family

ID=53477493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167019738A KR101882596B1 (ko) 2013-12-27 2014-10-15 비트스트림의 생성과 처리 방법, 장치 및 시스템

Country Status (7)

Country Link
US (1) US10638141B2 (ko)
EP (2) EP3713242A1 (ko)
JP (1) JP6285034B2 (ko)
KR (1) KR101882596B1 (ko)
CN (1) CN104754358B (ko)
BR (1) BR112016015000A2 (ko)
WO (1) WO2015096540A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195549A1 (en) 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
US10136152B2 (en) 2014-03-24 2018-11-20 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
US9819945B2 (en) 2014-06-25 2017-11-14 Qualcomm Incorporated Multi-layer video coding
US9807419B2 (en) * 2014-06-25 2017-10-31 Qualcomm Incorporated Recovery point SEI message in multi-layer video codecs
CN106303673B (zh) 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
EP3455978B1 (en) * 2016-05-13 2019-10-23 Telefonaktiebolaget LM Ericsson (publ) Multi-subcarrier method and apparatus with multiple numerologies
CN109889996B (zh) * 2019-03-07 2021-04-20 南京文卓星辉科技有限公司 避免tts与语音业务冲突的方法、公网对讲系统及介质
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
EP4297418A1 (en) * 2022-06-24 2023-12-27 Beijing Xiaomi Mobile Software Co., Ltd. Signaling encapsulated data representing primary video sequence and associated auxiliary video sequence

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182755A1 (en) * 2012-01-14 2013-07-18 Qualcomm Incorporated Coding parameter sets and nal unit headers for video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
CN101170697B (zh) * 2006-10-24 2012-07-25 华为技术有限公司 多视图象编解码方法及编解码器
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
CN101299649B (zh) * 2008-06-19 2011-08-24 中兴通讯股份有限公司 基于通用成帧规程的多业务混合汇聚方法和装置
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
CN103379320B (zh) * 2012-04-16 2016-11-23 华为技术有限公司 视频图像码流处理方法和设备
CN103379333B (zh) * 2012-04-25 2018-12-04 浙江大学 编解码方法、视频序列码流的编解码方法及其对应的装置
CN102685469A (zh) * 2012-05-04 2012-09-19 北京航空航天大学 一种基于mpeg-2 aac及h.264音视频传输码流的组帧方法
US9532052B2 (en) * 2013-04-08 2016-12-27 Qualcomm Incorporated Cross-layer POC alignment for multi-layer bitstreams that may include non-aligned IRAP pictures
JP6397421B2 (ja) * 2013-10-08 2018-09-26 シャープ株式会社 画像復号装置及び画像符号化装置
JP6393317B2 (ja) * 2013-10-10 2018-09-19 シャープ株式会社 復号方法及び符号化方法
US20150103912A1 (en) * 2013-10-11 2015-04-16 Electronics And Telecommunications Research Institute Method and apparatus for video encoding/decoding based on multi-layer
EP3989585A1 (en) * 2013-10-11 2022-04-27 VID SCALE, Inc. High level syntax for hevc extensions
EP3058733B1 (en) * 2013-10-14 2017-01-04 Telefonaktiebolaget LM Ericsson (publ) Picture order count alignment in scalble video
US9628820B2 (en) * 2013-11-19 2017-04-18 Qualcomm Incorporated POC value design for multi-layer video coding
US9942546B2 (en) * 2013-12-12 2018-04-10 Qualcomm Incorporated POC value design for multi-layer video coding
CN104754347B (zh) * 2013-12-26 2019-05-17 中兴通讯股份有限公司 视频图像序号的编码、解码方法及装置、电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182755A1 (en) * 2012-01-14 2013-07-18 Qualcomm Incorporated Coding parameter sets and nal unit headers for video coding

Also Published As

Publication number Publication date
US20160323590A1 (en) 2016-11-03
CN104754358B (zh) 2019-02-19
KR20160102490A (ko) 2016-08-30
EP3713242A1 (en) 2020-09-23
JP6285034B2 (ja) 2018-02-28
EP3089454A1 (en) 2016-11-02
CN104754358A (zh) 2015-07-01
US10638141B2 (en) 2020-04-28
WO2015096540A1 (zh) 2015-07-02
BR112016015000A2 (pt) 2017-08-08
JP2017507522A (ja) 2017-03-16
EP3089454A4 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
KR101882596B1 (ko) 비트스트림의 생성과 처리 방법, 장치 및 시스템
KR102089457B1 (ko) 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
JP5614902B2 (ja) ３ｄｖのレイヤ間依存関係情報
JP5143829B2 (ja) スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置
JP4903877B2 (ja) ビデオの符号化においてピクチャ出力インジケータを提供するためのシステムおよび方法
JP5607251B2 (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
TWI603609B (zh) 簡化視訊隨機存取之限制及單元類型
KR101361896B1 (ko) 멀티-뷰 비디오 코딩 방법 및 디바이스
US10827170B2 (en) Method and device for coding POC, method and device for decoding POC, and electronic equipment
JP2011528868A (ja) トラックおよびトラックサブセットグループ化の方法および装置
TW200822758A (en) Scalable video coding and decoding
EP3888375A1 (en) Method, device, and computer program for encapsulating media data into a media file
JP2018050327A (ja) デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
CN115211131A (zh) 用于全向视频的装置、方法及计算机程序
KR101584111B1 (ko) 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기
CN112804471A (zh) 一种视频会议方法、会议终端、服务器及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right