KR102320315B1 - 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치 - Google Patents

타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치 Download PDF

Info

Publication number
KR102320315B1
KR102320315B1 KR1020190137269A KR20190137269A KR102320315B1 KR 102320315 B1 KR102320315 B1 KR 102320315B1 KR 1020190137269 A KR1020190137269 A KR 1020190137269A KR 20190137269 A KR20190137269 A KR 20190137269A KR 102320315 B1 KR102320315 B1 KR 102320315B1
Authority
KR
South Korea
Prior art keywords
tile
image
region
video
interest
Prior art date
Application number
KR1020190137269A
Other languages
English (en)
Other versions
KR20210051691A (ko
Inventor
정진우
김용환
허진강
간저릭 간호약
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190137269A priority Critical patent/KR102320315B1/ko
Publication of KR20210051691A publication Critical patent/KR20210051691A/ko
Application granted granted Critical
Publication of KR102320315B1 publication Critical patent/KR102320315B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

360VR, 파노라마 영상 등의 초대용량 영상의 타일 기반 스트리밍에 있어, 제한된 대역폭으로 높은 주관적 화질을 제공할 수 있는 타일 부호화 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 분할 영상 비디오 부호화 방법은 영상의 해상도를 감소시키는 단계; 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 단계; 검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 단계; 결정된 화질 파라미터로 각 타일을 부호화하는 단계;를 포함한다.
이에 의해, 360VR, 파노라마 영상 등의 초대용량 영상의 타일 기반 스트리밍 시스템에서, 관심 영역을 기반으로 각 타일의 화질을 결정함으로써, 제한된 대역폭에서 높은 주관적 화질을 제공할 수 있게 된다.

Description

타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치{Method and Apparatus of Encoding Tile based on Region of Interest for Tiled Streaming}
본 발명은 영상 부호화 기술에 관한 것으로, 더욱 상세하게는 초대용량 영상(360VR, 파노라마 영상 등)의 타일(Tile) 기반 스트리밍을 위한 타일 부호화 방법에 관한 것이다.
1. 타일 기반 스트리밍의 개요.
8K(7680x4320)/16K(15360x8640)급 360VR 및 파노라마 영상과 같은 초대용량 비디오를 스트리밍 서비스하기 위해서는, 1) 네트웍 대역폭 부족, 2) 다수 클라이언트를 위한 스트리밍 서버의 초대용량 데이터 처리 능력 부족, 3) 소비가전 디바이스의 재생 능력 부족, 이라는 세 가지 문제를 해결하는 기술이 필요하다.
360VR 영상과 파노라마 영상의 시청 특징은 전체 영역을 한번에 보는 것이 아니라, 한 순간에는 일부 영역(Field of View; FOV)만을 보는 것이다. 즉, 전체 영역을 보기 위해서는 일부 영역을 상하좌우로 움직이면서 보게 된다. 따라서, 초대용량 영상 데이터를 한번에 스트리밍하기보다는 영상을 미리 분할 영상(타일)로 분할하여 사용자가 현재 보고 있는 영역만을 적응적으로 스트리밍하는 방법을 타일 기반 스트리밍 기술이라고 한다.
이 방법을 사용하면, 위의 3가지 문제점을 모두 해결할 수 있지만, 사용자의 FOV 뷰 스위칭시 약간의 지연(latency)이 발생하는 단점을 가지게 된다. 이러한 단점도 여러 가지 다른 방법으로 어느 정도 보완이 가능하다.
타일 기반 스트리밍 서비스를 하기 위해서는 비디오 코덱이 '타일(Tile)’ 기반 독립적인 압축/복원을 지원해야 한다. 현재 타일을 지원하는 표준 비디오 코덱은 HEVC와 AV1 이 유일하다. 여기에서 '타일’이 중요한 이유는 소비가전 디바이스에서 분할된 영상들(즉, 타일들)을 비트스트림 레벨에서 하나의 비트스트림으로 통합하여(즉, 비트스트림 스티칭) 하나의 4K 표준 디코더를 통하여 재생할 수 있기 때문이다.
타일 기반 스트리밍의 주요 아이디어는 초고해상도 영상(8K 또는 16K)을 가로 및 세로로 분할해서 독립적으로 인코딩된 분할 영상을 적응적으로 스트리밍하는 것이다. 따라서 사용자는 필요로 하는 해당 FOV(Field of View)가 포함된 분할 영상 스트림만 적응적으로 수신하면 된다.
기존 비디오 코덱인 HEVC의 모션 제한 압축은 타일 경계에서 루프 필터를 수행하지 않는 옵션을 이용하고, 기타 알려진 제한을 이용하면 된다. 그러나 AV1 비디오 코덱의 경우는 타일 경계에서 루프 필터를 수행하지 않는 옵션이 없기 때문에, 조금 더 복잡한 방법이 필요하다.
도 1은 앞서 설명한 360° VR 스트리밍을 위한 타일 기반 비디오 스트리밍의 개념도를 나타낸다. 도 1에서는 같이 분할 영상들이 Dynamic Adaptive Straming over HTTP (DASH) 등의 방법을 통해서 클라이언트로 전송된다.
2. 종래기술: 타일 기반 비디오 부호화 방법
종래의 타일 기반 비디오 스트리밍은 한 개의 디코더로 복호화할 수 있는 타일 스트리밍 시스템에 초점을 맞추어 연구 개발 되어왔다. 그러나 타일 또는 분할 영상 간에 화질을 어떻게 설정할 것인지에 대한 연구는 미비하였다. 네트워크의 대역폭이나 저장 용량을 효율적으로 사용하기 위해서는 제한된 비트 안에서 타일 간의 화질을 최적화할 필요가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 360VR, 파노라마 영상 등의 초대용량 영상의 타일 기반 스트리밍에 있어, 제한된 대역폭으로 높은 주관적 화질을 제공할 수 있는 타일 부호화 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 분할 영상 비디오 부호화 방법은 영상의 해상도를 감소시키는 단계; 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 단계; 검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 단계; 결정된 화질 파라미터로 각 타일을 부호화하는 단계;를 포함한다.
영상은, 스테레오 영상이고, 검출 단계는, 스테레오 영상을 구성하는 두 영상 중 한 영상에 대해서만, 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 것일 수 있다.
검출 단계는, 검출된 관심 영역 지도를 스테레오 영상을 구성하는 영상의 개수 만큼 반복하여, 스테레오 영상의 관심 영역 지도를 생성하는 것일 수 있다.
검출 단계는, 해상도가 감소된 영상과 동일한 해상도의 관심 영역 지도를 검출하는 것일 수 있다.
결정 단계는, 관심 영역 지도에서 각 타일에 해당하는 영역의 값들을 이용하여, 타일 별 화질 파라미터를 결정하는 것일 수 있다.
결정 단계는, 관심 영역 지도에서 각 타일에 해당하는 영역의 값들의 평균을 각 타일 별 화질 파라미터로 결정하는 것일 수 있다.
결정 단계는, 관심 영역 지도에서 각 타일에 해당하는 영역의 값들 중 임계 값 보다 큰 값들의 개수를 이용하여 각 타일 별 화질 파라미터로 결정하는 것일 수 있다.
부호화 단계는, 화질 파라미터에 반비례하는 양자화 파라미터를 할당하여, 타일을 부호화하는 것일 수 있다.
부호화 단계는, 화질 파라미터에 비례하도록 타일 당 비트를 할당하여, 타일을 부호화하는 것일 수 있다.
본 발명의 다른 측면에 따르면, 영상의 해상도를 감소시키는 감소부; 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 검출부; 검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 처리부; 결정된 화질 파라미터로 각 타일을 부호화하는 인코더;를 포함하는 것을 특징으로 하는 분할 영상 비디오 부호화 장치가 제공된다.
본 발명의 또다른 측면에 따르면, 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 단계; 검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 단계; 결정된 화질 파라미터로 각 타일을 부호화하는 단계;를 포함하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법이 제공된다.
본 발명의 또다른 측면에 따르면, 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 검출부; 검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 처리부; 결정된 화질 파라미터로 각 타일을 부호화하는 인코더;를 포함하는 것을 특징으로 하는 분할 영상 비디오 부호화 장치가 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 360VR, 파노라마 영상 등의 초대용량 영상의 타일 기반 스트리밍 시스템에서, 관심 영역을 기반으로 각 타일의 화질을 결정함으로써, 제한된 대역폭에서 높은 주관적 화질을 제공할 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 해상도를 감소시킨 영상에서 관심 영역 지도를 검출하며, 스테레오 영상에서는 어느 한 영상에 대해서만 관심 영역 지도를 생성하여 반복시킴으로써, 고속으로 관심 영역 지도를 생성할 수 있게 된다.
도 1 : 타일 기반 360 VR 영상 스트리밍 시스템.
도 2 : 관심 영역 지도 기반 타일 부호화 장치/방법
도 3 : 원본 영상 해상도와 타일 구조
도 4 : 해상도 감소 영상 해상도와 타일 구조
도 5 : 좌우 스테레오 방식에서의 해상도 감소 방법
도 6 : 상하 스테레오 방식에서의 해상도 감소 방법
도 7 : 좌우 스테레오 방식에서의 관심 영역 지도 확장 방법
도 9 : 상하 스테레오 방식에서의 관심 영역 지도 확장 방법
도 9 : 타일 별 화질 파라미터와 원영상 타일과의 관계
도 10 : 영상 부호화 시스템
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 관심 영역 기반 분할 영상 비디오 부호화 장치를 도시한 도면이다. 본 발명의 실시예에서는, 영상의 주요 영역 또는 관심 영역을 찾고 관심 영역에 해당하는 타일을 별도의 화질로 부호화한다.
본 발명의 실시예에 따른 분할 영상 비디오 부호화 장치는, 도 2에 도시된 바와 같이, 해상도 감소부(110), 관심 영역 검출부(120), 후처리부(130) 및 타일 영상 비디오 인코더부(140)를 포함하여 구성된다.
해상도 감소부(110)는 입력 영상의 해상도를 감소시키고, 관심 영역 검출부(120)는 저해상도 입력 영상으로 관심 영역 지도를 검출한다. 그리고 후처리부(130)는 관심 영역 지도를 타일의 구조에 맞게 변형하여 타일 별로 화질 파라미터를 결정하고, 타일 영상 비디오 인코더부(140)는 결정된 화질 파라미터로 각 타일을 부호화한다.
위 구성들에 대해 이하에서 세부 내용을 설명한다.
해상도 감소부(110)에서는 입력 영상의 공간 해상도를 감소시키는 구성이다. 일반적으로 타일로 부호화 되는 영상의 크기는 8K(7680x4320)나 16K(15360x8640) 등의 초고해상도이다. 이런 초고해상도에서 관심 영역을 찾는 것은 매우 많은 연산량을 필요로 한다. 이를 피하기 위해서 영상의 해상도를 감소시킨 후 관심 영역을 검출하도록 한다.
도 3은 영상의 크기 및 타일 구조를 보여준다. 수평 방향 해상도는 W, 수직 방향 해상도는 H이다. 영상은 도시된 바와 같이 M x N 개의 타일로 분할될 수 있다. (m,n) 번째 타일은 T(m,n) 으로 표현할 수 있고, m과 n은 타일의 순서를 나타낸다. m은 1부터 M까지의 자연수이고, n은 1부터 N까지의 자연수이다.
(m,n) 번째 타일의 수평 해상도는 W(m,n)으로 수직 해상도는 H(m,n)으로 나타낼 수 있다. 해상도 감소부(110)에 의해 감소된 영상의 수평 해상도는 WD로 수직 해상도는 HD로 표시한다.
각각의 타일에 대해서도 해상도가 감소되어 (m,n) 번째 해당하는 타일의 해상도 감소 영역은 TD(m,n) 으로 표시되고 이 영역의 해상도는 WD(m,n), HD(m,n) 으로 표시할 수 있다. 도 4는 해상도 감소된 영상의 표기를 보여준다. 해상도 감소 팩터가 S라고 하면 원본 영상의 해상도와 해상도 감소 영상의 크기는 다음과 같은 관계를 갖는다.
Figure 112019111555046-pat00001
(1)
영상의 해상도 감소는 한 타일에 포함되는 픽셀의 수가 K x L 이상이 되도록 한다. 여기서 타일의 영상 특징을 획득하기 위하여 K, L 은 100 이상이 되도록 한다.
타일 구조가 M X N으로 구성되어 있다고 하면 영상의 크기는 (M x K) x (N x L) 이상이 되어야 한다. 즉, WD는 M x K이상이어야 하고 HD는 N x L 이상이어야 한다. 예를 들어 M=8, N=4라고 가정하면 해상도 감소된 영상은 최소 800 x 400 이상의 해상도가 권장된다.
영상이 3D 스테레오 영상일 경우 거의 비슷한 영상이 두 번 반복된다. 예를 들어 도 5와 같이 좌안 영상과 우안 영상으로 스테레오 영상이 구성되는 경우, 이 좌안 영상과 우안 영상의 차이는 크지 않다.
따라서 뒷단의 관심 영역 검출부(120)에서 좌안의 영상만을 가지고 관심 영역을 검출하여도 유사한 수준의 정확도를 확보할 수 있다. 따라서 좌안 영상만을 이용하여 해상도 감소를 실시한다. 도 5의 스테레오 영상의 좌안 영상의 해상도는 WL x H 가 되고, 이 영상의 해상도를 S 배 만큼 해상도 감소시켜 해상도 감소 영상을 만든다. 해상도 감소 영상의 해상도 제약 조건은 위의 일반 영상과 동일하다.
도 6은 스테레오 영상의 다른 타입으로 상하로 영상이 구성되어 있다. 마찬가지로 이 경우에는 상단의 영상만을 사용하여 해상도 감소 영상을 생성한다. 즉, 상단의 영상 해상도는 W x HT 가 되고 이 영상의 해상도를 S배 만큼 감소하여 해상도 감소 영상을 생성한다.
관심 영역 검출부(120)는 저해상도의 입력 영상을 기반으로 관심 영역을 검출 한다. 관심 영역은 영상의 주요 정보를 담고 있는 영역으로 사람이 영상을 주요하게 응시하는 장면이다. 관심 영역은 영어로 region of interest 또는 saliency 로 표현될 수 있다. 영상의 관심 영역을 찾는 방법은 다양한 방법이 존재하며 최근에는 인공 지능을 이용하여 관심 영역을 검출하는 방법도 소개되어 지고 있다.
관심 영역은 저해상도의 영상과 동일한 크기의 해상도를 갖도록 한다. 즉, 관심 영역부의 입력 영상 해상도가 WD x HD라고 하며 관심 영역 지도의 해상도도 WD x HD가 된다. WD x HD 해상도의 각각의 픽셀은 0부터 1까지의 값을 갖도록 한다. 1에 가까울수록 강한 관심 영역이고 0에 가까울수록 비관심 영역으로 본다. 관심 영역을 찾는 방법의 예시로 인공 지능을 이용한 방법이 있으며 본 발명의 실시예에서는 특정한 관심 영역 검출 방법에 의존하지 않는다.
후처리부(130)는 전 단계에서 나온 관심 영역 지도를 타일 구조에 맞게 변형하여 타일 별 화질 또는 비트를 결정하는 단계이다. 후처리부(130)의 입력은 관심 영역 지도와 타일 구조 (M x N) 및 해상도 감소된 타일의 크기, 즉 (WD(m,n), HD(m,n)),
Figure 112019111555046-pat00002
이 된다. 출력은 타일 별 화질 파라미터 P(m,n)
Figure 112019111555046-pat00003
이 된다.
각 타일의 화질 파라미터는 관심 영역 지도에서 각 타일에 해당하는 영역의 값들을 이용하여 산출된다. 예를 들어 도 4에서 (m,n) 번째 타일이라고 하면 TD(m,n)에 해당하는 타일 영역과 일치하는 관심 영역 지도 R(m,n)의 영역이 사용된다. 화질 파라미터를 구하는 첫 번째 방법은 관심 영역 지도의 평균을 사용하는 방법이다. 이는 다음과 같은 수식으로 표현될 수 있다.
Figure 112019111555046-pat00004
(2)
P(m,n) 은 R(m,n)의 값이 0과 1 사이의 값이므로 P(m,n)도 0과 1 사이의 값이다. P(m,n)을 구하는 다른 방법은 특정 값보다 큰 값을 세는 방법이 있다. 예를 들어 R(m,n) 중 특정 값 Th 보다 큰 픽셀이 A개라고 하면
Figure 112019111555046-pat00005
이 된다. 이는 다음과 같이 일반화하여 표시할 수 있다.
Figure 112019111555046-pat00006
(3)
floor(X) 는 내림 함수로 X 보다 크지 않은 가장 큰 정수를 의미한다. th는 특정 임계치를 의미하고 본 발명에서는 0.5 이상을 권장한다.
영상이 스테레오일 경우 생성된 관심 영역 지도를 반복하여 배치해 원영상의 크기를 맞추도록 한다. 예를 들어 좌우 영상 형태의 경우에는 도 5에서처럼 좌영상 만을 가지고 관심 영역 지도를 생성하였다. 따라서 우영상에 대한 관심 영역 지도는 없는데 우영상의 관심 영역 지도는 좌영상의 관심 영역 지도와 동일한 영역지도를 사용하도록 한다. 따라서 도 7과 같이 전체 영상의 관심 지도를 생성해 낼 수 있다.
상하 방식의 스테레오 방식도 동일한 방법으로 전체 영상의 관심 영역 지도를 생성해 낼 수 있다. 이와 같이 생성된 관심 영역 지도는 위의 수식 (2)와 (3)을 사용하여 각 타일의 화질 파라미터를 생성해 낼 수 있다. 따라서 도 8과 같이 전체 영상의 관심 지도를 생성해 낼 수 있다.
타일 영상 비디오 인코더부(140)는 후처리부(130)에서 나온 화질 파라미터를 사용하여 실제 인코딩을 한다. 도 9는 타일 별 화질 파라미터가 원영상 타일에 적용되는 방법을 보여주고 있다. 타일의 화질을 결정하는 방법은 우선 타일 별 화질 파라미터 P(m,n)의 평균을 식 (4)와 같이 산출한다.
Figure 112019111555046-pat00007
(4)
Figure 112019111555046-pat00008
는 화질 파라미터의 평균을 나타내고 이를 기준으로 타일 별 화질을 결정하도록 한다. 타일 별 화질을 결정하는 방법은 여기서 2가지 방법을 제시한다.
첫 번째로 양자화 파라미터(Quantization parameter: QP)에 의해 결정하는 방법이다. 양자화 파라미터가 작을수록 더욱 높은 화질로 부호화 되고, 낮으면 그 반대이다. 따라서 화질 파라미터가 클수록 관심 영역이 될 확률이 높으므로 더 낮은 양자화 파라미터를 할당하도록 한다. 이는 수식 (5)와 같이 표현할 수 있다. 수식 5의 QPBasic은 기본 양자화 파라미터를 나타낸다. δ는 가중치로 QPBasic의 크기, 코덱의 종류에 따라 결정되어 진다. QP(m,n)은 (m,n) 번째 타일의 양자화 파라미터를 의미한다.
Figure 112019111555046-pat00009
(5)
타일 별 화질을 결정하는 두 번째 방법으로는 비트 (bit) 할당에 하는 방법이다. 이 경우 화질 파라미터가 큰 타일에는 많은 비트를 할당하고, 화질 파라미터가 작은 영역에는 적은 비트를 할당함으로써 관심 영역을 좋은 화질로 부호화하고자 한다. 수식 (6)의 B는 전체 타일을 위한 총 비트를 의미하며
Figure 112019111555046-pat00010
는 타일 당 평균 비트를 의미한다.
Figure 112019111555046-pat00011
(6)
타일 당 비트 B(m,n)는 화질 파라미터에 비례하여 비트 할당을 수행하도록 하며 이는 수식 (7)과 같이 표현할 수 있다. α는 가중치로
Figure 112019111555046-pat00012
의 크기, 코덱의 종류에 따라 결정되어 진다. B(m,n)의 총합이 다시 B가 되게 하기 위하여 수식 (8), (9)와 같이 정규화를 수행하여 최종 타일 별 비트인
Figure 112019111555046-pat00013
를 생성한다.
Figure 112019111555046-pat00014
(7)
Figure 112019111555046-pat00015
(8)
Figure 112019111555046-pat00016
(9)
관심 영역 지도는 매 프레임마다 생성될 필요는 없다. 영상의 연속성을 감안할 때 주기적으로 관심 영역을 생성해내기만 하면 되고 F 프레임마다 관심 영역이 생성된다고 하면, F 프레임을 위한 타일(m,n)에 대한 비트는 수식 (10)과 같이 표현할 수 있다.
Figure 112019111555046-pat00017
(10)
양자화 파라미터로 할당하라는 경우라면 다음 관심 영역 지도가 생성될 때까지 QP(m,n)을 적용하도록 한다.
지금까지 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
종래 기술들은 타일 기반 스트리밍 시스템만을 고려하였고 타일 간의 화질을 어떻게 설정할 것인지에 대해서는 명시하지 않았다. 반면, 본 발명의 실시예에서는 타일 간의 양자화 파라미터 및 비트를 결정하는 방법을 제시하였다.
이하에서는 본 발명의 실시예에 따른 타일 부호화 장치를 구현할 수 있는 하드웨어 구조에 대해, 이하에서 도 10을 참조하여 상세히 설명한다.
도 10는 본 발명의 다른 실시예에 따른 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 장치로 기능할 수 있는 영상 부호화 시스템의 하드웨어 구조를 나타낸 블록도이다. 본 발명의 실시예에 따른 영상 부호화 시스템은, 도 10에 도시된 바와 같이, 입력부(210), 프로세서(220), 출력부(230) 및 저장부(240)를 포함한다.
입력부(210)는 외부 저장매체, 외부 기기, 통신망 등을 통해 영상 데이터를 입력받는 수단이고, 프로세서(220)는 입력된 영상에 대해 타일 부호화를 수행하기 위한 CPU들과 GPU들의 집합니다.
타일 부호화를 수행함에 있어 프로세서(220)는 전술한 실시예에서 제시한 방법을 이용한다. 저장부(240)는 프로세서(220)가 관심 영역 기반 타일 부호화를 수행함에 있어 필요한 저장공간을 제공하는 내부 저장매체이다.
출력부(230)는 프로세서(220)에서 타일 부호화된 영상 스트림을 외부 저장매체, 외부 기기, 통신망 등으로 출력한다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 해상도 감소부
120 : 관심 영역 검출부
130 : 후처리부
140 : 타일 영상 비디오 인코더부

Claims (12)

  1. 영상의 해상도를 감소시키는 단계;
    해상도가 감소된 영상으로 관심 영역 지도를 검출하는 단계;
    검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 단계;
    결정된 화질 파라미터로 각 타일을 부호화하는 단계;를 포함하고,
    영상은,
    스테레오 영상이고,
    검출 단계는,
    스테레오 영상을 구성하는 두 영상 중 한 영상에 대해서만, 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    검출 단계는,
    검출된 관심 영역 지도를 스테레오 영상을 구성하는 영상의 개수 만큼 반복하여, 스테레오 영상의 관심 영역 지도를 생성하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  4. 청구항 1에 있어서,
    검출 단계는,
    해상도가 감소된 영상과 동일한 해상도의 관심 영역 지도를 검출하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  5. 청구항 1에 있어서,
    결정 단계는,
    관심 영역 지도에서 각 타일에 해당하는 영역의 값들을 이용하여, 타일 별 화질 파라미터를 결정하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  6. 청구항 5에 있어서,
    결정 단계는,
    관심 영역 지도에서 각 타일에 해당하는 영역의 값들의 평균을 각 타일 별 화질 파라미터로 결정하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  7. 청구항 5에 있어서,
    결정 단계는,
    관심 영역 지도에서 각 타일에 해당하는 영역의 값들 중 임계 값 보다 큰 값들의 개수를 이용하여 각 타일 별 화질 파라미터로 결정하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  8. 청구항 1에 있어서,
    부호화 단계는,
    화질 파라미터에 반비례하는 양자화 파라미터를 할당하여, 타일을 부호화하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  9. 청구항 1에 있어서,
    부호화 단계는,
    화질 파라미터에 비례하도록 타일 당 비트를 할당하여, 타일을 부호화하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  10. 영상의 해상도를 감소시키는 감소부;
    해상도가 감소된 영상으로 관심 영역 지도를 검출하는 검출부;
    검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 처리부;
    결정된 화질 파라미터로 각 타일을 부호화하는 인코더;를 포함하고,
    영상은,
    스테레오 영상이고,
    검출부는,
    스테레오 영상을 구성하는 두 영상 중 한 영상에 대해서만, 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 것을 특징으로 하는 분할 영상 비디오 부호화 장치.
  11. 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 단계;
    검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 단계;
    결정된 화질 파라미터로 각 타일을 부호화하는 단계;를 포함하고,
    영상은,
    스테레오 영상이고,
    검출 단계는,
    스테레오 영상을 구성하는 두 영상 중 한 영상에 대해서만, 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 것을 특징으로 하는 분할 영상 비디오 부호화 방법.
  12. 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 검출부;
    검출된 관심 영역 지도를 타일 구조에 맞게 변형하고, 타일 별로 화질 파라미터를 결정하는 처리부;
    결정된 화질 파라미터로 각 타일을 부호화하는 인코더;를 포함하고,
    영상은,
    스테레오 영상이고,
    검출부는,
    스테레오 영상을 구성하는 두 영상 중 한 영상에 대해서만, 해상도가 감소된 영상으로 관심 영역 지도를 검출하는 것을 특징으로 하는 분할 영상 비디오 부호화 장치.
KR1020190137269A 2019-10-31 2019-10-31 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치 KR102320315B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190137269A KR102320315B1 (ko) 2019-10-31 2019-10-31 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190137269A KR102320315B1 (ko) 2019-10-31 2019-10-31 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210051691A KR20210051691A (ko) 2021-05-10
KR102320315B1 true KR102320315B1 (ko) 2021-11-02

Family

ID=75917664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137269A KR102320315B1 (ko) 2019-10-31 2019-10-31 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102320315B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101584115B1 (ko) * 2009-03-31 2016-01-12 삼성전자주식회사 시각적 관심맵 생성 장치 및 방법
KR101220223B1 (ko) * 2010-12-13 2013-01-09 한국전자통신연구원 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치

Also Published As

Publication number Publication date
KR20210051691A (ko) 2021-05-10

Similar Documents

Publication Publication Date Title
US10582196B2 (en) Generating heat maps using dynamic vision sensor events
US10499082B2 (en) Optimized coding method for omnidirectional video, computer readable storage medium and computer device
US10242462B2 (en) Rate control bit allocation for video streaming based on an attention area of a gamer
KR100669837B1 (ko) 입체 비디오 코딩을 위한 포어그라운드 정보 추출 방법
US20210329299A1 (en) Methods for Full Parallax Light Field Compression
CN113170234A (zh) 多向视频的自适应编码和流式传输
EP3922032A1 (en) Quantization step parameter for point cloud compression
CN112188209A (zh) 视频流解码方法、装置、计算机设备和存储介质
CA3057924A1 (en) System and method to optimize the size of a video recording or video transmission by identifying and recording a region of interest in a higher definition than the rest of the image that is saved or transmitted in a lower definition format
JP2022533754A (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
WO2019138163A1 (en) A method and technical equipment for encoding and decoding volumetric video
WO2021170906A1 (en) An apparatus, a method and a computer program for volumetric video
JP5801614B2 (ja) 画像処理装置、画像処理方法
KR102320315B1 (ko) 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치
JP5729825B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CN117280680A (zh) 动态网格对齐的并行方式
Ma et al. A fast background model based surveillance video coding in HEVC
KR102053814B1 (ko) 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법
JP4860763B2 (ja) 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体
WO2019185983A1 (en) A method, an apparatus and a computer program product for encoding and decoding digital volumetric video
US20230412849A1 (en) Mesh vertex displacements coding
US20240089499A1 (en) Displacement coding for mesh compression
US20240163477A1 (en) 3d prediction method for video coding
US20230306687A1 (en) Mesh zippering
US20240163476A1 (en) 3d prediction method for video coding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant