KR102053814B1 - 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법 - Google Patents
배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법 Download PDFInfo
- Publication number
- KR102053814B1 KR102053814B1 KR1020180069806A KR20180069806A KR102053814B1 KR 102053814 B1 KR102053814 B1 KR 102053814B1 KR 1020180069806 A KR1020180069806 A KR 1020180069806A KR 20180069806 A KR20180069806 A KR 20180069806A KR 102053814 B1 KR102053814 B1 KR 102053814B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- input
- background
- foreground
- degree
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000000926 separation method Methods 0.000 title claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 60
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims description 27
- 238000010801 machine learning Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000006866 deterioration Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법에 관한 것이며, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은, (a) 입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성하는 단계; (b) 상기 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성하는 단계; (c) 상기 입력 360도 영상 및 상기 입력 배경 영상에 기초하여, 상기 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리하는 단계; 및 (d) 분리된 상기 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성하는 단계를 포함할 수 있다.
Description
본원은 고정 카메라 등으로부터 획득한 360도 영상을 배경 영상과 전경 영상으로 분리하여 전송하는 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법에 관한 것이다.
가상 현실 기술의 개발과 함께 360도 영상 수가 급격히 증가하고 있으며, 360도 영상에 대한 표준화 또한 진행되고 있다. 360도 영상은 기존 2D 영상과 달리 1개 이상의 이미지 센서를 사용해 전체 공간을 캡처하기 때문에, 일반적으로 4k 이상의 고해상도를 갖는다
360도 영상은 구 형태의 영상으로, 구의 중심으로부터 사용자의 뷰(Viewport)가 생성된다. Head Mounted Display(HMD) 사용 시 사용자의 헤드 모션에 따라서, 스마트폰 사용시 스마트폰의 움직임에 따라서 디스플레이 영역이 변경된다. 이에 따라 사용자는 매 순간 360도 영상 전체가 아닌 일부 영역인 뷰포트만을 시청한다는 중요 특성에 의해, 고해상도의 360도 영상의 모든 영역은 동일하게 전송되어 복호화 되지만 디스플레이 되지 않는 영역이 존재하므로 대역을 비효율적으로 소비하게 된다.
이런 비효율적인 대역 사용을 개선하고자 사용자의 시청 방향을 예측하고 예측 결과인 영역별 확률에 따라서 우선적으로 대역을 할당하거나, 품질을 차별화하여 360도 영상 스트림을 구성하는 시스템들이 개발되고 있다. 그러나 시청 방향은 360도 영상 콘텐츠에 따라, 사용자의 선호도에 따라 크게 달라질 수 있어 예측이 어렵고, 상기 기술은 예측 정확도에 의존성이 높기 때문에, 예측이 부정확할 시 이를 보상하는 메커니즘이 없다면 시청 화질이 저하될 수 있다.
360도 영상 중 360도 이미지 센서를 이동시키면서 촬영한 영상은 모든 영역이 동적으로 변화하기 때문에 시청 방향의 예측이 어렵다. 그러나 고정형 360 이미지 센서로 촬영한 영상에서는 고정적이고 변화가 적은 배경 영역이 아닌, 사람이나 자동차 등 변화가 많은 전경 영역을 위주로 시청할 확률이 높다. 이에 따라 고정형 이미지 센서 등으로부터 획득한 360도 영상 내 영역을 사용자가 시청 확률이 높은 전경 영역과 그렇지 않은 배경으로 분할하여 전경, 배경에 다른 설정으로 전송하거나 영역 별 전송을 제어하는 방법 및 장치가 필요하다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2017-0014805호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 고정형 360도 영상과 같은 360도 영상의 스트리밍 시 시청하고 있지 않은 영역에 대한 비효율적인 대역 사용을 효과적으로 개선하기 위한 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은, (a) 입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성하는 단계; (b) 상기 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성하는 단계; (c) 상기 입력 360도 영상 및 상기 입력 배경 영상에 기초하여, 상기 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리하는 단계; 및 (d) 분리된 상기 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 입력 360도 영상은 고정형 360도 영상일 수 있다.
상기 (a) 단계는, 상기 복수의 프레임에 대하여 Weighted Temporal Average 또는 Gaussian Mixture Model을 이용하여 상기 입력 배경 영상을 생성할 수 있다.
또한, 상기 (b) 단계에서, 상기 밝기 변화율은 인접 프레임 간의 차분 또는 평균 밝기 값의 차이를 이용하여 계산될 수 있다.
또한, 상기 (b) 단계는, 상기 밝기 변화율의 크기에 비례하도록 프레임율을 설정하여 입력 배경 영상을 인코딩하거나, 상기 밝기 변화율의 크기가 소정의 크기 이상이면 상기 소정의 크기 미만일 때보다 프레임율을 높여 입력 배경 영상을 인코딩하거나, 상기 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 인코딩할 수 있다.
또한, 상기 (c) 단계는, 상기 입력 배경 영상과 상기 입력 360도 영상의 차분에 대한 문턱치를 기준으로 입력 전경 영상을 분리하거나, 머신 러닝에서의 영상 내 객체 검출 및 인식 기능을 이용하여 입력 전경 영상을 분리할 수 있다.
또한, 상기 (d) 단계는, (d1) 분리된 상기 입력 전경 영상에 대하여 객체 별 라벨링을 수행하여 객체 별 라벨 정보를 생성하는 단계; (d2) 상기 객체 별 라벨링에 기초하여 인접 프레임 간 객체 별로 동일 객체인지 여부를 판별하고 인접 프레임 간 객체 별 크기 및 위치 중 적어도 하나에 관한 변경 정보를 업데이트하는 객체 별 추적을 수행하는 단계; (d3) 상기 객체 별 라벨링 및 상기 객체 별 추적에 기초하여 상기 복수의 프레임 각각에 대한 객체 별 타일을 결정하는 단계; (d4) 결정된 상기 객체 별 타일에 기반하여 상기 입력 360도 영상으로부터 상기 복수의 프레임 각각에 대한 객체 별 서브 이미지를 추출하는 단계; (d5) 추출된 상기 객체 별 서브 이미지에 대응하는 객체 별 타일에 관한 정보 및 외부로부터 전달받은 시청 방향 정보에 기초하여, 상기 객체 별 서브 이미지마다의 객체 별 비트율을 결정하는 단계; 및 (d6) 생성된 상기 객체 별 라벨 정보, 추출된 상기 객체 별 서브 이미지 및 결정된 상기 객체 별 비트율을 고려하여 객체 영상을 인코딩하는 단계를 포함할 수 있다.
또한, 상기 (d1) 단계에서, 상기 객체 별 라벨링은, 상기 입력 배경 영상과 상기 입력 360도 영상의 차분 및 이진화를 통해 생성된 이진 전경 영상에서 상호 연결된 것으로 판단되는 복수의 전경 픽셀을 하나의 객체로 처리하고, 처리된 적어도 하나의 객체 별로 고유 ID, 위치정보 및 크기정보를 포함하는 객체 별 라벨 정보를 생성하도록 이루어질 수 있다.
또한, 상기 (d2) 단계에서, 상기 객체 별 추적은, 상기 객체 별 라벨 정보에 기반한 객체 별 위치 및 크기의 유사도를 이용한 객체 추적 방법, 또는 머신 러닝을 이용한 객체 추적 방법에 의해, 인접 프레임 간 동일 객체인지 판별하여 이루어지고, 상기 (d3) 단계에서, 상기 객체 별 타일은, 상기 객체 별 라벨 정보 및 상기 객체 별 추적 결과를 이용하여 각 객체를 포함하는 크기 및 위치로 결정될 수 있다.
또한, 상기 (d5) 단계에서, 상기 객체 별 비트율은, 상기 시청 방향 정보로부터 파악되는 시청 방향과 객체의 위치 사이의 이격 거리 및 객체에 대응하는 객체 별 타일의 크기를 고려하여 결정될 수 있다.
또한, 상기 객체 별 비트율은, 상기 이격 거리에 반비례하고, 상기 객체 별 타일의 크기에 비례하게 결정될 수 있다.
또한, 영상 스트리밍 장치에 의한 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은, (e) 다른 영상 스트리밍 장치로부터, 상기 (b) 단계를 통해 인코딩된 배경 영상 및 상기 (d) 단계를 통해 인코딩된 객체 영상을 전송받아 재구성 360도 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 (e) 단계는, (e1) 전송받은 인코딩된 배경 영상을 디코딩하는 단계; (e2) 디코딩된 배경 영상 중 입력 배경 영상보다 낮은 프레임율이 할당된 배경 영상을 메모리부에 임시 저장하는 단계; (e3) 전송받은 인코딩된 객체 영상을 디코딩하는 단계; 및 (e4) 상기 디코딩된 배경 영상, 상기 디코딩된 객체 영상, 객체 별 라벨 정보에 포함된 객체 별 위치정보, 및 상기 메모리부에 임시 저장된 배경 영상을 이용하여 프레임을 재구성함으로써 상기 재구성 360도 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 (e) 단계는, (e5) 프레임 재구성에 의한 화질 열화를 개선하도록 상기 재구성 360도 영상을 후처리하는 단계를 더 포함할 수 있다.
한편, 본원의 일 실시예에 따른 영상 스트리밍 장치 및 방법에 의한 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치는, 입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성하는 배경 생성부; 상기 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성하는 배경 인코더; 상기 입력 360도 영상 및 상기 입력 배경 영상에 기초하여 상기 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리하는 전경 분리부; 및 분리된 상기 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성하는 전경 처리부를 포함할 수 있다.
또한, 상기 입력 360도 영상은 고정형 360도 영상일 수 있다.
또한, 상기 배경 생성부는, 상기 복수의 프레임에 대하여 Weighted Temporal Average 또는 Gaussian Mixture Model을 이용하여 상기 입력 배경 영상을 생성할 수 있다.
또한, 상기 배경 인코더에서, 상기 밝기 변화율은 인접 프레임 간의 차분 또는 평균 밝기 값의 차이를 이용하여 계산될 수 있다.
또한, 상기 배경 인코더는, 상기 밝기 변화율의 크기에 비례하도록 프레임율을 설정하여 입력 배경 영상을 인코딩하거나, 상기 밝기 변화율의 크기가 소정의 크기 이상이면 상기 소정의 크기 미만일 때보다 프레임율을 높여 입력 배경 영상을 인코딩하거나, 상기 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 인코딩할 수 있다.
또한, 상기 전경 분리부는, 상기 입력 배경 영상과 상기 입력 360도 영상의 차분에 대한 문턱치를 기준으로 입력 전경 영상을 분리하거나, 머신 러닝에서의 영상 내 객체 검출 및 인식 기능을 이용하여 입력 전경 영상을 분리할 수 있다.
또한, 상기 전경 처리부는, 분리된 상기 입력 전경 영상에 대하여 객체 별 라벨링을 수행하여 객체 별 라벨 정보를 생성하는 라벨링부; 상기 객체 별 라벨링에 기초하여 인접 프레임 간 객체 별로 동일 객체인지 여부를 판별하고 인접 프레임 간 객체 별 크기 및 위치 중 적어도 하나에 관한 변경 정보를 업데이트하는 객체 별 추적을 수행하는 추적부; 상기 객체 별 라벨링 및 상기 객체 별 추적에 기초하여 상기 복수의 프레임 각각에 대한 객체 별 타일을 결정하는 타일 결정부; 결정된 상기 객체 별 타일에 기반하여 상기 입력 360도 영상으로부터 상기 복수의 프레임 각각에 대한 객체 별 서브 이미지를 추출하는 객체 영상 추출부; 추출된 상기 객체 별 서브 이미지에 대응하는 객체 별 타일에 관한 정보 및 외부로부터 전달받은 시청 방향 정보에 기초하여, 상기 객체 별 서브 이미지마다의 객체 별 비트율을 결정하는 비트율 결정부; 및 생성된 상기 객체 별 라벨 정보, 추출된 상기 객체 별 서브 이미지 및 결정된 상기 객체 별 비트율을 고려하여 객체 영상을 인코딩하는 인코딩부를 포함할 수 있다.
또한, 상기 라벨링부에서, 상기 객체 별 라벨링은, 상기 입력 배경 영상과 상기 입력 360도 영상의 차분 및 이진화를 통해 생성된 이진 전경 영상에서 상호 연결된 것으로 판단되는 복수의 전경 픽셀을 하나의 객체로 처리하고, 처리된 적어도 하나의 객체 별로 고유 ID, 위치정보 및 크기정보를 포함하는 객체 별 라벨 정보를 생성하도록 이루어질 수 있다.
또한, 상기 추적부에서, 상기 객체 별 추적은, 상기 객체 별 라벨 정보에 기반한 객체 별 위치 및 크기의 유사도를 이용한 객체 추적 방법, 또는 머신 러닝을 이용한 객체 추적 방법에 의해, 인접 프레임 간 동일 객체인지 판별하여 이루어지고, 상기 타일 결정부에서, 상기 객체 별 타일은, 상기 객체 별 라벨 정보 및 상기 객체 별 추적 결과를 이용하여 각 객체를 포함하는 크기 및 위치로 결정될 수 있다.
또한, 상기 비트율 결정부에서, 상기 객체 별 비트율은, 상기 시청 방향 정보로부터 파악되는 시청 방향과 객체의 위치 사이의 이격 거리 및 객체에 대응하는 객체 별 타일의 크기를 고려하여 결정될 수 있다.
또한, 상기 객체 별 비트율은, 상기 이격 거리에 반비례하고, 상기 객체 별 타일의 크기에 비례하게 결정될 수 있다.
또한, 다른 영상 스트리밍 장치로부터, 상기 배경 인코더를 통해 인코딩된 배경 영상 및 상기 전경 처리부를 통해 인코딩된 객체 영상을 전송받아 재구성 360도 영상을 생성하는 영상 수신 장치를 더 포함할 수 있다.
또한, 상기 영상 수신 장치는, 전송받은 인코딩된 배경 영상을 디코딩하는 배경 디코딩부; 디코딩된 배경 영상 중 입력 배경 영상보다 낮은 프레임율이 할당된 배경 영상을 임시 저장하는 배경 메모리; 전송받은 인코딩된 객체 영상을 디코딩하는 전경 디코딩부; 및 상기 디코딩된 배경 영상, 상기 디코딩된 객체 영상, 객체 별 라벨 정보에 포함된 객체 별 위치정보, 및 상기 배경 메모리에 임시 저장된 배경 영상을 이용하여 프레임을 재구성함으로써 상기 재구성 360도 영상을 생성하는 배경/전경 재구성부를 포함할 수 있다.
또한, 상기 영상 수신 장치는, 프레임 재구성에 의한 화질 열화를 개선하도록 상기 재구성 360도 영상을 후처리하는 화질 개선 필터링부를 더 포함할 수 있다.
본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체에 저장될 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 배경 영상 "G 전경 영상을 분리하고, 밝기 변화율에 기초하여 인코딩된 배경 영상을 생성함으로써, 시청 확률이 낮은 배경 영역에 대한 대역 사용을 낮추어 대역 사용 효율을 높이거나, 보다 시청할 확률이 높은 전경 영역에 사용하여 대역 사용 효율을 높여 사용자의 시청 화질을 높일 수 있는 효과가 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치로 입력받은 360도 영상의 원본(a)의 예와, 360도 영상의 원본(a)으로부터 생성된 입력 배경 영상(b)의 예를 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 배경 인코더의 블록도를 나타낸 도면이다..
도 4는 본원의 일 실시예에 따른 전경 인코더의 블록도를 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 영상 차분 방법을 사용하여 이진 전경 영상을 생성한 예를 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 머신 러닝에서의 영상 내 객체 검출 및 인식 기능을 활용하여 입력 전경 영상을 분리한 예를 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 타일의 예시를 나타낸 도면이다.
도 8은 본원의 일 실시예에 따른 객체 검출 변화에 따른 타일 적용의 예를 나타낸 도면이다.
도 9는 본원의 일 실시예에 따른 영상 수신 장치의 개략적인 구성을 나타낸 도면이다.
도 10은 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법에 대한 동작 흐름도이다.
도 11은 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법에서 단계 S140의 세부 흐름을 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치로 입력받은 360도 영상의 원본(a)의 예와, 360도 영상의 원본(a)으로부터 생성된 입력 배경 영상(b)의 예를 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 배경 인코더의 블록도를 나타낸 도면이다..
도 4는 본원의 일 실시예에 따른 전경 인코더의 블록도를 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 영상 차분 방법을 사용하여 이진 전경 영상을 생성한 예를 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 머신 러닝에서의 영상 내 객체 검출 및 인식 기능을 활용하여 입력 전경 영상을 분리한 예를 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 타일의 예시를 나타낸 도면이다.
도 8은 본원의 일 실시예에 따른 객체 검출 변화에 따른 타일 적용의 예를 나타낸 도면이다.
도 9는 본원의 일 실시예에 따른 영상 수신 장치의 개략적인 구성을 나타낸 도면이다.
도 10은 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법에 대한 동작 흐름도이다.
도 11은 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법에서 단계 S140의 세부 흐름을 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)의 개략적인 구성을 나타낸 도면이고, 도 2는 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)로 입력받은 360도 영상의 원본(a)의 예와, 360도 영상의 원본(a)으로부터 생성된 입력 배경 영상(b)의 예를 나타낸 도면이다. 이하에서는 설명의 편의상 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)를 ‘본 장치(1)’라 지칭하기로 한다.
도 1 및 도 2를 참조하면, 본 장치(1)는 360도 영상을 입력 받아 배경 영상의 생성 및 전경 영상의 분리를 수행할 수 있다. 본 장치(1)는 배경 생성부(100), 배경 인코더(200), 전경 분리부(300) 및 전경 처리부(400)를 포함할 수 있다.
여기서 360도 영상이란, 카메라, 이미지 센서 등을 포함하는 영상 촬영 장치가 360도 범위로 촬영한 영상을 의미하며, 360도 영상에는 고정형 360도 영상이 포함될 수 있다. 이때, 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)는 전반적인 360도 영상에 적용될 수 있는 기술이나, 전경 영상 위주로 시청할 확률이 높은 고정형 360도 영상에 적용될 경우, 시청 확률이 높은 전경 영상과 그렇지 않은 배경 영상으로 분할함으로써 대역 사용 효율을 높일 수 있으므로, 본 장치(1)의 효율을 극대화할 수 있다.
배경 생성부(100)는 입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성할 수 있다. 여기서 입력 360도 영상은 앞서 설명한 360도 영상을 포함할 수 있으며, 입력 배경 영상은 입력 360도 영상에 대해, 예를 들어, Weighted Temporal Average 또는 Gaussian Mixture Model을 사용하여 생성될 수 있으나, 이에만 한정되는 것은 아니다.
배경 생성부(100)는 도 2에 나타난 입력 배경 영상(b)의 예와 같이, 입력 360도 영상을 기반으로 입력 배경 영상을 생성할 수 있다.
배경 생성부(100)는 입력 360도 영상으로부터 생성된 입력 배경 영상을 배경 인코더(200)로 전송할 수 있다.
도 3은 본원의 일 실시예에 따른 배경 인코더(200)의 블록도를 나타낸 것으로, 배경 인코더(200)는 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성할 수 있다.
구체적으로, 배경 인코더(200)에서 밝기 변화율은 인접 프레임 간의 차분 또는 평균 밝기 값의 차이를 이용하여 계산할 수 있다. 이때, 밝기 변화율의 크기에 비례하도록 프레임율을 설정하여 입력 배경 영상을 인코딩하거나, 밝기 변화율의 크기가 소정의 크기 이상이면 소정의 크기 미만일 때보다 프레임율을 높여 입력 배경 영상을 인코딩하거나, 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 인코딩할 수 있다.
배경 인코더(200)는 변화율 계산부(210), 프레임율 결정부(220) 및 인코딩부(230)를 포함할 수 있다.
변화율 계산부(210)는 배경 생성부(100)에서 전송한 입력 배경 영상을 수신하여 입력 배경 영상의 밝기를 저장하고, 이후의 입력 배경 영상과의 변화율을 계산할 수 있다. 예를 들어, 입력 배경 영상의 밝기 변화율은 인접 프레임 간의 차분 또는 평균 밝기 값의 차이를 이용하여 계산될 수 있으며, 이에 한정하지 않는다.
프레임율 결정부(220)는 변화율 계산부(210)에서 계산한 밝기 변화율을 입력 받아, 밝기 변화율이 일정 값보다 이하이면 프레임율을 낮게 설정하고, 밝기 변화율이 일정 값보다 크다면 프레임율을 비교적 높게 설정한다. 여기서 일정 값이란, 사용자에 의해 기설정 된 소정 크기의 값을 의미할 수 있다.
구체적으로, 프레임율 결정부(220)는 변화율 계산부(210)에서 계산한 밝기 변화율을 입력 받아, 밝기 변화율의 크기에 비례하도록 입력 배경 영상의 프레임율을 설정하거나, 밝기 변화율의 크기가 소정 크기 이상이면 상기 소정 크기 미만일 때보다 입력 배경 영상의 프레임율을 높여 설정하거나, 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 설정할 수 있다.
인코딩부(230)는 프레임 결정부(220)에서 설정한 입력 배경 영상의 프레임율을 이용해 입력 배경 영상을 인코딩(encoding)함으로써, 인코딩된 배경 영상을 생성하여 전송할 수 있다.
도 4는 본원의 일 실시예에 따른 전경 인코더(430)의 블록도를 나타낸 것이다.
도 1 및 도 4를 참고하면, 전경 분리부(300)는 입력 360도 영상 및 입력 배경 영상에 기초하여 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리할 수 있으며, 전경 처리부(400)는 분리된 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성할 수 있다
구체적으로 살펴보면, 전경 분리부(300)는 입력 360도 영상과 배경 생성부(100)에서 생성된 입력 배경 영상을 입력 받아 두 영상 간 차분 또는 머신 러닝(machine learning) 객체 인식 방법을 이용하여 입력 전경 영상을 분리할 수 있다. 이때, 전경 분리부는, 입력 배경 영상과 입력 360도 영상의 차분에 대한 문턱치를 기준으로 입력 전경 영상을 분리하거나, 머신 러닝(machine learning)에서의 영상 내 객체 검출 및 인식 기능을 이용하여 입력 전경 영상을 분리할 수 있다.
도 5는 본원의 일 실시예에 따른 영상 차분 방법을 사용하여 이진 전경 영상을 생성한 예시이고, 도 6은 본원의 일 실시예에 따른 머신 러닝(machine learning)에서의 영상 내 객체 검출 및 인식 기능을 활용하여 입력 전경 영상(FG)을 분리한 예시이다.
전경 분리부(300)는 입력 360도 영상과 배경 생성부(100)에서 생성된 입력 배경 영상의 차분에 대한 문턱치 기준으로 입력 전경 영상을 분리하거나, 머신 러닝(machine learning)에서의 영상 내 객체 검출 및 인식 기능을 이용하여 입력 전경 영상을 분리할 수 있다.
이때, 분리된 입력 전경 영상은 도 5에 나타난 바와 같이 이진 전경 영상 형태로 나타날 수 있으며, 전경 분리부(300)는 영상 차분 방법 및 머신 러닝(machine learning)의 객체 인식 방법 이외에 다른 영상 분리 방법을 이용하여 입력 전경 영상을 분리할 수 있다.
다시 도 1 및 도 4를 참고하면, 전경 처리부(400)는 분리된 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성할 수 있다. 전경 처리부(400)는 분리된 입력 전경 영상에 대하여 객체 별 라벨링을 수행하여 객체 별 라벨 정보를 생성하는 라벨링부(410), 객체 별 라벨링에 기초하여 인접 프레임 간 객체 별로 동일 객체인지 여부를 판별하고 인접 프레임 간 객체 별 크기 및 위치 중 적어도 하나에 관한 변경 정보를 업데이트 하는 객체 별 추적을 수행하는 추적부(420) 및 전경 인코더(430)를 포함할 수 있고, 전경 인코더(430)는 객체 별 라벨링 및 객체 별 추적에 기초하여 복수의 프레임 각각에 대한 객체 별 타일을 결정하는 타일 결정부(431), 결정된 객체 별 타일에 기반하여 입력 360도 영상으로부터 복수의 프레임 각각에 대한 객체 별 서브 이미지를 추출하는 객체 영상 추출부(432), 추출된 객체 별 서브 이미지에 대응하는 객체 별 타일에 관한 정보 및 외부로부터 전달받은 시청 방향 정보에 기초하여, 객체 별 서브 이미지마다의 객체 별 비트율을 결정하는 비트율 결정부(433) 및 생성된 객체 별 라벨 정보, 추출된 객체 별 서브 이미지 및 결정된 객체 별 비트율을 고려하여 객체 영상을 인코딩하는 인코딩부(434)를 포함할 수 있다.
라벨링부(410)는 분리된 입력 전경 영상에 대하여 객체 별 라벨링(labeling)을 수행하여 객체 별 라벨 정보를 생성할 수 있다.
이때, 객체 별 라벨링이란, 입력 360도 영상과 입력 배경 영상의 차분 및 이진화를 통해 생성된 이진 전경 영상에서 상호 연결된 것으로 판단되는 복수의 전경 픽셀을 하나의 객체로 처리하고, 처리된 적어도 하나의 객체 별로 고유 ID, 위치정보 및 크기정보를 포함하는 객체 별 라벨 정보를 생성하도록 이루어질 수 있다. 여기서 객체는 일 예로 인물, 동물, 무대, 구조물, 배경(예를 들어, 하늘, 땅, 들판 등) 등을 의미할 수 있으나, 이에만 한정되는 것은 아니다.
라벨링부(410)에서는 입력 전경 영상을 입력받아 4-연결법 또는 8-연결법을 이용해 연결된 전경 픽셀들을 하나의 객체로 처리하여, 영상 내 객체 별 좌상단 좌표, 폭, 넓이 등의 위치정보를 계산하고, 객체 별 고유 ID를 부여할 수 있다. 여기서 전경 픽셀들을 하나의 객체로 처리하는 방법의 예시로 4-연결법 또는 8-연결법을 언급하였으나, 이에만 한정되는 것은 아니다.
추적부(420)는 객체 별 라벨링에 기초하여 인접 프레임 간 객체 별로 동일 객체인지 여부를 판별하고 인접 프레임 간 객체 별 크기 및 위치 중 적어도 하나에 관한 변경 정보를 업데이트하는 객체 별 추적을 수행할 수 있다.
여기서 객체 별 추적은, 예를 들어, 객체 별 라벨 정보에 기반한 객체 별 위치 및 크기의 유사도를 이용한 객체 추적 방법, 또는 머신 러닝(machine learning)을 이용한 객체 추적 방법에 의해 인접 프레임 간 동일 객체인지 판별하여 이루어질 수 있으며, 이에 한정하지 않는다.
추적부(420)는 객체의 위치 또는 크기의 유사도를 비교하거나, 머신 러닝(machine learning)을 이용한 객체추적 방법을 이용하여 이전 프레임과 현재 프레임의 객체들이 동일 객체인지 판별할 수 있고, 객체 ID를 연결하며 객체 별 위치정보를 업데이트하고, 이를 리스트화하여 저장할 수 있다.
전경 인코더(430)는 추적부(420)로부터 객체 별 위치정보 및 입력 배경 영상을 포함하여 수신할 수 있다. 전경 인코더(430)는 타일 결정부(431), 객체 영상 추출부(432), 비트율 결정부(433) 및 인코딩부(434)을 포함할 수 있다.
타일 결정부(431)는 객체 별 라벨링 및 객체 별 추적에 기초하여 복수의 프레임 각각에 대한 객체 별 타일을 결정한다.
도 7은 본원의 일 실시예에 따른 타일의 예시를 나타낸 것이고, 도 8은 본원의 일 실시예에 따른 객체 검출 변화에 따른 타일 적용의 예시를 나타낸 것이다.
도 7 및 도 8을 참고하면, 타일 결정부(431)는 객체의 위치 정보에 따라 객체 별 너비와 높이를 계산할 수 있다. 구체적으로, 타일 결정부(431)는 설정한 타일의 너비 및 높이 값에 따라 객체 전체를 포함할 수 있는 타일을 결정할 수 있다. 타일은 타일의 좌상단과 객체의 좌상단을 일치 시켰을 때, 한 객체의 모든 영역을 포함할 수 있는 모양의 타일로 결정될 수 있으며, 객체 별 타일은 객체 별 라벨 정보 및 객체 별 추적 결과를 이용하여 각 객체를 포함하는 크기 및 위치로 결정될 수 있다.
객체 영상 추출부(432)는 결정된 객체 별 타일에 기반하여 입력 360도 영상으로부터 복수의 프레임 각각에 대한 객체 별 서브 이미지를 추출한다. 여기서 도 8의 예시와 같이, 타일의 공간 안에 객체 영역의 영상을 채운 후 빈 공간은 객체 인접 영역으로 채워지는데, 여기서 객체 인접 영역을 포함한 객체 이미지를 객체 별 서브 이미지로 정의할 수 있다.
객체 영상 추출부(432)는 결정된 타일의 모양에 따라 설정된 인덱스(Index) 값을 입력 받고, 입력 360도 영상에서 객체의 결정된 타일의 사이즈만큼의 서브 이미지를 추출하고 인코딩 할 수 있다. 이때, 객체의 크기가 크게 변화하지 않으면, 같은 타일로 서브 이미지가 추출될 확률이 높으며, 이에 따라 객체 별 서브 이미지의 해상도가 변할 확률이 낮고, 해상도가 동일하면 객체 별 서브 이미지가 하나의 비디오로 구성되어, 인코딩 될 수 있다.
다시 도 1 및 도 4를 참고하면, 비트율 결정부(433)는 추출된 객체 별 서브 이미지에 대응하는 객체 별 타일에 관한 정보 및 외부로부터 전달받은 시청 방향 정보에 기초하여 객체 별 서브 이미지마다의 객체 별 비트율을 결정할 수 있다.
구체적으로, 비트율 결정부(433)에서는 서브 이미지 별 영상과 위치 정보를 입력 받고, 클라이언트로부터 사용자의 시청 방향 정보를 입력 받을 수 있다. 비트율 결정부(433)는 사용자의 시청 방향에 따라, 객체 별 시청 방향과의 거리, 서브 이미지 별 크기를 고려하여 비트율을 할당할 수 있다. 다음 수학식 1은 비트율 결정부(433)가 시청 방향과 타일의 크기를 고려하여 비트율을 할당한 예시를 나타낸 것이다.
여기서, 가중치(Weight)는 객체에 할당된 타일의 크기인 서브 이미지 크기에 비례하고, 사용자의 뷰(Viewport)의 중심점과의 거리에 반비례하도록 설정될 수 있다. 
는 타일의 크기와 거리 간 중요 비율을 조정하는 상수이며, 
는 채널 대역폭의 추정 오류를 고려하는 상수이다. 비트율(Bitrate)은 사용 가능한 채널의 대역 정보를 RTP의 클라이언트 리포트를 통하여 추정한 값과, 수학식 1에 따라 계산된 우선순위에 따른 가중치의 곱으로 계산된다.
비트율 결정부(433)에서 객체 별 비트율은, 시청 방향 정보로부터 파악되는 시청 방향과 객체의 위치 사이의 이격 거리 및 객체에 대응하는 객체 별 타일의 크기를 고려하여 결정될 수 있다. 또한, 객체 별 비트율은 이격 거리에 반비례하고, 객체 별 타일의 크기에 비례하게 결정될 수 있다.
인코딩부(434)는 라벨링부(410)에서 생성된 객체 별 라벨 정보, 객체 영상 추출부(432)에서 추출된 객체 별 서브 이미지 및 비트율 결정부(433)에서 결정된 객체 별 비트율을 고려하여 객체 영상을 인코딩할 수 있다.
도 9는 본원의 일 실시예에 따른 영상 수신 장치(500)의 개략적인 구성을 나타낸 도면이다.
본원인 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)는, 다른 영상 스트리밍 장치로부터 배경 인코더(200)를 통해 인코딩된 배경 영상 및 전경 처리부(400)를 통해 인코딩된 객체 영상을 전송받아 재구성 360도 영상을 생성하는 영상 수신 장치(500)를 더 포함할 수 있다.
또한, 영상 수신 장치(500)는 전송받은 인코딩된 배경 영상을 디코딩하는 배경 디코딩부(510), 디코딩된 배경 영상 중 입력 배경 영상 보다 낮은 프레임율이 할당된 배경 영상을 임시 저장하는 배경 메모리(520), 전송받은 인코딩된 객체 영상을 디코딩하는 전경 디코딩부(530) 및 디코딩된 배경 영상, 디코딩된 객체 영상, 객체 별 라벨 정보에 포함된 객체 별 위치정보, 및 배경 메모리(520)에 임시 저장된 배경 영상을 이용하여 프레임을 재구성함으로써 재구성 360도 영상을 생성하는 배경/전경 재구성부(510)를 포함할 수 있다. 더불어, 영상 수신 장치(500)는 프레임 재구성에 의한 화질 열화를 개선하도록 재구성 360도 영상을 후처리하는 화질 개선 필터링부(550)을 더 포함할 수 있다.
영상 수신 장치(500)는 배경 영상과 전경 영상을 별도로 디코딩할 수 있다. 구체적으로, 영상 수신 장치(500)는 전송 받은 인코딩된 배경 영상을 디코딩하는 배경 디코딩부(510) 및 전송받은 인코딩된 객체 영상을 개별적으로 디코딩하는 전경 디코딩부(530)를 각각 구비함으로써 배경 영상과 전경 영상을 별도로 디코딩할 수 있다.
이때, 배경 영상은 프레임율이 비교적 낮기 때문에 별도의 메모리가 필요함에 따라, 디코딩된 배경 영상 중 입력 배경 영상보다 낮은 프레임율이 할당된 배경 영상을 임시 저장하는 배경 메모리(520)를 포함할 수 있다.
배경/전경 재구성부(540)는 저장되어 있는 배경 영상과 디코딩된 객체 별 서브 이미지 영상과 대응하는 위치정보를 입력받아 재구성 360도 영상을 생성할 수 있다. 구체적으로, 배경/전경 재구성부(540)는 디코딩된 배경 영상, 디코딩된 객체 영상, 객체 별 라벨 정보에 포함된 객체 별 위치 정보, 및 배경 메모리(520)에 임시 저장된 배경 영상을 이용하여 프레임을 재구성함으로써, 재구성 360도 영상을 생성할 수 있다.
이때, 프레임 재구성시, 서브 이미지와 배경 영상의 차분 신호를 보내는 SVC 기법 또는 일반 오버레이 기법 등이 사용될 수 있으며, 프레임 재구성 방법은 이에 한정하지 않는다.
여기서, 본 장치(1)는 객체 별 서브 이미지를 추출하여 전송하고, 배경은 원본 배경 영상의 프레임율보다 낮으므로, 객체 이미지의 경계와 배경 영상간 화질 저하가 존재할 수 있다. 따라서, 영상 수신 장치(500)는 프레임 재구성에 의한 화질 열화를 개선하도록 재구성 360도 영상을 후처리하는 화질 개선 필터링부(550)를 더 포함할 수 있다.
더불어, 영상 수신 장치(500)는 재구성된 360도 영상을 렌더링하며 사용자의 시청 방향 정보를 주기적으로 본 장치(1)에 전송하는 렌더링부(560)를 더 포함할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 10은 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법에 대한 동작 흐름도이다.
도 10에 도시된 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은 앞서 설명된 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)에 대하여 설명된 내용은 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 10을 참고하면, 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은 입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성(S110)한다.
여기서 입력 360도 영상은, 카메라, 이미지 센서 등을 포함하는 영상 촬영 장치가 360도 범위로 촬영한 영상을 의미하며, 입력 배경 영상은 입력 360도 영상에 대해 Weighted Temporal Average 또는 Gaussian Mixture Model을 사용하여 생성될 수 있으나, 이에만 한정되는 것은 아니다.
다음으로, 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성(S120)할 수 있다.
여기서 배경 영상의 밝기 변화율은 인접 프레임 간의 차분 또는 평균 밝기 값의 차이를 이용하여 계산될 수 있으며, 이에 한정하지 않는다.
이때, 밝기 변화율이 일정 값보다 이하이면 프레임율을 낮게 설정하고, 밝기 변화율이 일정 값보다 크다면 프레임율을 비교적 높게 설정 할 수 있다. 여기서 일정 값이란, 사용자에 의해 기설정된 소정 크기의 값을 의미한다.
구체적으로, 단계 S120에서는 밝기 변화율의 크기에 비례하도록 프레임율을 설정하여 입력 배경 영상을 인코딩하거나, 밝기 변화율의 크기가 소정의 크기 이상이면 소정의 크기 미만일 때보다 프레임율을 높여 입력 배경 영상을 인코딩하거나, 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 인코딩할 수 있다.
다음으로, 입력 360도 영상 및 입력 배경 영상에 기초하여, 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리(S130) 할 수 있다.
단계 S130에서는, 입력 360도 영상과 단계 S120에서 생성된 입력 배경 영상 간 차분 또는 머신 러닝(machine learning) 객체 인식 방법을 이용하여 입력 전경 영상을 분리 할 수 있다.
이때, 단계 S130에서는 입력 배경 영상과 입력 360도 영상의 차분에 대한 문턱치를 기준으로 입력 전경 영상을 분리하거나, 머신 러닝(machine learning)에서의 영상 내 객체 검출 및 인식 기능을 이용하여 입력 전경 영상을 분리할 수 있으며, 이외에 다른 영상 분리 방법을 이용하여 입력 전경 영상을 분리할 수 있어, 이에 한정하지 않는다.
다음으로, 분리된 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성(S140)할 수 있다.
도 11은 본원의 일 실시예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법에서 단계 S140의 세부 흐름을 나타낸 도면이다.
도 11을 참고하면, 먼저, 분리된 입력 전경 영상에 대하여 객체 별 라벨링을 수행하여 객체 별 라벨 정보를 생성(S141)할 수 있다.
이때, 객체 별 라벨링이란, 입력 360도 영상과 입력 배경 영상의 차분 또는 이진화를 통해 생성된 이진 전경 영상에서 상호 연결된 것으로 판단되는 복수의 전경 픽셀을 하나의 객체로 처리하고, 처리된 적어도 하나의 객체 별로 고유 ID, 위치정보 및 크기정보를 포함하는 객체 별 라벨 정보를 생성하도록 이루어질 수 있다. 여기서 객체는 일 예로 인물, 동물, 무대, 구조물, 배경(예를 들어, 하늘, 땅, 들판 등) 등을 의미할 수 있으나, 이에만 한정되는 것은 아니다.
단계 S140에서는 입력 전경 영상을 입력받아 4-연결법 또는 8-연결법을 이용하여 연결된 전경 픽셀들을 하나의 객체로 처리하여, 영상 내 객체 별 좌상단 좌표, 폭, 넓이 등의 위치 정보를 계산하고, 객체 별 고유 ID를 부여할 수 있다. 여기서 전경 픽셀들을 하나의 객체로 처리하는 방법의 예시로 4-연결법 또는 8-연결법을 언급하였으나, 이에만 한정되는 것은 아니다.
다음으로, 객체 별 라벨링에 기초하여 인접 프레임 간 객체 별로 동일 객체인지 여보를 판별하고, 인접 프레임 간 객체 별 크기 및 위치 중 적어도 하나에 관한 변경 정보를 업데이트하는 객체 별 추적을 수행(S142)할 수 있다.
여기서 객체 별 추적은 객체 별 라벨 정보에 기반한 객체 별 위치 및 크기의 유사도를 이용한 객체 추적 방법, 또는 머신 러닝(machine learning)을 이용한 객체 추적 방법에 의해 인접 프레임 간 동일 객체인지 판별하여 이루어질 수 있으며, 객체 추적 방법의 경우, 이에 한정하지 않는다.
다음으로, 객체 별 라벨링 및 단계 S142에서 수행된 객체 별 추적에 기초하여 복수의 프레임 각각에 대한 객체 별 타일을 결정(S143)할 수 있다.
단계 S143에서는 객체의 위치 정보에 따라 객체 별 너비(width)와 높이(height)를 계산 할 수 있다. 구체적으로, 단계 S143에서는 설정한 타일의 너비(width)와 높이(height) 값에 따라 객체 전체를 포함할 수 있는 타일을 결정할 수 있다. 타일은 타일의 좌상단과 객체의 좌상단을 일치 시켰을 때, 한 객체의 모든 영역을 포함할 수 있는 모양의 타일로 결정될 수 있으며, 객체 별 타일은 객체 별 라벨 정보 및 객체 별 추적 결과를 이용하여 각 객체를 포함하는 크기 및 위치로 결정될 수 있다.
다음으로, 결정된 객체 별 타일에 기반하여 입력 360도 영상으로부터 복수의 프레임 각각에 대한 객체 별 서브 이미지를 추출(S144)할 수 있다. 여기서 객체 별 서브 이미지란, 앞서 설명된 바와 같이, 타일의 공간 안에 객체 영역의 영상을 채운 후 빈 공간은 객체 인접 영역으로 채워지는데, 객체 인접 영역을 객체 별 서브 이미지로 정의할 수 있다.
단계 S144에서 결정된 타일의 모양에 따라 설정된 인덱스(Index) 값을 입력 받고, 입력 360도 영상에서 객체의 결정된 타일의 사이즈만큼의 서브 이미지를 추출하고 인코딩할 수 있다. 이때, 객체의 크기가 크게 변화하지 않으면, 같은 타일로 서브 이미지가 추출될 확률이 높으며, 이에 따라 객체 별 서브 이미지의 해상도가 변할 확률이 낮고, 해상도가 동일하면 객체 별 서브 이미지가 하나의 비디오로 구성되고, 인코딩 할 수 있다.
다음으로, 추출된 객체 별 서브 이미지에 대응하는 객체 별 타일에 관한 정보 및 외부로부터 전달받은 시청 방향 정보에 기초하여, 객체 별 서브 이미지마다의 객체 별 비트율을 결정(s145)할 수 있다.
단계 S145에서는 서브 이미지 별 영상과 위치 정보를 입력 받고, 클라이언트로부터 사용자의 시청 방향 정보를 입력 받을 수 있다. 사용자의 시청 방향에 따라, 객체 별 시청 방향과의 거리, 서브 이미지 별 크기를 고려하여 비트율을 할당할 수 있다. 시청 방향과 타일의 크기를 고려한 비트율을 할당한 예시는 본원인 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)의 상세한 설명에서 언급했으므로, 이하 생략하기로 한다.
객체 별 비트율은, 시청 방향 정보로부터 파악되는 시청 방향과 객체의 위치 사이의 이격 거리 및 객체에 대응하는 객체 별 타일의 크기를 고려하여 결정될 수 있다.
다음으로, 생성된 객체 별 라벨 정보, 추출된 객체 별 서브 이미지 및 결정된 객체 별 비트율을 고려하여 객체 영상을 인코딩(s146)할 수 있다.
본원인 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은 다른 영상 스트리밍 장치로부터, 단계 S120을 통해 인코딩된 배경 영상 및 단계 S140을 통해 인코딩된 객체 영상을 전송받아 재구성 360도 영상을 생성하는 방법을 더 포함할 수 있다. 재구성 360도 영상을 생성하는 방법은 앞서 설명된 영상 수신 장치(500)에 의하여 수행될 수 있으며, 영상 수신 장치(500)에 대하여 설명된 내용은 재구성 360도 영상을 생성하는 방법에 동일하게 적용될 수 있다.
재구성 360도 영상을 생성하는 방법은, 먼저, 인코딩된 배경 영상과 인코딩된 객체 영상을 별도로 디코딩할 수 있다. 이때, 배경 영상은 프레임율이 비교적 낮기 때문에, 별도의 메모리에 낮은 프레임율이 할당된 배경 영상을 임시 저장할 수 있다.
다음으로, 디코딩된 배경 영상, 디코딩된 객체 영상, 객체 별 라벨 정보에 포함된 객체 별 위치 정보, 및 임시 저장된 배경 영상을 이용하여 프레임을 재구성함으로써, 재구성 360도 영상을 생성할 수 있다,
이때, 프레임 재구성시, 서브 이미지와 배경 영상의 차분 신호를 보내는 SVC 기법 또는 일반 오버레이 기법 등이 사용될 수 있으며, 프레임 재구성 방법은 이에 한정하지 않는다.
더불어, 프레임 재구성에 의한 화질 연화를 개선하도록 재구성 360도 영상을 후처리하고, 재구성된 360도 영상을 렌더링하며 사용자의 시청 방향 정보를 주기적으로 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치(1)에 전송하는 단계를 더 포함할 수 있다.
재구성 360도 영상 생성 방법의 경우, 일반적으로 영상 합성에 활용되는 통상적인 기술로 대체되어 사용될 수 있으며, 본 상술한 설명에 국한되지 않는다.
상술한 설명에서, 단계 S110 내지 단계 S140은 본원의 구현 예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수 있고, 단계 간의 순서가 변경될 수 있다.
본원의 일 실시 예에 따른 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본원을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본원의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 배경 생성부
200: 배경 인코더
210: 변화율 계산부
220: 프레임율 결정부
230: 인코딩부
300: 전경 분리부
400: 전경 처리부
410: 라벨링부
420: 추적부
430: 전경 인코더
431: 타일 결정부
432: 객체 영상 추출부
433: 비트율 결정부
434: 인코딩부
500: 영상 수신 장치
510: 배경 디코딩부
520: 배경 메모리
530: 전경 디코딩부
540: 배경/전경 재구성부
550: 화질 개선 필터링부
560: 렌더링부
200: 배경 인코더
210: 변화율 계산부
220: 프레임율 결정부
230: 인코딩부
300: 전경 분리부
400: 전경 처리부
410: 라벨링부
420: 추적부
430: 전경 인코더
431: 타일 결정부
432: 객체 영상 추출부
433: 비트율 결정부
434: 인코딩부
500: 영상 수신 장치
510: 배경 디코딩부
520: 배경 메모리
530: 전경 디코딩부
540: 배경/전경 재구성부
550: 화질 개선 필터링부
560: 렌더링부
Claims (16)
- 영상 스트리밍 장치에 의한 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법으로서,
(a) 입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성하는 단계;
(b) 상기 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성하는 단계;
(c) 상기 입력 360도 영상 및 상기 입력 배경 영상에 기초하여, 상기 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리하는 단계; 및
(d) 분리된 상기 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성하는 단계를 포함하고,
상기 (b) 단계는,
상기 밝기 변화율의 크기에 비례하도록 프레임율을 설정하여 입력 배경 영상을 인코딩하거나,
상기 밝기 변화율의 크기가 소정의 크기 이상이면 상기 소정의 크기 미만일 때보다 프레임율을 높여 입력 배경 영상을 인코딩하거나,
상기 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 인코딩하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제1항에 있어서,
상기 입력 360도 영상은 고정형 360도 영상인 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제1항에 있어서,
상기 (a) 단계는, 상기 복수의 프레임에 대하여 Weighted Temporal Average 또는 Gaussian Mixture Model을 이용하여 상기 입력 배경 영상을 생성하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제1항에 있어서,
상기 (b) 단계에서,
상기 밝기 변화율은 인접 프레임 간의 차분 또는 평균 밝기 값의 차이를 이용하여 계산되는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 삭제
- 제1항에 있어서,
상기 (c) 단계는,
상기 입력 배경 영상과 상기 입력 360도 영상의 차분에 대한 문턱치를 기준으로 입력 전경 영상을 분리하거나,
머신 러닝에서의 영상 내 객체 검출 및 인식 기능을 이용하여 입력 전경 영상을 분리하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제1항에 있어서,
상기 (d) 단계는,
(d1) 분리된 상기 입력 전경 영상에 대하여 객체 별 라벨링을 수행하여 객체 별 라벨 정보를 생성하는 단계;
(d2) 상기 객체 별 라벨링에 기초하여 인접 프레임 간 객체 별로 동일 객체인지 여부를 판별하고 인접 프레임 간 객체 별 크기 및 위치 중 적어도 하나에 관한 변경 정보를 업데이트하는 객체 별 추적을 수행하는 단계;
(d3) 상기 객체 별 라벨링 및 상기 객체 별 추적에 기초하여 상기 복수의 프레임 각각에 대한 객체 별 타일을 결정하는 단계;
(d4) 결정된 상기 객체 별 타일에 기반하여 상기 입력 360도 영상으로부터 상기 복수의 프레임 각각에 대한 객체 별 서브 이미지를 추출하는 단계;
(d5) 추출된 상기 객체 별 서브 이미지에 대응하는 객체 별 타일에 관한 정보 및 외부로부터 전달받은 시청 방향 정보에 기초하여, 상기 객체 별 서브 이미지마다의 객체 별 비트율을 결정하는 단계; 및
(d6) 생성된 상기 객체 별 라벨 정보, 추출된 상기 객체 별 서브 이미지 및 결정된 상기 객체 별 비트율을 고려하여 객체 영상을 인코딩하는 단계를 포함하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제7항에 있어서,
상기 (d1) 단계에서, 상기 객체 별 라벨링은, 상기 입력 배경 영상과 상기 입력 360도 영상의 차분 및 이진화를 통해 생성된 이진 전경 영상에서 상호 연결된 것으로 판단되는 복수의 전경 픽셀을 하나의 객체로 처리하고, 처리된 적어도 하나의 객체 별로 고유 ID, 위치정보 및 크기정보를 포함하는 객체 별 라벨 정보를 생성하도록 이루어지는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제7항에 있어서,
상기 (d2) 단계에서, 상기 객체 별 추적은, 상기 객체 별 라벨 정보에 기반한 객체 별 위치 및 크기의 유사도를 이용한 객체 추적 방법, 또는 머신 러닝을 이용한 객체 추적 방법에 의해, 인접 프레임 간 동일 객체인지 판별하여 이루어지고,
상기 (d3) 단계에서, 상기 객체 별 타일은, 상기 객체 별 라벨 정보 및 상기 객체 별 추적 결과를 이용하여 각 객체를 포함하는 크기 및 위치로 결정되는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제7항에 있어서,
상기 (d5) 단계에서, 상기 객체 별 비트율은, 상기 시청 방향 정보로부터 파악되는 시청 방향과 객체의 위치 사이의 이격 거리 및 객체에 대응하는 객체 별 타일의 크기를 고려하여 결정되는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제10항에 있어서,
상기 객체 별 비트율은, 상기 이격 거리에 반비례하고, 상기 객체 별 타일의 크기에 비례하게 결정되는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제1항에 있어서,
(e) 다른 영상 스트리밍 장치로부터, 상기 (b) 단계를 통해 인코딩된 배경 영상 및 상기 (d) 단계를 통해 인코딩된 객체 영상을 전송받아 재구성 360도 영상을 생성하는 단계를 더 포함하는 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제12항에 있어서,
상기 (e) 단계는,
(e1) 전송받은 인코딩된 배경 영상을 디코딩하는 단계;
(e2) 디코딩된 배경 영상 중 입력 배경 영상보다 낮은 프레임율이 할당된 배경 영상을 메모리부에 임시 저장하는 단계;
(e3) 전송받은 인코딩된 객체 영상을 디코딩하는 단계; 및
(e4) 상기 디코딩된 배경 영상, 상기 디코딩된 객체 영상, 객체 별 라벨 정보에 포함된 객체 별 위치정보, 및 상기 메모리부에 임시 저장된 배경 영상을 이용하여 프레임을 재구성함으로써 상기 재구성 360도 영상을 생성하는 단계를 포함하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 제13항에 있어서,
상기 (e) 단계는, (e5) 프레임 재구성에 의한 화질 열화를 개선하도록 상기 재구성 360도 영상을 후처리하는 단계를 더 포함하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법. - 영상 스트리밍 장치에 의한 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치로서,
입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성하는 배경 생성부;
상기 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성하는 배경 인코더;
상기 입력 360도 영상 및 상기 입력 배경 영상에 기초하여 상기 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리하는 전경 분리부; 및
분리된 상기 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성하는 전경 처리부를 포함하고,
상기 배경 인코더는,
상기 밝기 변화율의 크기에 비례하도록 프레임율을 설정하여 입력 배경 영상을 인코딩하거나,
상기 밝기 변화율의 크기가 소정의 크기 이상이면 상기 소정의 크기 미만일 때보다 프레임율을 높여 입력 배경 영상을 인코딩하거나,
상기 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 인코딩하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치. - 제1항 내지 제4항 및 제6항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180069806A KR102053814B1 (ko) | 2018-06-18 | 2018-06-18 | 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180069806A KR102053814B1 (ko) | 2018-06-18 | 2018-06-18 | 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102053814B1 true KR102053814B1 (ko) | 2019-12-09 |
Family
ID=68837487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180069806A KR102053814B1 (ko) | 2018-06-18 | 2018-06-18 | 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102053814B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038133A (zh) * | 2021-05-24 | 2021-06-25 | 星航互联(北京)科技有限公司 | 一种基于卫星传输的视频压缩传输系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080022276A (ko) * | 2006-09-06 | 2008-03-11 | 엘지전자 주식회사 | 영상표시기기의 화면 제어장치 및 방법 |
| KR20130049607A (ko) * | 2011-11-04 | 2013-05-14 | 엘지이노텍 주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| WO2017204174A1 (en) * | 2016-05-25 | 2017-11-30 | Canon Kabushiki Kaisha | Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates |
-
2018
- 2018-06-18 KR KR1020180069806A patent/KR102053814B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080022276A (ko) * | 2006-09-06 | 2008-03-11 | 엘지전자 주식회사 | 영상표시기기의 화면 제어장치 및 방법 |
| KR20130049607A (ko) * | 2011-11-04 | 2013-05-14 | 엘지이노텍 주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| WO2017204174A1 (en) * | 2016-05-25 | 2017-11-30 | Canon Kabushiki Kaisha | Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038133A (zh) * | 2021-05-24 | 2021-06-25 | 星航互联(北京)科技有限公司 | 一种基于卫星传输的视频压缩传输系统 |
| CN113038133B (zh) * | 2021-05-24 | 2021-12-24 | 星航互联(北京)科技有限公司 | 一种基于卫星传输的视频压缩传输系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10242462B2 (en) | Rate control bit allocation for video streaming based on an attention area of a gamer | |
| US11232598B2 (en) | Distinct encoding and decoding of stable information and transient/stochastic information | |
| CN106717007B (zh) | 云端流媒体服务器 | |
| KR20100002032A (ko) | 영상 생성 방법, 영상 처리 방법, 및 그 장치 | |
| KR20150003776A (ko) | 비디오 스트림의 선택된 공간 부분을 인코딩하는 방법 및 장치 | |
| JP2001086507A (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置 | |
| CN109697387B (zh) | 运动方向预测方法、装置、电子设备及存储介质 | |
| KR102384174B1 (ko) | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| RU2013120007A (ru) | Устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программа прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений, и программа прогнозирующего декодирования изображений | |
| GB2558644A (en) | Video encoding | |
| US9912948B2 (en) | Macroblock partitioning and motion estimation using object analysis for video compression | |
| JP5950605B2 (ja) | 画像処理システム、及び、画像処理方法 | |
| KR102126511B1 (ko) | 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치 | |
| US20240171769A1 (en) | Parameter map for machine-learned video compression | |
| KR102053814B1 (ko) | 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치 및 방법 | |
| JP2009212605A (ja) | 情報処理方法、情報処理装置及びプログラム | |
| JP5801614B2 (ja) | 画像処理装置、画像処理方法 | |
| JP6626319B2 (ja) | 符号化装置、撮像装置、符号化方法、及びプログラム | |
| KR102595096B1 (ko) | 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 | |
| JP4622264B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| JP4622265B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム | |
| US11265553B2 (en) | Obtaining a target representation of a time sample of a signal | |
| KR102320315B1 (ko) | 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치 | |
| KR20230111573A (ko) | Hevc 압축영상에서의 효율적인 객체 검출을 위한 비트스트림 특징 이미지 생성 방법 및 시스템 | |
| US20210092424A1 (en) | Adaptive framerate for an encoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |