KR20170005366A - 고 해상도 영상에서의 영상 추출 장치 및 방법 - Google Patents
고 해상도 영상에서의 영상 추출 장치 및 방법 Download PDFInfo
- Publication number
- KR20170005366A KR20170005366A KR1020160084443A KR20160084443A KR20170005366A KR 20170005366 A KR20170005366 A KR 20170005366A KR 1020160084443 A KR1020160084443 A KR 1020160084443A KR 20160084443 A KR20160084443 A KR 20160084443A KR 20170005366 A KR20170005366 A KR 20170005366A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- extracted
- bitstream
- entire
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004891 communication Methods 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 abstract description 9
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 13
- 230000006978 adaptation Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
다중 영상에서의 영상 추출 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 사용자가 보유한 디바이스의 스크린 보다 큰 사이즈의 영상을 서비스 사업자가 별도의 변환 과정 없이 전달하는 경우, 기 정의된 영역의 영상을 사용자 디바이스에서 실시간으로 추출하여 디바이스의 디스플레이 화면에 맞게 디스플레이하거나, 기 정의된 영역의 영상을 해당 영상을 요청한 단말의 성능에 맞게 네트워크 게이트웨이 혹은 스트리밍 서버에서 실시간으로 추출하여 전달하거나, 사용자 단말을 통해 사용자가 네비게이션하여 선택한 위치를 전달받아 해당 영역의 영상을 추출하여 특정 위치의 확대 등 사용자의 시점을 다각도로 제공할 수 있는 영상 선택/추출 장치, 서비스 및 그 방법을 제공하는 데 일 목적이 있다.
본 실시예의 일 측면에 의하면, 사용자가 보유한 디바이스의 스크린 보다 큰 사이즈의 영상을 서비스 사업자가 별도의 변환 과정 없이 전달하는 경우, 기 정의된 영역의 영상을 사용자 디바이스에서 실시간으로 추출하여 디바이스의 디스플레이 화면에 맞게 디스플레이하거나, 기 정의된 영역의 영상을 해당 영상을 요청한 단말의 성능에 맞게 네트워크 게이트웨이 혹은 스트리밍 서버에서 실시간으로 추출하여 전달하거나, 사용자 단말을 통해 사용자가 네비게이션하여 선택한 위치를 전달받아 해당 영역의 영상을 추출하여 특정 위치의 확대 등 사용자의 시점을 다각도로 제공할 수 있는 영상 선택/추출 장치, 서비스 및 그 방법을 제공하는 데 일 목적이 있다.
Description
본 실시예는 고 해상도 영상에서 일부 영상을 추출할 수 있는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 UHD(Ultra High Definition) 컨텐츠의 수량이 점점 증가하고 있다. 또한 영상 컨텐츠의 해상도가 커짐에 따라 다양한 웨어러블 기기들을 이용하여 UHD 360 파노라마 등 원하는 영상의 일부를 확대하거나 전체를 볼 수 있도록 하는 다양한 시도가 이루어지고 있다.
이러한 UHD 서비스 확대에 따라 초고화질 서비스의 제공을 위한 TV 등의 디스플레이 장치의 해상도는 점점 커지고 있으나, 모바일 단말은 QHD(Quad High Definition)의 해상도를 지원하는 단말 정도가 출시되고 있다. 모바일 단말에서도 UHD 컨텐츠를 지원할 수 있으나, Full HD 이상의 해상도를 갖는 컨텐츠는 모바일 단말에서 차별적인 화질의 차이를 보이지 않는다. 또한, 모바일 단말은 스크린 크기에 제한이 있기 때문에, 큰 해상도의 영상을 재생함에 있어 단말의 버퍼 사이즈 제한, 다운 샘플링에 따른 화질 저하 등의 제약이 존재한다.
일정한 해상도의 컨텐츠는 일반적으로 실시간 트랜스코더를 이용하여 비트율 혹은 해상도의 크기를 줄여 모바일 단말로 제공된다. 그러나 원본 영상의 해상도가 클수록 비트율만 줄이기에는 한계가 있어, 전송 전 해상도 조정을 위한 영상 편집이 필요하다.
컨텐츠의 해상도가 커짐에 따라 컨텐츠를 그대로 재생할 수 없는 기존 legacy 단말(TV, 스마트폰, 패드, 모니터 등)들도 마찬가지로 트랜스코더를 이용하여 원본을 미리 편집한 컨텐츠를 제공받아야 한다.
전술한 경우, 제공받은 영상을 디코딩하고 편집하여 재 인코딩해야하는 트랜스코딩 절차가 발생한다. 트랜스코딩 절차에 의해 품질 저하 및 지연(Delay) 등의 문제가 생겨 컨텐츠의 제공이 제한적일 수 있으며, 영상의 재가공에 따른 비용이 증가할 수 있다.
또한, 헤드엔드(Headend)가 영상 재가공을 수행할 경우, 해상도가 커진 만큼 특정 부분의 재생에 대한 사용자 선택 권한도 제한된다. 따라서 원하는 영상을 선택하여 볼 수 있는 초고화질의 특징이 활용되기 어렵다는 단점이 있다.
본 실시예는, 사용자가 보유한 디바이스의 스크린 보다 큰 사이즈의 영상을 서비스 사업자가 별도의 변환 과정 없이 전달하는 경우, 기 정의된 영역의 영상을 사용자 디바이스에서 실시간으로 추출하여 디바이스의 디스플레이 화면에 맞게 디스플레이하거나, 기 정의된 영역의 영상을 해당 영상을 요청한 단말의 성능에 맞게 네트워크 게이트웨이 혹은 스트리밍 서버에서 실시간으로 추출하여 전달하거나, 사용자 단말을 통해 사용자가 네비게이션하여 선택한 위치를 전달받아 해당 영역의 영상을 추출하여 특정 위치의 확대 등 사용자의 시점을 다각도로 제공할 수 있는 영상 선택/추출 장치, 서비스 및 그 방법을 제공하는 데 일 목적이 있다.
본 실시예의 일 측면에 의하면, 하나 이상의 타일로 구성됨을 지시하는 정보가 헤더 정보에 포함된 전체 비트 스트림을 수신하는 제1 수신부와 사용자의 요청, 네트워크의 환경 또는 단말의 성능에 따른 영상 선택정보를 수신하는 제2 수신부와 상기 제1 수신부가 수신한 전체 비트 스트림으로부터 영상 코드 및 헤더 정보를 분석하는 영상정보 분석부 및 상기 전체 비트 스트림의 헤더 정보를 상기 제2 수신부가 수신한 영상 선택정보에 따라 수정하여 신규 헤더 정보를 생성하며, 상기 신규 헤더 정보와 상기 영상 선택정보에 대응하는 영상 코드를 포함하는 추출 비트 스트림을 생성하는 추출 비트스트림 생성부를 포함하는 것을 특징으로 하는 영상 추출장치를 제공한다.
본 실시예의 다른 측면에 의하면, 하나 이상의 타일로 구성됨을 지시하는 정보가 헤더 정보에 포함된 전체 비트 스트림 및 영상 선택정보를 수신하는 과정과 상기 전체 비트 스트림으로부터 영상 코드 및 헤더 정보를 분석하는 과정과 상기 전체 비트 스트림의 헤더 정보를 상기 영상 선택정보에 따라 수정하여 신규 헤더정보를 생성하는 과정 및 상기 신규 헤더정보와 상기 영상 선택정보에 대응하는 영상코드를 포함하는 추출 비트 스트림을 생성하는 과정을 포함하는 것을 특징으로 하는 영상 추출방법을 제공한다.
본 실시예의 다른 측면에 의하면, 영상을 포함하는 컨텐츠를 수신하는 수신부 및 상기 컨텐츠에 포함된 영상을 분석하여, 상기 영상의 구성, 상기 영상의 크기 또는 상기 영상을 수신할 단말에 따라 하나 이상의 타일로 구성되도록 상기 타일의 사이즈 또는 픽처 내의 타일의 개수를 설정하여 인코딩(Encoding)하는 부호화부를 포함하는 것을 특징으로 하는 비트 스트림 생성장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 하나 이상의 타일로 구성됨을 지시하는 정보가 헤더 정보에 포함된 전체 비트 스트림 및 상기 전체 비트 스트림에 관한 정보 중 적어도 하나를 수신하는 통신부와 상기 전체 비트 스트림에 관한 정보를 디스플레이하는 디스플레이부와 상기 디스플레이부가 디스플레이하는 전체 비트 스트림에 관한 정보 내에서 사용자가 선택하고자 하는 객체 또는 영역에 관한 정보인 영상 선택정보를 생성하는 사용자 입력부와 상기 전체 비트 스트림의 영상 코드 및 헤더 정보를 분석하여 상기 전체 비트 스트림의 헤더 정보를 상기 영상 선택정보에 따라 수정하여 신규 헤더 정보를 생성하며, 상기 신규 헤더 정보와 상기 영상 선택정보에 대응하는 타일의 영상 정보를 포함하는 추출 비트 스트림을 생성하는 영상 추출부 및 상기 추출 비트 스트림을 복호화(Decoding)하는 디코더를 포함하는 것을 특징으로 하는 영상추출 단말장치를 제공한다.
이상에서 설명한 바와 같이 본 실시예의 일 측면에 따르면, UHD 이상의 초 고화질 컨텐츠에서 사용자가 영상 내 시청을 원하는 부분을 네비게이션하여 선택하면 선택한 부분을 추출함으로써, 단말에서 추출된 영상을 확대하여 디스플레이할 수 있는 효과가 있다.
또한, 본 실시예의 일 측면에 따르면, UHD 이상의 컨텐츠에서 영상 내에서 사용자가 원하는 특정 부분을 추출하거나 네트워크 환경, 단말의 성능 등에 따라 영상의 트래픽을 제어함에 있어, 별도의 트랜스코딩 없이 헤더를 수정하여 영상의 일부를 추출하기 때문에, 트랜스코딩하는데 걸리는 시간에 의한 지연 및 영상품질의 저하 문제를 해결할 수 있으며, 댁 내에서 영상 내 일부를 선택하여 추출할 수 있으므로 사용자 선호도를 즉각적으로 반영할 수 있는 효과가 있다.
도 1(a)는 본 발명의 일 실시예에 따른 영상 추출장치가 네트워크를 통해 사용자 단말기들과 연결된 상태를 나타낸 개략도이다.
도 1(b)는 본 발명의 다른 일 실시예에 따른 추출 스트림이 네트워크를 통해 사용자 단말기들에 전달되는 상태를 나타낸 개략도이다.
도 1(c)는 본 발명의 또 다른 일 실시예에 따른 추출 스트림이 네트워크를 통해 사용자 단말기들에 전달되는 상태를 나타낸 개략도이다.
도 2는 3행 3열의 타일 구조로 분할된 디스플레이 영상의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 영상 추출장치 또는 영상 추출부의 구성을 도시한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 NAL 유닛의 구조를 나타낸 개략도이다.
도 5(a)는 본 발명의 일 실시예에 따른 단말의 구성을 도시한 블럭도이다.
도 5(b)는 본 발명의 다른 일 실시예에 따른 단말의 구성을 도시한 블럭도이다.
도 5(c)는 본 발명의 또 다른 일 실시예에 따른 단말의 구성을 도시한 블럭도이다.
도 6은 본 발명의 일 실시예에 따른 영상의 추출방법을 나타낸 순서도이다.
도 7은 본 발명의 다른 일 실시예에 따른 미디어 표현 서술 정보의 구조를 도시한 도면이다.
도 1(b)는 본 발명의 다른 일 실시예에 따른 추출 스트림이 네트워크를 통해 사용자 단말기들에 전달되는 상태를 나타낸 개략도이다.
도 1(c)는 본 발명의 또 다른 일 실시예에 따른 추출 스트림이 네트워크를 통해 사용자 단말기들에 전달되는 상태를 나타낸 개략도이다.
도 2는 3행 3열의 타일 구조로 분할된 디스플레이 영상의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 영상 추출장치 또는 영상 추출부의 구성을 도시한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 NAL 유닛의 구조를 나타낸 개략도이다.
도 5(a)는 본 발명의 일 실시예에 따른 단말의 구성을 도시한 블럭도이다.
도 5(b)는 본 발명의 다른 일 실시예에 따른 단말의 구성을 도시한 블럭도이다.
도 5(c)는 본 발명의 또 다른 일 실시예에 따른 단말의 구성을 도시한 블럭도이다.
도 6은 본 발명의 일 실시예에 따른 영상의 추출방법을 나타낸 순서도이다.
도 7은 본 발명의 다른 일 실시예에 따른 미디어 표현 서술 정보의 구조를 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1(a)는 본 발명의 일 실시예에 따른 영상 추출장치가 네트워크를 통해 사용자 단말기들과 연결된 상태를 나타낸 개략도이다.
헤드엔드(Headend, 110)는 카메라, 실시간 채널 혹은 스토리지(Storage)에 저장된 컨텐츠를 복수의 타일을 갖는 구조로 부호화(Encoding)하고, 부호화된 전체 스트림을 네트워크(116)를 이용해 영상 추출장치(118)로 전송한다. 헤드엔드(110)는 수신부(112) 및 부호화부(114)를 포함하여 구성될 수 있다.
헤드엔드의 수신부(112)는 카메라, 실시간 채널, 스토리지에 저장된 컨텐츠를 수신하여 부호화부에 전달한다.
헤드엔드의 부호화부(114)는 전체 비트 스트림을 인코딩하며, 인코딩 시 타일의 사이즈와 픽처 내의 타일의 개수를 설정한다. 이때, 부호화부(114)는 영상/장면 구성, 영상 크기, 서비스될 단말 등에 따라 픽처 내의 타일의 개수, 크기 및 위치 등을 적절히 설정할 수 있다. 예를 들어, 전체 스트림이 7680x4320 해상도를 갖는 경우, 부호화부(114)는 3840x2160의 해상도를 제공하는 TV에서도 원활히 시청할 수 있도록 7680x4320 지원 화면 내에서 3840x2160의 해상도로 시청이 가능한 타일 영역을 추출한다. 부호화부(114)는 타일영역을 추출한 후, 추출된 영역만 재생할 수 있도록 인코딩 시 미리 타일을 3840x2160으로 설정하거나 그보다 작은 크기의 여러 타일을 설정하여 인코딩할 수 있다.
이에 따라, 부호화부(114)에 의해 부호화된 전체 비트 스트림의 헤더 정보에는 하나의 디스플레이 픽처당 복수의 타일 구조로 구성됨을 지시하는 정보가 포함된다. 또한, 헤더 정보에는 픽처 내 타일 구조가 쓰였음을 의미하는 플래그 정보와 타일의 가로 개수 및 세로 개수에 대한 정보가 포함된다.
도 2는 3행 3열의 타일 구조로 분할된 디스플레이 영상의 개략도이다.
전술한 바와 같이, 헤드엔드의 부호화부(114)는 하나의 전체 비트 스트림에 대해 영상/장면 구성, 영상 크기, 서비스될 단말 등에 따라 타일의 개수 또는 타일의 사이즈를 설정한다.
도 2의 경우와 같이 하나의 디스플레이 화면은 가로로 3개, 세로로 3개의 타일로 설정될 수 있으며, 각 타일에서는 부호화 단위인 CTB(Coding Tree Block)의 개수가 결정된다.
도 2를 참조하면, 어느 하나의 타일의 폭 방향의 샘플 개수는 그에 세로로 인접하는 타일의 폭 방향의 샘플 개수와 같다. 또한, 어느 하나의 타일의 높이 방향의 샘플 개수는 그에 가로로 인접하는 타일의 높이 방향의 샘플 개수와 같다.
예컨대, 타일 210, 240, 270의 가로 방향의 샘플 개수는 같도록 설정된다. 또한, 타일 210, 220, 230에서 세로 방향의 샘플 개수는 같도록 설정된다. 이와 같이 설정됨으로써 H.265 HEVC(High Efficiency Video Coding)의 타일 구조를 적용할 수 있다.
부호화부(114)는 전체 비트 스트림을 인코딩하며, 전체 비트 스트림에 관한 정보를 파악한다. 전체 비트 스트림에 관한 정보는 전체 비트 스트림을 표현할 수 있는 정보를 의미하는 것으로서, 전체 비트 스트림의 썸네일(Thumbnail) 이미지, 썸네일 비디오, 전체 비트 스트림 중 일부 이미지, 전체 비트 스트림 중 일부 영상 및 전체 비트 스트림의 장면 또는 등장하는 객체 등을 나타내는 텍스트도 포함하는 개념이다.
또한, 헤드엔드의 부호화부(114)는 기 설정된 객체가 위치하는 영역에 대한 타일 위치 정보를 인코딩된 스트림에 부가정보로 전달할 수 있다. 이에 따라, 단말(120, 122)이 영상 내에서 움직임이 존재하는 기 설정된 객체의 움직임을 트래킹(Tracking)하여 기 설정된 객체를 선택해 시청할 수 있도록 한다. 기 설정된 객체는, 예를 들어, 스포츠 경기에 관한 영상에서 특정 선수, 감독, 치어리더 등으로 설정될 수 있다. 부호화부(114)는 영상 내에서 기 설정된 객체가 위치하는 영역을 파악하고, 영상 내에서 기 설정된 객체가 잘 추출될 수 있도록 객체의 크기에 맞추거나 객체의 모양을 유지하여 잘 추출할 수 있도록 타일을 작게 설정하는 등 다양한 크기의 타일을 설정할 수 있다. 부호화부(114)는 추출할 영역의 타일 위치 정보를 영상 추출장치(118)로 전체 비디오 스트림과 먹싱(Muxing)하여 함께 전송할 수 있다. 이때, 기 설정된 객체가 위치하는 영역은 단말의 해상도에 따라 해당 영역이 추출될 수 있도록 해상도별로 타일의 크기, 개수 등이 기 설정되어 있을 수 있다. 예를 들어, 헤드엔드에서 인코딩되어 영상 추출장치로 전달될 스트림이 3840x2160의 해상도를 갖는 반면, 단말은 1920x1080의 해상도를 제공하는 경우, 부호화부(114)는 3840x2160의 해상도를 갖는 스트림과 함께 1920x1080 또는 그 이하의 크기로 설정된 타일 크기, 개수정보를 부가정보로 함께 전달할 수 있다.
영상 추출장치(118)는 헤드엔드(110)로부터 네트워크(116)를 이용하여 전체 비트 스트림과 전체 비트 스트림에 관한 정보를 수신하며, 단말(120, 122)로 전체 비트 스트림에 관한 정보를 전송한다. 영상 추출장치(118)는 댁내 홈게이트웨이 내 일부 기능으로 포함될 수 있다. 영상 추출장치(118)는 단말(120, 122)로부터 단말정보 및 영상 선택정보를 수신한다. 영상 선택정보란 영상 내에서 확대를 원하는 영역 또는 움직임의 트래킹을 원하는 특정 객체의 위치에 관한 정보를 의미한다. 영상 선택정보는 터치 스크린, 리모컨, 마우스, 키보드 등의 소정의 선택장치에 의한 입력으로부터 획득하거나, 사용자의 시선이 향하는 위치를 파악함으로써 사용자의 관심 영역(Region og Interest, ROI)이 어디인지 여부를 파악할 수 있는 아이 트래킹 장치(Eye Tracking Device) 등을 이용하여 획득할 수 있다. 예를 들어, 객체 위치에 관한 정보는 영상의 좌표 위치나 UI를 통해 미리 정의된 객체 ID 등이 될 수 있다. 영상 추출장치(118)는 최대 해상도 등을 포함하는 단말 정보와 지정된 좌표를 이용하여 분할 가능한 타일의 크기를 결정할 수 있다. 즉, 지정된 좌표에 해당되는 타일이 단말의 지원 해상도와 동일한 경우, 영상 추출장치(118)는 해당 타일 한 개를 선택할 수 있다. 해당 타일이 작게 설정이 되어 단말 내에 여러 개의 타일 선택이 가능한 경우, 영상 추출장치(118)는 해당 타일 및 그 주변의 타일을 같이 선택하여 원하는 선택 위치를 결정할 수 있다. 영상 추출장치(118)는 시청자가 전체 영상 혹은 여러 채널에서 특정 영역(선수, 배우, 감독 등)을 동시에 여러 개 선택하는 경우, 해당 타일만을 선정하여 추출 후 재조합도 가능하다. 영상 추출장치(118)는 영상 선택정보를 이용하여 전체 비트 스트림 중 영상 선택정보에 대응되는 영상 타일 부분을 추출한다. 영상 추출장치(118)는 별도의 트랜스 코딩 없이 추출된 영상의 크기에 맞춰 헤더를 변경한 후, 추출한 영상을 단말(120, 122)로 전송한다. 이에 대한 상세한 설명은 도 3을 참조하여 설명하기로 한다.
단말(120, 122)은 영상 추출장치(118)로부터 전체 비트 스트림에 관한 정보를 수신하며, 단말정보 및 영상 선택정보를 영상 추출장치(120)로 전송한다. 단말(120, 122)은 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 테블릿, 개인 휴대 단말기(PDA: Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블 (PSP: PlayStation Portable), 무선통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV, 셋탑박스(Set-Top Box), 미디어 플레이어 등과 같은 사용자 단말기일 수 있다. 단말정보는 단말이 전술한 사용자 단말기 중 어떤 단말기인지에 관한 정보에 해당한다.
도 1(b)는 본 발명의 다른 일 실시예에 따른 추출 스트림이 네트워크를 통해 사용자 단말기들에 전달되는 상태를 나타낸 개략도이다.
헤드엔드(130)는 복수의 타일을 갖는 구조로 전체 비트 스트림을 부호화(Encoding)하고, 스트리밍 서버(136)를 이용해 전체 비트 스트림에 관한 정보를 단말(148, 150)로 전송한다. 또한, 헤드엔드(130)는 단말(148, 150)로부터 영상 선택정보를 수신하고, 전체 비트 스트림 중 영상 선택정보에 대응되는 기 설정된 영역 또는 객체에 대한 추출 비트 스트림을 생성한다. 헤드엔드(130)는 수신부(132), 부호화부(134) 및 스트리밍 서버(136)를 포함하여 구성될 수 있다.
수신부(132)는 도 1(a)에 도시된 수신부(112)와 동일한 동작을 한다.
부호화부(134)는 전체 비트 스트림을 인코딩하며, 인코딩 시 타일의 사이즈와 픽처 내의 타일의 개수를 설정한다. 이때, 부호화부(134)는 영상을 분석하여 확보된 장면 내 객체 구성 정보, 영상 내 중요 영역, 단말의 성능 및 네트워크 환경에 따라 타일의 사이즈와 픽처 내의 타일의 개수 등을 미리 설정할 수 있다. 이에 따라, 부호화부(134)는 기 설정된 영역 또는 객체에 대한 위치 정보를 이용하여 전체 비트 스트림 중 일부분이 사용자 단말에서 재생될 수 있도록 할 수 있다. 예를 들어, 전체 스트림이 7680x4320 해상도를 갖는 경우, 부호화부(134)는 3840x2160의 해상도를 제공하는 TV에서도 원활히 시청할 수 있도록 7680x4320 지원 화면 내에서 3840x2160 이하의 타일 해상도로 나눈다. 특히, 부호화부(134)는 7680x4320 지원 화면 내에서 중요도가 높은 화면 한가운데 또는 장면 내 중요 인물 등을 중심으로 사용자가 원하는 영역이 추출될 수 있도록 3840x2160 이하의 타일 해상도로 나눌 수 있다. 이후, 부호화부(134)는 하나 이상의 타일을 추출하여 해당 TV 해상도에 맞게 시청할 수 있도록 타일을 설정하여 타일 정보와 함께 인코딩한다. 또한, 부호화부(114)는 전체 비트 스트림을 인코딩하며, 전체 비트 스트림에 관한 정보를 파악한다.
스트리밍 서버(136)는 전체 비트 스트림에 관한 정보를 단말(148, 150)로 전송하고, 단말정보와 영상 선택정보를 수신하며, 전체 비트 스트림 중 영상 선택정보에 대응되는 기 설정된 영역 또는 객체에 대한 추출 비트 스트림을 생성한다. 스트리밍 서버(136)는 통신부(138), 위치 추적부(140), 영상 추출부(142) 및 스트림 송신부(144)를 포함하여 구성될 수 있다.
통신부(138)는 부호화부(134)로부터 부호화된 전체 비트 스트림과 전체 비트 스트림에 관한 정보를 수신하며, 단말(148, 150)로 전체 비트 스트림에 관한 정보를 전송한다. 또한, 통신부(138)는 단말(148, 150)로부터 단말정보와 영상 선택정보를 수신한다.
위치 추적부(140)는 통신부(138)가 수신한 단말정보, 영상 선택정보와 영상을 구성하는 타일 구조를 매핑하여 추출할 타일을 결정한다. 위치 추적부(140)는 최대 해상도 등을 포함하는 단말 정보와 수치화한 좌표에 따라 분할 가능한 타일의 크기를 결정할 수 있다. 즉, 수치화한 좌표에 해당되는 타일이 단말의 지원 해상도와 동일한 경우, 해당 타일 한 개를 선택할 수 있다. 해당 타일이 단말의 지원 해상도보다 작은 경우, 해당 타일 및 그 주변의 타일을 같이 선택하여 원하는 선택 위치를 결정할 수 있다. 위치 추적부(140)는 시청자가 전체 영상 혹은 여러 채널에서 특정 영역(선수, 배우, 감독 등)을 동시에 여러 개 선택하는 경우 해당 타일만을 선정하여 추출 후 재조합할 수 있도록 추출해야 할 타일 정보(예: 타일 ID)를 영상 추출부(142)에게 전달한다.
영상 추출부(142)는 통신부(138)로부터 전체 스트림, 위치 추적부(140)로부터 추출해야 할 타일 정보를 수신한다. 영상 추출부(142)는 별도의 트랜스 코딩 없이 추출된 영상의 크기에 맞춰 헤더를 변경한 후, 추출한 영상을 스트림 송신부(144)에 전달한다. 이에 대한 구체적인 설명은 도 3을 참조하여 설명하기로 한다.
스트림 송신부(144)는 영상 추출부(142)에 의해 추출된 영상을 전달받아 단말에게 전달한다. 스트림을 전송하는 방법으로는 크게 스트리밍 서버가 단말에게 스트림을 전송하는 Push 방식과 HTTP 등을 이용해 단말이 스트리밍 서버로부터 스트림을 요청하여 가져가는 Pull 방식으로 나눌 수 있다. Push 방식은 RTP(Real Time Protocol), UDP(User Datagram Protocol) 등을 이용해 서버가 패킷을 전송하는 방식으로, 기존 방송 시스템에서 단말, 네트워크 환경에 상관없이 패킷을 전송하는 방식이다. 단말이 서버로 일정한 비트 스트림을 요청하는 Pull 방식은 HLS(HTTP Live Streaming), MPEG-DASH(Dynamic Adaptive Streaming over HTTP), MPEG MMT(MPEG Media Transport) 등이 있으며, Mobile IPTV 등 네트워크, 단말의 환경에 따라 트래픽 컨트롤이 필요한 인터넷 방송 서비스에서 주로 사용되고 있다. Pull 방식으로 스트림을 전송함에 있어서, 스트리밍 서버는 미디어 표현 서술(MPD: Media Presentation Description) 정보를 단말로 전달하고, 단말은 미디어 표현 서술 정보를 보고 비트 스트림을 요청(GET)한다. 미디어 표현 서술 정보는 단말이 스트리밍 서버(136)로 요청하는 비트 스트림에 대한 정보를 포함하는 정보로서, 이에 대한 구체적인 구조는 도 7을 참조하여 설명하기로 한다.
Pull 방식으로 서비스하는 경우, 영상 선택정보는 미디어 표현 서술 정보를 이용하여 정의될 수 있다. 하나의 컨텐츠에 대해 다양한 비트레이트로 인코딩된 스트림을 서술하기 위해, 기존의 미디어 표현 서술 정보는 개별 스트림의 아이디, URL 정보 등을 Adaptation Set(730) 또는 Representation(740)으로 사용하였다. 동일한 방식으로 특정 객체 또는 영역을 표현하기 위해, 미디어 표현 서술 정보에는 특정 객체 또는 영역에 해당되는 아이디와 URL이 따로 정의될 수 있다. 영상/장면 내 객체의 위치는 다양한 트래킹 기술을 이용하여 위치 추적부(140)에서 결정되며, 영상 추출부(142)가 추출될 타일 정보에 따라 특정 객체 또는 영역을 추출하면 스트림 전송부(144)는 특정 객체 또는 영역으로 정의된 Adaptation Set 내 SegmentURL로 추출되어 새로 생성된 추출 스트림을 전송한다.
도 1(c)는 본 발명의 또 다른 일 실시예에 따른 추출 스트림이 네트워크를 통해 사용자 단말기들에 전달되는 상태를 나타낸 개략도이다.
헤드엔드(160)는 도 1(a)에 도시된 헤드엔드(110)와 동일한 동작을 한다.
단말(168, 172)은 도 1(a)에 도시된 영상 추출장치(118)를 단말 내부에 일부 장치로서 포함하고 있다. 단말(168, 172)은 헤드엔드(160)로부터 전체 비트 스트림 및 전체 비트 스트림에 관한 정보를 수신하며, 전체 비트 스트림에 관한 정보를 이용하여 사용자로부터 영상 선택정보를 수신한다. 단말(168, 172) 내 포함된 각각 영상 추출장치(170, 174)는 전체 비트 스트림 중 영상 선택정보에 대응되는 기 설정된 영역 또는 객체에 대한 추출 비트 스트림을 생성한다. 단말(168, 172)은 추출 비트 스트림을 이용하여 추출한 영상을 디스플레이한다. 영상 추출장치(170, 174)에 대한 설명은 도 3을 참조하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 영상 추출장치 또는 영상 추출부의 구성을 도시한 블럭도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 추출장치(118, 170, 174) 또는 영상 추출부(142)는 수신부(310), 영상정보 분석부(320) 및 추출 비트스트림 생성부(330)를 포함하여 구현될 수 있다.
수신부(310)는 전체 비트 스트림, 단말정보 및 영상 선택정보를 수신한다. 이때, 수신부(310)는 헤드엔드(110, 160)로부터 전체 비트 스트림과 먹싱된 기 설정된 객체의 영역에 관한 정보를 함께 수신할 수 있다. 제1 수신부(313)는 단말(120, 122), 위치 추적부(140) 또는 단말 내 사용자 입력부(550)로부터 영상 선택정보를 수신할 수 있으며, 제2 수신부(316)는 헤드엔드(110, 160) 또는 통신부(138)로부터 전체 비트 스트림 또는 그와 먹싱된 기 설정된 객체의 영역에 관한 정보를 수신할 수 있다. 또는, 이와 반대로 제1 수신부(313)는 전체 비트 스트림 또는 그와 먹싱된 기 설정된 객체의 영역에 관한 정보를 수신할 수 있으며, 제2 수신부(316)는 영상 선택정보를 수신할 수 있다. 수신부(310)는 위치 추적부(140)로부터 추출해야 할 타일 정보를 영상 선택정보로서 수신할 수 있다.
영상정보 분석부(320)는 수신부(310)로부터 전체 비트 스트림을 전달받아 전체 비트 스트림으로부터 영상 코드 및 헤더 정보를 포함하는 영상정보를 분석한다. 전체 비트 스트림은 영상을 부호화한 것으로서, 전체 비트 스트림의 단위 픽처는 하나 또는 그 이상의 슬라이스로 구성되며 각 슬라이스는 하나 또는 그 이상의 타일을 갖는 구조로 생성될 수 있다.
슬라이스 및 타일 구조는 복수 개의 코딩 블록(CTB: Coding Tree Block)을 포함하는 직사각형 형태의 구조이고, H.265 HEVC(High Efficiency Video Coding)의 인코딩(Encoding)과 디코딩(Decoding)을 하기 위한 데이터 구조이다. 각 타일 구조는 CTB의 행렬(Matrix) 형태이다. 예를 들어, 어느 한 타일 구조는 CTB의 3×3 행렬 형태일 수 있으며, 이에 한정되지 않고 다양한 크기의 CTB 행렬일 수 있음은 물론이다.
영상 코드는 실제 비디오 코딩 스트림(VCL: Video Coding Layer)을 가지는 NAL(Network Abstract Layer)을 의미하며, 헤더 정보는, 예컨대, 슬라이스의 개수, 슬라이스 당 타일의 개수, 타일 각각의 크기, 픽처의 화소샘플의 갯수 등의 정보를 포함하는 NVCL(Non Video Coding layer)을 포함한다.
추출 비트 스트림 생성부(330)는 수신부(310)로부터 영상 선택정보를 수신하여, 영상 선택정보에 따라 추출 비트 스트림을 생성한다. 또는 추출 비트 스트림 생성부(330)는 수신부(310)로부터 수신된 기 설정된 객체의 영역에 관한 정보에 대응되는 타일정보를 식별하고, 식별된 타일정보에 따라 추출 비트 스트림을 생성할 수 있다.
보다 상세히 살펴보면, 추출 비트 스트림 생성부(330)는 영상정보 분석부(320)로부터 수신한 전체 비트 스트림에 포함된 헤더 정보를 영상 선택정보 또는 기 설정된 객체의 영역에 관한 정보에 따라 추출하고자 하는 타일 영역의 비트 스트림에 대응되도록 수정하여 추출 헤더 정보를 생성한다.
추출 비트 스트림 생성부는 수정된 추출 헤더정보와 영상 선택정보 또는 기 설정된 객체의 영역에 관한 정보에 대응되는 영상코드를 포함하는 추출 비트 스트림을 생성한다.
여기서, 생성된 추출 비트 스트림의 헤더에는 추출된 영상의 전체 사이즈와 추출된 영상이 몇 개의 타일로 구성되고 있는지 여부를 지시하는 정보를 포함한다. 추출된 영상이 하나의 타일로 구성되는 경우, 추출 비트 스트림의 헤더는 추출될 타일의 크기에 관한 정보 및 디스플레이 픽처 내에서 복수의 슬라이스 중 어떤 것이 첫 번째 슬라이스인지 여부에 관한 정보를 포함한다. 추출된 영상이 복수의 타일로 구성되는 경우, 추출 비트 스트림의 헤더는 추출된 영상 내에 존재하는 전체 타일의 개수에 관한 정보, 전체 타일의 크기에 관한 정보 및 디스플레이 픽처 내에서 복수의 슬라이스 중 어떤 것이 첫 번째 슬라이스인지 여부에 관한 정보를 포함한다.
도 4는 본 발명의 일 실시예에 따른 NAL 유닛의 구조를 나타낸 개략도이다.
참고로, 도 4에서의 화살표는 참조 관계를 나타낸다. 도 4를 참조하면, NAL 유닛은 NAL 헤더(header)와 RBSP(Raw Bytes Sequence Payload)로 구성된다.
인코딩된 영상의 전체 비트 스트림은 NAL(Network Abstract Layer)의 단위인 NAL 유닛(unit)에 전달된다. NAL 유닛의 NAL 헤더는 Non-VCL(Non-Video Coding Unit) NAL 유닛 및 VCL NAL 유닛으로 구성된다. Non-VCL NAL 유닛은 VPS(Video parameter Set) NAL을 의미하는 NAL(VPS), SPS(Sequence Parameter Set) NAL을 의미하는 NAL(SPS), PPS(Picture Parameter Set) NAL을 의미하는 NAL(PPS), 및 SEI (Supplemental Enhancement Information) NAL을 의미하는 NAL(SEI)로 구성된다. 특히, SPS는 인코딩 툴(tool)의 온/오프(ON/OFF) 정보를 포함하고, PPS는 타일과 관련된 정보를 포함한다.
단말의 사양에 맞추어 추출된 비트 스트림에 해당하는 영상이 처리되도록 하기 위하여, 추출 비트 스트림 생성부(330)는 NAL 헤더의 SPS와 PPS의 정보 등을 수정하여 타일구조로 변환함으로써 영상의 추출 비트 스트림을 생성한다.
VCL NAL 유닛은 제1 프레임(Frame 1), 제2 프레임(Frame 2) 등의 복수의 프레임을 포함할 수 있다. 각 프레임은 3개의 연속적인 NAL(VCL)을 포함한다.
추출 비트 스트림에서 타일에 관한 정보는 PPS에 설정된다. 예컨대. PPS에 설정되는 정보인 tiles_enabled_flag는 타일 구조가 픽처 내에 존재하는지 여부를 나타내는 정보이다.
추출 비트 스트림에서 각 타일의 크기는 num_tile_columns_minus1, num_tile_rows_minus1, uniform_spacing_flag에 의해 설정된다.
num_tile_columns_minus1는 추출 비트 스트림에서 타일의 가로 개수를 나타내며, num_tile_rows_minus1는 추출 비트 스트림에서 타일의 세로 개수를 나타낸다. uniform_spacing_flag는 타일의 크기가 모두 동일한지 여부를 나타내는 정보이다.
num_tile_columns_minus1와 num_tile_rows_minus1 정보를 참조하여 타일의 사이즈가 모두 동일한지를 확인할 수 있다. 타일의 크기가 동일하지 않은 경우, 가로 타일의 각 사이즈는 column_width_minus1[i]에 의해 설정되고, 세로 타일의 각 사이즈는 row_height_minus1[i]에 의해 설정된다.
한편, 전체 비트 스트림에서 추출 비트 스트림이 생성되는 데 있어, 몇 가지 제약 조건이 있다.
전체 비트 스트림의 인코딩 시, 전체 비트 스트림의 헤더 정보에는 슬라이스의 경계를 가로질러 루프 필터링이 수행될 수 없음을 지시하는 정보(예컨대, loop_filter_across_tiles_enabled_flag=0)가 포함된다. 이러한 한정조건 하에서 인코딩된 전체 비트 스트림에서 추출 비트 스트림이 생성되는 경우, 루프 필터링이 발생하지 않으므로 타일 경계에서 화질의 열화가 방지된다.
전체 비트 스트림의 인코딩 시, 전체 비트 스트림의 헤더 정보에는 예측 단위에서 머지(Merge), 머지스킵(Mergeskip) 등의 움직임벡터 코딩 모드인 경우, 움직임벡터가 추출 비트 스트림에서 영상의 범위를 넘는 패딩 부분을 참조할 수 없음을 지시하는 정보가 포함된다. 따라서 머지(Merge) 또는 머지스킵(Mergeskip) 등의 모드로 움직임 벡터가 산출되는 경우, 움직임벡터 후보로 결정하기 위하여 타일 경계를 넘어서 움직임 정보가 참조되는 것이 방지된다.
전체 비트 스트림의 인코딩 시, 전체 비트 스트림의 헤더 정보에는 예측 단위의 움직임을 추정함에 있어, 움직임 추정의 범위가 패딩 부분을 넘어갈 수 없음을 지시하는 정보가 포함된다. 추출 비트 스트림이 복호화되는 경우, 타일 경계를 넘어 움직임 예측을 하는 것이 방지된다.
또한, 전체 비트 스트림의 인코딩 시, 전체 비트 스트림의 헤더 정보에는 예측 단위에서 움직임 벡터를 부호화하는 경우, 현재 부호화하는 예측 단위의 블록과 동일한 위치에 존재하는 다른 픽처의 움직임 벡터(Temporal 움직임 벡터)를 참조할 수 없음을 지시하는 정보가 포함된다.
추출 비트 스트림 생성부(330)는 추출 비트 스트림에 대응되는 SPS, PPS, 슬라이스 헤더 정보 등을 생성함에 있어, 아래에 해당하는 정보들은 전체 비트 스트림의 헤더 정보들과는 다르게 수정된다.
먼저, 추출된 영상이 하나의 타일로만 구성된 경우를 살펴보면 추출 비트 스트림의 헤더 정보는 다음과 같이 수정된다.
SPS의 pic_width_in_luma_samples 및 pic_height_in_luma_samples는 추출될 단일 타일 화면의 사이즈로 변경되어, 추출 영상의 가로 사이즈 및 세로 사이즈로 설정된다.
PPS에서 타일구조가 픽처 내에 존재하는지 여부에 대한 정보를 나타내는 tiles_enabled_flag는 0으로 수정되어 픽처 내에 타일구조가 존재하지 않음을 알린다.
추출 비트 스트림의 추출 헤더정보에서 첫 번째 슬라이스의 경우, first_slice_segment_in_pic_flag은 1로 설정되고, 나머지 슬라이스에 대해서는 첫째 슬라이스가 아니라는 의미로 first_slice_segment_in_pic_flag은 0으로 설정된다. 또한, 모든 슬라이스 헤더에서 슬라이스 내의 타일의 오프셋을 의미하는 num_entry_point_offsets은 0으로 설정된다.
다음으로, 추출된 영상이 복수의 타일로 구성된 경우를 살펴보면 추출 비트 스트림의 헤더 정보는 다음과 같이 수정된다.
SPS의 pic_width_in_luma_samples 및 pic_height_in_luma_samples는 추출될 전체 타일 화면의 사이즈로 변경되어, 추출 영상의 가로 사이즈 및 세로 사이즈로 설정된다.
PPS에서 num_tile_columns_minus1 및 num_tile_rows_minus1는 기존의 전체 비트 스트림 내의 종축 및 횡축 방향 타일 개수에서 추출 비트 스트림 내의 종축 및 횡축 방향 타일 개수에 맞도록 변경된다.
추출 비트 스트림의 추출 헤더정보에서 첫 번째 슬라이스 헤더만이 픽처 내에서 첫째 슬라이스인지 여부를 나타내는 정보 first_slice_segment_in_pic_flag를 포함한다. 추출 비트 스트림의 추출 헤더정보에서 추출 비트 스트림 상의 추출된 전체 픽처 내의 첫 번째 슬라이스인 경우, first_slice_segment_in_pic_flag은 1로 설정되고, 나머지 슬라이스에 대해서는 첫째 슬라이스가 아니라는 의미로 first_slice_segment_in_pic_flag은 0으로 설정된다. 또한, 모든 슬라이스 헤더에는 슬라이스 내의 타일의 오프셋을 의미하는 num_entry_point_offsets은 0으로 설정된다.
도 5(a)는 본 발명의 일 실시예에 따른 단말의 구성을 도시한 블럭도이다.
도 5(a)를 참조하면, 본 발명의 일 실시예에 따른 단말(120, 122)은 통신부(510), 디코더(512), 디스플레이부(514) 및 사용자 입력부(518)를 포함하여 구현될 수 있다.
먼저, 통신부(510)는 영상 추출장치로부터 전체 비트 스트림에 관한 정보를 수신한다.
디스플레이부(514)는 전체 비트 스트림에 관한 정보를 디스플레이한다. 전체 비트 스트림에 관한 정보는 전체 비트 스트림의 썸네일 이미지 또는 비디오일 수 있고, 전체 비트 스트림 중 일부 이미지 또는 영상일 수 있으며, 전체 비트 스트림을 나타내는 텍스트일 수 있다.
사용자 입력부(518)는 사용자로부터 디스플레이부에 의해 디스플레이되는 전체 비트 스트림에 관한 정보에 대하여 선택하고자 하는 객체 또는 영역을 입력받는다. 사용자 입력부(518)는 움직임의 트래킹을 원하는 하나 이상의 특정 객체의 위치 또는 시청하고자 하는 하나 이상의 영역을 사용자로부터 입력받는다. 이때, 위치 추척부(545)는 움직임의 트래킹을 원하는 하나 이상의 특정 객체의 위치 정보 또는 시청하고자 하는 하나 이상의 영역 정보를 스트림 내의 좌표 등으로 수치화한다. 이와 같이 수치화한 정보에 따라 위치 추적부(520)는 객체의 위치 또는 영역에 해당하는 타일 정보를 추적한다. 이렇게 위치 추적부(520)에 의해 수치화된 영상 선택정보를 통신부로 전송한다. 이때, 사용자 입력부(518)는 소정의 선택장치일 수 있다.
통신부(510)는 사용자 입력부(518)로부터 영상 선택정보를 수신하여 이를 영상 추출장치로 전송한다. 이와 함께 통신부(510)는 영상 추출장치(118)로 단말정보도 전송한다.
통신부(510)는 영상 추출장치(118)로부터 추출 비트 스트림을 수신하며, 디코더(512)는 통신부(510)가 수신한 추출 비트 스트림을 복호화한다.
디스플레이부(514)는 복호화된 추출 비트 스트림을 디스플레이한다. 이때, 디스플레이부(514) 내에 포함된 랜더러(516)는 디스플레이 정보에 따라 추출 비트 스트림이 포함하는 복수의 타일 중 일부 또는 전부의 타일의 크기를 조정한다. 디스플레이 정보란 추출 비트 스트림이 복수의 타일로 구성되는 경우, 추출 비트 스트림의 일부 타일은 크게 보고, 나머지 추출 비트 스트림의 타일은 작게 보이도록 하는 정보에 해당한다. 랜더러(516)는 이러한 디스플레이 정보에 따라 추출 비트 스트림의 각 타일의 크기를 조정할 수 있다.
디스플레이부(514)는 랜더러(516)에 의해 크기가 조정된 추출 비트 스트림을 디스플레이한다.
도 5(b)는 본 발명의 다른 일 실시예에 따른 단말의 구성을 도시한 블럭도이다.
도 5(b)를 참조하면, 본 발명의 일 실시예에 따른 단말(148, 150)은 통신부(530), 디코더(532), 디스플레이부(534) 및 사용자 입력부(538)를 포함하여 구현될 수 있다.
통신부(530)는 스트리밍 서버(136)로부터 전체 비트 스트림에 관한 정보를 수신한다.
디스플레이부(514)는 전체 비트 스트림에 관한 정보를 디스플레이한다. 전체 비트 스트림에 관한 정보는 전체 비트 스트림의 썸네일 이미지 또는 비디오일 수 있고, 전체 비트 스트림 중 일부 이미지 또는 영상일 수 있으며, 전체 비트 스트림을 나타내는 텍스트일 수 있다.
사용자 입력부(518)는 사용자로부터 디스플레이부에 의해 디스플레이되는 전체 비트 스트림에 관한 정보에 대하여 선택하고자 하는 객체 또는 영역을 입력받는다. 사용자 입력부(518)는 움직임의 트래킹을 원하는 하나 이상의 특정 객체의 위치 또는 시청하고자 하는 하나 이상의 영역을 선택받는다. 사용자 입력부(518)는 도 5(a)에 도시된 사용자 입력부(518)와는 달리 위치 추적부가 존재하지 않기 때문에 객체 또는 영역을 선택받는데 그친다. 사용자 입력부(538)는 사용자로부터 선택받은 객체 또는 영역을 미디어 표현 서술정보로 작성한다.
통신부(530)는 영상 선택정보로서 미디어 표현 서술정보를 사용자 입력부(538)로부터 수신하여 이를 스트리밍 서버(136)로 전송한다. 이와 함께 통신부(530)는 스트리밍 서버(136)로 단말정보도 전송한다.
통신부(530)는 스트리밍 서버(136)의 버퍼(168)로 접근하여, 저장된 추출 비트 스트림을 요청(Pull 방식)함으로써 추출 비트 스트림을 획득한다.
디코더(532)는 획득한 추출 비트 스트림을 복호화하며, 디스플레이부(534)는 복호화된 추출 비트 스트림을 디스플레이한다. 이때, 디스플레이부 내에 포함된 랜더러(536)는 디스플레이 정보에 따라 추출 비트 스트림이 포함하는 복수의 타일 중 일부 또는 전부의 타일의 크기를 조정한다.
도 5(c)는 본 발명의 또 다른 일 실시예에 따른 단말의 구성을 도시한 블럭도이다. 도 5(c)는 영상 추출부(170, 174)가 단말 내부에 일부 장치로서 포함된 단말을 도시한다.
도 5(c)를 참조하면, 본 발명의 일 실시예에 따른 단말(168, 172)은 통신부(540), 디코더(542), 디스플레이부(544), 사용자 입력부(548) 및 영상 추출장치(170, 174)를 포함하여 구현될 수 있다.
먼저, 통신부(540)는 헤드엔드(160)로부터 전체 비트 스트림과 전체 비트 스트림에 관한 정보를 수신한다.
디스플레이부(544)는 전체 비트 스트림에 관한 정보를 디스플레이한다. 전체 비트 스트림에 관한 정보는 전체 비트 스트림의 썸네일 이미지 또는 비디오일 수 있고, 전체 비트 스트림 중 일부 이미지 또는 영상일 수 있으며, 전체 비트 스트림을 나타내는 텍스트일 수 있다.
사용자 입력부(548)는 디스플레이부(544)에 의해 디스플레이되는 복호화된 비트 스트림에 대하여 사용자로부터 선택하고자 하는 객체 또는 영역을 입력받는다. 사용자 입력부(548)는 움직임의 트래킹을 원하는 하나 이상의 특정 객체의 위치 또는 시청하고자 하는 하나 이상의 영역을 사용자로부터 입력받는다. 이때, 위치 추척부(550)는 움직임의 트래킹을 원하는 하나 이상의 특정 객체의 위치 정보 또는 시청하고자 하는 하나 이상의 영역 정보를 스트림 내의 좌표 등으로 수치화한다. 이와 같이 수치화한 정보에 따라 위치 추적부(550)는 객체의 위치 또는 영역에 해당하는 타일 정보를 추적한다. 이렇게 위치 추적부(550)에 의해 수치화된 영상 선택정보를 영상 추출장치(170, 174)로 전달한다. 이때, 사용자 입력부(518)는 소정의 선택장치일 수 있다.
영상 추출부(170, 174)는 사용자 입력부(548)로부터 영상 선택정보를, 통신부(540)로부터 전체 비트 스트림을 수신하여 추출 비트 스트림을 생성한다. 이에 관한 설명은 도 3을 참조하여 설명하였기 때문에 자세한 설명은 생략하기로 한다.
디코더(542)는 획득한 추출 비트 스트림을 복호화하며, 디스플레이부(544)는 복호화된 추출 비트 스트림을 디스플레이한다. 이때, 디스플레이부 내에 포함된 랜더러(546)는 영상 추출부(170, 174)로부터 수신한 디스플레이 정보에 따라 추출 비트 스트림이 포함하는 복수의 타일 중 일부 또는 전부의 타일의 크기를 조정한다.
도 6은 본 발명의 일 실시예에 따른 영상의 추출방법을 나타낸 순서도이다.
부호화된 전체 비트 스트림 및 단말로부터 영상 선택정보를 수신한다(S610).
부호화된 전체 비트 스트림으로부터 영상 코드 및 헤더 정보를 분석한다(S620).
부호화된 전체 비트 스트림의 헤더 정보를 영상 선택정보에 따라 추출하고자 하는 영역의 비트 스트림에 대응되도록 수정하여 추출 헤더 정보를 생성한다(S630).
생성한 헤더 정보와 영상 선택정보에 대응하는 영상 코드를 포함하는 추출 비트 스트림을 생성한다(S640).
도 6에서는 과정 S610 내지 과정 S640을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 과정 S610 내지 과정 S640 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 6에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
도 7은 본 발명의 다른 일 실시예에 따른 미디어 표현 서술 정보의 구조를 도시한 도면이다.
Period(710)는 미디어 정보가 유지되는 기간을 의미한다.
BaseURL(720)은 요청하고자 하는 스트림의 공통된 URL을 의미한다.
Adaptation Set(730)은 단말에 의해 선택되어 다양하게 인코딩된 리소스의 집합이다. Period(710)에는 최소한 하나의 Adaptation Set(730)이 존재해야 한다.
Representation(740)은 하나 이상의 미디어 스트림의 인코딩된 버전을 나타낸다. Representation(740)은 하나 이상의 Segment로 구성되며, Representation를 구성하는 각각의 Segment의 SegmentBase(750), SegmentList(770) 및 SegmentURL(780) 등을 포함한다.
단말은 기 설정된 영역이나 객체에 대해 확대하여 시청을 원하는 경우, 미디어 표현 서술 정보 중 Adaptation Set(730) 또는 Representation(740)을 이용하여 스트리밍 서버로 요청할 수 있다. 또는, 단말은 사용자가 특정 객체를 선택하거나 네크워크 또는 단말에 따라 트래픽의 제어가 필요한 경우, 미디어 표현 서술 정보 중 SegmentURL(780)을 이용하여 스트리밍 서버(136)로 요청할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110, 130, 160: 헤드엔드
112, 132, 162: 수신부
114, 134, 164: 부호화부 116, 146, 166: 네트워크
118: 영상 추출장치
120, 122, 148, 150, 170, 174: 단말 136: 스트리밍 서버
138: 통신부 140: 위치 추적부
142, 170, 174: 영상 추출부 144: 스트림 송신부
310: 수신부 313: 제1 수신부
316: 제2 수신부 320: 영상정보 분석부
330: 추출 비트 스트림 생성부 510, 530, 540: 통신부
512, 532, 542: 디코더 514, 534, 544: 디스플레이부
516, 536, 546: 랜더러 518, 538, 548: 사용자 입력부
520, 550: 위치 추적부 710: Period
720: BaseURL 730: Adaptation Set
740: Representation 750: SegmentBase
760: Initialization 770: SegmentList
780: SegmentURL
114, 134, 164: 부호화부 116, 146, 166: 네트워크
118: 영상 추출장치
120, 122, 148, 150, 170, 174: 단말 136: 스트리밍 서버
138: 통신부 140: 위치 추적부
142, 170, 174: 영상 추출부 144: 스트림 송신부
310: 수신부 313: 제1 수신부
316: 제2 수신부 320: 영상정보 분석부
330: 추출 비트 스트림 생성부 510, 530, 540: 통신부
512, 532, 542: 디코더 514, 534, 544: 디스플레이부
516, 536, 546: 랜더러 518, 538, 548: 사용자 입력부
520, 550: 위치 추적부 710: Period
720: BaseURL 730: Adaptation Set
740: Representation 750: SegmentBase
760: Initialization 770: SegmentList
780: SegmentURL
Claims (12)
- 하나 이상의 타일로 구성됨을 지시하는 정보가 헤더 정보에 포함된 전체 비트 스트림을 수신하는 제1 수신부;
사용자의 요청, 네트워크의 환경 또는 단말의 성능에 따른 영상 선택정보를 수신하는 제2 수신부;
상기 제1 수신부가 수신한 전체 비트 스트림으로부터 영상 코드 및 헤더 정보를 분석하는 영상정보 분석부; 및
상기 전체 비트 스트림의 헤더 정보를 상기 제2 수신부가 수신한 영상 선택정보에 따라 수정하여 신규 헤더 정보를 생성하며, 상기 신규 헤더 정보와 상기 영상 선택정보에 대응하는 영상 코드를 포함하는 추출 비트 스트림을 생성하는 추출 비트스트림 생성부
를 포함하는 것을 특징으로 하는 영상 추출장치. - 제1항에 있어서,
상기 영상 선택정보는,
상기 전체 비트 스트림을 생성하는 장치로부터 수신되거나, 상기 추출 비트 스트림을 수신하는 단말로부터 수신되는 것을 특징으로 하는 영상 추출장치. - 제2항에 있어서,
상기 영상 선택정보는,
상기 전체 비트 스트림을 생성하는 장치로부터 수신되는 경우, 하나 이상의 기 설정된 객체가 위치하는 영역에 관한 정보인 것을 특징으로 하는 영상 추출장치. - 제2항에 있어서,
상기 추출 비트스트림 생성부는,
상기 전체 비트 스트림의 헤더 정보를 상기 영상 선택정보에 따라 수정함에 있어, 상기 전체 비트 스트림의 헤더 내의 SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 및 슬라이스 헤더 정보 중 적어도 하나를 수정하는 것을 특징으로 하는 영상 추출장치. - 제4항에 있어서,
상기 추출 비트스트림 생성부는,
상기 영상 선택정보에 따라 상기 전체 비트 스트림의 헤더 정보 중 상기 SPS를 수정함에 있어, pic_width_in_luma_samples 및 pic_height_in_luma_samples를 추출될 타일의 화면 사이즈로 수정하는 것을 특징으로 하는 영상 추출장치. - 제4항에 있어서,
상기 추출 비트스트림 생성부는,
상기 영상 선택정보에 따라 상기 전체 비트 스트림의 헤더 정보 중 상기 PPS를 수정함에 있어,
상기 추출 영상이 하나의 타일로 구성되는 경우 tiles_enabled_flag를 0으로 수정하며, 상기 추출 영상이 복수의 타일로 구성되는 경우 num_tile_columns_minus1 및 num_tile_rows_minus1를 상기 추출 비트 스트림 내의 종축 및 횡축 방향 타일 개수에 맞도록 수정하는 것을 특징으로 하는 영상 추출장치. - 제2항에 있어서,
상기 영상 선택정보는,
상기 추출 비트 스트림을 수신하는 단말로부터 수신되는 경우, 상기 전체 비트 스트림에 대응되는 전체 영상 내에서 확대를 원하는 하나 이상의 영역에 관한 정보 또는 움직임의 트래킹을 원하는 하나 이상의 특정 객체의 위치에 관한 정보 인 것을 특징으로 하는 영상 추출장치. - 제1항에 있어서,
상기 신규 헤더 정보는,
상기 추출 영상이 하나의 타일로 구성되는 경우, 추출될 타일의 크기, 타일구조가 존재하는지 여부 및 첫 번째 슬라이스(Slice)가 어떤 것인지 여부를 나타내는 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 추출장치. - 제1항에 있어서,
상기 신규 헤더 정보는,
상기 추출 영상이 복수의 타일로 구성되는 경우, 추출될 전체 타일의 크기, 전체 타일의 개수 및 첫 번째 슬라이스(Slice)가 어떤 것인지 여부를 나타내는 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 추출장치. - 하나 이상의 타일로 구성됨을 지시하는 정보가 헤더 정보에 포함된 전체 비트 스트림 및 영상 선택정보를 수신하는 과정;
상기 전체 비트 스트림으로부터 영상 코드 및 헤더 정보를 분석하는 과정;
상기 전체 비트 스트림의 헤더 정보를 상기 영상 선택정보에 따라 수정하여 신규 헤더정보를 생성하는 과정; 및
상기 신규 헤더정보와 상기 영상 선택정보에 대응하는 영상코드를 포함하는 추출 비트 스트림을 생성하는 과정
을 포함하는 것을 특징으로 하는 영상 추출방법. - 영상을 포함하는 컨텐츠를 수신하는 수신부; 및
상기 컨텐츠에 포함된 영상을 분석하여, 상기 영상의 구성, 상기 영상의 크기 또는 상기 영상을 수신할 단말에 따라 하나 이상의 타일로 구성되도록 상기 타일의 사이즈 또는 픽처 내의 타일의 개수를 설정하여 인코딩(Encoding)하는 부호화부
를 포함하는 것을 특징으로 하는 비트 스트림 생성장치. - 하나 이상의 타일로 구성됨을 지시하는 정보가 헤더 정보에 포함된 전체 비트 스트림 및 상기 전체 비트 스트림에 관한 정보 중 적어도 하나를 수신하는 통신부;
상기 전체 비트 스트림에 관한 정보를 디스플레이하는 디스플레이부;
상기 디스플레이부가 디스플레이하는 전체 비트 스트림에 관한 정보 내에서 사용자가 선택하고자 하는 객체 또는 영역에 관한 정보인 영상 선택정보를 생성하는 사용자 입력부;
상기 전체 비트 스트림의 영상 코드 및 헤더 정보를 분석하여 상기 전체 비트 스트림의 헤더 정보를 상기 영상 선택정보에 따라 수정하여 신규 헤더 정보를 생성하며, 상기 신규 헤더 정보와 상기 영상 선택정보에 대응하는 타일의 영상 정보를 포함하는 추출 비트 스트림을 생성하는 영상 추출부; 및
상기 추출 비트 스트림을 복호화(Decoding)하는 디코더
를 포함하는 것을 특징으로 하는 영상추출 단말장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2016/007209 WO2017007208A1 (ko) | 2015-07-03 | 2016-07-04 | 고 해상도 영상에서의 영상 추출 장치 및 방법 |
| US15/858,376 US10623816B2 (en) | 2015-07-03 | 2017-12-29 | Method and apparatus for extracting video from high resolution video |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150095470 | 2015-07-03 | ||
| KR20150095470 | 2015-07-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170005366A true KR20170005366A (ko) | 2017-01-12 |
| KR102106103B1 KR102106103B1 (ko) | 2020-05-04 |
Family
ID=57811602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160084443A KR102106103B1 (ko) | 2015-07-03 | 2016-07-04 | 고 해상도 영상에서의 영상 추출 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10623816B2 (ko) |
| KR (1) | KR102106103B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180097106A (ko) * | 2017-02-22 | 2018-08-30 | 에스케이텔레콤 주식회사 | 영상 복호화 방법 및 장치 |
| KR20200139557A (ko) * | 2019-06-04 | 2020-12-14 | 에스케이텔레콤 주식회사 | 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법 |
| KR20210127593A (ko) * | 2020-04-14 | 2021-10-22 | 성균관대학교산학협력단 | 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치 |
| WO2021235856A1 (ko) * | 2020-05-21 | 2021-11-25 | 삼성전자 주식회사 | 멀티미디어 콘텐츠를 제공하는 방법 및 그 전자 장치 |
| US11361402B2 (en) | 2020-02-07 | 2022-06-14 | Samsung Electronics Co., Ltd. | Electronic device and method for saving image |
| KR20220106099A (ko) * | 2017-02-22 | 2022-07-28 | 에스케이텔레콤 주식회사 | 비디오 데이터가 부호화된 비트스트림을 처리하는 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018123608A1 (ja) * | 2016-12-27 | 2018-07-05 | ソニー株式会社 | 画像処理装置および方法 |
| CN115299063A (zh) | 2020-02-27 | 2022-11-04 | 抖音视界有限公司 | 变换跳过残差编解码 |
| KR20230016047A (ko) * | 2020-05-27 | 2023-01-31 | 바이트댄스 아이엔씨 | 비디오 코딩에서의 서브픽처들 및 타일들의 사용 |
| US11695938B2 (en) * | 2021-01-05 | 2023-07-04 | Dish Network Technologies India Private Limited | Method and apparatus for thumbnail generation for a video device |
| KR102595096B1 (ko) * | 2021-07-06 | 2023-10-27 | 한국전자기술연구원 | 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140016357A (ko) * | 2011-06-08 | 2014-02-07 | 코닌클리즈케 케이피엔 엔.브이. | 공간적으로-세그먼트된 콘텐츠 전달 |
| WO2014111547A1 (en) * | 2013-01-18 | 2014-07-24 | Canon Kabushiki Kaisha | Method, device, and computer program for encapsulating partitioned timed media data |
| WO2015014773A1 (en) * | 2013-07-29 | 2015-02-05 | Koninklijke Kpn N.V. | Providing tile video streams to a client |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101516020B1 (ko) | 2008-04-21 | 2015-05-04 | 삼성전자주식회사 | 리치미디어 콘텐츠의 장면 구성장치 및 방법 |
| KR101053161B1 (ko) | 2009-07-22 | 2011-08-02 | 주식회사 엠씨넥스 | Ｈ.264/ａｖｃ 압축 영역에서의 동영상 합성 방법 및 장치 |
| KR101108888B1 (ko) | 2010-04-16 | 2012-01-30 | (주)에이씨엠텍 | Ｉｐｔｖ 가입자단 품질 측정 장치 및 방법 |
| WO2015056941A1 (ko) | 2013-10-14 | 2015-04-23 | 한국전자통신연구원 | 다계층 기반의 영상 부호화/복호화 방법 및 장치 |
| KR101446074B1 (ko) | 2013-12-26 | 2014-10-06 | 연세대학교 산학협력단 | 영상 합성 방법, 장치 및 시스템 |
-
2016
- 2016-07-04 KR KR1020160084443A patent/KR102106103B1/ko active IP Right Grant
-
2017
- 2017-12-29 US US15/858,376 patent/US10623816B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140016357A (ko) * | 2011-06-08 | 2014-02-07 | 코닌클리즈케 케이피엔 엔.브이. | 공간적으로-세그먼트된 콘텐츠 전달 |
| WO2014111547A1 (en) * | 2013-01-18 | 2014-07-24 | Canon Kabushiki Kaisha | Method, device, and computer program for encapsulating partitioned timed media data |
| WO2015014773A1 (en) * | 2013-07-29 | 2015-02-05 | Koninklijke Kpn N.V. | Providing tile video streams to a client |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180097106A (ko) * | 2017-02-22 | 2018-08-30 | 에스케이텔레콤 주식회사 | 영상 복호화 방법 및 장치 |
| KR20220106099A (ko) * | 2017-02-22 | 2022-07-28 | 에스케이텔레콤 주식회사 | 비디오 데이터가 부호화된 비트스트림을 처리하는 방법 |
| KR20220106101A (ko) * | 2017-02-22 | 2022-07-28 | 에스케이텔레콤 주식회사 | 비디오 데이터가 부호화된 비트스트림을 처리하는 방법 |
| KR20220106732A (ko) * | 2017-02-22 | 2022-07-29 | 에스케이텔레콤 주식회사 | 비디오 데이터가 부호화된 비트스트림을 처리하는 방법 |
| KR20220107128A (ko) * | 2017-02-22 | 2022-08-02 | 에스케이텔레콤 주식회사 | 비디오 데이터가 부호화된 비트스트림을 처리하는 방법 |
| KR20200139557A (ko) * | 2019-06-04 | 2020-12-14 | 에스케이텔레콤 주식회사 | 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법 |
| KR20210087918A (ko) * | 2019-06-04 | 2021-07-13 | 에스케이텔레콤 주식회사 | 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법 |
| US11361402B2 (en) | 2020-02-07 | 2022-06-14 | Samsung Electronics Co., Ltd. | Electronic device and method for saving image |
| KR20210127593A (ko) * | 2020-04-14 | 2021-10-22 | 성균관대학교산학협력단 | 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치 |
| WO2021235856A1 (ko) * | 2020-05-21 | 2021-11-25 | 삼성전자 주식회사 | 멀티미디어 콘텐츠를 제공하는 방법 및 그 전자 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102106103B1 (ko) | 2020-05-04 |
| US10623816B2 (en) | 2020-04-14 |
| US20180124462A1 (en) | 2018-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10623816B2 (en) | Method and apparatus for extracting video from high resolution video | |
| CN110036641B (zh) | 一种处理视频数据的方法、设备及计算机可读存储介质 | |
| US10389784B2 (en) | Method and device for generating a description file, and corresponding streaming method | |
| EP3459247B1 (en) | Most-interested region in an image | |
| KR102111436B1 (ko) | 다중 영상의 단일 비트 스트림 생성방법 및 생성장치 | |
| EP3360330A1 (en) | Enhancing a region of interest in video frames of a video stream | |
| WO2016199608A1 (ja) | 情報処理装置および情報処理方法 | |
| US10313728B2 (en) | Information processing apparatus and information processing method | |
| JP2011024018A (ja) | 送信装置、受信装置、送信方法、受信方法及び伝送システム | |
| US10931980B2 (en) | Method and apparatus for providing 360 degree virtual reality broadcasting service | |
| KR101978922B1 (ko) | 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법 | |
| US20180270515A1 (en) | Methods and systems for client interpretation and presentation of zoom-coded content | |
| CN109963176B (zh) | 视频码流处理方法、装置、网络设备和可读存储介质 | |
| US20200084516A1 (en) | Device and method for processing high-definition 360-degree vr image | |
| KR101861929B1 (ko) | 관심 영역을 고려한 가상 현실 서비스 제공 | |
| KR101941789B1 (ko) | 뷰포트와 타일 크기에 기초한 가상 현실 비디오 전송 | |
| KR20170130883A (ko) | 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치 | |
| KR102183895B1 (ko) | 가상 현실 비디오 스트리밍에서의 관심영역 타일 인덱싱 | |
| JP7296219B2 (ja) | 受信装置、送信装置、及びプログラム | |
| WO2017007208A1 (ko) | 고 해상도 영상에서의 영상 추출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |