KR20180081128A - 비디오 코딩 방법, 장치, 디바이스 및 기억 매체 - Google Patents

비디오 코딩 방법, 장치, 디바이스 및 기억 매체 Download PDF

Info

Publication number
KR20180081128A
KR20180081128A KR1020187016288A KR20187016288A KR20180081128A KR 20180081128 A KR20180081128 A KR 20180081128A KR 1020187016288 A KR1020187016288 A KR 1020187016288A KR 20187016288 A KR20187016288 A KR 20187016288A KR 20180081128 A KR20180081128 A KR 20180081128A
Authority
KR
South Korea
Prior art keywords
time
video
code data
horizontal
video sequence
Prior art date
Application number
KR1020187016288A
Other languages
English (en)
Other versions
KR102109510B1 (ko
Inventor
야오 왕
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20180081128A publication Critical patent/KR20180081128A/ko
Application granted granted Critical
Publication of KR102109510B1 publication Critical patent/KR102109510B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 코딩기술분야에 속하는 비디오 코딩 방법, 장치, 디바이스 및 기억 매체를 공개하였다. 상기 방법은, 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 단계와, 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하는 단계, N개의 시각 비디오 시퀀스들에 대하여 각각 코딩을 진행하여 N개의 코드 데이터 그룹을 얻는 단계, 사용자의 관람시각을 확정하는 단계, 관람시각을 포함하는 수평시각의 시각 비디오 시퀀스를 선택하고 시각 비디오 시퀀스의 코드 데이터를 사용자에게 코딩 데이터를 제공하는 단계를 포함하며, 여기서, 매 시각 비디오 시퀀스는 파노라마 비디오의 전체 파노라마 이미지 프레임들 중에서 같은 수평시각을 가지고 있는 구역들로 구성되고, N개의 시각 비디오 시퀀스들의 수평시각의 총 합은 파노라마 비디오 프레임들의 총 수평시각과 같으며, N은 양의 정수고 파노라마 이미지 프레임의 구역들은 서로 겹치지 않는다.

Description

비디오 코딩 방법, 장치, 디바이스 및 기억 매체
본 특허출원은 2016년 03월 22일에 제출된 특허출원번호가 201610163645.6이고 신청자가 텅쉰과학기술(심천)유한공사이며, 발명명칭이 "비디오 코딩 방법 및 장치"인 우선권을 요구하며, 이 출원의 전문은 인용의 방식으로 본 출원에 병합된다.
본 출원은 코딩기술분야에 관한 것으로, 특히 비디오 코딩 방법, 장치, 디바이스 및 기억 매체에 관한 것이다.
파노라마 비디오는 파노라마 이미지 프레임들로 구성되는데 파노라마 이미지 프레임은 예정시각이 기록된 풍경에 의해 형성된다. 예를 들어 예정시각은 수평 360°, 수직 180°, 혹은 수평 360°, 수직 270° 등이다. 엔코더는 파노라마 사진기를 통하여 파노라마 비디오를 얻어서 파노라마 비디오에 대하여 코딩한 다음 코딩된 파노라마 비디오를 디코더에 보내어 디코딩함므로써 사용자가 디코딩 후 얻어진 파노라마 비디오를 보도록 한다.
종래 기술이 제공한 비디오 코딩 방법에서는 엔코더가 파노라마 비디오 중의 전체 파노라마 이미지 프레임을 얻어서 매 파노라마 이미지 프레임에 대하여 H.264/AVC(Advanced Video Coding, 고급 비디오 코딩)에서 정의하는 코드화 구조에 따라 코딩을 진행하고 지수 연속적인 마크로 블로크들의 모임을 얻어 내여 이 파노라마 이미지 프레임의 코드 데이터를 얻거나 또는 매 파노라마 이미지 프레임을 H.265/HEVC(High Efficiency Video Coding, 고효율 비디오 코딩)에서 정의하는 코드화 구조에 따라 코딩하여 블로크 단위의 구형 구역 모임을 얻어서 이 파노라마 이미지 프레임의 코드 데이터를 얻으며 매 파노라마 이미지 프레임에 대응하는 코드 데이터를 디코더에 송신한다.
사용자의 시각이 보통 약 150°이므로 파노라마 이미지 프레임에서 약 150°의 시각에 대한 코드 데이터만이 유효하며 기타 나머지의 코드 데이터는 모두 무효하고 이와 같은 무효한 코드 데이터의 수신과 디코딩은 자원낭비를 조성할 수 있다.
본 발명의 실시예에서 제공하는 기술방안이 해결하려는 기술과제는 파노라마 비디오 중의 전체 파노라마 이미지 프레임의 코드 데이터를 수신하고 디코딩하여 초래되는 자원낭비문제를 해결하는 것이다.
본 출원은 비디오 코딩 방법, 장치, 디바이스 및 기억 매체를 제공하였다. 상기 기술방안은 다음과 같다.
일 측면에 따르면, 본 발명의 실시예에서 비디오 코딩 방법을 제공하였는데 상기 방법은, 예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 단계; 상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하는 단계; 상기 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻는 단계; 사용자의 관람시각을 확정하는 단계; 및 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 단계를 포함하며, 여기서, 매개의 시각 비디오 시퀀스는 상기 파노라마 이미지 프레임에서 동일한 수평시각을 가지고 있는 구역들로 구성되고, 상기 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이며, 상기 N은 양의 정수고 한개의 파노라마 이미지 프레임 중의 매 구역들이 서로 겹치지 않는다.
다른 일 측면에 따르면, 본 발명의 실시예에서 비디오 코딩 방법을 제공하였는데 상기 방법은, 예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻도록 설치된 엔코더에 사용자의 관람시각을 제공하는 단계; 상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하는 단계; N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻는 단계; 수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 단계; 매개의 시각 비디오 시퀀스는 상기 파노라마 비디오의 전체 파노라마 이미지 프레임에서 서로 같은 수평시각을 가진 구역들로 구성되고 N이 양의 정수일 때 상기 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이며, 한개의 파노라마 이미지 프레임의 매개 구역들은 상호 겹치지 않는다는 단계; 상기 엔코더가 송신한 상기 코드 데이터를 수신하는 단계; 및 상기 코드 데이터에 대하여 디코딩을 진행하는 단계를 포함한다.
본 발명의 실시예에서 또한 비디오 코딩 장치를 제공하였는데 상기 장치는, 예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임으로 구성되는 파노라마 비디오를 얻도록 설치된 비디오 획득 모듈; 상기 비디오 획득 모듈에서 얻어진 상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하도록 설치된 비디오 분할 모듈; 상기 비디오 분할 모듈에서 얻은 상기 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻도록 설치된 비디오 코딩 모듈; 사용자의 관람시각을 확정하도록 설치된 시각 확정 모듈; 및 수평시각이 상기 시각 확정 모듈에서 확정된 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 제1 제공모듈을 포함하며, 여기서, 매개의 시각 비디오 시퀀스가 상기 파노라마 비디오의 전체 파노라마 이미지 프레임 중에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되고 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이며 상기 N은 양의 정수고 한개의 파노라마 이미지 프레임 중의 매개 구역들은 서로 겹치지 않는다.
본 발명의 실시예는 또한 일종의 비디오 코딩 장치를 제공하였는데 상기 장치는, 예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성된 파노라마 비디오를 얻도록 설치된 엔코더에 사용자의 관람시각을 제공하고, N이 양의 정수일 때 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고, N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공하며, 매개 시각 비디오 시퀀스가 파노라마 비디오의 전체 파노라마 이미지 프레임중에서 서로 같은 수평시각을 가진 구역들로 구성되고 N개의 시각 비디오 시퀀스의 수평시각의 총 합이 파노라마 이미지 프레임의 총 수평시각이며,1개의 파노라마 이미지 프레임의 매 구역들 사이에는 상호 겹치지 않도록 설치된 시각 제공 모듈; 상기 엔코더가 송신하는 상기 코드 데이터를 수신하도록 설치된 제1 수신 모듈; 및 상기 제1 수신 모듈이 수신한 상기 코드 데이터에 대하여 디코딩을 진행하도록 설치된 데이터 디코딩 모듈을 포함한다.
본 발명의 실시예는 컴퓨터 기억 매체를 제공하였는데 상기 컴퓨터 기억 매체의 기억기에는 실행 가능한 컴퓨터지령이 있으며 이 실행 가능한 컴퓨터지령으로 본 발명의 첫번째 측면 또는 두번째 측면의 실시예가 제공하는 비디오 코딩 방법을 실행한다.
본 발명의 실시예는 또한 엔코더를 제공하였는데 상기 엔코더는 실행 가능한 지령들을 기억시키는데 쓰이는 제1 기억 매체와 기억된 실행 가능한 지령들을 실행하도록 설치된 제1 프로세서를 포함하며, 상기 실행 가능한 지령은, 예정 시각이 기록된 풍경에 의해 형성된 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 단계; 매 시각 비디오 시퀀스는 상기 비디오 이미지 프레임들 중에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되며 상기 N개의 시각 비디오 시퀀스들의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이고 상기 N은 양의 정수며 한개의 파노라마 이미지 프레임 중의 매 구역들 사이는 상호 겹치지 않을 때 상기 파노라마 비디오를 상기 N개의 시각 비디오 시퀀스들로 분할하는 단계; 상기 N개의 시각 비디오 시퀀스들에 대하여 각각 코딩을 진행하여 N조의 코드 데이터들을 얻는 단계; 사용자의 관람시각을 확정하는 단계; 및 수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 단계를 실행하기 위한 것이다.
본 발명이 제공한 기술방안이 가져다주는 유익한 효과는, 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고, 이 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 사용자의 관람시각을 확정하고, 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 사용자에게 시각 비디오 시퀀스의 코드 데이터를 제공하는 것을 통하여, 오직 사용자의 관람시각내의 시각 비디오 시퀀스의 코드 데이터만을 사용자에게 제공할 수 있게 되며 시각외의 시각 비디오 시퀀스의 코드 데이터에 대한 송신과 디코딩을 없애어 파노라마 비디오의 전체 파노라마 이미지 프레임의 코드 데이터에 대한 송신과 디코딩으로 하여 초래되던 자원낭비문제를 해결하고 자원절약효과를 달성한 것이다.
본 발명의 기술방안을 보다 명백히 설명하기 위하여, 실시예를 설명하는데 사용해야 할 도면에 대하여 이하 간단히 소개하는데, 분명히 할 것은 이하 서술 중의 도면은 단지 본 발명의 실시예들이며, 이 기술분야에서 당업자라면 창조성 노동을 들이지 않는 전제하에서 이 도면들에 따라 기타 도면을 획득할 수도 있다는 것이다.
도 1은 본 발명의 매 실시예와 관련된 비디오 코딩 방법의 실시환경도이다.
도 2는 본 발명의 실시예가 제공하는 비디오 코딩 방법의 방법흐름도이다.
도 3a는 본 발명의 다른 실시예가 제공하는 비디오 코딩 방법의 방법흐름도이다.
도 3b는 본 발명의 또 다른 실시예가 제공하는 구역 분할 개략도이다.
도 3c는 본 발명의 또 다른 실시예가 제공하는 시각 비디오 시퀀스의 개략도이다.
도 3d은 본 발명의 또 다른 실시예가 제공하는 송신된 시각 비디오 시퀀스 중의 매개 구역을 나타낸 개략도이다.
도 3e는 본 발명의 또 다른 실시예가 제공하는 비디오 코딩 방법을 나타낸 개략도이다.
도 4는 본 발명의 실시예가 제공하는 비디오 코딩 장치의 구조를 나타낸 블록도이다.
도 5는 본 발명의 다른 실시예가 제공하는 비디오 코딩 장치의 구조를 나타낸 블록도이다.
도 6은 본 발명의 실시예가 제공하는 비디오 코딩 장치의 구조를 나타낸 블록도이다.
도 7은 본 발명의 다른 실시예가 제공하는 비디오 코딩 장치의 구조를 나타낸 블록도이다.
본 출원의 목적, 기술방안과 이점을 보다 명백히 하기 위하여, 도면을 결합하여 본 출원의 실시 방식에 대하여 이하 보다 상세히 설명한다.
도 1은 본 발명의 매개 실시예와 관련된 비디오 코딩 방법에 대한 실시환경도이며 도 1의 A에 파노라마 사진기 101과 사용자 디바이스 102가 포함된다. 이때 엔코더는 파노라마 사진기 101에, 디코더는 사용자 디바이스 102에 위치한다. 그중 사용자 디바이스 102은 VR(Virtual Reality)모자, TV, 컴퓨터, 휴대폰 등이 될수 있으며 이 실시예에서는 제한을 받지 않는다.
파노라마 사진기 101은 파노라마 비디오를 촬영하여 얻은 후에 엔코더를 통하여 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고 매 시각 비디오 시퀀스에 대하여 코딩하여 N조의 코드 데이터를 얻고, 사용자의 관람시각에 기초하여 그에 대응하는 코드 데이터를 사용자 디바이스 102에 송신하며, 사용자 디바이스 102는 디코더를 통하여 이 코드 데이터에 대한 디코딩을 진행하여 얻은 시각 비디오 시퀀스를 방송한다.
이 실시에서 도 1의 B에 파노라마 사진기 101, 서버 102와 사용자 디바이스 103이 포함되는데 그중 엔코더는 서버 102에, 디코더는 사용자 디바이스 103에 위치한다.
파노라마 사진기 101은 파노라마 비디오를 촬영하여 얻은 후에 파노라마 비디오를 서버 102에 송신하고 서버 102는 엔코더를 통하여 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고 매 시각 비디오 시퀀스에 대하여 코딩하여 N조의 코드 데이터를 얻으며 사용자의 관람시각에 따라 그에 대응하는 코드 데이터를 사용자 디바이스 103에 송신하고 사용자 디바이스 103은 디코더를 통하여 이 코드 데이터에 대하여 디코딩하여 얻은 시각 비디오 시퀀스를 방송한다.
본 발명의 기타 실시예에서 도 1의 아래 그림에는 파노라마 사진기 101, 서버 102와 사용자 디바이스 103이 포함되는데 그중 엔코더는 파노라마 사진기 101에, 디코더는 사용자 디바이스 103에 위치한다.
파노라마 사진기 101은 파노라마 비디오를 촬영하여 얻은 후에 엔코더를 통하여 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고 매 시각 비디오 시퀀스에 대하여 코딩하여 N조의 코드 데이터를 얻고 N조의 코드 데이터를 서버 102에 송신한다. 서버 102는 사용자의 관람시각에 근거하여 그에 대응하는 코드 데이터를 사용자 디바이스 103에 송신하고 사용자 디바이스 103은 디코더를 통하여 이 코드 데이터에 대하여 디코딩하고 디코딩하여 얻은 시각 비디오 시퀀스를 방송한다.
도 2는 본 발명의 실시예가 제공하는 비디오 코딩 방법의 방법흐름도를 보여주는데 이 비디오 코딩 방법은 도 1에서 보여준 실시환경에서 응용할 수 있다. 이 비디오 코딩 방법은, 예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 201 단계; 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하는 202 단계, 여기서, 매개의 시각 비디오 시퀀스는 파노라마 비디오의 전체 파노라마 이미지 프레임에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되며 N개의 시각 비디오 시퀀스의 수평시각의 총 수는 파노라마 이미지 프레임의 총 수평시각이고 N은 양의 정수이며 한개 파노라마 이미지 프레임중의 매개 구역들은 상호 겹치지 않는다.
엔코더가 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻는 203 단계; 디코더에서 엔코더에 사용자의 관람시각을 제공하는 204 단계; 엔코더가 사용자의 관람시각을 확정하는 205 단계; 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 206 단계; 디코더가 엔코더에서 송신한 코드 데이터를 수신하는 207 단계; 및 디코더가 코드 데이터에 대하여 디코딩을 진행하는 208 단계를 포함한다.
단계 201, 202, 203, 205와 206은 단독으로 엔코더 측의 실시예에서 실현할 수 있고 단계 204, 207과 208은 단독으로 디코더 측의 실시예에서 실현할 수 있다.
요약하면, 본 발명의 실시예가 제공하는 비디오 코딩 방법은 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고 이 N개의 시각 비디오 시퀀스들을 각각 코딩하여 N조의 코드 데이터를 얻고, 사용자의 관람시각을 확정하고, 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공함으로써, 오직 사용자의 관람시각내의 시각 비디오 시퀀스의 코드 데이터만을 사용자에게 제공할 수 있으며 관람시각외의 시각 비디오 시퀀스의 코드 데이터에 대한 송신과 디코딩을 없애어 파노라마 비디오의 전체 파노라마 이미지 프레임들의 코드 데이터를 송신하고 디코딩하여 자원낭비를 초래하던 문제를 해결하므로서하고 자원절약의 효과를 달성하게 되었다.
도 3a는 본 발명의 다른 실시예가 제공하는 비디오 코딩 방법의 방법흐름도를 보여주는데 이 비디오 코딩 방법은 도 1에서 보여준 실시환경에서 응용할 수 있다.
이 비디오 코딩 방법은 이하 단계를 포함한다:
엔코더가 예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 301 단계.
엔코더가 파노라마 사진기에 위치할 때 파노라마 사진기는 우선 서로 다른 방위의 카메라들을 통하여 비디오를 촬영하고 모든 카메라들에서 동일한 시각에 촬영되는 매개 이미지 프레임들을 합성하여 파노라마 이미지 프레임을 얻는다. 매개 파노라마 이미지 프레임들로 파노라마 비디오를 구성하고 이 파노라마 비디오를 엔코더에게 제공한다.
엔코더가 서버에 위치할 때 파노라마 사진기는 우에서 상기 흐름을 통하여 파노라마 비디오를 얻은 후 이 파노라마 비디오를 서버에 송신하고 서버는 이 파노라마 비디오를 엔코더에 제공한다.
여기서 파노라마 이미지 프레임은 예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임이다. 실례로 예정 시각은 수평 360°, 수직 180°, 또는 수평 360°, 수직 270° 등이다.
예정된 시각 분할 규칙에 근거하여 엔코더는 파노라마 비디오 중의 매개 파노라마 이미지 프레임을 수평시각에 따라 N개 구역으로 분할하는 302 단계를 포함한다.
여기서, N은 양의 정수이다. 시각 분할 규칙은 엔코더가 수평시각에 따라 파노라마 이미지 프레임에 대하여 구역 분할을 진행하는데 이용된다. 한개의 파노라마 비디오의 전체 파노라마 이미지 프레임의 시각 분할 규칙은 서로 같다. 그중, N개의 시각 비디오 시퀀스의 수평시각의 총 합은 파노라마 이미지 프레임의 총 수평시각이며 한개 파노라마 이미지 프레임 중의 매개 구역들은 상호 겹치지 않는다. 예를 들어, 파노라마 이미지 프레임의 총 수평시각이 360°일 때 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 360°이다.
이 실시예에서 한개 파노라마 이미지 프레임 중의 매개 구역의 수평시각의 구간범위는 서로 같을 수도 있고 다를 수도 있으며 이 실시예에서는 한정되지 않는다. 예를 들어 시각 분할 규칙에 의하여 평균 4개의 수평시각으로 분할 할 때 매 수평시각의 구간범위가 90°, 즉 0°-90°, 90°-180°, 180°-270°, 270°-360°를 각각 한개의 수평시각으로 한다. 혹은 실현시에 사용자의 일상적인 관람시각에 근거하여 시각 분할 규칙을 확정하므로서 구역 분할의 정확성을 제고할 수 있다.
예를 들어 사용자의 일상적인 관람시각이 15°-165°이고 시각 분할 규칙으로 0°-15°사이를 한개 수평시각으로 정한다면 15°-165°, 165°-360°의 구간들이 각각 한개의 수평시각으로 된다.
시각 분할 규칙에 근거하여 구역을 분할할 때, 가령 시각 분할 규칙으로 평균 3개의 수평시각으로 분할한다면 파노라마 이미지 프레임 0에 대하여 수평시각 0°-120°의 구역을 viewO로, 120°-240°의 구역을 view1로, 240°~360°의 구역을 view2로 하며, 파노라마 이미지 프레임 1에 대하여 수평시각 0°-120°의 구역을 viewO로, 120°-240°의 구역을 view1로, 240°-360°의 구역을 view2로 한다. 계속해서 파노라마 이미지 프레임 M에 대하여 수평시각 0°-120°의 구역을 viewO로, 120°-240°의 구역을 viewl로, 240°-360°의 구역을 view2로 하는데 도 3b에서 보여준 구역 분할 개략도를 참고하면 된다.
여기서 설명해야 할 것은 구역이 마크로 블로크들로 구성된다는 것이다. 마크로 블로크는 비디오 코딩 산법의 단위이다. 한개의 마크로 블로크는 1개의 밝기화소 블로크와 2개의 추가적인 색도화소 블로크들로 구성된다. 일반적으로 밝기화소 블로크는 크기가 16 x 16의 화소 블로크로, 2개의 색도이미지화소 블로크의 크기는 그 이미지의 샘플링 포맷에 따라 정한다.
한개 구역이 적어도 2개의 마크로 블로크를 포함할 때 매개 구역내의 마크로 블로크는 공간안에서 서로 의존한다. 즉 매 구역 내에서, 한개 마크로 블로크의 코드 데이터는 공간영역 안에서 서로 인접한 마크로 블로크의 코드 데이터에 의해 생성된다.
예를 들어 엔코더가 FOV1중의 마크로 블로크 1과 마크로 블로크 2가 서로 의존한다고 정의한다면 이때 마크로 블로크 1과 마크로 블로크2가 공간영역에서 인접할뿐만 아니라 마크로 블로크 1의 코드 데이터는 마크로 블로크 2의 코드 데이터에 의해 생성된다.
엔코더는 서로 다른 구역 사이의 마크로 블로크들이 공간영역 내에서 서로 독립이라고 정의한다. 즉 서로 다른 구역 사이의 공간영역 안에서 인접한 2개마크로 블로크의 코드 데이터는 무관계하다.
예를 들어 엔코더가 FOV1내의 마크로 블로크 1와 FOV2내의 마크로 블로크 2가 서로 의존하지 않는다고 정의할 때 마크로 블로크 1과 마크로 블로크 2는 공간영역 안에서 서로 인접하며 마크로 블로크 1의 코드 데이터의 생성은 마크로 블로크 2의 코드 데이터를 필요로 하지 않는다.
엔코더가 전체 파노라마 이미지 프레임에서 서로 같은 수평시각을 가지고 있는 구역들로 한개 시각 비디오 시퀀스를 구성하고 N개의 시각 비디오 시퀀스들을 얻는 303 단계,
도 3c에서 보여준 시각 비디오 시퀀스에 대한 개략도를 참고하면서 상기 실례를 가지고 계속해서 설명한다. 도 3c에서 파노라마 이미지 프레임을 간단히 F라고, 구역을 간단히 V라고 부르고 이때 M개 파노라마 이미지 프레임에서 수평시각을 0°-120°의 구역으로 조합하여 시각 비디오 시퀀스 F0V0, F1VO…, FMV0을 얻을 수 있으며, M개의 파노라마 이미지 프레임에서 수평시각을 120°-240°의 구역으로 조합하여 시각 비디오 시퀀스 F0V1, F1V1…, FMV1을 얻을 수 있다. M개의 파노라마 이미지 프레임에서 수평시각을 240°-360°의 구역으로 조합하여 시각 비디오 시퀀스 F0V2, F1V2…, FMV2을 얻을 수 있다.
그중 매개 시각 비디오 시퀀스 중의 매개 구역은 시간영역에서 서로 의존한다. 즉 매 시각 비디오 시퀀스내의 j번째 구역의 코드 데이터는 j-1번째 구역의 코드 데이터에 근거하여 생성되거나, 혹은 j-1번째 구역의 코드 데이터와 l번째 구역의 코드 데이터에 근거하여 생성된다. 여기서 j와 l은 모두 양의 정수이며 l>j≥2이다.
예를 들어 엔코더가 F0V1와 F1V1가 서로 의존한다고 정의할 때 F1V1의 코드 데이터는 F0V1의 코드 데이터에 근거하여 생성된다는것이다.
그중에 서로 다른 시각 비디오 시퀀스 사이의 매개 구역은 시간영역에서 서로 독립이다. 즉 서로 다른 시각 비디오 시퀀스 사이에서 임의의 2개 구역의 코드 데이터는 시간영역에서 무관하다.
예를 들어 엔코더가 F0V1와 F1V2가 서로 의존하지 않는다고 정의할 때 F1V2의 코드 데이터의 생성은 F0V1의 코드 데이터를 필요로 하지 않는다.
엔코더가 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻는 304 단계,
엔코더가 매개 시각 비디오 시퀀스에 대하여 대응하는 1조의 코드 데이터를 얻는다.
예를 들어 엔코더가 시각 비디오 시퀀스 F0V0, F1V0…, FMV0에 대하여 코딩을 진행하여 1조의 코드 데이터를 얻고, 시각 비디오 시퀀스 F0V1, F1V1…, FMV1에 대하여 코딩을 진행하여 1조의 코드 데이터를 얻으며 시각 비디오 시퀀스 F0V2, F1V2…, FMV2에 대하여 코딩을 진행하여 1조의 코드 데이터를 얻는다.
여기서 설명해야 할 것은 엔코더가 여러 사용자에게 파노라마 비디오의 코드 데이터를 제공해야 할 때 엔코더는 사전에 N개의 시각 비디오 시퀀스의 코드 데이터를 전부 얻어서 서로 다른 사용자의 관람시각에 근거하여 그에 대응되는 시각 비디오 시퀀스의 코드 데이터들을 서로 다른 사용자에게 제공할 수 있다는것이다.
엔코더가 오직 일 사용자에게 파노라마 비디오의 코드 데이터를 제공하여야 할 때에는 이 사용자의 관람시각에 근거하여 그에 대응되는 시각 비디오 시퀀스에 대해서만 코딩을 진행하여 코드 데이터를 이 사용자에게 제공함으로써 자원을 절약한다.
디코더에서 엔코더에 사용자의 관람시각을 제공하는 305 단계를 포함한다.
디코더는 먼저 사용자의 관람시각을 획득하여 이 관람시각을 엔코더에 송신한다.
여기서 디코더는 사용자 디바이스 중의 위치 센서에 근거하여 사용자 머리부의 회전운동각도로부터 관람시각을 얻을 수 있으며 또한 사용자 입력을 통해서도 관람시각을 얻을 수 있다. 이 실시예에서는 제한을 주지 않는다.
엔코더가 사용자의 관람시각을 확정하는 306 단계를 포함한다.
엔코더는 기정의 관람시각을 얻어 이것을 사용자의 관람시각으로 확정할 수 있다. 이때 305 단계를 실행하지 않을 수도 있고, 혹은 엔코더가 디코더가 송신한 관람시각을 수신하고 305 단계를 실행할 수도 있다.
엔코더가 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 이 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공하는 307 단계를 포함한다.
엔코더는 관람시각을 포함하는 한개의 수평시각을 선택할 수 있다. 예를 들어 사용자의 관람시각이 15°-165°일 때 만일 수평시각이 15°-165°인 시각 비디오 시퀀스가 존재한다면 수평시각이 15°-165°인 시각 비디오 시퀀스로 선택할 수 있도록 하고 만일 수평시각이 15°-165°인 시각 비디오 시퀀스가 존재하지 않고 오직 수평시각이 10°-180°인 시각 비디오 시퀀스만이 존재하면 수평시각이 10°-180°인 시각 비디오 시퀀스를 선택할 수 있도록 한다.
엔코더는 또한 적어도 2개의 서로 인접하는 수평시각을 선택할 수도 있으며, 적어도 2개의 서로 인접하는 수평시각들을 조합한 후의 수평시각은 관람시각을 포함한다.
예를 들어 사용자의 관람시각이 15°-165°일 때 만일 수평시각이 10°-95°인 시각 비디오 시퀀스와 수평시각이 95°-170°인 시각 비디오 시퀀스가 존재한다면 이 2개의 시각 비디오 시퀀스들을 선택할 수 있으며 조합한 후의 수평시각은 10°-170°로 되며 15°-165°의 관람시각을 포함하게 된다.
엔코더는 시각 비디오 시퀀스를 확정한 후에 이 시각 비디오 시퀀스에 대응하는 코드 데이터를 얻어 사용자에게 제공한다.
본 실시예에서 엔코더는 코드 데이터의 생성 시점에 따라 생성된 순서로 매 조의 코드 데이터를 차례로 사용자에게 제공할 수 있다. 예를 들어 F0V0, F1V0…, FMV0를 시각 비디오 시퀀스들이라고 할 때 엔코더는 시점 T00에 F0V0의 코드 데이터를, 시점 T1에서는 F1V0의 코드 데이터를,…, 시점 TMS에서는 F MV0의 코드 데이터를 사용자에게 제공할 수 있다.
디코더가 엔코더에서 송신한 코드 데이터를 수신하는 308 단계, 엔코더가 코드 데이터를 송신하는 형식에 대응하여 디코더는 코드 데이터의 송신순서에 따라 차례로 시각 비디오 시퀀스의 매 구역의 코드 데이터를 수신할 수 있다.
예를 들어 시각 비디오 시퀀스가 F0V0, F1V0…, FMV0라고 할 때 디코더는 시점 T00에서 F0V0의 코드 데이터를, 시점 T1에서 F1V0의 코드 데이터를…, 시점 TM에서 FMV0의 코드 데이터를 수신할 수 있다.
사용자가 관람과정에 머리부위를 돌리면 관람시각이 변화되며 이때 엔코더는 변화 후의 관람시각을 확정해야 하며 변화 후의 관람시각에 근거하여 송신할 코드 데이터를 조정하여야 한다. 구체적으로 이 실시예가 제공하는 비디오 코딩 방법에는 이하의 것이 더 포함된다.
1) 만일 시점 Ti에서 사용자의 관람시각이 변화되었다면 시각 비디오 시퀀스의 i번째 구역의 코드 데이터에 대한 송신을 금지한다. 여기서 i는 양의 정수이다;
2) 갱신 시각 비디오 시퀀스를 선택하고 갱신 시각 비디오 시퀀스의 i번째 구역의 코드 데이터를 사용자에게 제공하며 갱신 시각 비디오 시퀀스는 수평시각과 변화 후의 관람시각이 정합된 시각 비디오 시퀀스이다;
3)i를 i+l로 갱신하여 시점 Ti에서 갱신 시각 비디오 시퀀스의 i번째 구역의 코드 데이터를 사용자에게 제공하는 단계를 순환실행한다.
그중 시점 Ti는 엔코더가 사용자의 관람시간의 변화 발생을 확정한 시점이다. 관람시각의 변화 발생을 엔코더에 통지하는데 약간의 시간이 소모되므로 사용자의 관람시각의 변화가 발생한 실지 시점은 Ti보다 앞설 수 있는데 시점 Ti -1, 시점 Ti -2 등이 될 수 있으며 이것은 메시지 송신 지연으로 결정된다.
예를 들어 사용자가 시점 Ti -1에 관람시각을 조정하고 디코더에서 시점 Ti -1에 관람시각의 변화 발생을 확정하고, 이때 엔코더에 이것을 통지하며 엔코더에서 시점 Ti에서 관람시각의 변화발생을 확정한다.
실지 현실에서는 가령 시점 T00에서 사용자의 관람시각에 근거하여 확정된 시각 비디오 시퀀스들을 F0V0, F1V0…, FMV0라고 하고, 엔코더가 차례로 매 구역의 코드 데이터를 송신한다면 엔코더가 시점 T3에서 사용자의 관람시각의 변화 발생을 확정하고 변화 후의 관람시각에 근거하여 갱신 시각 비디오 시퀀스를 F0V1, F1 V1…, FMV1로 확정하였을 때 차례로 송신한 코드 데이터들에 대응되는 구역들은 F0V0, F1V0, F2V0, F3V1,F4V1...FMV1로 된다.
이 실시예에서 매 시각 비디오 시퀀스내의 매개 구역들은 시간영역에서 서로 의존한다, 즉 시각 비디오 시퀀스에서 두번째 구역의 디코딩은 IDR(Instantaneous Decoding Refresh, 즉시 디코딩 리프레시) 프레임부터 시작되는 모든 정방향 구역에서 의존관계여야 한다. 관람시각의 변화가 발생할 때 디코더는 오직 갱신 시각 비디오 시퀀스의 한개 구역의 코드 데이터만을 수신하여야 하며, 이 구역의 디코딩은 정방향 구역에서 의존관계여야 하므로 엔코더는 이 구역의 전체 정방향 구역의 코드 데이터들을 디코더에 송신하여야 한다. 정방향구역에 대한 이와 같은 송신 시간을 절약하기 위하여 비디오 방송이 중단되는 문제를 없앰으로써 엔코더는 관람시각의 변화가 발생하였을 때의 가능한 갱신 시각 비디오 시퀀스를 예측하고 예측된 이 갱신 시각 비디오 시퀀스의 코드 데이터를 디코더에 송신할 수 있다.
사용자가 대체로 완만하게 머리부위를 돌려 관람시각을 조정하므로 307 단계 중에서 선택된 시각 비디오 시퀀스와 서로 의존하는 시각 비디오 시퀀스를 예측된 갱신 시각 비디오 시퀀스로 정한다면 이때 309 단계을 실행할 수 있다.
엔코더가 이 수평시각과 인접하고 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스를 얻고 이 수평시각과 인접하며 수평시각보다 큰 m개의 연속적인 수평시각들에 대응되는 시각 비디오 시퀀스들을 획득하는 단계 309, 여기서, n과 m은 모두 양의 정수고 n+m≤N-1이며 이 n+m개의 시각 비디오 시퀀스들 중에서 같은 파노라마 이미지 프레임에 속하는 매 n+m개의 구역의 코드 데이터를 차례로 사용자에게 제공한다.
예를 들어 가령 4개의 시각 비디오 시퀀스의 수평시각들을 각각 0°-15°, 15°-165°, 165°-180°, 180°-360°로 하고 307 단계에서 선택한 수평시각들을 15°-165°의 시각 비디오 시퀀스 F0V1, F1V1…, FMV1라고 할 때 15°-165°보다 작고 15°-165°와 서로 인접하는 수평시각 0°-15°을 확정하고 0°-15°의 시각 비디오 시퀀스 F0V0, F1V0…, FMV0을 얻을 수 있으며, 15°-165°보다 더 크고 15°-165°와 서로 인접하는 수평시각 165°-180°를 확정하고 165°-180°의 시각 비디오 시퀀스 F0V2, F1V2…,FMV2를 얻을 수 있다.
n+m개의 시각 비디오 시퀀스들을 확정한 후에 엔코더는 매 시점에 n+m개의 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임에 속하는 n+m개 구역의 코드 데이터를 사용자에게 제공할 수 있다.
예를 들어 시점 T00에서 파노라마 이미지 프레임 0에 속하는 n+m개 구역의 코드 데이터, 즉 F0V0와 F0V2의 코드 데이터를 사용자에게 제공하고 시점 T1에서 파노라마 이미지 프레임 1에 속한 n+m개 구역과 같은 코드 데이터, 즉 F1V0와 F1V2의 코드 데이터를 사용자에게 제공하며 시점 TM에서 파노라마 이미지 프레임 M에 속하는 n+m개 구역의 코드 데이터, 즉 FMV0와 FMV2의 코드 데이터를 사용자에게 제공한다.
설명하여야 할 것은 엔코더가 n+m개 시각 비디오 시퀀스의 코드 데이터와 307 단계에서의 코드 데이터를 함께 사용자에게 제공할 수 있으므로 시각이 전환될 때 방송이 중단되는 것을 막을 수 있다는 것이다. 예를 들어 시점 T0에서 F0V0, F0V1와 F0V2의 코드 데이터를 사용자에게 제공하고 시점 T1에서 F1V0, F1V1와 F1V2의 코드 데이터를 사용자에게 제공하며…, 시점 TM에서 FMV0, FMV1와 FMV2의 코드 데이터를 사용자에게 제공한다.
이 실시예에서 만일 엔코더가 오직 관람시각과 정합이 되는 시각 비디오 시퀀스의 코드 데이터만을 제공한다면 이때 송신이 점유하는 대역폭 자원은 비교적 작으며, 만일 사용자의 관람시각이 변화된다면 기타 시각 비디오 시퀀스도 송신하여야 하므로 방송이 중단되는 문제를 조성할 수 있으며 만일 엔코더가 수평시각이 관람시각과 정합이 되는 시각 비디오 시퀀스의 코드 데이터를 제공할 뿐아니라 n+m개의 기타 시각 비디오 시퀀스의 코드 데이터를 또 제공한다면 송신이 점유하는 대역폭 자원이 비교적 크다 할지라도 사용자의 관람시각의 변화가 발생하였을 때에 즉시 버퍼의 시각 비디오 시퀀스를 방송할 수 있으므로 비디오 방송의 연속성을 보장할 수 있다.
n+m<N-1일 때 파노라마 비디오의 코드 데이터를 모두 송신할 필요가 없으므로 대역폭 자원을 절약할 수 있다.
도 3d에서 보여준 송신된 시각 비디오 시퀀스의 매개 구역의 개략도를 참고하면 도 3d에서 T0시점에 관람시각에 대응하는 시각 비디오 시퀀스는 Vn이고, T0시점에서 버퍼의 시각 비디오 시퀀스들은 Vn -1과 Vn +1이다. T1시점에서 엔코더가 사용자의 관람시각이 변화되었음을 확정할 때 관람시각에 대응하는 시각 비디오 시퀀스는 Vn -1이고 T1시점에서 버퍼에 있는 시각 비디오 시퀀스들은 Vn-2와 Vn이다.
디코더가 차례로 n+m개의 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개 구역의 코드 데이터들을 수신하는 단계 310를 포함한다.
엔코더의 코드 데이터 송신형식에 대응하여 디코더는 코드 데이터의 송신 순서에 따라 차례로 n+m개 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개 구역들의 코드 데이터를 수신한다.
예를 들어 디코더는 시점 T0에서 F0V0와 F0V2의 코드 데이터를, 시점 T1에서 F1V0와 F1V2의 코드 데이터를 …, TM시점에서 FMV0와 FMV2의 코드 데이터를 수신할 수 있다.
엔코더가 n+m개 시각 비디오 시퀀스의 코드 데이터와 307 단계에서의 코드 데이터를 함께 사용자에게 제공할 때 310 단계는 308 단계과 합칠 수 있다. 즉 디코더는 시점 T0에서 F0V0, F0V1와 F0V2의 코드 데이터를, 시점 T1에서 F1V0, F1V1와 F1V2의 코드 데이터를 …, 시점 TM에서 FMV0, FMV1와 FMV2의 코드 데이터를 수신할 수 있다.
디코더가 코드 데이터에 대하여 디코딩을 진행하는 311 단계를 포함한다.
이 실시예에서는 n+m개의 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개 구역에 대한 코드 데이터를 차례로 수신한 후에 엔코더가 코드 데이터에 대한 두가지 처리방식을 제공하였는데 이하 이 두가지 처리방식에 대하여 각각 소개한다.
첫번째 처리방식에서는 현재 시점에서 수신되고, 수평시각과 관람시각이 정합된 시각 비디오 시퀀스의 구역의 코드 데이터에 대하여 디코딩을 진행하여 얻어진 구역을 방송한다; 현재 시점에서 수신한 n+m개의 시각 비디오 시퀀스들 중의 n+m개 구역에 대한 코드 데이터를 버퍼에 기억시킨다.
오직 관람시각에 대응하는 구역의 코드 데이터에 대해서만 디코딩을 진행하고 기타 나머지 구역의 코드 데이터들은 디코딩하지 않으므로 자원을 절약할 수 있다. 이와 같은 처리방식은 관람시각의 변화가 비교적 적은 장면들에 적용한다.
예를 들어 현재의 시점이 T0이고, 관람시각에 대응되는 구역을 F0V1이라고 하면 디코더는 F0V1의 코드 데이터를 디코딩하여 방송하며 F0V0과 F0V2의 구역의 코드 데이터들은 버퍼에 기억시킨다. 이때, F0V0과 F0V2의 구역의 코드 데이터들은 디코딩할 필요가 없으므로 자원을 절약할 수 있다.
만일 시점 Ti에서 디코더가 사용자의 관람시각에 변화가 발생한 것을 확정한다면 첫번째 처리방식에 따라 디코더는 버퍼의 n+m개 구역의 코드 데이터들 중에서 갱신 시각 비디오 시퀀스의 i번째 구역의 코드 데이터를 선택하여 코드 데이터에 대한 디코딩을 진행하며 동시에 얻어진 i번째 구역을 방송한다.
예를 들어 T0시점에서 관람시각에 대응하는 시각 비디오 시퀀스를 V2이라고 할 때 디코더는 F0Vl,F0V2와 F0V3의 코드 데이터들을 수신하고, T1시점에서 디코더가 사용자의 관람시각이 변화되는 것을 확정할 때 엔코더는 여전히 사용자의 관람시각이 변화되는 것을 모르므로 F1V1, F1V2와 F1V3의 코드 데이터들을 모두 송신하며 이때 디코더는 F1V1, F1V2와 F1V3의 코드 데이터들을 모두 수신한다. F1V1에 대한 디코딩을 진행하려면 F0V1에 근거해야 하므로 디코더는 F0V1의 코드 데이터를 먼저 디코딩할 수 있으며 얻어진 F0V1에 근거하여 F1V1의 코드 데이터를 디코딩하여 얻어진 F1V1를 방송한다; T2시점에서 엔코더가 사용자의 관람시각이 변화되는 것을 확정한다면 F2VO, F2V1 및 F2V2의 코드 데이터들을 송신하며 이때 디코더는 F2VO, F2V1과 F2V2의 코드 데이터들을 수신하고 앞서 디코딩하여 얻은 F1V1에 근거하여 F2V1의 코드 데이터를 디코딩하여 얻은 F2V1를 방송한다. 이와 같은 방법으로 연속적으로 처리한다.
두번째 처리방식에서는 현재 시점에서 수신되고 수평시각과 관람시각이 정합된 시각 비디오 시퀀스 중의 구역의 코드 데이터에 대하여 디코딩을 진행하며 동시에 얻어진 구역을 방송하고 현재 시점에서 수신한 n+m개의 시각 비디오 시퀀스들 중의 n+m개 구역의 코드 데이터에 대하여 디코딩을 진행하며 동시에 얻어진 n+m개 구역을 버퍼에 기억시킨다.
예를 들어 현재의 시점이 T0이고 관람시각에 대응하는 구역을 F0V1이라고 하고 디코더가 F0V1의 코드 데이터를 디코딩하여 방송하면서 동시에 F0V0과 F0V2의 코드 데이터를 버퍼에 기억시키도록 한다.
만일 시점 Ti에서 사용자의 관람시각이 변화된다면 두번째 처리방식에 맞게 디코더가 버퍼에 기억된 n+m개의 구역들 중에서 갱신 시각 비디오 시퀀스 중의 i번째 구역을 선택하고 동시에 i번째 구역을 방송한다.
예를 들어 T0 시점에서 관람시각에 대응되는 시각 비디오 시퀀스를 V2이라고 할 때 디코더는 F0V1, F0V2 및 F0V3의 코드 데이터를 수신하여 디코딩하여 F0V2을 방송한다; T1 시점에서 디코더가 사용자의 관람시각이 변화되는 것을 확정한다면 이때 엔코더는 여전히 사용자의 관람시각의 변화 발생을 모르므로 F1V1,F1V2와 F1V3의 코드 데이터를 송신하며 이때 디코더는 F1V1, F1V2와 F1V3의 코드 데이터를 수신한다. F1V1에 대한 디코딩은 이미 디코딩하여 얻어진 F0V1에 근거해서 진행되여야 하므로 디코더는 직접 F0V1에 근거하여 F1V1의 코드 데이터를 디코딩하며 이렇게 얻어진 F1V1을 방송한다. T2 시점에서 엔코더는 사용자의 관람시각의 변화발생을 확정하고 F2V0, F2V1 및 F2V2의 코드 데이터를 송신하고 이때 디코더는 F2V0, F2V1 및 F2V2의 코드 데이터를 수신하며 F1V1에 근거하여 F2V1의 코드 데이터를 디코딩하여 얻어진 F2V1을 방송한다. 이러한 방법으로 연속적인 처리를 진행한다.
전체 구역의 코드 데이터에 대한 실시간 디코딩을 진행하여 방송의 연속성을 제고해야 하므로 이러한 실현방식들은 관람시각의 변화가 비교적 많은 장면에 적용된다.
그중 301, 302, 303, 304, 306, 307 및 309 단계들은 단독으로 엔코더 측의 실시예를 실현할 수 있고 305, 308, 310 및 311 단계는 단독으로 디코더 측의 실시예를 실현할 수 있다.
이해를 도모하기 위하여 이 실시예에서는 엔코더를 파노라마 사진기에 배치하고 디코더는 사용자 디바이스에 배치하며 또한 서버에 대하여 실례를 들어 설명한다. 도 3e에 보여준 비디오 코딩 방법의 개략도를 참고하면 구체적인 실현과정이 다음과 같다.
파노라마 사진기가 카메라를 통하여 파노라마 비디오를 촬영하는 3011 단계; 파노라마 사진기가 엔코더를 통하여 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고 코딩하여 N조의 코드 데이터를 얻는 3012 단계; 파노라마 사진기가 N조의 코드 데이터를 서버에 송신하는 3013 단계; 서버가 N조의 코드 데이터를 수신하는 3014 단계; 사용자 디바이스가 서버에 사용자의 관람시각을 송신하는. 3015 단계; 서버가 사용자의 관람시각을 수신하는 3016 단계; 서버가 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 n+m개의 기타 시각 비디오 시퀀스를 획득하는 3017 단계; 및 이때 n+m개의 시각 비디오 시퀀스의 획득 과정은 309 단계의 설명을 통하여 상세히 알 수 있다.
서버가 이 시각 비디오 시퀀스와 n+m개의 시각 비디오 시퀀스의 코드 데이터를 사용자 디바이스에 송신하는 3018 단계; 사용자 디바이스가 이 시각 비디오 시퀀스와 n+m개의 시각 비디오 시퀀스의 코드 데이터를 수신하는 3019 단계; 사용자 디바이스가 디코더를 통하여 수평시각과 관람시각이 정합된 시각 비디오 시퀀스의 코드 데이터를 디코딩하고, 얻어진 시각 비디오 시퀀스를 방송하며, n+m개의 시각 비디오 시퀀스의 코드 데이터를 버퍼에 기억시키는 3020 단계; 및 요약하면, 본 발명의 실시예가 제공하는 비디오 코딩 방법은 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하여 이 N개의 시각 비디오 시퀀스들을 각각 코딩하여 N조의 코드 데이터들을 얻고, 사용자의 관람시각을 확정하며, 관람시각을 포함하는 수평시각의 시각 비디오 시퀀스를 선택하고 그에 대응되는 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공함으로써 오직 사용자의 관람시각 내의 시각 비디오 시퀀스의 코드 데이터만을 사용자에게 제공할 수 있게 되었으며 관람시각외의 시각 비디오 시퀀스의 코드 데이터에 대한 송신과 디코딩을 없앰으로써 파노라마 비디오의 전체 파노라마 이미지 프레임의 코드 데이터를 수신하고 디코딩하여 자원랑비를 초래하던 문제를 해결하고 자원 절약 효과를 달성하게 되었다.
그 외에 수평시각과 인접하며 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들을 얻고 또한 수평시각과 인접하며 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들을 얻는 것을 통하여, 상기 n+m개의 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개의 구역들의 코드 데이터들을 차례로 제공함으로써 관람시각과 인접하는 수평시각의 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공할 수 있게 되었다. 이로 하여 관람시각이 변화될 때 디코더가 즉시 버퍼에 기억된 코드 데이터들 중에서 대응되는 코드 데이터들을 획득함으로써 관람시각이 변화될 때 엔코더가 수평시각과 변화 후의 관람시각이 정합된 시각 비디오 시퀀스의 코드 데이터들을 디코더에 송신하여 방송이 중단되던 문제를 해결하게 되었으며 비디오 방송의 연속성 효과를 보다 제고할 수 있게 되었다.
도 4는 본 발명의 실시예가 제공하는 비디오 코딩 장치의 구조를 나타낸 블록도를 보여준다. 이 비디오 코딩 방법은 도 1에서 보여준 실시 환경에 응용할 수 있다. 이 비디오 코딩 디바이스는 이하 모듈들을 포함한다.
예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임으로 구성되는 파노라마 비디오를 얻도록 설치된 비디오 획득 모듈 410; 비디오 획득 모듈 410에서 얻어진 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하도록 설치된 비디오 분할 모듈 420; 및 매개의 시각 비디오 시퀀스는 파노라마 비디오의 전체 파노라마 이미지 프레임에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되며 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 파노라마 이미지 프레임의 총 수평시각이고 N은 양의 정수이며 여기서 한개 파노라마 이미지 프레임 중의 매개 구역들은 상호 겹치지 않는다.
비디오 분할 모듈 420에서 얻은 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻도록 설치된 비디오 코딩 모듈 430; 사용자의 관람시각을 확정하도록 설치된 시각 확정 모듈 440; 시각 확정 모듈 440에서 확정된 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공하는 제1 제공 모듈 450; 및 요약하면, 본 발명의 실시예가 제공하는 비디오 코딩 디바이스는 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하여 이 N개의 시각 비디오 시퀀스들을 각각 코딩하여 N조의 코드 데이터들을 얻고, 사용자의 관람시각을 확정하며, 관람시각을 포함하는 수평시각의 시각 비디오 시퀀스를 선택하고 그에 대응되는 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공함으로써 오직 사용자의 관람시각내의 시각 비디오 시퀀스의 코드 데이터만을 사용자에게 제공할 수 있게 되었으며 관람시각외의 시각 비디오 시퀀스의 코드 데이터에 대한 송신과 디코딩을 없앰으로써 파노라마 비디오의 전체 파노라마 이미지 프레임의 코드 데이터를 수신하고 디코딩하여 자원낭비를 초래하던 문제를 해결하게 되었으며 자원절약효과를 달성하게 되었다.
도 5는 본 발명의 다른 실시예가 제공하는 비디오 코딩 장치의 구조를 나타낸 블록도를 보여주며 이 비디오 코딩 방법은 도 1에서 보여주는 실시 환경에서 응용할 수 있다. 이 비디오 코딩 장치는 이하 모듈들을 포함한다.
예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임으로 구성되는 파노라마 비디오를 얻도록 설치된 비디오 획득 모듈 510,
비디오 획득 모듈 510에서 얻어진 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하도록 설치된 비디오 분할 모듈 520,
매개의 시각 비디오 시퀀스는 파노라마 비디오의 전체 파노라마 이미지 프레임에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되며 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 파노라마 이미지 프레임의 총 수평시각이고 N은 양의 정수이며 여기서 한개 파노라마 이미지 프레임 중의 매개 구역들은 상호 겹치지 않는다.
비디오 분할 모듈 520에서 얻은 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻도록 설치된 비디오 코딩 모듈 530,
사용자의 관람시각을 확정하도록 설치된 시각 확정 모듈 540,
시각 확정 모듈 540에서 확정된 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공하는 제1 제공 모듈 550,
본 발명의 기타 실시예에서 비디오 분할 모듈 520은,
예정된 시각 분할 규칙에 근거하여 파노라마 비디오 중의 매개 파노라마 이미지 프레임를 수평시각에 따라 N개의 구역으로 분할하는 구역 분할 유닛 521과,
구역 분할 유닛 521에 의해 분할된 전체 파노라마 이미지 프레임 중에서 서로 같은 수평시각을 가지고 있는 구역들로 한개의 시각 비디오 시퀀스를 구성하여 N개의 시각 비디오 시퀀스들을 얻는 시퀀스 생성 유닛 522,
본 발명의 기타 실시예에서 제1 제공 모듈 540은,
i가 양의 정수일 때 시점 Ti에서 사용자의 관람시각에 변화가 발생한 것이 확정되면 상기 시각 비디오 시퀀스 중의 i번째 구역의 코드 데이터에 대한 송신을 금지하고,
수평시각이 변화 후의 관람시각과 정합된 시각 비디오 시퀀스인 갱신 시각 비디오 시퀀스를 선택하여 갱신 시각 비디오 시퀀스의 i번째 구역의 코드 데이터를 사용자에게 제공하고,
i를 i+l로 갱신하고 시점 Ti에서 상기 갱신 시각 비디오 시퀀스 중의 i번째 구역의 코드 데이터를 상기 사용자에게 제공하는 단계를 순환실행하도록 하기 위해서도 설치된다.
본 발명의 기타 실시예에서 이 실시예가 제공하는 비디오 코딩 장치는,.
n과 m이 양의 정수고 n+m≤N-l일 때 제 1제공모듈 550에서 수평시각이 관람시각과 정합된 비디오 시퀀스를 선택한 후 수평시각과 인접하고 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스를 획득하고, 수평시각과 인접하고 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스를 획득하도록 설치된 시퀀스 선택 모듈 560과,
시퀀스 선택 모듈 560에서 선택된 n+m개의 시각 비디오 시퀀스들 중 동일한 파노라마 이미지 프레임에 속하는 매 n+m개 구역들의 코드 데이터를 차례로 사용자에게 제공하도록 설치된 제2 제공 모듈 570을 더 포함한다.
본 발명의 기타 실시예에서, j와 l이 양의 정수고 l>j≥2일 때 매 시각 비디오 시퀀스 중의 j번째 구역의 코드 데이터가 j-1번째 구역의 코드 데이터에 의해 생성되거나, 혹은 j-1번째 구역의 코드 데이터와 l번째 구역의 코드 데이터에 의해 생성되고,
서로 다른 시각 비디오 시퀀스들 사이의 임의의 2개 구역의 코드 데이터들은 시간영역에서 상호 무관계하다.
본 발명의 기타 실시예에서 구역이 적어도 2개의 마크로 블로크들을 포함할 때 매 구역내의 한개 마크로 블로크의 코드 데이터는 그것과 공간영역 내에서 인접하는 마크로 블로크의 코드 데이터에 의하여 생성되고,
서로 다른 구역들 사이의 공간영역 내에서 인접하는 2개의 마크로 블로크들의 코드 데이터들은 상호 무관계하다.
요약하면, 본 발명의 실시예가 제공하는 비디오 코딩 디바이스는 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하여 이 N개의 시각 비디오 시퀀스들을 각각 코딩하여 N조의 코드 데이터들을 얻고, 사용자의 관람시각을 확정하며, 관람시각을 포함하는 수평시각의 시각 비디오 시퀀스를 선택하고 그에 대응되는 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공함으로써 오직 사용자의 관람시각내의 시각 비디오 시퀀스의 코드 데이터만을 사용자에게 제공할 수 있게 되었으며 관람시각외의 시각 비디오 시퀀스의 코드 데이터에 대한 송신과 디코딩을 없앰으로써 파노라마 비디오의 전체 파노라마 이미지 프레임의 코드 데이터를 수신하고 디코딩하여 자원낭비를 초래하던 문제를 해결하게 되었으며 자원절약효과를 달성하게 되었다.
그 외에 수평시각과 인접하며 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들을 얻고, 또한 수평시각과 인접하며 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들을 얻는 것을 통하여 상기 n+m개의 시각 비디오 시퀀스들중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개의 구역들의 코드 데이터들을 차례로 사용자에게 제공함으로써 관람시각과 인접하는 수평시각의 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공할 수 있게 되었다. 이로 하여 관람시각이 변화될 때 디코더가 즉시 버퍼에 기억된 코드 데이터들 중에서 대응되는 코드 데이터들을 획득함으로써 관람시각이 변화될 때 엔코더가 수평시각과 변화 후의 관람시각이 정합된 시각 비디오 시퀀스의 코드 데이터들을 디코더에 송신하여 방송이 중단되던 문제를 해결하게 되었으며 비디오 방송의 연속성효과를 보다 제고할 수 있게 되었다.
도 6은 본 발명의 실시예가 제공하는 비디오 코딩 장치의 구조를 나타낸 블록도를 보여주었는데 이 비디오 코딩 방법은 도 1에서 보여준 실시 환경에서 응용할 수 있다. 이 비디오 코딩 장치는,
예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성된 파노라마 비디오를 얻도록 설치된 엔코더에 사용자의 관람시각을 제공하고, N이 양의 정수일 때 상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고, 상기 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하며, 매개 시각 비디오 시퀀스가 상기 파노라마 비디오의 전체 파노라마 이미지 프레임중에서 서로 같은 수평시각을 가진 구역들로 구성되고 상기 N개의 시각 비디오 시퀀스의 수평시각의 총 합이 상기 파노라마 이미지 프레임의 총 수평시각이며,1개의 파노라마 이미지 프레임의 매 구역들 사이에는 상호 겹치지 않도록 설치된 시각 제공 모듈 610과,
엔코더가 송신하는 상기 코드 데이터를 수신하도록 설치된 제1 수신 모듈 620,
제1 수신 모듈 620에서 수신된 상기 코드 데이터를 디코딩하도록 설치된 데이터 디코딩 모듈 630.
요약하면, 본 발명의 실시예가 제공하는 비디오 코딩 디바이스는 엔코더에 사용자의 관람시각을 제공하여 엔코더에서 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고 이 시각 비디오 시퀀스들에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 관람시각을 포함하는 수평시각의 시각 비디오 시퀀스를 선택하여 이 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공함으로써 관람시각외의 시각 비디오 시퀀스들의 코드 데이터에 대한 송신과 디코딩을 없애게 되었다. 이로써 파노라마 비디오의 전체 파노라마 이미지 프레임들의 코드 데이터를 수신하고 디코딩함으로 하여 초래되던 자원낭비문제를 해결하게 되었으며 자원절약효과를 달성할 수 있게 되었다.
도 7은 본 발명의 다른 실시예가 제공하는 비디오 코딩 장치의 구조를 나타낸 블록도이며 이 비디오 코딩 방법은 도 1에서 보여준 실시환경에서 응용할 수 있다. 이 비디오 코딩 장치는,
예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성된 파노라마 비디오를 얻도록 설치된 엔코더에 사용자의 관람시각을 제공하고, N이 양의 정수일 때 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고, N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공하며, 매개 시각 비디오 시퀀스가 파노라마 비디오의 전체 파노라마 이미지 프레임중에서 서로 같은 수평시각을 가진 구역들로 구성되고 N개의 시각 비디오 시퀀스의 수평시각의 총 합이 파노라마 이미지 프레임의 총 수평시각이며, 1개의 파노라마 이미지 프레임의 매 구역들 사이에는 상호 겹치지 않도록 설치된 시각 제공 모듈 710과,
엔코더가 송신하는 코드 데이터를 수신하도록 설치된 제1 수신 모듈 720,
제1 수신모듈 720에서 수신한 상기 코드 데이터를 디코딩하도록 설치된 데이터 디코딩 모듈 730을 포함한다.
본 발명의 기타 실시예에서 제공하는 비디오 코딩 장치는
n과 m이 양의 정수고 n+m≤N-1일 때 수평시각과 인접하고 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들과 수평시각들과 인접하고 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들인 n+m개의 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개의 코드 데이터들을 차례로 수신하도록 설치된 제2 수신 모듈 740을 더 포함한다.
본 발명의 기타 실시예에서 데이터 디코딩 모듈 730은,
현재 시점에서 수신되고 수평시각이 관람시각과 정합된 시각 비디오 시퀀스 중의 구역의 코드 데이터들에 대해 디코딩을 진행하고, 얻어진 구역들을 방송하고, 현재 시점에서 수신된 n+m개의 시각 비디오 시퀀스들 중의 n+m개의 구역들의 코드 데이터들을 버퍼에 기억시키도록 설치된 제1 프로세스 유닛 731을 포함한다.
본 발명의 기타 실시예에서 데이터 디코딩 모듈 730은,
시점 Ti에서 상기 사용자의 관람시각에 변화가 발생하는 경우, 수평시각이 상기 관람시각과 정합된 제1 프로세스 유닛이 버퍼에 기억시킨 상기 n+m개 구역들의 코드 데이터들 중에서 수평시각이 상기 사용자의 관람시각과 정합된 시각 비디오 시퀀스인 갱신 시각 비디오 시퀀스의 i번째 구역의 코드 데이터를 선택하여 상기 코드 데이터에 대해 디코딩을 진행하고, 얻어진 상기 i번째 구역을 방송하도록 설치된 제2 프로세스 유닛 732를 더 포함한다.
본 발명의 기타 실시예에서 데이터 디코딩 모듈 730은,
현재 시점에서 수신되고 수평시각이 관람시각과 정합된 시각 비디오 시퀀스 중의 구역들의 코드 데이터들에 대하여 디코딩을 진행하고 얻어진 구역들을 방송하며, 현재 시점에서 수신된 n+m개의 시각 비디오 시퀀스들 중의 n+m개의 구역들의 코드 데이터들에 대하여 디코딩을 진행하고 얻어진 상기 n+m개의 구역들을 버퍼에 기억시키도록 설치된 제3 프로세스 유닛 733을 포함한다.
본 발명의 기타 실시예에서 데이터 디코딩 모듈 730은,
시점 Ti에서 사용자의 관람시각에 변화가 발생하는 경우 제2 프로세스 유닛이 버퍼에 기억시킨 n+m개의 구역들 중에서 수평시각이 변화 후의 관람시각과 정합된 시각 비디오 시퀀스인 갱신 시각 비디오 시퀀스 중의 i번째 구역을 선택하고 i번째 구역을 방송하도록 설치된 제4 프로세스 유닛 734을 더 포함한다.
요약하면, 본 발명의 실시예가 제공하는 비디오 코딩 장치는 엔코더에 사용자의 관람시각을 제공하여 엔코더에서 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고 이 시각 비디오 시퀀스들에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 관람시각을 포함하는 수평시각의 시각 비디오 시퀀스를 선택하여 이 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공함으로써 관람시각외의 시각 비디오 시퀀스들의 코드 데이터에 대한 송신과 디코딩을 없애어 파노라마 비디오의 전체 파노라마 이미지 프레임들의 코드 데이터를 수신하고 디코딩함으로 하여 초래되던 자원낭비문제를 해결하게 되었으며 자원절약효과를 달성할 수 있게 되었다.
그 외에 n+m개의 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임의 매 n+m개 구역들의 코드 데이터들을 차례로 수신하는 것을 통하여 엔코더는 관람시각과 인접하는 수평시각의 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공하여 관람시각이 변화될 때 디코더가 즉시 버퍼의 코드 데이터들 중에서 대응하는 코드 데이터를 획득하도록 함으로써 관람시각이 변화될 때 엔코더가 수평시각과 변화 후의 관람시각이 정합된 시각 비디오 시퀀스의 코드 데이터를 디코더에 송신해야 하는 것으로 하여 방송이 중단되는 문제를 해결하였으며 비디오 방송의 연속성을 제고하는 효과를 달성하였다. 여기서, n+m개의 시각 비디오 시퀀스들은 엔코더에서 획득하는데, 수평시각과 인접하고 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들이며, 또한 수평시각과 인접하고 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들이다.
본 발명의 실시예에서 비디오 코딩 장치가 포함하는 비디오 획득 모듈, 비디오 분할 모듈, 비디오 코딩 모듈, 시각 확정 모듈, 제1 제공 모듈 등의 모듈들과 매 모듈들이 포함하는 매 유닛들은 모두 엔코더 내부의 프로세서에 의해 실현하고, 본 발명의 실시예에서 비디오 코딩 장치가 포함하는 시각 제공 모듈, 제1 수신 모듈과 데이터 코딩 모듈 등의 모듈들과 매 모듈들이 포함하는 매 유닛들은 모두 디코더 내부의 프로세서에 의해 실현할 수 있으며, 그중 프로세서가 실현하는 기능은 당연하게 논리회로를 통하여 실현할 수 있고 실시과정에서 프로세서는 중앙 처리 장치(CPU), 마이크로 프로세서(MPU), 디지털 신호 프로세서(DSP) 또는 사용자 프로그램식 문 배렬(FPGA) 등일 수 있다.
설명해야 할 것은 본 발명의 실시예에서 만일 소프트웨어 기능 모듈의 형식으로 상기 비디오 코딩 방법을 실현한다면 독립적인 제품 판매와 사용시 한개의 흘라쉬에 기억시킬 수도 있다. 이러한 이해에 기초하여, 본 발명의 실시예의 기술방안에서 본질상 혹은 종래 기술에 공헌한 부분은 소프트웨어 제품의 형식으로 구현할 수 있으며, 이 컴퓨터 소프트웨어 제품을 한개의 기억 매체에 기억시킬수 있으며, 얼마간의 지령을 포함하는 한대의 컴퓨터 디바이스(개인용 컴퓨터, 서버, 또는 네트워크 디바이스 등)가 본 발명 매개 실시예에서 서술된 방법의 전부 또는 일부를 실행할 수 있다.
한편 상기 기억 매체에는, USB 메모리, 하드디스크, 읽기 전용 메모리 (ROM, Read Only Memory), 자기테프 또는 CD 등 각종 프로그램 코드 기억 매체들이 포함된다. 이와 같이 본 발명의 실시예들은 어떤 특정한 하드웨어와 소프트웨어의 결합에 제한을 받지 않는다.
상응하게, 본 발명의 실시예에서는 또한 일종의 컴퓨터 기억 매체를 제공하는데 상기 컴퓨터 기억 매체에서는 컴퓨터 실행 가능 명령들을 기억하고 이 컴퓨터 실행 가능 명령들을 이용하여 본 발명의 실시예에서 제공한 비디오 코딩 방법을 실행하도록 한다.
상응하게, 본 발명의 실시예에서는 엔코더를 제공하는데, 실행 가능 명령들을 기억하는데 쓰이는 제1 기억 매체와 제1 프로세서를 포함하는 엔코더를 제공한다. 그중 제1 프로세서는 기억된 실행 가능 명령들을 실행하도록 설치되며, 상기 실행 가능 명령들은 이하 단계들을 실행하는데 이용된다:
예정 시각이 기록된 풍경에 의해 형성된 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 단계,
매 시각 비디오 시퀀스는 상기 비디오 이미지 프레임들 중에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되며 상기 N개의 시각 비디오 시퀀스들의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이고 상기 N은 양의 정수이며 한개의 파노라마 이미지 프레임 중의 매 구역들 사이는 상호 겹치지 않을 때 상기 파노라마 비디오를 상기 N개의 시각 비디오 시퀀스들로 분할하는 단계,
상기 N개의 시각 비디오 시퀀스들에 대하여 각각 코딩을 진행하여 N조의 코드 데이터들을 얻는 단계,
사용자의 관람시각을 확정하는 단계,
수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 단계,
상응하게, 본 발명의 실시예에서는 데 엔코더와 디코더를 포함하는 디코딩 시스템을 제공하는데, 그중 상기 엔코더는 실행 가능 명령들을 기억시키는 제1 기억 매체와 제1 프로세서를 포함하고, 제1 프로세서는 기억 매체에 기억된 실행 가능 명령을 실행하도록 설치되며 실행 가능 명령들은 이하 단계들을 실행하는데 이용된다.
예정 시각이 기록된 풍경에 의해 형성된 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 단계와,
매 시각 비디오 시퀀스는 상기 비디오 이미지 프레임들 중에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되며 상기 N개의 시각 비디오 시퀀스들의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이고 상기 N은 양의 정수이며 한개의 파노라마 이미지 프레임 중의 매 구역들 사이는 상호 겹치지 않을 때 상기 파노라마 비디오를 상기 N개의 시각 비디오 시퀀스들로 분할하는 단계,
상기 N개의 시각 비디오 시퀀스들에 대하여 각각 코딩을 진행하여 N조의 코드 데이터들을 얻는 단계,
사용자의 관람시각을 확정하는 단계,
수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 단계.
디코더는, 실행 가능 명령들을 기억시키기 위한 제2 기억 매체와 제2 프로세서를 포함한다. 그중 제2 프로세서는 기억된 실행 가능 명령을 실행하도록 설치되며 상기 실행 가능 명령들은 이하 단계들을 실행하는데 리용된다.
예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성된 파노라마 비디오를 얻도록 설치된 엔코더에 사용자의 관람시각을 제공하고, N이 양의 정수일 때 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고, 상기 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 시각 비디오 시퀀스의 코드 데이터를 사용자에게 제공하며, 매개 시각 비디오 시퀀스가 파노라마 비디오의 전체 파노라마 이미지 프레임중에서 서로 같은 수평시각을 가진 구역들로 구성되고 상기 N개의 시각 비디오 시퀀스의 수평시각의 총 합이 상기 파노라마 이미지 프레임의 총 수평시각이며, 1개의 파노라마 이미지 프레임의 매 구역들 사이에는 상호 겹치지 않는 단계,
상기 엔코더가 송신하는 상기 코드 데이터를 수신하는 단계,
상기 코드 데이터에 대하여 디코딩을 진행하는 단계,
설명해야 할 것은: 상기 실시예에서 제공하는 비디오 코딩 장치에 의한 비디오 코딩 진행시 다만 상기 매 기능 모듈들을 분할하여 실례를 들어 설명을 하였을 뿐이며 실지적용에서는 상기 기능들을 요구에 따라 할당하여 서로 다른 기능모듈들로 완성할 수 있다. 즉 비디오 코딩 장치의 내부구조를 서로 다른 기능 모듈들로 분할하여 에는 상기 설명한 전부 혹은 부분적인 기능들을 완성할 수 있다. 그 외에 상기 실시예에서 제공하는 비디오 코딩 장치와 비디오 코딩 방법 실시예는 동일한 구상에 속하며 그의 구체적인 실현과정은 실시예를 통하여 상세히 보여주었으므로 여기서 더이상 언급하지 않는다.
상기한 본 발명 실시예의 순차번호는 설명을 위한 것일 뿐이며 실시예의 우열을 대표하는것이 아니다.
이 기술분야의 당업자라면 상기 실시예의 전체 또는 부분적인 단계들을 이해하고 실현하여 하드웨어로 완성할 수 있으며 프로그램에 의하여 관련 하드웨어에 지령을 주어 완성할 수도 있다. 상기 프로그램은 컴퓨터 읽기 가능한 기억 매체에 기억시킬 수 있으며 상기 기억 매체는 ROM, 하드디스크, 혹은 CD 등이 될수 있다.
이상에서 서술한 내용은 다만 본 발명의 대표적인 실시 예일 뿐이고 본 발명의 내용을 제한하지는 않으며 본 발명의 정신과 원칙 안에서 진행되는 임의의 수정, 동등한 치환, 갱신 등의 모든 행위는 응당 본 발명의 보호범위 내에 포함되어야 한다.
본 발명의 실시예에서 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하여 이 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 사용자의 관람시각을 확정하고, 관람시각을 포함하는 수평시각의 시각 비디오 시퀀스를 선택하여 사용자에게 이 시각 비디오 시퀀스의 코드 데이터를 제공함으로써 오직 사용자의 관람시각내의 시각 비디오 시퀀스의 코드 데이터만을 사용자에게 제공하여 시각외의 시각 비디오 시퀀스의 코드 데이터에 대한 송신과 디코딩을 없애게 되었으며 이로 하여 파노라마 비디오의 전체 파노라마 이미지 프레임의 코드 데이터에 대한 송신과 디코딩으로 하여 초래되던 자원낭비문제를 해결하고 자원절약효과를 달성하였다.

Claims (26)

  1. 비디오 코딩 방법에 있어서,
    예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 단계;
    상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하는 단계,
    상기 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻는 단계;
    사용자의 관람시각을 확정하는 단계; 및
    수평시각이 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 단계를 포함하며,
    여기서, 매개의 시각 비디오 시퀀스는 상기 파노라마 이미지 프레임에서 동일한 수평시각을 가지고 있는 구역들로 구성되고, 상기 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이며, 상기 N은 양의 정수고 한개의 파노라마 이미지 프레임 중의 매 구역들이 서로 겹치지 않는, 비디오 코딩 방법.
  2. 청구항 1에 있어서,
    상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하는 단계는,
    예정된 시각 분할 규칙에 따라 상기 파노라마 비디오 중의 매개 파노라마 이미지 프레임을 수평시각에 따라 N개의 구역들로 분할하는 단계; 및
    전체 파노라마 이미지 프레임 중에서 서로 같은 수평시각을 가지고 있는 구역들로 한개의 시각 비디오 시퀀스들을 구성하고 상기 N개의 시각 비디오 시퀀스들을 얻는 단계가 더 포함되는, 비디오 코딩 방법.
  3. 청구항 1에 있어서,
    i가 양의 정수고 만일 시점 Ti에서 상기 사용자의 관람시각에 변화가 발생하였다는 것이 확정되면 상기 시각 비디오 시퀀스 중의 i번째 구역의 코드 데이터에 대한 송신을 금지하는 단계;
    수평시각과 변화 후의 상기 관람시각이 정합된 시각 비디오 시퀀스인 갱신 시각 비디오 시퀀스를 선택하여 상기 갱신 시각 비디오 시퀀스 중의 i번째 구역의 코드 데이터를 상기 사용자에게 제공하는 단계; 및
    i를 i+l로 갱신하고 시점 Ti에서 상기 갱신 시각 비디오 시퀀스 중의 i번째 구역의 코드 데이터를 상기 사용자에게 제공하는 단계를 순환실행하는 단계를 포함하는 비디오 코딩 방법.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서,
    수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택한 후에,
    n과 m이 모두 양의 정수고 n+m≤N-l일 때 상기 수평시각과 인접하고 상기 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스를 얻고, 상기 수평시각과 인접하고 상기 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스를 얻는 단계; 및
    n+m개의 시각 비디오 시퀀스 중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개 구역의 코드 데이터를 차례로 상기 사용자에게 제공하는 단계를 더 포함하는 비디오 코딩 방법.
  5. 청구항 1에 있어서,
    j와 l이 모두 양의 정수고 l>j2일 때 매 시각 비디오 시퀀스내에서 j번째 구역의 코드 데이터가 j-1번째 구역의 코드 데이터에 의해 생성되거나, 혹은 j-1번째 구역의 코드 데이터와 l번째 구역의 코드 데이터에 의해 생성되고,
    서로 다른 시각 비디오 시퀀스들 사이에 임의의 2개 구역의 코드 데이터가 시간영역에서 무관계한, 비디오 코딩 방법.
  6. 청구항 1에 있어서,
    상기 구역이 적어도 2개의 마크로 블로크들을 포함할 때,
    매 구역 내에서 1개의 마크로 블로크의 코드 데이터는 그것과 공간영역에서 인접하는 마크로 블로크의 코드 데이터에 의해 생성되고,
    서로 다른 구역들 사이에서는 공간영역에서 인접하는 2개의 마크로 블로크들의 코드 데이터가 상호 무관한, 비디오 코딩 방법.
  7. 비디오 코딩 방법에 있어서,
    예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻도록 설치된 엔코더에 사용자의 관람시각을 제공하는 단계;
    상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하는 단계,
    N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻는 단계;
    수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 단계;
    상기 엔코더가 송신한 상기 코드 데이터를 수신하는 단계; 및
    상기 코드 데이터에 대하여 디코딩을 진행하는 단계를 포함하고,
    여기서, 매개의 시각 비디오 시퀀스는 상기 파노라마 비디오의 전체 파노라마 이미지 프레임에서 서로 같은 수평시각을 가진 구역들로 구성되고 N이 양의 정수일 때 상기 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이며, 한개의 파노라마 이미지 프레임의 매개 구역들은 상호 겹치지 않는, 비디오 코딩 방법.
  8. 청구항 7에 있어서,
    n과 m이 양의 정수고 n+m≤N-1일 때 상기 수평시각과 인접하고 상기 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들과 상기 수평시각과 인접하고 상기 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들인 n+m개의 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개 구역의 코드 데이터를 차례로 수신하는 단계를 더 포함하는 비디오 코딩 방법.
  9. 청구항 8에 있어서,
    상기 코드 데이터에 대한 디코딩을 진행하는 단계에는,
    현재 시점에서 수신되고 수평시각이 상기 관람시각과 정합된 시각 비디오 시퀀스 중의 구역의 코드 데이터에 대하여 디코딩을 진행하고, 얻어진 상기 구역을 방송하는 단계; 및
    상기 현재 시점에서 수신된 상기 n+m개의 시각 비디오 시퀀스들 중의 n+m개 구역의 코드 데이터를 버퍼에 기억시키는 단계가 포함되는, 비디오 코딩 방법.
  10. 청구항 9에 있어서,
    시점 Ti에서 상기 사용자의 관람시각의 변화가 발생하는 경우,
    버퍼에 기억된 상기 n+m개 구역의 코드 데이터 중에서 갱신 시각 비디오 시퀀스 중의 i번째 구역의 코드 데이터를 선택하여 상기 코드 데이터에 대해 디코딩을 진행하고, 얻어진 상기 i번째 구역을 방송하는 단계를 더 포함하고,
    여기서, 상기 갱신 시각 비디오 시퀀스는 수평시각이 변화 후의 상기 관람시각과 정합된 시각 비디오 시퀀스인, 비디오 코딩 방법.
  11. 청구항 8에 있어서,
    상기 코드 데이터에 대해 디코딩을 진행하는 단계에는,
    현재 시점에서 수신되고 수평시각이 상기 관람시각과 정합된 시각 비디오 시퀀스 중의 구역의 코드 데이터에 대해 디코딩을 진행하고, 얻어진 상기 구역을 방송하는 단계; 및
    상기 현재 시점에서 수신된 상기 n+m개의 시각 비디오 시퀀스들 중에서 n+m개 구역의 코드 데이터에 대해 디코딩을 진행하고, 얻어진 상기 n+m개 구역을 버퍼에 기억시키는단계가 더 포함되는, 비디오 코딩 방법.
  12. 청구항 11에 있어서,
    시점 Ti에서 상기 사용자의 관람시각에 변화가 발생하는 경우,
    버퍼에 기억된 상기 n+m개의 구역 중에서 갱신 시각 비디오 시퀀스중의 i번째 구역을 선택하고, 상기 i번째 구역을 방송하는 단계를 더 포함하고,
    여기서, 상기 갱신 시각 비디오 시퀀스는 수평시각이 변화 후의 상기 관람시각과 정합된 시각 비디오 시퀀스인, 비디오 코딩 방법.
  13. 비디오 코딩 장치에 있어서,
    예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임으로 구성되는 파노라마 비디오를 얻도록 설치된 비디오 획득 모듈;
    상기 비디오 획득 모듈에서 얻어진 상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하도록 설치된 비디오 분할 모듈;
    상기 비디오 분할 모듈에서 얻은 상기 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻도록 설치된 비디오 코딩 모듈;
    사용자의 관람시각을 확정하도록 설치된 시각 확정 모듈; 및
    수평시각이 상기 시각 확정 모듈에서 확정된 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하고 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 제1 제공 모듈을 포함하며,
    여기서, 매개의 시각 비디오 시퀀스가 상기 파노라마 비디오의 전체 파노라마 이미지 프레임 중에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되고 상기 N개의 시각 비디오 시퀀스의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이며 상기 N은 양의 정수고 한개의 파노라마 이미지 프레임 중의 매개 구역들은 상호 겹치지 않는. 비디오 코딩 장치.
  14. 청구항 13에 있어서,
    상기 비디오 분할 모듈이,
    예정된 시각 분할 규칙에 근거하여 상기 파노라마 비디오 중의 매개 파노라마 이미지 프레임를 수평시각에 따라 N개의 구역으로 분할하는 구역 분할 유닛; 및
    상기 구역 분할 유닛에 의해 분할된 전체 파노라마 이미지 프레임 중에서 서로 같은 수평시각을 가지고 있는 구역들로 한개의 시각 비디오 시퀀스를 구성하여 상기 N개의 시각 비디오 시퀀스들을 얻는 시퀀스 생성 유닛을 포함하는. 비디오 코딩 장치.
  15. 청구항 13에 있어서,
    상기 제1 제공 모듈이,
    i가 양의 정수일 때 시점 Ti에서 상기 사용자의 관람시각에 변화가 발생한 것이 확정되면 상기 시각 비디오 시퀀스 중의 i번째 구역의 코드 데이터에 대한 송신을 금지하고,
    수평시각이 변화 후의 상기 관람시각과 정합된 시각 비디오 시퀀스인 갱신 시각 비디오 시퀀스를 선택하여 상기 갱신 시각 비디오 시퀀스의 i번째 구역의 코드 데이터를 상기 사용자에게 제공하고,
    i를 i+l로 갱신하고 시점 Ti에서 상기 갱신 시각 비디오 시퀀스 중의 i번째 구역의 코드 데이터를 상기 사용자에게 제공하는 단계를 순환실행하도록 하기 위해서도 설치된. 비디오 코딩 장치.
  16. 청구항 13 내지 15 중 어느 한 항에 있어서
    n과 m이 양의 정수고 n+m≤N-l일 때 상기 제 1제공모듈에서 수평시각이 상기 관람시각과 정합된 비디오 시퀀스를 선택한 후 상기 수평시각과 인접하고 상기 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스를 획득하고, 상기 수평시각과 인접하고 상기 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스를 획득하도록 설치된 시퀀스 선택 모듈;
    상기 시퀀스 선택 모듈에서 선택된 n+m개의 시각 비디오 시퀀스들 중 동일한 파노라마 이미지 프레임에 속하는 매 n+m개 구역들의 코드 데이터를 차례로 상기 사용자에게 제공하도록 설치된 제2 제공 모듈을 더 포함하는 비디오 코딩 장치.
  17. 청구항 13에 있어서,
    j와 l이 양의 정수고 l>j≥2일 때 매 시각 비디오 시퀀스 중의 j번째 구역의 코드 데이터가 j-1번째 구역의 코드 데이터에 의해 생성되거나, 혹은 j-1번째 구역의 코드 데이터와 l번째 구역의 코드 데이터에 의해 생성되고,
    서로 다른 시각 비디오 시퀀스사이에 임의의 2개 구역의 코드 데이터가 시간영역에서 무관한, 비디오 코딩 장치.
  18. 청구항 13에 있어서,
    상기 구역에 적어도 2개의 마크로 블로크가 포함될 때,
    매 구역 내에서 한개 마크로 블로크의 코드 데이터는 그것과 공간영역 안에서 인접하는 마크로 블로크의 코드 데이터에 의하여 생성되고,
    서로 다른 구역 사이에 공간영역 안에서 인접한 2개의 마크로 블로크의 코드 데이터는 무관한, 비디오 코딩 장치.
  19. 비디오 코딩 장치에 있어서,
    예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성된 파노라마 비디오를 얻도록 설치된 엔코더에 사용자의 관람시각을 제공하고, N이 양의 정수일 때 상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하고, 상기 N개의 시각 비디오 시퀀스에 대하여 각각 코딩을 진행하여 N조의 코드 데이터를 얻고, 수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하며, 매개 시각 비디오 시퀀스가 상기 파노라마 비디오의 전체 파노라마 이미지 프레임중에서 서로 같은 수평시각을 가진 구역들로 구성되고 상기 N개의 시각 비디오 시퀀스의 수평시각의 총 합이 상기 파노라마 이미지 프레임의 총 수평시각이며, 1개의 파노라마 이미지 프레임의 매 구역들 사이에는 상호 겹치지 않도록 설치된 시각 제공 모듈;
    상기 엔코더가 송신하는 상기 코드 데이터를 수신하도록 설치된 제1 수신 모듈; 및
    상기 제1 수신모듈이 수신한 상기 코드 데이터에 대하여 디코딩을 진행하도록 설치된 데이터 디코딩 모듈을 포함하는 비디오 코딩 장치.
  20. 청구항 19에 있어서,
    n과 m이 양의 정수고 n+m≤N-1일 때 상기 수평시각과 인접하고 상기 수평시각보다 작은 n개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들과 상기 수평시각들과 인접하고 상기 수평시각보다 큰 m개의 연속되는 수평시각들에 대응되는 시각 비디오 시퀀스들인 n+m개의 시각 비디오 시퀀스들 중에서 동일한 파노라마 이미지 프레임에 속하는 매 n+m개의 코드 데이터들을 차례로 수신하도록 설치된 제2 수신 모듈을 더 포함하는 비디오 코딩 장치.
  21. 청구항 20에 있어서,
    상기 데이터 디코딩 모듈이,
    현재 시점에서 수신되고 수평시각이 상기 관람시각과 정합된 시각 비디오 시퀀스 중의 구역의 코드 데이터들에 대해 디코딩을 진행하고, 얻어진 상기 구역들을 방송하고, 상기 현재 시점에서 수신된 상기 n+m개의 시각 비디오 시퀀스들 중의 n+m개의 구역들의 코드 데이터들을 버퍼에 기억시키도록 설치된 제1 프로세스 유닛을 포함하는, 비디오 코딩 장치.
  22. 청구항 21에 있어서,
    상기 데이터 디코딩 모듈이,
    시점 Ti에서 상기 사용자의 관람시각에 변화가 발생하는 경우 상기 제1 프로세스 유닛이 버퍼에 기억시킨 상기 n+m개 구역들의 코드 데이터들 중에서 갱신 시각 비디오 시퀀스의 i번째 구역의 코드 데이터를 선택하여 상기 코드 데이터에 대해 디코딩을 진행하고, 얻어진 상기 i번째 구역을 방송하도록 설치된 제2 프로세스 유닛을 더 포함하고,
    여기서, 상기 갱신 시각 비디오 시퀀스는 수평시각이 변화 후의 상기 관람시각과 정합된 시각 비디오 시퀀스인, 비디오 코딩 장치.
  23. 청구항 20에 있어서,
    상기 데이터 디코딩 모듈이,
    현재 시점에서 수신되고 수평시각이 상기 관람시각과 정합된 시각 비디오 시퀀스 중의 구역들의 코드 데이터들에 대하여 디코딩을 진행하고 얻어진 상기 구역들을 방송하며, 상기 현재 시점에서 수신된 상기 n+m개의 시각 비디오 시퀀스들 중의 n+m개의 구역들의 코드 데이터들에 대하여 디코딩을 진행하고 얻어진 상기 n+m개의 구역들을 버퍼에 기억시키도록 설치된 제3 프로세스 유닛을 포함하는, 비디오 코딩 장치.
  24. 청구항 23에 있어서,
    상기 데이터 디코딩 모듈이,
    시점 Ti에서 상기 사용자의 관람시각에 변화가 발생하는 경우 상기 제2 프로세스 유닛이 버퍼에 기억시킨 상기 n+m개의 구역들 중에서 갱신 시각 비디오 시퀀스 중의 i번째 구역을 선택하고 상기 i번째 구역을 방송하도록 설치된 제4 프로세스 유닛을 더 포함하고,
    여기서, 상기 갱신 시각 비디오 시퀀스는 수평시각이 변화 후의 상기 관람시각과 정합된 시각 비디오 시퀀스인, 비디오 코딩 장치.
  25. 청구항 1 내지 6 중 어느 항에 있어서의 비디오 코딩 방법이나 청구항 7 내지 12 중 어느 항에 있어서의 비디오 코딩 방법을 실행하는데 이용되는 컴퓨터 실행 가능 명령들을 기억시키는 컴퓨터 기억 매체.
  26. 엔코더에 있어서,
    실행 가능 명령들을 기억시키는데 쓰이는 제1 기억 매체와 기억된 실행 가능 명령들을 실행하도록 설치된 제1 프로세서를 포함하며, 상기 실행 가능 지령은,
    예정 시각이 기록된 풍경에 의해 형성된 이미지 프레임인 파노라마 이미지 프레임들로 구성되는 파노라마 비디오를 얻는 단계;
    상기 파노라마 비디오를 N개의 시각 비디오 시퀀스들로 분할하는 단계, 여기서, 매 시각 비디오 시퀀스는 상기 파노라마 이미지 프레임들 중에서 서로 같은 수평시각을 가지고 있는 구역들로 구성되며 상기 N개의 시각 비디오 시퀀스들의 수평시각의 총 합은 상기 파노라마 이미지 프레임의 총 수평시각이고 상기 N은 양의 정수이며 한개의 파노라마 이미지 프레임 중의 매 구역들 사이는 상호 겹치지 않으며,
    상기 N개의 시각 비디오 시퀀스들에 대하여 각각 코딩을 진행하여 N조의 코드 데이터들을 얻는 단계;
    사용자의 관람시각을 확정하는 단계; 및
    수평시각이 상기 관람시각을 포함하는 시각 비디오 시퀀스를 선택하여 상기 시각 비디오 시퀀스의 코드 데이터를 상기 사용자에게 제공하는 단계를 실행하기 위한 것인 엔코더.
KR1020187016288A 2016-03-22 2016-11-23 비디오 코딩 방법, 장치, 디바이스 및 기억 매체 KR102109510B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610163645.6A CN105791882B (zh) 2016-03-22 2016-03-22 视频编码方法及装置
CN201610163645.6 2016-03-22
PCT/CN2016/107002 WO2017161907A1 (zh) 2016-03-22 2016-11-23 视频编码方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
KR20180081128A true KR20180081128A (ko) 2018-07-13
KR102109510B1 KR102109510B1 (ko) 2020-05-12

Family

ID=56390450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187016288A KR102109510B1 (ko) 2016-03-22 2016-11-23 비디오 코딩 방법, 장치, 디바이스 및 기억 매체

Country Status (6)

Country Link
US (1) US10951818B2 (ko)
EP (1) EP3435677A4 (ko)
JP (1) JP6718976B2 (ko)
KR (1) KR102109510B1 (ko)
CN (1) CN105791882B (ko)
WO (1) WO2017161907A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791882B (zh) * 2016-03-22 2018-09-18 腾讯科技（深圳）有限公司 视频编码方法及装置
CN108322763A (zh) * 2016-08-23 2018-07-24 深圳市掌网科技股份有限公司 一种编解码全景视频的方法和系统
CN106358033B (zh) * 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN106162207B (zh) * 2016-08-25 2019-02-12 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
CN109644296A (zh) 2016-10-10 2019-04-16 华为技术有限公司 一种视频流传输方法、相关设备及系统
CN107945101B (zh) * 2016-10-13 2021-01-29 华为技术有限公司 图像处理方法和装置
CN109922342A (zh) * 2016-10-24 2019-06-21 传线网络科技（上海）有限公司 全景视频解码方法及装置
CN106791886B (zh) * 2016-11-16 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和系统
KR20180059210A (ko) * 2016-11-25 2018-06-04 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN106604041B (zh) * 2016-12-01 2020-05-22 深圳市梦网视讯有限公司 一种基于视觉连续性的全景视频分发方法和系统
CN108156484B (zh) * 2016-12-05 2022-01-14 奥多比公司 利用自适应速率分配优先处理基于图块的虚拟现实视频流
US10595069B2 (en) 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
CN108289228B (zh) * 2017-01-09 2020-08-28 阿里巴巴集团控股有限公司 一种全景视频转码方法、装置和设备
CN108462825A (zh) * 2017-02-21 2018-08-28 阿里巴巴集团控股有限公司 视频处理方法及装置
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
CN106851212B (zh) * 2017-03-03 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于用户特性的全景视频分发方法和系统
CN108632631B (zh) * 2017-03-16 2020-08-07 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN107027041B (zh) * 2017-04-18 2019-12-27 深圳市智能现实科技有限公司 场景展示方法及装置
CN108810574B (zh) * 2017-04-27 2021-03-12 腾讯科技（深圳）有限公司 一种视频信息处理方法及终端
CN111510782A (zh) 2017-04-28 2020-08-07 华为技术有限公司 视频播放方法、虚拟现实设备、服务器及计算机存储介质
CN108933920B (zh) * 2017-05-25 2023-02-17 中兴通讯股份有限公司 一种视频画面的输出、查看方法及装置
CN108965917B (zh) * 2017-05-27 2021-07-20 华为技术有限公司 视频图像的呈现、封装方法和视频图像的呈现、封装装置
MX2019014416A (es) 2017-06-02 2020-02-05 Vid Scale Inc Suministro de video en 360 grados a través de la red de próxima generación.
CN109218848A (zh) * 2017-07-06 2019-01-15 阿里巴巴集团控股有限公司 视频流的视角切换方法、装置、设备和计算机存储介质
CN107484004B (zh) * 2017-07-24 2020-01-03 北京奇艺世纪科技有限公司 一种视频处理方法及装置
WO2019041179A1 (zh) * 2017-08-30 2019-03-07 华为技术有限公司 Vr视频播放处理方法及设备
CN109698949B (zh) * 2017-10-20 2020-08-21 腾讯科技（深圳）有限公司 基于虚拟现实场景的视频处理方法、装置和系统
CN109862340A (zh) * 2017-11-30 2019-06-07 宏碁股份有限公司 视频装置及其三维物件编解码方法
KR20200122323A (ko) 2018-02-17 2020-10-27 드림뷰, 인크. 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
USD931355S1 (en) 2018-02-27 2021-09-21 Dreamvu, Inc. 360 degree stereo single sensor camera
USD943017S1 (en) 2018-02-27 2022-02-08 Dreamvu, Inc. 360 degree stereo optics mount for a camera
CN108650460B (zh) * 2018-05-10 2021-03-30 深圳视点创新科技有限公司 服务器、全景视频的存储和传输方法和计算机存储介质
CN109672897B (zh) * 2018-12-26 2021-03-16 北京数码视讯软件技术发展有限公司 全景视频编码方法及装置
CN109672867A (zh) * 2018-12-28 2019-04-23 上海上实龙创智慧能源科技股份有限公司 一种全景摄像在vr头显中的显示方法
KR20220073851A (ko) * 2019-10-14 2022-06-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 몰입형 뷰포트 종속 다자간 비디오 통신
CN111711859A (zh) * 2020-06-28 2020-09-25 北京奇艺世纪科技有限公司 一种视频图像处理方法、系统及终端设备
CN115134574B (zh) * 2022-06-24 2023-08-01 咪咕视讯科技有限公司 动态元数据生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199074A (ja) * 2001-12-25 2003-07-11 Nec Corp ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
KR20130024357A (ko) * 2011-08-31 2013-03-08 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
WO2015134400A1 (en) * 2014-03-03 2015-09-11 Nextvr Inc. Methods and apparatus for streaming content
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000056075A1 (fr) * 1999-03-12 2000-09-21 Sony Corporation Dispositif fournisseur d'image et son procédé d'utilisation, dispositif de traitement d'image et son procédé d'utilisation, et support d'enregistrement
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
US7385624B2 (en) * 2003-01-17 2008-06-10 Nippon Telegraph And Telephone Corporation Remote image display method, image capturing device, and method and program therefor
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
JP4345829B2 (ja) 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
CN101673473A (zh) * 2009-09-24 2010-03-17 浙江大学 基于dsp的全景视觉泊车辅助装置及生成全景视觉图像的方法
CN101916163B (zh) * 2010-08-02 2012-02-08 周寅 一种在时空变换下保持协同渐变的全景视频互动播放的方法
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
US20130089301A1 (en) * 2011-10-06 2013-04-11 Chi-cheng Ju Method and apparatus for processing video frames image with image registration information involved therein
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
CN106233745B (zh) * 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
US20160255322A1 (en) * 2013-10-07 2016-09-01 Vid Scale, Inc. User adaptive 3d video rendering and delivery
WO2015180647A1 (en) * 2014-05-27 2015-12-03 Mediatek Inc. Projection processor for projective display system
KR102407283B1 (ko) * 2014-05-29 2022-06-10 네버마인드 캐피탈 엘엘씨 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
CN104469340B (zh) * 2014-12-01 2017-03-15 深圳凯澳斯科技有限公司 一种立体视频共光心成像系统及其成像方法
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN105323552B (zh) * 2015-10-26 2019-03-12 北京时代拓灵科技有限公司 一种全景视频播放方法及系统
CN105791882B (zh) 2016-03-22 2018-09-18 腾讯科技（深圳）有限公司 视频编码方法及装置
US10148875B1 (en) * 2016-05-17 2018-12-04 Scott Zhihao Chen Method and system for interfacing multiple channels of panoramic videos with a high-definition port of a processor
JP6330987B2 (ja) * 2016-06-17 2018-05-30 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199074A (ja) * 2001-12-25 2003-07-11 Nec Corp ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
KR20130024357A (ko) * 2011-08-31 2013-03-08 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
WO2015134400A1 (en) * 2014-03-03 2015-09-11 Nextvr Inc. Methods and apparatus for streaming content
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content

Also Published As

Publication number Publication date
JP2019512969A (ja) 2019-05-16
KR102109510B1 (ko) 2020-05-12
CN105791882A (zh) 2016-07-20
US20180324355A1 (en) 2018-11-08
WO2017161907A1 (zh) 2017-09-28
EP3435677A4 (en) 2019-08-07
US10951818B2 (en) 2021-03-16
JP6718976B2 (ja) 2020-07-08
EP3435677A1 (en) 2019-01-30
CN105791882B (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
KR20180081128A (ko) 비디오 코딩 방법, 장치, 디바이스 및 기억 매체
JP6437096B2 (ja) ビデオ合成
Niamut et al. MPEG DASH SRD: spatial relationship description
JP6556868B2 (ja) ビデオストリーミング装置、ビデオストリーム、ビデオストリーミング方法、及び、コンピュータプログラム
EP3531698A1 (en) Deblocking filter method and terminal
CN108063976B (zh) 一种视频处理方法及装置
WO2015192780A1 (en) Method and apparatus of candidate generation for single sample mode in video coding
US11172239B2 (en) Media information processing method and apparatus
BR112021014711A2 (pt) Codificador, decodificador, método de codificação e método de decodificação
US10798417B2 (en) Deblock filtering for 360-degree video coding
TW201249214A (en) Motion vector prediction in video coding
JP2021516502A (ja) インター予測モードに基づいた映像処理方法およびそのための装置
ES2780686T3 (es) Tipo de dependencia entre vistas en MV-HEVC
KR20140029383A (ko) 화상 부호화 장치 및 화상 복호 장치
BR112020000876A2 (pt) dispositivo codificador, dispositivo decodificador, método de codificação, e método de decodificação
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
CN104065965A (zh) 视频处理设备、方法及系统以及视频再现设备和方法
KR20140098046A (ko) 참조 블록 파형 정보에 기반하여 인트라 영상을 부호화 하는 장치 및 복호화 하는 장치
US11457053B2 (en) Method and system for transmitting video
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
BR112021001890A2 (pt) codificador, decodificador, método de codificação e método de decodificação
JP2018011197A (ja) 映像配信装置、映像符号化装置、映像配信方法、映像符号化方法、映像配信プログラム及び映像符号化プログラム
Niamut et al. Immersive live event experiences-interactive UHDTV on mobile devices
JP5760458B2 (ja) Ｔｖ会議システム
Latja Parallel Acceleration of H. 265 Video Processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant