TWI678920B - 影片處理裝置、其影片處理方法及電腦程式產品 - Google Patents

影片處理裝置、其影片處理方法及電腦程式產品 Download PDF

Info

Publication number
TWI678920B
TWI678920B TW107117600A TW107117600A TWI678920B TW I678920 B TWI678920 B TW I678920B TW 107117600 A TW107117600 A TW 107117600A TW 107117600 A TW107117600 A TW 107117600A TW I678920 B TWI678920 B TW I678920B
Authority
TW
Taiwan
Prior art keywords
video
frame
stitched
frames
sequentially
Prior art date
Application number
TW107117600A
Other languages
English (en)
Other versions
TW202005404A (zh
Inventor
黃志文
Chih-Wen Huang
楊朝光
Chao-Kuang Yang
Original Assignee
宏碁股份有限公司
Acer Incorporated
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司, Acer Incorporated filed Critical 宏碁股份有限公司
Priority to TW107117600A priority Critical patent/TWI678920B/zh
Priority to US16/053,831 priority patent/US10803905B2/en
Application granted granted Critical
Publication of TWI678920B publication Critical patent/TWI678920B/zh
Publication of TW202005404A publication Critical patent/TW202005404A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Ecology (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本發明提供一種影片處理裝置、其影片處理方法及電腦程式產品。在此方法中，取得至少兩個影片檔案，而各原始影片是針對不同拍攝方向。依序對這些原始影片檔案中的各影片訊框縫合以產生數張縫合影片訊框。反應於產生各縫合影片訊框，依序將各縫合影片訊框直接提供至播放使用，而不將那些縫合影片訊框編碼成影片檔案。藉此，可達到流暢的即時播放效果。

Description

影片處理裝置、其影片處理方法及電腦程式產品
本發明是有關於一種影片處理技術，且特別是有關於一種影片處理裝置、其影片處理方法及電腦程式產品。
現今360度影片以及全景相機越來越流行，除了透過電腦螢幕可觀看360度影片，使用虛擬實境(Virtual Reality，VR)頭戴顯示器觀看360度影片更能達到身歷其境的效果。在現有技術中，用於播放非全景(例如，180度以下)的一般影片播放器通常可以流暢播放4K甚至更高解析度的影片。然而，目前大部分的相機及播放器只支援4K以下解析度的影片，對VR頭戴顯示器而言，4K解析度並不足夠。例如，若左右兩眼顯示畫面分別為1440×1440(1.4K)解析度，則至少需要播放5760×2880(5.7K)解析度的影片才足夠清晰。另一方面，實際使用可產生兩個1. 4K解析度之影片檔案的全景相機，可發現現有技術對於5.7K影片的操作流程並不友善。此外，產生360度的影片檔案須對全景相機所產生不同拍攝方向的原始影片檔案進行解碼、扭曲(warp)還原、360度縫合(stitch)及編碼等處理，前述影片處理將耗費大量硬體資源以及處理時間，更使得後續在VR技術中播放亦不夠流暢(小於每秒30張訊框(Frame Per Second，FPS))。雖然部分全景相機內建有訊框縫合技術，但後端電腦仍需要透過播放程式先對360度的影片檔案解碼，才能藉由顯示器播放影片，且同樣會有播放也不夠流暢的問題。
有鑑於此，本發明提供一種影片處理裝置、其影片處理方法及電腦程式產品，可直接播放縫合後的影片訊框，大幅減少處理時間，更能流暢地播放高解析度經縫合影片。
本發明的影片處理方法，其包括下列步驟。取得至少兩個原始影片檔案，而各原始影片是針對不同拍攝方向。依序對這些原始影片檔案中的各影片訊框(frame)縫合(stitch)以產生數張縫合影片訊框。反應於產生各縫合影片訊框，依序將各縫合影片訊框直接提供至播放使用，而不將那些縫合影片訊框編碼成影片檔案。
本發明的影片處理裝置，其包括儲存器及處理器。儲存器記錄至少兩個原始影片檔案及數個模組。處理器耦接儲存器，並存取且載入儲存器所記錄那些模組。那些模組包括影片縫合模組及訊框橋接模組。影片縫合模組取得那些原始影片檔案，而各原始影片檔案是針對不同拍攝方向。依序對那些原始影片檔案中的各影片訊框縫合以產生數張縫合影片訊框。而反應於產生各縫合影片訊框，訊框橋接模組依序將各縫合影片訊框直接提供至播放使用，而不將那些縫合影片訊框編碼成影片檔案。
本發明的電腦程式產品，其經由影片處理裝置載入程式以執行下列步驟。取得至少兩個原始影片檔案，而各原始影片是針對不同拍攝方向。依序對這些原始影片檔案中的各影片訊框縫合以產生數張縫合影片訊框。反應於產生各縫合影片訊框，依序將各縫合影片訊框直接提供至播放使用，而不將那些縫合影片訊框編碼成影片檔案。
基於上述，本發明實施例的影片處理裝置、其影片處理方法及電腦程式產品，其係直接將縫合後的縫合影片訊框提供給顯示器播放使用，且不對縫合影片訊框編碼成影片檔案，從而省去後續對影片檔案解碼的處理時間，進而提升高解析度影片播放的流暢度。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是依據本發明一實施例的影片處理裝置1的元件方塊圖。請參照圖1，影片處理裝置1至少包括但不僅限於儲存器110、顯示器130及處理器150。影片處理裝置1可以是各類型電腦系統(例如，桌上型電腦、筆記型電腦、智慧型手機、平板電腦等)、或頭戴式顯示器(Head-Mount Display，HMD)。
儲存器110可以是任何型態的固定或可移動隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash Memory）或類似元件或上述元件之組合的儲存器，儲存器110並用於儲存緩衝的或永久的資料、軟體模組(影片縫合模組111、訊框橋接模組112、影片播放模組113等)、訊框分享空間114、原始影片檔案、縫合影片訊框等資料，且其詳細內容待後續實施例詳述。
顯示器130可以是液晶顯示器(Liquid-Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)、有機發光二極體(Organic Light-Emitting Diode，OLED)等各類顯示技術的顯示器。
處理器150與儲存器110及顯示器130耦接，並可以是圖形處理器(GPU)、中央處理單元(CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(DSP)、可程式化控制器、特殊應用積體電路(ASIC)或其他類似元件或上述元件的組合。在本發明實施例中，處理器150用以執行影片處理裝置1的所有作業，且可載入並執行儲存器110所記錄的各軟體模組、檔案及資料。
為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中影片處理裝置1對原始影片檔案的處理流程。下文中，將搭配影片處理裝置1的各項元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。
圖2是依據本發明一實施例說明一種影片處理方法之流程圖。請參照圖2，經擷取網路封包、用戶上傳、透過外部或內建儲存媒介(例如，隨身碟、光碟、外接硬碟等)取得至少兩個原始影片檔案，甚至是直接透過外部或內建影像擷取裝置(例如，相機、攝影機等)錄製至少兩個原始影片檔案，並使原始影片檔案儲存於儲存器110中。值得注意的是，各原始影片檔案是數台相機分別同時針對不同拍攝方向所錄製的影片檔案(例如，基於H.264、H.265、VP9等影片編碼格式對影片訊框編碼所生成)。例如，全景相機中所具有兩台180度超廣角相機是對相背而出的拍攝方向進行錄製，以產生兩個180度原始影片檔案。四台120度廣角相機以夾角為120度的拍攝方向拍攝，從而產生四個120度原始影片檔案。影片縫合模組111接著自儲存器110取得這些同時以不同拍攝方向所錄製的至少兩個原始影片檔案(步驟S210)。
為了將不同拍攝方向之原始影片檔案結合以生成更廣角度顯示畫面，影片縫合模組111會依序對這些原始影片檔案中的各影片訊框縫合(stitch)以產生數張縫合影片訊框(步驟S230)。具體而言，影片縫合模組111是分別依據原始影片檔案對應的影像編碼格式對各原始影片檔案解碼，以生成原始影片訊框。而由於錄製原始影片檔案之影像擷取裝置的鏡頭可能造成成像扭曲變形(失真)，影片縫合模組111尚須對這些原始影片訊框進行扭曲還原(de-warp)處理(若影像未失真則可省略)。接著，影片縫合模組111依序對還原後且對應於同時間錄製的影像訊框縫合，以生成比各原始影片訊框更具廣角視野的縫合影片訊框。
需說明的是，步驟S230之縫合操作是影片縫合模組111透過輸入裝置(例如，觸控螢幕、滑鼠、鍵盤等)接收對於那些原始影片檔案的播放操作(例如，透過影片播放器開啟原始影片檔案、點選原始影片檔案等)，並反應於此等播放操作，影片縫合模組111才對這些原始影片檔案中的各影片訊框縫合。換言之，當使用者打算播放這些原始影片檔案時，影片縫合模組111才需要對影片訊框縫合。此外，依據實際需求，影片縫合模組111還可能對各原始影片訊框進行曝光校正、顏色校正等影像處理技術以提升縫合效果，本發明實施例不加以限制。
而反應於產生各縫合影片訊框，訊框橋接模組112依序將各縫合影片訊框直接提供至播放使用(步驟S250)，而不將那些縫合影片訊框編碼成影片檔案。在本實施例中，隨著一張張縫合影片訊框的產生，訊框橋接模組112會依序緩存各縫合影片訊框至訊框分享空間114。此訊框分享空間114是對應於儲存器110的某一記憶體區塊。而反應於緩存縫合影片訊框，影片播放模組113依序自訊框分享空間114存取各縫合影片訊框，且透過顯示器130播放存取的各縫合影片訊框。值得注意的是，訊框橋接模組112緩存的縫合影片訊框是接續在影片播放模組113播放的縫合影片訊框之後。換句而言，影片縫合模組111產生第i張縫合影片訊框並透過訊框橋接模組112儲存至訊框分享空間114，而影片播放模組113則存取並播放第j張縫合影片訊框，使顯示器130能播放完整的縫合影片訊框，i和j為正整數，且i＞j。由於影片縫合模組111是依序擷取不同拍攝方向的單一影片訊框後即時縫合，並透過影片播放模組113將縫合影片訊框投影至顯示器130(即，自訊框分享空間114中同步對不同時間的影片訊框執行緩存與存取作業)，因此本發明實施例可以達到即時(real-time)播放的效果。相較於現有技術，本發明實施例可省去對縫合影片訊框的編碼與解碼的處理時間。藉此，當影片處理裝置1處理更高解析度(例如，2.8K、4K等)的原始影片檔案時，仍可即時播放經縫合的影片訊框。
需說明的是，在一些實施例中，若影片縫合模組111與影片播放模組113是不同作業系統(Operating System，OS)或不同版本平台的應用程式，則部分應用程式介面(Application Programming Interface，API)可透過訊框橋接模組112作為橋接來將功能移植到目標平台。
此外，為了提供更加流暢的播放效果，在一實施例中，每隔一秒，影片縫合模組111緩存至少k張縫合影片訊框至訊框分享空間114，k是正整數並相關於播放縫合影片訊框的訊框速率，且i≥k+j。例如，若欲使播放縫合影片訊框的訊框速率達到30 FPS，影片播放模組113播放第7張縫合影片訊框，則影片縫合模組111需處理第37張縫合影片訊框，使訊框分享空間114緩存30張縫合影片訊框，即緩存的數量為訊框速率之倒數，其餘依此類推，並可視實際需求而調整訊框速率。
為了讓讀者更加理解本發明精神，以下再舉一應用情境說明。圖3是一應用情境針對5.7K解析度影片之處理的流程圖。請參照圖3，為了提升處理效能，本應用情境的處理器150是採用GPU。1.4K解析度的原始影片檔案RVF1及RVF2分別是由全景相機中的180度相機R1及R2所錄製而產生。反應於使用者對於原始影片檔案RVF1及RVF2的播放操作，影片處理裝置1(假設為頭戴式顯示器HMD)之影片縫合模組111取得原始影片檔案RVF1及RVF後，分別基於H.264影片編碼格式解碼原始影片檔案RVF1及RVF(步驟S310及S320)，進行扭曲還原處理(步驟S330及S340)，再對同時間的兩影像訊框進行360度影像的縫合以形成5.7K解析度的縫合影片訊框(步驟S350)。訊框橋接模組112將5.7K解析度的縫合影片訊框由win64(Windows 64位元)平台傳送至通用Windows平台(Universal Windows Platform，UWP)(步驟S360)，使影像播放模組113將縫合影片訊框投影到頭戴式顯示器HMD的顯示器130，以即時播放縫合之影片，讓使用者可在VR情境下體驗5.7K解析度之360度影片。而步驟S310~S360皆使用GPU資源，使此應用情境可提高影片輸出至30FPS甚至是60FPS，並不會占用大量CPU資源。
本揭露的另一範例實施例提出一種電腦程式產品，用以執行上述影片處理方法的各個步驟(圖2~圖3所示實施例)。此電腦程式產品包括多個程式指令，且影片處理裝置1中的處理器150載入並執行這些程式指令之後，可完成上述的影片處理方法以及實現影片處理裝置1的功能。
綜上所述，本發明的影片處理裝置、其影片處理方法及電腦程式產品，其不對縫合影片訊框編碼成影片檔案，而是將縫合影片訊框提供給播放使用，免去編碼及解碼縫合影片檔案的處理時間，從而能夠處理高解析度或超高解析度的原始影片檔案，進而達到即時播放效果。此外，若提升訊框分享空間儲存縫合影片訊框的數量，便能以更高且流暢的訊框速度來播放影片。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
1‧‧‧影片處理裝置
110‧‧‧儲存器
111‧‧‧影片拼接模組
112‧‧‧訊框橋接模組
113‧‧‧影片播放模組
114‧‧‧訊框分享空間
130‧‧‧顯示器
150‧‧‧處理器
S210~S250、S310~S360‧‧‧步驟
R1、R2‧‧‧180度相機
RVF1、RVF2‧‧‧原始影片檔案
PF‧‧‧Win64縫合影片訊框
RF‧‧‧UWP縫合影片訊框
HMD‧‧‧頭戴式顯示器
圖1是依據本發明一實施例的影片處理裝置的元件方塊圖。 圖2是依照本發明一實施例的影片處理方法的流程圖。 圖3是一應用情境針對5.7K解析度影片之處理的流程圖。

Claims (6)

  1. 一種影片處理方法，包括：取得至少二原始影片檔案，其中每一該原始影片檔案是針對不同拍攝方向；依序對該至少二原始影片檔案中的每一影片訊框縫合(stitch)以產生多張縫合影片訊框；以及反應於產生每一該縫合影片訊框，依序將每一該縫合影片訊框直接提供至播放使用，而不將該些縫合影片訊框編碼成一影片檔案，其中依序將每一該縫合影片訊框直接提供給播放使用的步驟，包括：依序緩存該些縫合影片訊框至一訊框分享空間；以及反應於緩存該些縫合影片訊框，依序自該訊框分享空間存取每一該縫合影片訊框，並播放存取的每一該縫合影片訊框，其中依序緩存該些縫合影片訊框的步驟，包括：每隔一秒，緩存至少k張該縫合影片訊框至該訊框分享空間，其中k是正整數並相關於播放該些縫合影片訊框的訊框速率。
  2. 如申請專利範圍第1項所述的影片處理方法，其中依序將每一該縫合影片訊框直接提供給播放使用的步驟，包括：反應於產生第i張縫合影片訊框，播放第j張縫合影片訊框，其中i和j為正整數，且i
    Figure TWI678920B_C0001
    k+j。
  3. 如申請專利範圍第1項所述的影片處理方法，其中依序對該至少二原始影片檔案中的每一該影片訊框縫合的步驟包括：接收對於該至少二原始影片檔案的播放操作；以及反應於該播放操作，對該至少二原始影片檔案中的每一該影片訊框縫合。
  4. 一種影片處理裝置，包括：一儲存器，記錄至少二原始影片檔案、多個模組及一訊框分享空間；一處理器，耦接該儲存器，並存取且載入該儲存器所記錄的該些模組，而該些模組包括：一影片縫合模組，取得該至少二原始影片檔案，其中每一該原始影片檔案是針對不同拍攝方向，依序對該至少二原始影片檔案中的每一影片訊框縫合以產生多張縫合影片訊框；以及一訊框橋接模組，反應於產生每一該縫合影片訊框，依序將每一該縫合影片訊框直接提供至播放使用，而不將該些縫合影片訊框編碼成一影片檔案；以及一顯示器，耦接該處理器；該些模組更包括：一影片播放模組，其中該訊框橋接模組依序緩存該些縫合影片訊框至該訊框分享空間，並反應於緩存該些縫合影片訊框，該影片播放模組依序自該訊框分享空間存取每一該縫合影片訊框，且透過該顯示器播放存取的每一該縫合影片訊框，其中每隔一秒，該訊框橋接模組緩存至少k張該縫合影片訊框至該訊框分享空間，其中k是正整數並相關於播放該些縫合影片訊框的訊框速率，而反應於該影片縫合模組產生第i張縫合影片訊框，該影片播放模組播放第j張縫合影片訊框，其中i和j為正整數，且i
    Figure TWI678920B_C0002
    k+j。
  5. 如申請專利範圍第4項所述的影片處理裝置，其中該影片縫合模組接收對於該至少二原始影片檔案的播放操作，並反應於該播放操作，而對該至少二原始影片檔案中的每一該影片訊框縫合。
  6. 一種電腦程式產品，經由一影片處理裝置載入程式以執行：取得至少二原始影片檔案，其中每一該原始影片檔案是針對不同拍攝方向；依序對該至少二原始影片檔案中的每一影片訊框縫合以產生多張縫合影片訊框；以及反應於產生每一該縫合影片訊框，依序將每一該縫合影片訊框直接提供至播放使用，而不將該些縫合影片訊框編碼成一影片檔案，其中依序將每一該縫合影片訊框直接提供給播放使用的步驟，包括：依序緩存該些縫合影片訊框至一訊框分享空間；以及反應於緩存該些縫合影片訊框，依序自該訊框分享空間存取每一該縫合影片訊框，並播放存取的每一該縫合影片訊框，其中依序緩存該些縫合影片訊框的步驟，包括：每隔一秒，緩存至少k張該縫合影片訊框至該訊框分享空間，其中k是正整數並相關於播放該些縫合影片訊框的訊框速率。
TW107117600A 2018-05-23 2018-05-23 影片處理裝置、其影片處理方法及電腦程式產品 TWI678920B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107117600A TWI678920B (zh) 2018-05-23 2018-05-23 影片處理裝置、其影片處理方法及電腦程式產品
US16/053,831 US10803905B2 (en) 2018-05-23 2018-08-03 Video processing apparatus, video processing method thereof and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107117600A TWI678920B (zh) 2018-05-23 2018-05-23 影片處理裝置、其影片處理方法及電腦程式產品

Publications (2)

Publication Number Publication Date
TWI678920B true TWI678920B (zh) 2019-12-01
TW202005404A TW202005404A (zh) 2020-01-16

Family

ID=68614311

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107117600A TWI678920B (zh) 2018-05-23 2018-05-23 影片處理裝置、其影片處理方法及電腦程式產品

Country Status (2)

Country Link
US (1) US10803905B2 (zh)
TW (1) TWI678920B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809626A (zh) * 2016-03-08 2016-07-27 长春理工大学 一种自适应光线补偿的视频图像拼接方法
CN107623804A (zh) * 2016-07-14 2018-01-23 幸福在线（北京）网络技术有限公司 一种终端设备及拍摄全景图像的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9564172B2 (en) * 2014-07-14 2017-02-07 NFL Enterprises LLC Video replay systems and methods
KR101946019B1 (ko) * 2014-08-18 2019-04-22 삼성전자주식회사 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
CN106161989A (zh) 2015-04-22 2016-11-23 艾创科技股份有限公司 即时影像缝合装置及即时影像缝合方法
EP3369073A4 (en) * 2015-10-29 2019-06-26 OY Vulcan Vision Corporation VIDEO PICTURE OF A ZONE OF INTEREST USING NETWORKED CAMERAS
JP2019511024A (ja) * 2016-01-03 2019-04-18 ヒューマンアイズ テクノロジーズ リミテッド パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング
US10805592B2 (en) * 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809626A (zh) * 2016-03-08 2016-07-27 长春理工大学 一种自适应光线补偿的视频图像拼接方法
CN107623804A (zh) * 2016-07-14 2018-01-23 幸福在线（北京）网络技术有限公司 一种终端设备及拍摄全景图像的方法

Also Published As

Publication number Publication date
TW202005404A (zh) 2020-01-16
US20190362756A1 (en) 2019-11-28
US10803905B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN110495166B (zh) 一种计算机实现的方法、计算装置以及可读存储介质
US8854491B2 (en) Metadata-assisted image filters
US8963951B2 (en) Image processing apparatus, moving-image playing apparatus, and processing method and program therefor to allow browsing of a sequence of images
WO2022110903A1 (zh) 全景视频渲染方法及系统
US11941748B2 (en) Lightweight view dependent rendering system for mobile devices
TW201730841A (zh) 圖像資料處理系統和相關方法以及相關圖像融合方法
US20140204083A1 (en) Systems and methods for real-time distortion processing
WO2021170123A1 (zh) 视频生成方法、装置及对应的存储介质
WO2023125362A1 (zh) 一种图像显示方法、装置和电子设备
TWI434129B (zh) 全景影像播放裝置與系統
WO2018058476A1 (zh) 一种图像校正方法及装置
Andreev Real-time frame rate up-conversion for video games: or how to get from 30 to 60 fps for" free"
US10867368B1 (en) Foveated image capture for power efficient video see-through
JP6972454B2 (ja) 高解像度ディスプレイ上に複数の画面領域を提供するためのメカニズム
US11490129B2 (en) Creating multi-camera panoramic projections
JP2010072813A (ja) 画像処理装置および画像処理プログラム
US20190310818A1 (en) Selective execution of warping for graphics processing
TWI678920B (zh) 影片處理裝置、其影片處理方法及電腦程式產品
Liu et al. A 360-degree 4K× 2K pan oramic video processing Over Smart-phones
US9241144B2 (en) Panorama picture scrolling
CN110557652A (zh) 视频处理装置及其视频处理方法
WO2022120828A1 (zh) 视频抽帧方法、设备及存储介质
US10687040B2 (en) Capturing and displaying a video in an immersive reality environment
CN114240754A (zh) 投屏处理方法、装置、电子设备及计算机可读存储介质
CN113867535A (zh) 画面显示方法、装置、终端设备以及存储介质