TW202329674A - 直播錄設備、直播錄系統及直播錄方法 - Google Patents

直播錄設備、直播錄系統及直播錄方法 Download PDF

Info

Publication number
TW202329674A
TW202329674A TW112111507A TW112111507A TW202329674A TW 202329674 A TW202329674 A TW 202329674A TW 112111507 A TW112111507 A TW 112111507A TW 112111507 A TW112111507 A TW 112111507A TW 202329674 A TW202329674 A TW 202329674A
Authority
TW
Taiwan
Prior art keywords
image
processing device
page
live recording
presentation
Prior art date
Application number
TW112111507A
Other languages
English (en)
Inventor
郭凱銘
王田申
蕭子翔
李翊瑋
Original Assignee
大陸商奧圖碼數碼科技(上海)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商奧圖碼數碼科技(上海)有限公司 filed Critical 大陸商奧圖碼數碼科技(上海)有限公司
Publication of TW202329674A publication Critical patent/TW202329674A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本發明提出一種直播錄設備、直播錄系統及直播錄方法。直播錄設備用以耦接雲端設備，直播錄設備包括：攝影機以及處理裝置。攝影機，用以進行拍攝，以提供攝影資料。處理裝置耦接攝影機，用以產生人物影像，並處理裝置執行多圖層處理，以融合人物影像、立體虛擬實境背景影像、擴增實境物件影像以及簡報影像的至少其中兩個，並且產生合成影像，其中處理裝置用以提供合成影像並上傳至雲端設備，雲端設備用以儲存合成影像。

Description

直播錄設備、直播錄系統及直播錄方法
本發明是有關於一種影音設備與播錄方法，且特別是有關於一種直播錄設備、直播錄系統及直播錄方法。
隨著遠距教學、視訊會議及線上演講等諸如此類的遠端視訊服務的需求增加，如何豐富視訊操作的使用者體驗是本領域主要開發方向之一。然而，一般的遠端視訊服務僅能提供單純的影像拍攝功能，例如將使用者站在簡報前的演講過程進行拍攝，或者例如將使用者在面對攝影機的即時臉部影像進行拍攝。換言之，一般的遠端視訊服務僅能提供簡單且枯燥的影像內容至觀看者端設備。有鑑於此，如何提供多元且具有良好使用者體驗的視訊效果以下將提出幾個實施例的解決方案。
本“先前技術”段落只是用來幫助了解本發明內容，因此在“先前技術”段落所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。在“先前技術”段落所揭露的內容，不代表該內容或者本發明一個或多個實施例所要解決的問題，在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。
本發明提供一種直播錄設備、直播錄系統及直播錄方法，可提供即時、互動且沉浸式的直播影像。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。
為達上述之一或部份或全部目的或是其他目的，本發明直播錄設備用以耦接雲端設備，直播錄設備包括攝影機以及處理裝置。攝影機用以進行拍攝以提供攝影資料。處理裝置耦接攝影機用以產生人物影像並處理裝置執行多圖層處理，以融合人物影像、立體虛擬實境背景影像、擴增實境物件影像以及簡報影像的至少其中兩個，並且產生合成影像，處理裝置提供合成影像並上傳至雲端設備，雲端設備用以儲存合成影像。
為達上述之一或部份或全部目的或是其他目的，本發明的直播錄系統包括直播錄設備以及雲端設備。直播錄設備包括攝影機以及處理裝置。攝影機用以進行拍攝以提供攝影資料。處理裝置耦接攝影機，用以產生人物影像。處理裝置用以執行多圖層處理，以融合人物影像、立體虛擬實境背景影像、擴增實境物件影像以及簡報影像的至少其中兩個，並且產生合成影像。雲端設備耦接直播錄設備，其中處理裝置用以提供合成影像並上傳至雲端設備，雲端設備用以儲存合成影像。
為達上述之一或部份或全部目的或是其他目的，本發明的直播錄方法包括以下步驟：通過直播錄設備的攝影機進行拍攝，以提供攝影資料，通過直播錄設備的處理裝置對攝影資料執行而產生人物影像，通過處理裝置執行多圖層處理，以融合人物影像、立體虛擬實境背景影像、擴增實境物件影像以及簡報影像的至少其中兩個，並且產生合成影像，通過處理裝置提供合成影像並上傳至雲端設備，以及通過雲端設備儲存合成影像。
基於上述，本發明的直播錄設備、直播錄系統及直播錄方法將人物影像、立體虛擬實境背景影像、擴增實境物件影像以及簡報影像融合為合成影像，以使觀看者端設備可取得即時、互動且具有沉浸式效果的直播影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。
為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1是本發明的一實施例的直播錄系統的電路示意圖。參考圖1，直播錄系統100包括直播錄設備110、雲端設備120、觀看者端設備130以及觀看者端的攝影機140。直播錄設備110包括處理主機111、攝影機112以及終端裝置113。處理主機111包括處理裝置1111以及儲存裝置1112。終端裝置113包括顯示器1131。處理裝置1111耦接(電連接)攝影機112、終端裝置113以及儲存裝置1112。處理裝置1111還可透過通訊介面(未顯示)與雲端設備120進行有線或無線通訊，並且透過雲端設備120與觀看者端設備130進行有線或無線通訊。觀看者端設備130耦接觀看者端的攝影機140。在本實施例中，直播錄設備110可將合成影像上傳至雲端設備120，並經由雲端設備120將合成影像提供至觀看者端設備130。觀看者端設備130可將觀看者端的攝影機所取得的觀看者影像上傳至雲端設備120，並經由雲端設備120將觀看者影像提供至直播錄設備110，且觀看者影像顯示於終端裝置113的顯示器1131。在本發明的一些實施例中，雲端設備120可將合成影像提供至多個觀看者端設備，並且雲端設備120可將多個觀看者影像提供至直播錄設備110。
在本實施例中，處理主機111可例如是桌上型電腦(Desktop Computer)、個人電腦(Personal Computer, PC)或平板電腦(Tablet PC)等，處理主機111是具有合成影像功能的裝置，而本發明並不加以限制。處理裝置1111可包括具有影像資料處理以及運算功能的中央處理單元(Central Processing Unit, CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位信號處理器(Digital Signal Processor, DSP)、影像處理器(Image Processing Unit, IPU)、圖形處理器(Graphics Processing Unit, GPU)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)、其他類似處理裝置或這些裝置的結合。
在本實施例中，儲存裝置1112可儲存有多個程式及演算法，以進行本發明各實施例所述的影像處理與直播錄操作。所述多個程式可例如包括簡報程式、擴增實境(Augmented Reality，AR)程式、虛擬實境(Virtual Reality，VR)程式、系統設定程式、背景執行程式、影片播放程式、視訊會議程式以及本發明各實施例所述的相關影像資料、模組及檔案資料等，但本發明並不限於此。處理裝置1111可存取儲存裝置1112的上述相關程式與資料，並且執行之，以實現本發明各實施例所述的直播錄功能。
在本實施例中，終端裝置113可例如是具有顯示器1131的智慧型手機(Smartphone)、平板電腦或其他可攜式裝置，並且終端裝置113可透過有線或無線的方式與處理主機111進行通訊，以傳送及接收影像資料以及控制指令等。在本實施例中，觀看者端設備130可例如是具有顯示器的桌上型電腦、個人電腦、智慧型手機或平板電腦。觀看者端設備130與處理裝置1111可執行互動式視訊會議程式，以進行會議通訊。觀看者端設備130還可上傳觀看者影像至雲端設備120，再傳遞至直播錄設備110的終端裝置113，以使終端裝置113可提供即時的觀看者影像，以實現視訊會議互動功能。
圖2是本發明的一實施例的直播錄方法的流程圖。圖3是本發明的一實施例的合成影像的示意圖。參考圖1至圖3，本實施例的直播錄系統100及直播錄設備110可執行以下步驟S210~S250的直播錄方法。當直播錄系統100直播錄操作時，在步驟S210，直播錄系統100的攝影機112可進行拍攝(拍攝使用者)，以提供攝影資料。在本實施例中，使用者可例如站在特定布幕前(例如綠色布幕)進行演講或教學。直播錄設備110還可包括麥克風，以透過麥克風接收使用者的即時音訊。在步驟S220，直播錄設備110的處理裝置1111可對攝影資料執行去背景處理，以產生人物影像303。在本實施例中，攝影機112提供的攝影資料的連續影像中可例如包括有人物部分及背景部分的影像資訊。處理裝置1111可執行影像處理程式，以即時地將攝影機112提供的攝影資料中的背景部分移除，而僅保留人物影像303。
在步驟S230，處理裝置1111可執行多圖層處理，以融合人物影像303、立體虛擬實境背景影像301、擴增實境物件影像304以及簡報影像302，並且產生合成影像305。在本實施例中，處理裝置1111可執行虛擬實境程式、擴增實境程式以及簡報程式(例如PowerPoint簡報程式)，以產生立體虛擬實境背景影像301、擴增實境物件影像304以及簡報影像302。並且，處理裝置1111可執行多圖層處理，以將人物影像303、立體虛擬實境背景影像301、擴增實境物件影像304以及簡報影像302融合，以產生如圖3所示的合成影像305。
在步驟S240，終端裝置113可與處理裝置1111進行通訊，並且當處理裝置1111的應用程式閘道識別終端裝置113的登入操作後，處理裝置1111可輸出合成影像305至終端裝置113，以使終端裝置113的顯示器1131可顯示合成影像305。在本實施例中，使用者可例如手持的終端裝置113，以使在直播錄的過程中，可監視當前的合成影像305的影像內容，且可即時地調整合成影像305的影像內容。在步驟S250，處理裝置1111可提供合成影像305至觀看者端設備130進行顯示。在本實施例中，處理裝置1111以及觀看者端設備130可例如執行視訊會議程式，以進行視訊會議，並且處理裝置1111可將合成影像305提供至觀看者端設備130，以使觀看者端設備130可觀看到即時、互動且具有沉浸式效果的視訊會議的直播影像。
此外，在本發明的一些實施例中，觀看者端設備130可透過觀看者端的攝影機140取得即時的觀看者影像。觀看者端設備130可回傳觀看者影像至處理裝置1111，以使終端裝置113的顯示器1131可顯示觀看者影像。如此一來，直播錄系統100可提供具有即時互動效果的會議視訊功能。值得一提的是，在一使用的情境中，合成影像305以及觀看者影像可同時顯示於終端裝置113的顯示器1131，讓使用者可以監視當前的合成影像305的影像內容以及觀看者觀看的狀態，可即時地調整合成影像305的影像內容或者與觀看者即時互動分享資訊。
另外，在本發明的另一些實施例中，雲端設備120還可實現以雲端服務管理平台，以提供例如錄製、旁路直播、視頻點播、內容分析、實時音視頻通訊(Real-Time Communication，RTC)或邊緣節點服務(Edge Node Service，ENS)等多媒體功能，或者是用於管理多個視訊互動平台。
圖4是本發明的一實施例的直播錄系統的影像控制架構圖。參考圖4，用於說明本發明的直播錄操作的程式處理架構，並且可例如由上述圖1實施例所述的軟體及硬體特徵來實現之。在本實施例中，在使用者部分(portion)410，使用者411可操作終端裝置412，以使終端裝置412與處理主機413進行通訊，並且可透過終端裝置412控制處理主機413。此外，攝影機414可取得使用者影像。在處理主機413中包括處理核心部分420以及應用程式部分430。處理核心部分420例如是處理器、處理晶片或電路。在處理主機413的處理核心部分420具有儲存空間421。儲存空間421可將具有登錄此系統資格者所對應連接的資料庫427~429內的資料存入(或是直接或進階儲存於雲端裝置上)。在應用程式部分430，處理主機413可執行簡報程式431以及各獨立或整合至影像編程軟體(unity)432內的擴增實境程式433、背景執行程式434、多圖層結合程式435以及去背景影像程式436。
具體而言，當使用者411操作終端裝置412時，處理主機413的應用程式閘道422可識別終端裝置412的登入操作，並且可依據使用者411在終端裝置412上的操作，以對應執行簡報服務模組423、擴增實境服務模組424、背景執行服務模組425以及圖層服務模組426。簡報服務模組423、擴增實境服務模組424以及背景執行服務模組425可分別存取資料庫427~429，以取得簡報影像、擴增實境物件影像以及立體虛擬實境背景影像。簡報服務模組423、擴增實境服務模組424以及圖層服務模組426可將簡報影像、擴增實境物件影像以及立體虛擬實境背景影像輸入至簡報程式431、擴增實境程式433以及背景執行程式434來執行並運用之。去背景影像程式436可取得由攝影機414提供的使用者影像，並且對使用者影像進行去背景處理，以產生人物影像。在本實施例中，多圖層結合程式435可進行多圖層處理，以依據由圖層服務模組426所預設的影像層疊順序，來融合人物影像、立體虛擬實境背景影像、擴增實境物件影像以及簡報影像，以產生合成影像。並且，多圖層結合程式435可將合成影像輸出至檔案壓縮程式437，進行檔案加密與檔案壓縮。檔案壓縮程式437可將檔案加密與檔案壓縮後的合成影像輸出至外部的雲端裝置440或觀看者端設備450。或者，在本發明的一些實施例中，檔案壓縮程式437也可將檔案加密與檔案壓縮後的合成影像儲存至隨身硬碟或電腦硬碟中。
另外，在本發明的另一些實施例中，在處理主機413的處理核心部分420，還可執行命令列控制與配置、觀看者端的分割畫面切換與音源接入、系統配置、系統重啟、合成影像解析度配置、影片上傳、影片儲存、自動上傳雲端設備、回報服務運行狀態、服務運行狀態、系統操作日誌、廣播服務以及雲端同步等諸如此類的操作及其對應的模組，而本發明並不加以限制。
在本實施例中，終端裝置412可依據顯示器所顯示的使用者介面中的簡報操作選單、擴增實境操作選單、背景選擇選單以及系統設定選單的至少其中之一的操作結果來輸出控制信號至處理主機413的處理裝置。處理主機413的處理裝置可依據控制信號執行多圖層處理。在本實施例中，使用者可透過終端裝置412的使用者介面執行系統設定選單，並且使用者介面可顯示疊層布局選擇頁面、觀看者畫面頁面或網路設定頁面。然而，關於簡報操作選單、擴增實境操作選單、背景選擇選單以及系統設定選單的舉例說明將由以下多個實施例來說明之。
搭配參考圖5A，圖5A是本發明的一實施例的背景選擇選單的示意圖。在本發明的一些操作情境中，當使用者透過終端裝置412的使用者介面執行處理主機413的處理核心部分420中背景執行服務模組425的背景選擇選單時，終端裝置412的顯示器可顯示具有如圖5A的背景選擇頁面510或背景移動控制頁面。背景選擇頁面510可包括多個立體虛擬實境背景影像511~515。使用者411可透過終端裝置412來選擇(例如觸控點選)立體虛擬實境背景影像511~515的其中之一，以使背景執行服務模組425從資料庫429取得對應的影像資料，並提供至背景執行程式434。換言之，處理主機413的處理裝置可依據對應於背景移動控制頁面或背景選擇頁面510的控制信號來調整合成影像中的立體虛擬實境背景影像。
搭配參考圖5B，圖5B是本發明的一實施例的疊層布局選擇頁面的示意圖。在本發明的一些操作情境中，當使用者透過終端裝置412執行圖層服務模組426時，終端裝置412的顯示器可顯示具有如圖5B的疊層布局選擇頁面520。疊層布局選擇頁面520可包括多個布局模式521~527。布局模式521可例如是單獨顯示立體虛擬實境背景影像。布局模式522可例如是單獨顯示人物影像。布局模式523可例如是疊層顯示人物影像以及簡報影像，並且人物影像覆蓋在簡報影像上方。布局模式524可例如是疊層顯示人物影像、簡報影像以及擴增實境物件影像，並且人物影像以及擴增實境物件影像覆蓋在簡報影像上方。布局模式525可例如是單獨顯示簡報影像。布局模式526可例如是單獨顯示擴增實境物件影像。布局模式527可例如是疊層顯示擴增實境物件影像以及人物影像，並且擴增實境物件影像覆蓋在人物影像上方。使用者411可透過終端裝置412來選擇布局模式521~527的其中之一，以使動態調整合成影像中的各影像或各物件的尺寸或相對位置配置的顯示結果。
搭配參考圖5C，圖5C是本發明的一實施例的觀看者畫面頁面的示意圖。在本發明的一些操作情境中，處理主機413可例如與多個觀看者端連線，以進行視訊會議。處理主機413可取得多個觀看者端的多個觀看者影像。因此，終端裝置412的顯示器可顯示具有如圖5C的觀看者畫面頁面530。觀看者畫面頁面530可包括多個畫面模式531~538。畫面模式531可為顯示合成影像。畫面模式532~534、536~538可為顯示不同的觀看者畫面。畫面模式535可為顯示全部的觀看者畫面。使用者411可透過終端裝置412來選擇畫面模式531~538的其中之一，以使決定終端裝置412的顯示器的顯示結果。
此外，在本發明的一些操作情境中，使用者還可透過終端裝置412執行網路設定，終端裝置412的顯示器可顯示網路設定頁面，以供使用者可操作終端裝置412進行通訊設定，或設定與處理主機413之間的通訊連線。
搭配參考圖6A，圖6A是本發明的一實施例的簡報操作選單的示意圖。在本發明的一些操作情境中，當使用者透過終端裝置412的使用者介面執行簡報操作選單時，終端裝置412的顯示器可顯示具有如圖6A的簡報翻頁控制頁面610的使用者介面。簡報翻頁控制頁面610包括選擇圖標611以及選擇圖標612。使用者411可透過終端裝置412來操作選擇圖標611或選擇圖標612，以例如進行簡報影像的翻頁操作。搭配參考圖6B，圖6B是本發明的一實施例的簡報選擇選單的示意圖。在本發明的一些操作情境中，當使用者透過終端裝置412的使用者介面執行簡報操作選單時，終端裝置412的顯示器可顯示具有如圖6B的簡報選擇頁面620的使用者介面。簡報選擇頁面620包括檔案圖標621以及檔案圖標622。使用者411可透過終端裝置412來操作檔案圖標621或檔案圖標622，以開啟對應於檔案圖標621或檔案圖標622的簡報影像。換言之，處理主機413的處理裝置可依據對應於簡報翻頁控制頁面610或簡報選擇頁面620的控制信號來調整合成影像中的簡報影像。
搭配參考圖6C，圖6C是本發明的一實施例的擴增實境操作選單的示意圖。在本發明的一些操作情境中，當使用者透過終端裝置412的使用者介面執行擴增實境操作選單時，終端裝置412的顯示器可顯示具有如圖6C的物件旋轉控制頁面630。物件旋轉控制頁面630包括旋轉圖標631。使用者411可透過終端裝置412來操作旋轉圖標631，以旋轉對應的擴增實境物件影像在合成影像中的位置。搭配參考圖6D，圖6D是本發明的一實施例的擴增實境選擇選單的示意圖。在本發明的一些操作情境中，當使用者透過終端裝置412的使用者介面執行擴增實境操作選單時，終端裝置412的顯示器可顯示具有如圖6D的物件選擇頁面640的使用者介面。物件選擇頁面640包括多個擴增實境物件影像641~646。使用者411可透過終端裝置412來選擇擴增實境物件影像641~646的其中之一，以使擴增實境服務模組424從資料庫428取得對應的影像資料，並提供至擴增實境程式433。換言之，處理主機413的處理裝置可依據對應於物件旋轉控制頁面630或物件選擇頁面640的控制信號來調整合成影像中的擴增實境物件影像。
綜上所述，本發明的直播錄設備、直播錄系統及直播錄方法可即時地利用人物影像、立體虛擬實境背景影像、擴增實境物件影像、簡報影像及影片影像的至少其中之一來產生合成影像，並且可將合成影像即時地提供至觀看者端設備進行顯示或儲存至雲端設備、個人硬碟或電腦硬碟等。本發明的直播錄設備、直播錄系統及直播錄方法可提供可攜式的終端設備供使用者操作，以讓使用者可便捷地調整合成影像的內容。本發明的直播錄設備、直播錄系統及直播錄方法可透過終端設備的顯示器來即時地顯示觀看者影像，以實現視訊互動功能。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。
此外，本說明書或申請專利範圍中提及的“第一”、“第二”等用語僅用以命名元件(element)的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。
100:直播錄系統 110:直播錄設備 111、413:處理主機 1111:處理裝置 1112:儲存裝置 112、140、414:攝影機 113、412:終端裝置 1131:顯示器 120、440:雲端設備 130、450:觀看者端設備 S210~S250:步驟 301:立體虛擬實境背景影像 302:簡報影像 303:人物影像 304:擴增實境物件影像 305:合成影像 410:使用者部分 411:使用者 420:處理核心部分 421:儲存空間 422:應用程式閘道 423:簡報服務模組 424:擴增實境服務模組 425:背景執行服務模組 426:圖層服務模組 427~429:資料庫 430:應用程式部分 431:簡報程式 432:影像編程軟體 433:擴增實境程式 434:背景執行程式 435:多圖層結合程式 436:去背景影像程式 437:檔案壓縮程式 440:雲端裝置 510:背景選擇頁面 511~515:立體虛擬實境背景影像 520:疊層布局選擇頁面 521~527:布局模式 530:觀看者畫面頁面 531~538:畫面模式 610:簡報翻頁控制頁面 611、612:選擇圖標 620:簡報選擇頁面 621、622:檔案圖標 630:物件旋轉控制頁面 631:旋轉圖標 640:物件選擇頁面 641~646:擴增實境物件影像。
圖1是本發明的一實施例的直播錄系統的電路示意圖。 圖2是本發明的一實施例的直播錄方法的流程圖。 圖3是本發明的一實施例的合成影像的示意圖。 圖4是本發明的一實施例的直播錄系統的影像控制架構圖。 圖5A是本發明的一實施例的背景選擇選單的示意圖。 圖5B是本發明的一實施例的疊層布局選擇頁面的示意圖。 圖5C是本發明的一實施例的觀看者畫面頁面的示意圖。 圖6A是本發明的一實施例的簡報操作選單的示意圖。 圖6B是本發明的一實施例的簡報選擇選單的示意圖。 圖6C是本發明的一實施例的擴增實境操作選單的示意圖。 圖6D是本發明的一實施例的擴增實境選擇選單的示意圖。
100:直播錄系統
110:直播錄設備
111:處理主機
1111:處理裝置
1112:儲存裝置
112、140:攝影機
113:終端裝置
1131:顯示器
120:雲端設備
130:觀看者端設備

Claims (36)

  1. 一種直播錄設備，用以耦接一雲端設備，該直播錄設備包括： 一攝影機，用以進行拍攝，以提供一攝影資料；以及 一處理裝置，耦接該攝影機，用以產生一人物影像，並該處理裝置用以執行一多圖層處理，以融合該人物影像、一立體虛擬實境背景影像、一擴增實境物件影像以及一簡報影像的至少其中兩個，並且產生一合成影像，其中該處理裝置用以提供該合成影像並上傳至該雲端設備，該雲端設備用以儲存該合成影像。
  2. 如請求項1所述的直播錄設備，其中該處理裝置對該攝影資料用以執行一去背景處理，以產生該人物影像。
  3. 如請求項1所述的直播錄設備，還包括一終端裝置，該終端裝置與該處理裝置進行通訊，並且該終端裝置具有一顯示器。
  4. 如請求項3所述的直播錄設備，其中該處理裝置藉由該雲端設備與一觀看者端設備進行通訊，並且提供該合成影像至該觀看者端設備進行顯示，並且該觀看者端設備回傳一觀看者影像至該處理裝置，以使該終端裝置的該顯示器顯示該觀看者影像。
  5. 如請求項3所述的直播錄設備，其中當該處理裝置的一應用程式閘道器識別該終端裝置的一登入操作後，該處理裝置輸出該合成影像至該終端裝置，以使該終端裝置的該顯示器顯示該合成影像。
  6. 如請求項1所述的直播錄設備，其中該處理裝置依據由一圖層服務模組所預設的一影像層疊順序，來融合該人物影像、該立體虛擬實境背景影像、該擴增實境物件影像以及該簡報影像。
  7. 如請求項1所述的直播錄設備，其中該終端裝置依據一使用者介面中的一簡報操作選單、一擴增實境操作選單、一背景選擇選單以及一系統設定選單的至少其中之一的一操作結果來輸出一控制信號至該處理裝置，並且該處理裝置依據該控制信號執行該多圖層處理。
  8. 如請求項7所述的直播錄設備，其中當該使用者介面執行該簡報操作選單時，該使用者介面顯示一簡報翻頁控制頁面或一簡報選擇頁面，並且該處理裝置依據對應於該簡報翻頁控制頁面或該簡報選擇頁面的該控制信號來調整該合成影像中的該簡報影像。
  9. 如請求項7所述的直播錄設備，其中當該使用者介面執行該擴增實境操作選單時，該使用者介面顯示一物件旋轉控制頁面或一物件選擇頁面，並且該處理裝置依據對應於該物件旋轉控制頁面或該物件選擇頁面的該控制信號來調整該合成影像中的該擴增實境物件影像。
  10. 如請求項7所述的直播錄設備，其中當該使用者介面執行該背景選擇選單時，該使用者介面顯示一背景移動控制頁面或一背景選擇頁面，並且該處理裝置依據對應於該背景移動控制頁面或該背景選擇頁面的該控制信號來調整該合成影像中的該立體虛擬實境背景影像。
  11. 如請求項7所述的直播錄設備，其中當該使用者介面執行該系統設定選單時，該使用者介面顯示一疊層布局選擇頁面、一觀看者畫面頁面或一網路設定頁面。
  12. 如請求項1所述的直播錄設備，其中該處理裝置還將一影片影像融合至該合成影像當中。
  13. 一種直播錄系統，包括： 一直播錄設備，包括： 一攝影機，用以進行拍攝，以提供一攝影資料； 一處理裝置，耦接該攝影機，用以產生一人物影像，該處理裝置用以執行一多圖層處理，以融合該人物影像、一立體虛擬實境背景影像、一擴增實境物件影像以及一簡報影像的至少其中兩個，並且產生一合成影像；以及 一雲端設備，耦接該直播錄設備，其中該處理裝置用以提供該合成影像並上傳至該雲端設備，該雲端設備用以儲存該合成影像。
  14. 如請求項13所述的直播錄系統，其中該處理裝置對該攝影資料用以執行一去背景處理，以產生該人物影像。
  15. 如請求項13所述的直播錄系統，其中該直播錄設備還包括一終端裝置，該終端裝置與該處理裝置進行通訊，並且該終端裝置具有一顯示器。
  16. 如請求項15所述的直播錄系統，其中該處理裝置藉由該雲端設備與一觀看者端設備進行通訊，並且提供該合成影像至該觀看者端設備進行顯示，並且該觀看者端設備回傳一觀看者影像至該處理裝置，以使該終端裝置的該顯示器顯示該觀看者影像。
  17. 如請求項15所述的直播錄設備，其中當該處理裝置的一應用程式閘道器識別該終端裝置的一登入操作後，該處理裝置輸出該合成影像至該終端裝置，以使該終端裝置的該顯示器顯示該合成影像。
  18. 如請求項13所述的直播錄系統，其中該處理裝置依據由一圖層服務模組所預設的一影像層疊順序，來融合該人物影像、該立體虛擬實境背景影像、該擴增實境物件影像以及該簡報影像。
  19. 如請求項13所述的直播錄設備，其中該終端裝置依據一使用者介面中的一簡報操作選單、一擴增實境操作選單、一背景選擇選單以及一系統設定選單的至少其中之一的一操作結果來輸出一控制信號至該處理裝置，並且該處理裝置依據該控制信號執行該多圖層處理。
  20. 如請求項19所述的直播錄系統，其中當該使用者介面執行該簡報操作選單時，該使用者介面顯示一簡報翻頁控制頁面或一簡報選擇頁面，並且該處理裝置依據對應於該簡報翻頁控制頁面或該簡報選擇頁面的該控制信號來調整該合成影像中的該簡報影像。
  21. 如請求項19所述的直播錄系統，其中當該使用者介面執行該擴增實境操作選單時，該使用者介面顯示一物件旋轉控制頁面或一物件選擇頁面，並且該處理裝置依據對應於該物件旋轉控制頁面或該物件選擇頁面的該控制信號來調整該合成影像中的該擴增實境物件影像。
  22. 如請求項19所述的直播錄系統，其中當該使用者介面執行該背景選擇選單時，該使用者介面顯示一背景移動控制頁面或一背景選擇頁面，並且該處理裝置依據對應於該背景移動控制頁面或該背景選擇頁面的該控制信號來調整該合成影像中的該立體虛擬實境背景影像。
  23. 如請求項19所述的直播錄系統，其中當該使用者介面執行該系統設定選單時，該使用者介面顯示一疊層布局選擇頁面、一觀看者畫面頁面或一網路設定頁面。
  24. 如請求項13所述的直播錄系統，其中該處理裝置還將一影片影像融合至該合成影像當中。
  25. 一種直播錄方法，包括： 通過一直播錄設備的一攝影機進行拍攝，以提供一攝影資料； 通過該直播錄設備的一處理裝置對該攝影資料執行而產生一人物影像； 通過該處理裝置執行一多圖層處理，以融合該人物影像、一立體虛擬實境背景影像、一擴增實境物件影像以及一簡報影像的至少其中兩個，並且產生一合成影像； 通過該處理裝置提供該合成影像並上傳至一雲端設備；以及 通過該雲端設備儲存該合成影像。
  26. 如請求項25所述的直播錄方法，其中通過該處理裝置對該攝影資料執行一去背景處理，以產生該人物影像。
  27. 如請求項25所述的直播錄方法，通過一終端裝置與該處理裝置進行通訊，其中該終端裝置具有一顯示器。
  28. 如請求項27所述的直播錄方法，通過該雲端設備讓該處理裝置與一觀看者端設備進行通訊，並且提供該合成影像至該觀看者端設備進行顯示，並且該觀看者端設備回傳一觀看者影像至該處理裝置，以使該終端裝置的該顯示器顯示該觀看者影像。
  29. 如請求項27所述的直播錄方法，當該處理裝置的一應用程式閘道器識別該終端裝置的一登入操作後，該處理裝置輸出該合成影像至該終端裝置，以使該終端裝置的該顯示器顯示該合成影像。
  30. 如請求項25所述的直播錄方法，其中該多圖層處理包括： 通過該處理裝置依據由一圖層服務模組所預設的一影像層疊順序，來融合該人物影像、該立體虛擬實境背景影像、該擴增實境物件影像以及該簡報影像。
  31. 如請求項25所述的直播錄方法，還包括： 通過該終端裝置依據一使用者介面中的一簡報操作選單、一擴增實境操作選單、一背景選擇選單以及一系統設定選單的至少其中之一的一操作結果來輸出一控制信號至該處理裝置，以使該處理裝置依據該控制信號執行該多圖層處理。
  32. 如請求項31所述的直播錄方法，其中該多圖層處理包括： 當該使用者介面執行該簡報操作選單時，通過該使用者介面顯示一簡報翻頁控制頁面或一簡報選擇頁面；以及 通過該處理裝置依據對應於該簡報翻頁控制頁面或該簡報選擇頁面的該控制信號來調整該合成影像中的該簡報影像。
  33. 如請求項31所述的直播錄方法，其中該多圖層處理包括： 當該使用者介面執行該擴增實境操作選單時，該使用者介面顯示一物件旋轉控制頁面或一物件選擇頁面；以及 通過該處理裝置依據對應於該物件旋轉控制頁面或該物件選擇頁面的該控制信號來調整該合成影像中的該擴增實境物件影像。
  34. 如請求項31所述的直播錄方法，其中該多圖層處理包括： 當該使用者介面執行該背景選擇選單時，通過該使用者介面顯示一背景移動控制頁面或一背景選擇頁面；以及 通過該處理裝置依據對應於該背景移動控制頁面或該背景選擇頁面的該控制信號來調整該合成影像中的該立體虛擬實境背景影像。
  35. 如請求項31所述的直播錄方法，其中該多圖層處理包括： 當該使用者介面執行該系統設定選單時，通過該使用者介面顯示一疊層布局選擇頁面、一觀看者畫面頁面或一網路設定頁面。
  36. 如請求項25所述的直播錄方法，其中該多圖層處理包括： 通過該處理裝置還將一影片影像融合至該合成影像當中。
TW112111507A 2021-04-15 2021-05-07 直播錄設備、直播錄系統及直播錄方法 TW202329674A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110405132.2 2021-04-15
CN202110405132.2A CN115225915B (zh) 2021-04-15 2021-04-15 直播录设备、直播录系统及直播录方法

Publications (1)

Publication Number Publication Date
TW202329674A true TW202329674A (zh) 2023-07-16

Family

ID=83601354

Family Applications (3)

Application Number Title Priority Date Filing Date
TW112111507A TW202329674A (zh) 2021-04-15 2021-05-07 直播錄設備、直播錄系統及直播錄方法
TW110116573A TWI800826B (zh) 2021-04-15 2021-05-07 直播錄設備、直播錄系統及直播錄方法
TW112111508A TW202329675A (zh) 2021-04-15 2021-05-07 直播錄設備、直播錄系統及直播錄方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW110116573A TWI800826B (zh) 2021-04-15 2021-05-07 直播錄設備、直播錄系統及直播錄方法
TW112111508A TW202329675A (zh) 2021-04-15 2021-05-07 直播錄設備、直播錄系統及直播錄方法

Country Status (3)

Country Link
US (2) US11921971B2 (zh)
CN (1) CN115225915B (zh)
TW (3) TW202329674A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230362321A1 (en) * 2022-05-06 2023-11-09 Google Llc Cloud-Based Application of Visual Effects to Video

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270780B1 (ko) * 2011-02-14 2013-06-07 김영대 가상 강의실 강의 방법 및 장치
KR20140100035A (ko) * 2013-02-05 2014-08-14 한국전자통신연구원 전자기기를 제어하기 위한 장치 및 방법
CN103795785B (zh) * 2014-01-16 2019-01-08 加一联创电子科技有限公司 物联网控制方法和终端
CN106303160A (zh) * 2015-06-24 2017-01-04 心统科技有限公司 多功能录播系统及其操作方法
TW201901401A (zh) * 2017-05-24 2019-01-01 林淑貞 混合實境社區生活圈看屋方法及系統
US10332293B2 (en) * 2017-06-09 2019-06-25 Facebook, Inc. Augmenting reality with reactive programming
CN109920290A (zh) 2017-12-13 2019-06-21 讯飞幻境(北京)科技有限公司 一种基于虚拟现实的教育系统
CN108389249B (zh) * 2018-03-06 2022-07-19 深圳职业技术学院 一种多兼容性的vr/ar空间教室及其构建方法
US11301050B2 (en) * 2018-06-03 2022-04-12 Apple Inc. Method and device for presenting a synthesized reality user interface
WO2020018431A1 (en) * 2018-07-15 2020-01-23 Magical Technologies, Llc Systems and methods to administer a chat session in an augmented reality environment
JP2020021225A (ja) 2018-07-31 2020-02-06 株式会社ニコン 表示制御システム、表示制御方法、及び、表示制御プログラム
TWM594767U (zh) * 2019-12-11 2020-05-01 狂點軟體開發股份有限公司 虛擬人物直播系統
US11317060B1 (en) * 2020-05-19 2022-04-26 mmhmm inc. Individual video conferencing spaces with shared virtual channels and immersive users
US11528304B2 (en) * 2020-12-10 2022-12-13 Cisco Technology, Inc. Integration of video in presentation content within an online meeting
US11196963B1 (en) * 2020-12-10 2021-12-07 Amazon Technologies, Inc. Programmable video composition layout

Also Published As

Publication number Publication date
TW202329675A (zh) 2023-07-16
TWI800826B (zh) 2023-05-01
US20220334706A1 (en) 2022-10-20
US20240160331A1 (en) 2024-05-16
TW202243457A (zh) 2022-11-01
US11921971B2 (en) 2024-03-05
CN115225915A (zh) 2022-10-21
CN115225915B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN110636353B (zh) 一种显示设备
WO2017113734A1 (zh) 一种视频的多点同屏播放方法及系统
US8902280B2 (en) Communicating visual representations in virtual collaboration systems
CN113064684B (zh) 一种虚拟现实设备及vr场景截屏方法
WO2015078336A1 (zh) 一种媒体拍摄方法及终端
US20240160331A1 (en) Audio and visual equipment and applied method thereof
KR20080082759A (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
CN112333458B (zh) 直播房间显示方法、装置、设备及存储介质
TW202042060A (zh) 用於控制虛擬實境設備的電腦可實現方法、虛擬實境設備及用於控制第一行動裝置和第二行動裝置之電腦可實現方法
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
WO2020125009A1 (zh) 一种视频处理方法及电视
CN113923498A (zh) 一种处理方法及装置
TWI602436B (zh) 虛擬會議系統
WO2024027611A1 (zh) 视频直播方法、装置、电子设备以及存储介质
US9131109B2 (en) Information processing device, display control system, and computer program product
US9445052B2 (en) Defining a layout for displaying images
CN112004100B (zh) 将多路音视频源集合成单路音视频源的驱动方法
JP2014050068A (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
US20220417449A1 (en) Multimedia system and multimedia operation method
CN114286077A (zh) 一种虚拟现实设备及vr场景图像显示方法
US20150264336A1 (en) System And Method For Composite Three Dimensional Photography And Videography
TWM491308U (zh) 虛擬會議系統
KR20180092469A (ko) 3d카메라와 웹 실시간 통신을 이용한 실시간 프레젠테이션 방송 방법
CN112584084B (zh) 一种视频播放方法、装置、计算机设备和存储介质
WO2023207516A1 (zh) 直播视频处理方法、装置、电子设备及存储介质