TWI856419B - 視覺內容產生方法、主機以及電腦可讀儲存媒體 - Google Patents

視覺內容產生方法、主機以及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI856419B
TWI856419B TW111143170A TW111143170A TWI856419B TW I856419 B TWI856419 B TW I856419B TW 111143170 A TW111143170 A TW 111143170A TW 111143170 A TW111143170 A TW 111143170A TW I856419 B TWI856419 B TW I856419B
Authority
TW
Taiwan
Prior art keywords
view image
editor application
screen view
visual content
content
Prior art date
Application number
TW111143170A
Other languages
English (en)
Other versions
TW202343383A (zh
Inventor
郭思懷
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202343383A publication Critical patent/TW202343383A/zh
Application granted granted Critical
Publication of TWI856419B publication Critical patent/TWI856419B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明的實施例提供一種視覺內容產生方法、主機以及電腦可讀儲存媒體。所述方法包含：取得由2D編輯器應用程式渲染的第一眼影像，其中第一眼影像顯示實境服務的虛擬環境取得2D編輯器應用程式的螢幕視圖影像，其中螢幕視圖影像顯示編輯虛擬環境的2D編輯器應用程式的編輯介面經由將螢幕視圖影像疊合到第一眼影像上而產生視覺內容，其中視覺內容包含分別對應於第一眼影像和螢幕視圖影像的第一內容區域和第二內容區域，且第一內容區域與第二內容區域同步。

Description

視覺內容產生方法、主機以及電腦可讀儲存媒體
本發明是有關於一種影像處理技術，且特別是有關於一種視覺內容產生方法、主機以及電腦可讀儲存媒體。
在現有技術中，設計者可使用計算裝置上的2D編輯器應用程式來設計3D物件/環境，例如虛擬實境(virtual reality，VR)服務的虛擬物件/環境。然而，如果設計者想要檢查設計結果的視覺效果，那麼設計者需要控制2D編輯器應用程式渲染設計的3D物件/環境，且戴上頭戴式顯示器(head-mounted display，HMD)以看到由HMD顯示的經渲染的物件/環境。
在佩戴HMD之後，如果設計者想要修改3D物件/環境，那麼設計者需要取下HMD，再使用計算裝置上的2D編輯器應用程式。
因此，設計者需要在設計3D物件/環境期間重複地戴上 和取下HMD，這是不方便的使用方式。
有鑑於此，本發明提供一種視覺內容產生方法、主機以及電腦可讀儲存媒體，其可用於解決上述技術問題。
本發明的實施例提供一種適用於主機的視覺內容產生方法。方法包含：取得由2D編輯器應用程式渲染的第一眼影像，其中第一眼影像顯示實境服務的虛擬環境；取得2D編輯器應用程式的螢幕視圖影像，其中螢幕視圖影像顯示編輯虛擬環境的2D編輯器應用程式的編輯介面；經由將螢幕視圖影像疊合到第一眼影像上而產生視覺內容，其中視覺內容包含分別對應於第一眼影像和螢幕視圖影像的第一內容區域和第二內容區域，且第一內容區域與第二內容區域同步。
本發明的實施例提供一種包含儲存電路和處理器的主機。儲存電路儲存程式碼。處理器耦接到儲存電路且存取程式碼以執行以下操作：取得由2D編輯器應用程式渲染的第一眼影像，其中第一眼影像顯示實境服務的虛擬環境；取得2D編輯器應用程式的螢幕視圖影像，其中螢幕視圖影像顯示編輯虛擬環境的2D編輯器應用程式的編輯介面；經由將螢幕視圖影像疊合到第一眼影像上而產生視覺內容，其中視覺內容包含分別對應於第一眼影像和螢幕視圖影像的第一內容區域和第二內容區域，且第一內容區域與 第二內容區域同步。
本發明的實施例提供一種電腦可讀儲存媒體，電腦可讀儲存媒體記錄可執行電腦程式，可執行電腦程式由主機載入以執行以下步驟：取得由2D編輯器應用程式渲染的第一眼影像，其中第一眼影像顯示實境服務的虛擬環境；取得2D編輯器應用程式的螢幕視圖影像，其中螢幕視圖影像顯示編輯虛擬環境的2D編輯器應用程式的編輯介面；經由將螢幕視圖影像疊合到第一眼影像上而產生視覺內容，其中視覺內容包含分別對應於第一眼影像和螢幕視圖影像的第一內容區域和第二內容區域，且第一內容區域與第二內容區域同步。
100:主機
102:儲存電路
104:處理器
310:第一眼影像
312:虛擬環境
314:桌子
316:電視
320:螢幕視圖影像
322:編輯介面
322a:控制面板
322b:編輯視窗
330,500,600:視覺內容
331,510,610:第一內容區域
342,520,620:第二內容區域
342a:第一子內容區域
342b:第二子內容區域
410:偵測區域
415:特定區域
420:游標
531a,531b,532a,532b,631a,631b,632a,632b:虛擬物件
D1:距離
S210,S220,S230:步驟
圖1繪示根據本發明的實施例的主機的示意圖。
圖2繪示根據本發明的實施例的視覺內容產生方法的流程圖。
圖3繪示根據本發明的實施例的應用情境。
圖4繪示根據本發明的實施例的調整螢幕視圖影像的透明度的示意圖。
圖5繪示根據本發明的實施例的應用情境。
圖6繪示根據本發明的另一實施例的應用情境。
參見圖1，其繪示根據本發明的實施例的主機的示意圖。在各種實施例中，主機100可為能夠執行影像處理功能的任何裝置，例如智慧型裝置和/或電腦裝置等。
在本發明的實施例中，主機100可為用於向其使用者提供實境服務的HMD，其中實境服務包含但不限於虛擬實境(VR)服務、擴增實境(augmented reality，AR)服務、擴展實境(extended reality，XR)以及/或混合實境(mixed reality，MR)等。在這些情況下，主機100可顯示對應的視覺內容供使用者觀看，例如VR/AR/XR/MR視覺內容。
在圖1中，主機100包含儲存電路102和處理器104。儲存電路102為靜止或移動隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體、硬碟或任何其它類似裝置中的一者或組合，且其記錄可由處理器104執行的多個模組和/或程式碼。
處理器104可與儲存電路102耦接，且處理器104可為例如通用處理器、專用處理器、常規處理器、數位訊號處理器(digital signal processor，DSP)、多個微處理器、與DSP核心相關聯的一或多個微處理器、控制器、微控制器、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)電路、任何其它類型的積體電路(integrated circuit，IC)、狀態機等。
在本發明的實施例中，處理器104可存取儲存於儲存電路102中的模組和/或程式碼以實施本發明中提供的視覺內容產生方法。
在本發明的實施例中，所提出的方法可產生包含第一內容區域和第二內容區域的視覺內容，其中第一內容區域對應於由使用者經由計算裝置上運行的2D編輯器應用程式設計的虛擬環境，且第二內容區域顯示2D編輯器應用程式的編輯介面。因此，使用者可直接檢查視覺內容(例如，由HMD顯示的VR內容)中的2D編輯器應用程式和設計的虛擬環境的視覺效果兩者。在此情況下，使用者不需要重複地戴上和取下HMD，且可提高使用的便利性。以下將進一步論述所提出的方法的細節。
參見圖2，其繪示根據本發明的實施例的視覺內容產生方法的流程圖。此實施例的方法可由圖1中的主機100執行，且將在下文用圖1中所顯示的元件來描述圖2中的每一步驟的細節。為了更好地解釋本發明的概念，圖3將用作實例，其中圖3顯示根據本發明的實施例的應用情境。
在步驟S210中，處理器104取得由2D編輯器應用程式渲染的第一眼影像310，其中第一眼影像310顯示實境服務的虛擬環境312。在以下實施例中，將假設VR服務為由主機100提供的實境服務，但本發明的概念可應用於其它種類的實境服務。
在一個實施例中，基於由使用者當前設計的虛擬環境312，第一眼影像可為由2D編輯器應用程式渲染的左眼影像和右眼影 像中的一個。由於實境服務為VR服務，因此第一眼影像310可被理解為VR影像。在本發明的實施例中，下文中介紹的機制還可應用於由2D編輯器應用程式渲染的第二眼影像，其中第二眼影像(例如，另一VR影像)可為左眼影像和右眼影像中的另一個，但本發明不限於此。
在一個實施例中，2D編輯器應用程式可在計算裝置(例如，電腦)上運行，且使用者可通過經由操作計算裝置和/或主機100使用2D編輯器應用程式而編輯虛擬環境312。
也就是說，使用者可經由2D編輯器應用程式設計虛擬環境312，且計算裝置上的2D編輯器應用程式可據以渲染第一眼影像310(和第二眼影像)，並將第一眼影像310(和第二眼影像)提供到主機100。
在各種實施例中，主機100可經由任何有線/無線通訊協定與計算裝置連接，且可經由所使用的有線/無線通訊協定將第一眼影像310(和第二眼影像)傳輸到主機100。
在步驟S220中，處理器104取得2D編輯器應用程式的螢幕視圖影像320。在一個實施例中，計算裝置可串資料流或擷取2D編輯器應用程式的螢幕快照，將2D編輯器應用程式的螢幕快照渲染為螢幕視圖影像320，且將螢幕視圖影像320提供到主機100。在此情況下，處理器104可經由從計算裝置接收螢幕視圖影像320而取得螢幕視圖影像320。
在另一實施例中，計算裝置可傳輸2D編輯器應用程式的 螢幕快照，並將2D編輯器應用程式的螢幕快照提供到主機100。在此情況下，處理器104可經由將2D編輯器應用程式的螢幕快照渲染為螢幕視圖影像320而取得螢幕視圖影像320。
在實施例中，螢幕視圖影像320也是實境服務中使用的影像，即，VR影像。
在圖3中，螢幕視圖影像320顯示編輯虛擬環境312的2D編輯器應用程式的編輯介面322，其中編輯介面322包含控制面板322a和用於顯示虛擬環境312的編輯視窗322b。在一個實施例中，控制面板322a可包含用於編輯在編輯視窗322b中顯示的虛擬環境312的2D編輯器應用程式的各種功能按鈕。
由於第一眼影像310基於由2D編輯器應用程式編輯的虛擬環境312渲染，所以編輯視窗322b中顯示的場景對應於基於在編輯視窗322b中編輯的虛擬環境312渲染的第一眼影像310中的場景。
在步驟S230中，處理器104經由將螢幕視圖影像320疊合到第一眼影像310上而產生視覺內容330。在圖3中，視覺內容330包含分別對應於第一眼影像310和螢幕視圖影像320的第一內容區域331和第二內容區域342，且第一內容區域331與第二內容區域342同步。
詳細地說，由於第一眼影像310是基於在2D編輯器應用程式中編輯的虛擬環境312所渲染，所以一旦在編輯視窗322b中編輯的虛擬環境312改變，那麼第一眼影像310和螢幕視圖影像 320將據以同時改變，這使得第一內容區域331同步於第二內容區域342。
在圖4中，第二內容區域342包含分別對應於控制面板322a和編輯視窗322b的第一子內容區域342a和第二子內容區域342b。由於第二子內容區域342b和第一內容區域331均對應於在2D編輯器應用程式中編輯的虛擬環境312，所以第一內容區域331與第二內容區域342之間的同步可理解為第一內容區域331與第二子內容區域342b之間的同步(即，第二子內容區域342b與視覺內容330中的第一內容區域331同步)，但本發明不限於此。
在一實施例中，視覺內容330可為由主機100(例如，HMD)向使用者顯示的VR內容。因此，使用者可直接檢查設計的虛擬環境的視覺效果，而不需重複地戴上和取下HMD，這提高了使用的便利性。
在一個實施例中，虛擬環境312包含反應於主機100的移動而移動的使用者代表物件。在實施例中，處理器104可取得對應於使用者代表物件的視角和使用者代表物件與虛擬環境312之間的相對位置，且據以調整視覺內容330中的第一內容區域331和第二內容區域342。取圖4作為實例，如果佩戴主機100(例如，HMD)的使用者向前行走，那麼使用者代表物件將據以向前移動，且處理器104可通過例如在虛擬環境中放大場景來調整第一內容區域331，以使使用者感覺正接近例如虛擬環境312中的桌子314。舉另一例而言，如果佩戴主機100(例如，HMD)的使用者將其頭 轉向左邊，那麼使用者代表物件的視角將據以轉向左邊，且處理器104可通過例如顯示虛擬環境中的使用者代表物件的左邊的場景而調整第一內容區域331以令使用者感覺正面向例如虛擬環境312中的電視316。
由於第一內容區域331已基於對應於使用者代表物件的視角和使用者代表物件與虛擬環境312之間的相對位置而調整，因此處理器104可據以使第二內容區域342的編輯視窗322b和(第二子內容342b)與調整的第一內容區域331同步，但本發明不限於此。
在一個實施例中，使用者可經由與視覺內容330互動而操作2D編輯器應用程式，這進一步提高了使用的便利性。在下文中將提供詳細論述。
在一個實施例中，主機100可與例如滑鼠等輸入裝置連接，且使用滑鼠與第二內容區域342互動以對應地操作2D編輯器應用程式。
在一個實施例中，處理器104可在視覺內容330中提供對應於輸入裝置的游標，且取得游標在視覺內容330中的游標位置。
在第一實施例中，反應於判定游標位置在第二內容區域342內，處理器104可基於游標與第二內容區域342之間的第一互動而控制2D編輯器應用程式。
在第一實施例中，反應於判定在第二內容區域342中的 第一位置處偵測到輸入裝置的輸入事件，處理器104可據以將第一控制信號提供到計算裝置。在實施例中，第一控制信號可指示輸入事件和編輯介面322的第二位置，且第一控制信號基於輸入事件和第二位置而控制計算裝置操作2D編輯器應用程式。在第一實施例中，第一位置與第二內容區域342之間的相對位置對應於編輯介面322與第二位置之間的相對位置。
舉例來說，如果使用者使用輸入裝置的游標來觸發第二內容區域342中的左上角上顯示的特定按鈕，那麼處理器104可將使用者觸發特定按鈕的行為判定為輸入事件，且取得第二內容區域342中的對應游標位置作為第一位置。接下來，處理器104可基於第一位置與第二內容區域342之間的相對位置判定編輯介面322中的對應第二位置，且產生第一控制信號。
在計算裝置接收第一控制信號之後，計算裝置可以使用者觸發編輯介面322中的左上角上的特定按鈕的方式據以操作2D編輯器應用程式，但本發明不限於此。
在第二實施例中，在取得游標在視覺內容中的游標位置之後，處理器104可進一步判定游標位置是否在第一內容區域331內。
在第二實施例中，反應於判定游標位置在第一內容區域331內，處理器104可基於游標與第一內容區域331之間的第二互動而調整在2D編輯器應用程式的編輯介面322中編輯的虛擬環境。
在第二實施例中，反應於判定在第一內容區域331中的第三位置處偵測到輸入裝置的輸入事件，處理器104可據以將第二控制信號提供到計算裝置。在一實施例中，第二控制信號可指示輸入事件和編輯視窗322b中的第四位置，且第二控制信號基於輸入事件和第四位置而控制計算裝置操作編輯視窗322b中顯示的虛擬環境312。在實施例中，第三位置與第一內容區域331之間的相對位置對應於編輯視窗322b與第四位置之間的相對位置。
舉例來說，如果使用者使用輸入裝置的游標來點擊第一內容區域331中顯示的虛擬物件，那麼處理器104可將使用者點擊虛擬物件的行為判定為輸入事件，且取得第一內容區域331中的對應游標位置作為第三位置。接下來，處理器104可基於第三位置與第一內容區域331之間的相對位置而判定編輯視窗322b中的對應第四位置，且產生第二控制信號。
在計算裝置接收到第二控制信號之後，計算裝置可以使用者點擊編輯視窗322b中的虛擬物件的方式據以操作2D編輯器應用程式，但本發明不限於此。
基於上文，使用者可例如通過執行與第一內容區域331的對應互動而移動/旋轉編輯視窗322b中的任何虛擬物件，但本發明不限於此。
因此，可進一步提高使用者操作2D編輯器應用程式的便利性。
參見圖4，其顯示根據本發明的實施例的調整螢幕視圖影 像的透明度的示意圖。在圖4中，處理器104在視覺內容330中判定偵測區域410，其中偵測區域410圍繞用於顯示第二內容區域342的特定區域415。在一個實施例中，偵測區域410對使用者為可見/不可見。
接下來，處理器104可在視覺內容330中提供對應於輸入裝置的游標420且取得游標420在視覺內容330中的游標位置。
在實施例中，反應於判定游標位置在偵測區域410內，處理器104可在將螢幕視圖影像320疊合到第一眼影像310上之前調整螢幕視圖影像320的透明度。
在一個實施例中，螢幕視圖影像320(對應於第二內容區域342)的透明度可與偵測區域410中的游標位置與特定區域415之間的距離D1正相關。亦即，當偵測區域410中的游標420更遠離特定區域415時，螢幕視圖影像320的透明度將較高，這使得第二內容區域342越來越透明。另一方面，當偵測區域410中的游標420更接近於特定區域415時，螢幕視圖影像320的透明度將較低，這使得第二內容區域342較不透明。
在一個實施例中，反應於判定游標位置在特定區域415內，處理器104可將螢幕視圖影像320的透明度判定為第一透明度(例如，0%)。另外，反應於判定游標位置在偵測區域410之外，處理器104可將螢幕視圖影像320的透明度判定為第二透明度(例如，100%)，其中第二透明度高於第一透明度。
在此情況下，當使用者將游標420移動到更接近於特定 區域415時，使用者可在視覺內容330中看到較不透明的第二內容區域342。另一方面，當使用者將游標420移動遠離特定區域415時，使用者可在視覺內容330中看到更透明的第二內容區域342。在一個實施例中，當游標420在偵測區域410之外時，第二內容區域342可甚至為了不阻擋使用者看到第一內容區域331(其對應於設計的虛擬環境312)的視覺而在視覺內容330中為不可見。
從另一角度，當使用者需要操作2D編輯器應用程式時，可在視覺內容330中顯示第二內容區域342。因此，可改進使用者的操作體驗。
參見圖5，其顯示根據本發明的實施例的應用情境。在圖5中，假設主機100顯示供使用者看到的視覺內容500，其中視覺內容500包含第一內容區域510和第二內容區域520。在實施例中，第一內容區域510顯示在2D編輯器應用程式中編輯的3D虛擬環境，所述3D虛擬環境的編輯介面顯示於第二內容區域520中。
在實施例中，虛擬實施例可示例性地包含虛擬物件531a(例如，桌子)和虛擬物件532a(例如，椅子)，且第二內容區域520中的編輯視窗將包含分別對應於虛擬物件531a和虛擬物件532a的虛擬物件531b和虛擬物件532b。
在一個實施例中，假設使用者將虛擬物件531b的顏色改變為黑色，且經由操作2D編輯器應用程式的編輯介面而移除虛擬物件532b，第一內容區域510中的虛擬物件531a的顏色將據以改 變為黑色，且虛擬物件532a將從第一內容區域510消失。
參見圖6，其顯示根據本發明的另一實施例的應用情境。在圖6中，假設主機100顯示供使用者看到的視覺內容600，其中視覺內容600包含第一內容區域610和第二內容區域620。在實施例中，第一內容區域610顯示在2D編輯器應用程式中編輯的3D虛擬環境，所述3D虛擬環境的編輯介面顯示於第二內容區域620中。
在實施例中，虛擬實施例可示例性地包含虛擬物件631a(例如，門)和虛擬物件632a(例如，桌子)，且第二內容區域620中的編輯視窗將包含分別對應於虛擬物件631a和虛擬物件632a的虛擬物件631b和虛擬物件632b。
在一個實施例中，假設使用者將虛擬物件631b的顏色改變為灰色，且經由操作2D編輯器應用程式的編輯介面而改變虛擬物件632b的材料，第一內容區域610中的虛擬物件631a的顏色將據以改變為灰色，且虛擬物件632a的材料將根據2D編輯器應用程式中的設置而改變。
本發明進一步提供一種用於執行視覺內容產生方法的電腦可讀儲存媒體。電腦可讀儲存媒體由實施於其中的多個程式指令(例如，設置程式指令和部署程式指令)構成。這些程式指令可載入到主機100中，且由主機100執行以執行上文所描述的主機100的視覺內容產生方法和功能。
綜上所述，本發明的實施例可經由將螢幕視圖影像疊合 到第一眼影像上而產生包含第一內容區域和第二內容區域的視覺內容，其中第一內容區域對應於由使用者經由計算裝置上運行的2D編輯器應用程式而設計的虛擬環境，且第二內容區域顯示2D編輯器應用程式的編輯介面。因此，使用者可直接檢查視覺內容(例如，由HMD顯示的VR內容)中的2D編輯器應用程式和設計的虛擬環境的3D視覺效果兩者。在此情況下，使用者不需要重複地戴上和取下HMD，且可提高使用的便利性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210,S220,S230:步驟

Claims (18)

  1. 一種視覺內容產生方法，適用於主機，包括：取得由2D編輯器應用程式渲染的第一眼影像，其中所述第一眼影像顯示實境服務的虛擬環境；取得所述2D編輯器應用程式的螢幕視圖影像，其中所述螢幕視圖影像顯示編輯所述虛擬環境的所述2D編輯器應用程式的編輯介面，其中所述2D編輯器應用程式的所述編輯介面包含控制面板及用於顯示對應所述虛擬環境的編輯視窗，且所述第一眼影像與所述螢幕視圖影像中之該編輯視窗顯示同一個場景，其中取得所述2D編輯器應用程式的螢幕視圖影像的步驟包括：從計算裝置接收所述2D編輯器應用程式的螢幕快照的資料串流；或者從所述計算裝置接收所述計算裝置基於所述2D編輯器應用程式的所述螢幕快照渲染而得的所述2D編輯器應用程式的所述螢幕視圖影像；或者從所述計算裝置接收所述2D編輯器應用程式的所述螢幕快照，並將所述螢幕快照渲染為所述螢幕視圖影像；經由將所述螢幕視圖影像疊合到所述第一眼影像上而產生視覺內容，其中所述視覺內容包括分別對應於所述第一眼影像和所述螢幕視圖影像的第一內容區域和第二內容區域，其中當在所述編輯介面的所述編輯視窗中編輯的所述虛擬環境改變，所述第一眼影像會據以同時改變。
  2. 如請求項1所述的視覺內容產生方法，其中所述虛擬環境包括反應於所述主機的移動而移動的使用者代表物件，且所述方法更包括：取得對應於所述使用者代表物件的視角和所述使用者代表物件與所述虛擬環境之間的相對位置，且據以調整所述視覺內容中的所述第一內容區域和所述第二內容區域。
  3. 如請求項1所述的視覺內容產生方法，其中所述第二內容區域包括分別對應於所述控制面板和所述編輯視窗的第一子內容區域和第二子內容區域。
  4. 如請求項1所述的視覺內容產生方法，更包括：在所述視覺內容中提供對應於輸入裝置的游標；取得所述游標在所述視覺內容中的游標位置；反應於判定所述游標位置在所述第二內容區域內，基於所述游標與所述第二內容區域之間的第一互動控制所述2D編輯器應用程式。
  5. 如請求項4所述的視覺內容產生方法，其中基於所述游標與所述第二內容區域之間的所述第一互動控制所述2D編輯器應用程式的步驟包括：反應於判定在所述第二內容區域中的第一位置處偵測到所述輸入裝置的輸入事件，據以將第一控制信號提供到運行所述2D編輯器應用程式的計算裝置，其中所述第一控制信號指示所述輸入事件和所述編輯介面中的第二位置，且所述第一控制信號基於 所述輸入事件和所述第二位置而控制所述計算裝置操作所述2D編輯器應用程式。
  6. 如請求項5所述的視覺內容產生方法，其中所述第一位置與所述第二內容區域之間的相對位置對應於所述編輯介面與所述第二位置之間的相對位置。
  7. 如請求項1所述的視覺內容產生方法，更包括：在所述視覺內容中提供對應於輸入裝置的游標；取得所述游標在所述視覺內容中的游標位置；反應於判定所述游標位置在所述第一內容區域內，基於所述游標與所述第一內容區域之間的第二互動而調整在所述2D編輯器應用程式的所述編輯介面中編輯的所述虛擬環境。
  8. 如請求項7所述的視覺內容產生方法，其中基於所述游標與所述第一內容區域之間的所述第二互動而調整在所述2D編輯器應用程式的所述編輯介面中編輯的所述虛擬環境的步驟包括：反應於判定在所述第一內容區域中的第三位置處偵測到所述輸入裝置的輸入事件，據以將第二控制信號提供到運行所述2D編輯器應用程式的所述計算裝置，其中所述第二控制信號指示所述輸入事件和所述編輯視窗中的第四位置，且所述第二控制信號基於所述輸入事件和所述第四位置而控制所述計算裝置操作所述編輯視窗中顯示的所述虛擬環境。
  9. 如請求項8所述的視覺內容產生方法，其中所述第三位置與所述第一內容區域之間的相對位置對應於所述編輯視窗與所述第四位置之間的相對位置。
  10. 如請求項1所述的視覺內容產生方法，更包括：在所述視覺內容中判定偵測區域，其中所述偵測區域圍繞用於顯示所述第二內容區域的特定區域；在所述視覺內容中提供對應於輸入裝置的游標；取得所述游標在所述視覺內容中的游標位置；反應於判定所述游標位置在所述偵測區域內，在將所述螢幕視圖影像疊合到所述第一眼影像上之前調整所述螢幕視圖影像的透明度。
  11. 如請求項1所述的視覺內容產生方法，其中所述第一眼影像顯示所述場景的3D版本，而所述螢幕視圖影像的所述編輯視窗顯示所述場景的2D版本。
  12. 如請求項10所述的視覺內容產生方法，更包括：反應於判定所述游標位置在所述特定區域內，將所述螢幕視圖影像的所述透明度判定為第一透明度；反應於判定所述游標位置在所述偵測區域和所述特定區域之外，將所述螢幕視圖影像的所述透明度判定為第二透明度，其中所述第二透明度高於所述第一透明度。
  13. 如請求項1所述的視覺內容產生方法，包括：從運行所述2D編輯器應用程式的所述計算裝置接收所述第 一眼影像。
  14. 一種頭戴式顯示器，包括：儲存電路，儲存程式碼；處理器，耦接到所述儲存電路且存取所述程式碼以執行以下操作：取得由2D編輯器應用程式渲染的第一眼影像，其中所述第一眼影像顯示實境服務的虛擬環境，其中所述2D編輯器應用程式的所述編輯介面包含控制面板及用於顯示對應所述虛擬環境的編輯視窗，且所述第一眼影像與所述螢幕視圖影像中之該編輯視窗顯示同一個場景，其中取得所述2D編輯器應用程式的螢幕視圖影像包括：從計算裝置接收所述2D編輯器應用程式的螢幕快照的資料串流；或者從所述計算裝置接收所述計算裝置基於所述2D編輯器應用程式的所述螢幕快照渲染而得的所述2D編輯器應用程式的所述螢幕視圖影像；或者從所述計算裝置接收所述2D編輯器應用程式的所述螢幕快照，並將所述螢幕快照渲染為所述螢幕視圖影像；取得所述2D編輯器應用程式的螢幕視圖影像，其中所述螢幕視圖影像顯示編輯所述虛擬環境的所述2D編輯器應用程式的編輯介面；經由將所述螢幕視圖影像疊合到所述第一眼影像上而產 生視覺內容，其中所述視覺內容包括分別對應於所述第一眼影像和所述螢幕視圖影像的第一內容區域和第二內容區域，其中當在所述編輯介面的所述編輯視窗中編輯的所述虛擬環境改變，所述第一眼影像會據以同時改變。
  15. 如請求項14所述的頭戴式顯示器，其中所述頭戴式顯示器提供所述實境服務。
  16. 如請求項14所述的頭戴式顯示器，其中所述頭戴式顯示器與輸入裝置連接，且所述處理器執行：在所述視覺內容中提供對應於輸入裝置的游標；取得所述游標在所述視覺內容中的游標位置；反應於判定所述游標位置在所述第二內容區域內，基於所述游標與所述第二內容區域之間的第一互動控制所述2D編輯器應用程式；反應於判定所述游標位置在所述第一內容區域內，基於所述游標與所述第一內容區域之間的第二互動而調整在所述2D編輯器應用程式的所述編輯介面中編輯的所述虛擬環境。
  17. 如請求項16所述的頭戴式顯示器，其中所述頭戴式顯示器連接到運行所述2D編輯器應用程式的所述計算裝置，且所述處理器執行：反應於判定在所述第二內容區域中的第一位置處偵測到所述輸入裝置的輸入事件，據以將第一控制信號提供到所述計算裝置，其中所述第一控制信號指示所述輸入事件和所述編輯介面中 的第二位置，且所述第一控制信號基於所述輸入事件和所述第二位置而控制所述計算裝置操作所述2D編輯器應用程式；反應於判定在所述第一內容區域中的第三位置處偵測到所述輸入裝置的所述輸入事件，據以將第二控制信號提供到所述計算裝置，其中所述第二控制信號指示所述輸入事件和所述編輯視窗中的第四位置，且所述第二控制信號基於所述輸入事件和所述第四位置而控制所述計算裝置操作所述編輯視窗中顯示的所述虛擬環境。
  18. 一種電腦可讀儲存媒體，所述電腦可讀儲存媒體記錄可執行電腦程式，所述可執行電腦程式由主機載入以執行以下步驟：取得由2D編輯器應用程式渲染的第一眼影像，其中所述第一眼影像顯示實境服務的虛擬環境；取得所述2D編輯器應用程式的螢幕視圖影像，其中所述螢幕視圖影像顯示編輯所述虛擬環境的所述2D編輯器應用程式的編輯介面，其中所述2D編輯器應用程式的所述編輯介面包含控制面板及用於顯示對應所述虛擬環境的編輯視窗，且所述第一眼影像與所述螢幕視圖影像中之該編輯視窗顯示同一個場景，其中取得所述2D編輯器應用程式的螢幕視圖影像的步驟包括：從計算裝置接收所述2D編輯器應用程式的螢幕快照的資料串流；或者從所述計算裝置接收所述計算裝置基於所述2D編輯器 應用程式的所述螢幕快照渲染而得的所述2D編輯器應用程式的所述螢幕視圖影像；或者從所述計算裝置接收所述2D編輯器應用程式的所述螢幕快照，並將所述螢幕快照渲染為所述螢幕視圖影像；經由將所述螢幕視圖影像疊合到所述第一眼影像上而產生視覺內容，其中所述視覺內容包括分別對應於所述第一眼影像和所述螢幕視圖影像的第一內容區域和第二內容區域，其中當在所述編輯介面的所述編輯視窗中編輯的所述虛擬環境改變，所述第一眼影像會據以同時改變。
TW111143170A 2022-04-20 2022-11-11 視覺內容產生方法、主機以及電腦可讀儲存媒體 TWI856419B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263332697P 2022-04-20 2022-04-20
US63/332,697 2022-04-20
US17/894,136 US20230341990A1 (en) 2022-04-20 2022-08-23 Visual content generating method, host, and computer readable storage medium
US17/894,136 2022-08-23

Publications (2)

Publication Number Publication Date
TW202343383A TW202343383A (zh) 2023-11-01
TWI856419B true TWI856419B (zh) 2024-09-21

Family

ID=88415410

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111143170A TWI856419B (zh) 2022-04-20 2022-11-11 視覺內容產生方法、主機以及電腦可讀儲存媒體

Country Status (2)

Country Link
US (1) US20230341990A1 (zh)
TW (1) TWI856419B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201729164A (zh) * 2016-02-05 2017-08-16 黃宇軒 擴增實境影像產生系統及其應用
CN111373350A (zh) * 2017-11-24 2020-07-03 汤姆逊许可公司 用于对虚拟现实视频内容进行颜色分级的方法和系统
CN112286362A (zh) * 2020-11-16 2021-01-29 Oppo广东移动通信有限公司 真实环境画面中虚拟道具的显示方法、系统及存储介质
CN112352421A (zh) * 2018-07-25 2021-02-09 麦克赛尔株式会社 自动影像编导装置、自动影像编导方法和用于其的影像存储介质
US11061536B2 (en) * 2019-04-15 2021-07-13 Apple Inc. Systems, methods, and user interfaces for interacting with multiple application windows
CN113655927A (zh) * 2021-08-24 2021-11-16 亮风台（上海）信息科技有限公司 一种界面交互方法与设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062126A1 (en) * 2006-07-06 2008-03-13 Algreatly Cherif A 3D method and system for hand-held devices
US8633939B2 (en) * 2009-02-05 2014-01-21 Autodesk, Inc. System and method for painting 3D models with 2D painting tools
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US20140132595A1 (en) * 2012-11-14 2014-05-15 Microsoft Corporation In-scene real-time design of living spaces
US10838600B2 (en) * 2018-02-12 2020-11-17 Wayfair Llc Systems and methods for providing an extended reality interface
KR20200135496A (ko) * 2018-04-24 2020-12-02 애플 인크. 3d 모델들의 다중-디바이스 편집
US20200310622A1 (en) * 2019-03-28 2020-10-01 Christie Digital Systems Usa, Inc. Orthographic projection planes for scene editors
US11017611B1 (en) * 2020-01-27 2021-05-25 Amazon Technologies, Inc. Generation and modification of rooms in virtual reality environments
US11676200B2 (en) * 2020-02-06 2023-06-13 Shopify Inc. Systems and methods for generating augmented reality scenes for physical items
US20220221976A1 (en) * 2021-01-13 2022-07-14 A9.Com, Inc. Movement of virtual objects with respect to virtual vertical surfaces
WO2022204657A1 (en) * 2021-03-22 2022-09-29 Apple Inc. Methods for manipulating objects in an environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201729164A (zh) * 2016-02-05 2017-08-16 黃宇軒 擴增實境影像產生系統及其應用
CN111373350A (zh) * 2017-11-24 2020-07-03 汤姆逊许可公司 用于对虚拟现实视频内容进行颜色分级的方法和系统
CN112352421A (zh) * 2018-07-25 2021-02-09 麦克赛尔株式会社 自动影像编导装置、自动影像编导方法和用于其的影像存储介质
US11061536B2 (en) * 2019-04-15 2021-07-13 Apple Inc. Systems, methods, and user interfaces for interacting with multiple application windows
CN112286362A (zh) * 2020-11-16 2021-01-29 Oppo广东移动通信有限公司 真实环境画面中虚拟道具的显示方法、系统及存储介质
CN113655927A (zh) * 2021-08-24 2021-11-16 亮风台（上海）信息科技有限公司 一种界面交互方法与设备

Also Published As

Publication number Publication date
TW202343383A (zh) 2023-11-01
US20230341990A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US12455677B2 (en) Hybrid systems and methods for low-latency user input processing and feedback
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
CN118215903A (zh) 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
CN119512362A (zh) 用于显示与媒体内容相关的用户界面元素的方法
CN119404170A (zh) 三维环境中的被遮蔽对象
CN120266082A (zh) 用于三维环境中的深度冲突减轻的方法
US12481357B2 (en) Devices, methods, for interacting with graphical user interfaces
JP2024537657A (ja) メディア及び三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US20170031583A1 (en) Adaptive user interface
TWI856419B (zh) 視覺內容產生方法、主機以及電腦可讀儲存媒體
US20160321968A1 (en) Information processing method and electronic device
WO2024238997A1 (en) Methods for displaying mixed reality content in a three-dimensional environment
CN116915923A (zh) 视觉内容产生方法、主机以及计算机可读存储媒体
CN120469577A (zh) 用于基于手势的交互的设备、方法和用户界面
CN117873325A (zh) 用于在环境中提供沉浸式体验的方法
TWI912963B (zh) 用於提供虛擬平面的方法、主機和電腦可讀儲存媒體
TWI891457B (zh) 用於向虛擬物件提供輸入事件的方法、主機和電腦可讀儲存媒體
TW202528910A (zh) 用於提供虛擬平面的方法、主機和電腦可讀儲存媒體
US20250110551A1 (en) Devices, methods, and graphical user interfaces for displaying presentation environments for a presentation application
EP4569399A1 (en) Devices, methods, for interacting with graphical user interfaces
CN121263766A (zh) 用于在扩展现实环境中呈现系统用户界面的设备和方法
CN118519556A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面
KR20230037054A (ko) 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들