TW202109450A - 一種圖像處理方法、設備和儲存介質 - Google Patents

一種圖像處理方法、設備和儲存介質 Download PDF

Info

Publication number
TW202109450A
TW202109450A TW109126943A TW109126943A TW202109450A TW 202109450 A TW202109450 A TW 202109450A TW 109126943 A TW109126943 A TW 109126943A TW 109126943 A TW109126943 A TW 109126943A TW 202109450 A TW202109450 A TW 202109450A
Authority
TW
Taiwan
Prior art keywords
virtual object
reference surface
image
display size
image processing
Prior art date
Application number
TW109126943A
Other languages
English (en)
Inventor
符修源
葉偉
張建博
李宇飛
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202109450A publication Critical patent/TW202109450A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本發明實施例提供一種圖像處理方法、設備和儲存介質；其中，所述方法包括：基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面；獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象；基於所述位姿資訊確定所述虛擬對象的顯示尺寸；將所述虛擬對象按照顯示尺寸渲染到所述圖像上。

Description

一種圖像處理方法、設備和儲存介質
本發明關於電腦視覺技術領域，關於但不限於一種圖像處理方法、設備和儲存介質。
增強現實（Augmented Reality，AR），是一種即時地計算攝影機圖像的位置及角度並加上相應圖像的技術。通過將虛擬對象與現實世界融合，AR技術以身臨其境的互動式體驗，增強了用戶與周圍世界的交流與互動。AR技術廣泛應用在教育、購物、藝術及遊戲等各個領域。
在增強現實場景中放置虛擬對象時，相關技術中採用的方法一般是手動放大或縮小物體，然後再挑選放置位置，這樣不僅增加了用戶操作，並且還無法進行有互動性的AR體驗過程。
有鑑於此，本發明實施例期望提供一種圖像處理方法、設備和儲存介質。
本發明實施例提供一種圖像處理方法，所述方法包括： 基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面； 獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象； 基於所述位姿資訊確定所述虛擬對象的顯示尺寸； 將所述虛擬對象按照顯示尺寸渲染到所述圖像上。
如此，能夠實現通過調節圖像採集裝置與虛擬對象放置平面之間的位姿資訊來自動調整虛擬對象的顯示尺寸，無需手動調整，不僅能簡化操作，還能夠提高增強現實應用的交互性和娛樂性。
在上述方案中，所述基於所述位姿資訊確定所述虛擬對象的顯示尺寸，包括： 基於所述位姿資訊確定所述圖像採集裝置所在的第二參考面與所述第一參考面之間的夾角； 基於所述夾角確定所述虛擬對象的顯示尺寸。
如此，能夠通過圖像採集裝置所在第二參考平面與第一參考平面之間的夾角，確定顯示尺寸，從而實現虛擬對象的顯示大小的自動調整，提高了終端的智慧性。
在上述方案中，所述基於所述位姿資訊確定所述圖像採集裝置所在的第二參考面與所述第一參考面之間的夾角，包括： 基於所述位姿資訊確定所述圖像採集裝置在第一座標系中的第一座標資訊，第一座標系為基於所述第一參考面建立得到的座標系； 獲取通過所述圖像採集裝置中鏡頭的光心且垂直於所述第二參考面的直線與所述第一參考面的交點的第二座標資訊； 基於所述第一座標資訊和所述第二座標資訊，確定所述第一參考面與所述第二參考面之間的夾角。
如此，通過上述方案能夠確定出第一參考面與第二參考面之間的夾角，從而為後續基於夾角確定顯示大小提供必要的資料基礎。
在上述方案中，所述基於所述夾角確定所述虛擬對象的顯示尺寸，包括： 獲取顯示尺寸與角度之間的對應關係； 基於所述對應關係和所述夾角，確定所述虛擬對象的顯示尺寸。
如此，通過顯示尺寸與角度之間的對應關係，能夠確定出第一參考面與第二參考面之間的夾角所對應的顯示尺寸，從而能夠使得圖像處理設備基於該顯示尺寸渲染虛擬對象，提高AR的互動性和娛樂性。
在上述方案中，所述方法還包括： 基於所述第二座標資訊和所述虛擬對象的顯示尺寸確定所述虛擬對象在所述第一參考面的放置區域； 對應地，所述將所述虛擬對象按照顯示尺寸渲染到所述圖像上，包括： 基於所述虛擬對象在所述第一參考面的放置區域，將所述虛擬對象按照顯示尺寸渲染到所述圖像上。
如此，在圖像採集裝置聚焦在不同位置時，虛擬對象的放置區域也會相應的移動，從而保證虛擬對象一直處於第一設備的顯示畫面中，提高使用者體驗。
在上述方案中，所述方法還包括： 確定所述第一參考面的邊界； 在確定所述虛擬對象在所述第一參考面的放置位置超出所述第一參考面的邊界的情況下，將所述虛擬對象按照預設的第一色彩資訊渲染到所述圖像上，以提示所述虛擬對象超出所述邊界。
如此，當虛擬對象的放置區域超出第一參考面的邊界時，以不同於虛擬對象原本的色彩資訊的第一色彩資訊將虛擬對象進行渲染，從而能夠使用戶直觀的瞭解到虛擬對象已超出邊界，從而對虛擬對象的放置區域進行調整。
本發明實施例提供一種圖像處理裝置，所述裝置包括： 第一確定模組，配置為基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面； 第一獲取模組，配置為獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象； 第二確定模組，配置為基於所述位姿資訊確定所述虛擬對象的顯示尺寸； 第一渲染模組，配置為將所述虛擬對象按照顯示尺寸渲染到所述圖像中的第一參考面上。
如此，能夠實現通過調節圖像採集裝置與虛擬對象放置平面之間的位姿資訊來自動調整虛擬對象的顯示尺寸，無需手動調整，不僅能簡化操作，還能夠提高增強現實應用的交互性和娛樂性。
本發明實施例提供一種圖像處理設備，所述圖像處理設備至少包括：記憶體、通信匯流排和處理器；其中：所述記憶體，配置為儲存圖像處理程式；所述通信匯流排，配置為實現處理器和記憶體之間的連接通信；所述處理器，配置為執行記憶體中儲存的圖像處理程式，以實現上述方案中所述的圖像處理方法的步驟。
本發明實施例提供一種儲存介質，所述儲存介質上儲存有圖像處理程式，所述圖像處理程式被處理器執行時實現上述方案中所述的圖像處理方法的步驟。
本發明實施例提供一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行時實現上述方案中所述的圖像處理方法的步驟。
本發明實施例提供一種圖像處理方法及其裝置、設備和儲存介質；其中，所述方法包括：首先基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面；然後再獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象，並基於所述位姿資訊確定所述虛擬對象的顯示尺寸，其中當位姿資訊表明圖像採集裝置遠離第一參考面時，那麼將虛擬對象的顯示尺寸減小，當位姿資訊表明圖像採集裝置靠近第一參考面時，那麼將虛擬對象的顯示尺寸增大，最後將所述虛擬對象按照顯示尺寸渲染到所述圖像上；如此，實現通過調節圖像採集裝置與虛擬對象放置平面之間的位姿資訊來自動調整虛擬對象的顯示尺寸，無需手動調整，不僅能簡化操作，還能夠提高增強現實應用的交互性和娛樂性。
為了使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明作進一步地詳細描述，所描述的實施例不應視為對本發明的限制，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬於本發明保護的範圍。
在以下的描述中，涉及到“一些實施例”，其描述了所有可能實施例的子集，但是可以理解，“一些實施例”可以是所有可能實施例的相同子集或不同子集，並且可以在不衝突的情況下相互結合。
在以下的描述中，所涉及的術語“第一\第二\第三”僅僅是區別類似的對象，不代表針對對象的特定排序，可以理解地，“第一\第二\第三”在允許的情況下可以互換特定的順序或先後次序，以使這裡描述的本發明實施例能夠以除了在這裡圖示或描述的以外的順序實施。
圖1A為本發明實施例圖像處理方法的一種網路架構的示意圖，如圖1A所示，在所述網路架構中，包括第一設備101、伺服器102和網路103，其中，第一設備101通過網路103連接到伺服器102，網路103可以是廣域網路或者局域網，又或者是二者的組合，使用無線鏈路實現資料傳輸。第一設備101移動終端，例如可以是智慧手機，還可以是AR眼鏡，在圖1A中將第一設備101以智慧手機的形式示例性示出。第一設備101可以包括圖像採集裝置。伺服器102可以是指一台伺服器，也可以是由多台伺服器構成的伺服器集群、雲計算中心等等，在此不加以限定。
在圖1A所示的網路架構中，第一設備101中的圖像採集裝置可以採集現實圖像資料，然後第一設備101將圖像採集裝置現實圖像資料、要增加的虛擬對象以及圖像採集裝置的內參數通過網路103發送給伺服器102，由伺服器102確定出現實圖像資料中的平面和圖像採集裝置相對於該平面的位姿資訊，然後伺服器102根據位姿資訊再確定出虛擬對象的顯示尺寸，並將虛擬對象按照該顯示尺寸渲染到確定出的平面上，並將渲染後的增強現實圖像資料發送給第一設備101，第一設備101輸出增強現實圖像資料。
圖1B為本發明實施例圖像處理方法的再一種網路架構示意圖，如圖1B所示，該網路架構中僅包括第一設備101，第一設備101可以是智慧手機，還可以是AR眼鏡等，在圖1B中，同樣將第一設備101以智慧手機的形式示例性示出。第一設備101至少包括圖像採集裝置和處理器，圖像採集裝置可以採集現實圖像資料，然後第一設備101中的處理器基於圖像採集裝置採集到的現實圖像資料和圖像採集裝置的內參數，確定現實圖像資料中的平面和圖像採集裝置相對於該平面的位姿資訊，然後根據位姿資訊再確定出虛擬對象的顯示尺寸，並將虛擬對象按照該顯示尺寸渲染到確定出的平面上，得到增強現實圖像資料，第一設備101輸出增強現實圖像資料。
結合圖1A和圖1B所示的網路架構示意圖，以下對圖像處理方法及圖像處理裝置、設備的各實施例進行說明。
參見圖2A和圖2B，圖2A為本發明實施例提供的圖像處理方法的一種實現流程示意圖，圖2B為本發明實施例圖像處理方法的應用場景示意圖，將結合圖2A示出的步驟進行說明。在本發明各實施例中，圖像處理設備可以是如圖1A中所示的伺服器，還可以是如圖1B所示的第一設備。
步驟S201，圖像處理設備基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面。
這裡，第一參考面可以是平面，在一些實施例中，第一參考面還可以是斜面。當第一參考面為平面時，第一參考面可以是水平面。圖像採集裝置是為了實現增強現實目的，用於獲取當前的現實場景的圖像的照相或攝影設備，因此圖像採集裝置採集到的圖像可以認為是現實世界圖像。步驟S201在實現時，首先圖像處理設備要識別出圖像中的各個參考面，在從各個參考面中確定第一參考面。
在識別圖像中的參考面時，可以是利用搭建增強現實應用程式的軟體平臺，提取圖像中的特徵點，然後將平面擬合到這些點，並在比例、方向和位置等方面找到最佳匹配，通過不斷分析各個特徵點，可以檢測出圖像中的各個平面。在檢測到多個平面時，還可以利用平面視覺化來説明使用者確定放置虛擬對象的第一參考面。譬如說，可以突出顯示已檢測到且可以放置虛擬對象的平面；還可以創建不同平面之間的視覺差異，以免在放置虛擬對象時出現混淆；亦或者突出顯示使用者正在查看或者指向的平面，而不要一次性突出多個平面。
基於使用者選擇第一參考面的操作指令，從而確定出的參考面中確定放置虛擬對象的第一參考面。
當步驟S201是由圖1A所示的伺服器實現時，那麼圖像採集裝置可以是第一設備中的裝置，此時所述方法還包括：第一設備將圖像採集裝置採集到的圖像和圖像採集裝置的內參數發送給伺服器。
步驟S202，圖像處理設備獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象。
這裡，步驟S202在實現時，首先獲取第一參考平面上各個頂點的座標；然後根據各個頂點的座標計算圖像採集裝置相對於第一參考面的位姿資訊。例如，在計算位姿資訊時，可以根據各個頂點的相對座標求解透視N點（Perspective N Point，PNP）問題，從而得到圖像採集裝置相對於第一參考面的位姿資訊，即該圖像採集裝置相對於第一參考面所在世界座標系下的平移量和旋轉量。另外，也可以利用同時定位與建圖（Simultaneous Localization And Mapping，SLAM）演算法和慣性測量單元（Inertial Measurement Unit，IMU）結合的方法來進行位姿資訊的計算。
步驟S203，圖像處理設備基於所述位姿資訊確定所述虛擬對象的顯示尺寸。
這裡，在確定出圖像採集裝置相對於第一參考面的位姿資訊之後，根據位姿資訊中的旋轉量或者說旋轉矩陣可以確定出所述圖像採集裝置所在的第二參考面與所述第一參考面之間的夾角，然後基於所述夾角確定所述虛擬對象的顯示尺寸。
在本實施例中，當第二參考面與第一參考面之間的夾角變小時，可以認為第一設備靠近第一參考面，此時放大虛擬對象的顯示尺寸，當第二參考面與第一參考面之間的夾角變大時，可以認為第一設備遠離第一參考面，此時縮小虛擬對象的顯示尺寸，如此不需要人工手動對虛擬對象的顯示尺寸進行調整，從而簡化操作，並增加了AR的互動性。
步驟S204，圖像處理設備將所述虛擬對象按照顯示尺寸渲染到所述圖像上。
這裡，步驟S204在實現時，可以是圖像處理設備根據位姿資訊將虛擬對象按照確定出的顯示尺寸與該圖像進行虛實疊加處理，從而得到增強現實圖像。
步驟S204可以認為是在第一設備顯示現實圖像的顯示介面上按照顯示尺寸渲染出該虛擬對象，例如可以是虛擬物品、虛擬人物等，並通過用戶對觸控式螢幕或手柄的操作控制虛擬目標的活動，以實現增強現實效果。
在本發明實施例提供的圖像處理方法中，首先基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面；然後獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象，並基於所述位姿資訊確定所述虛擬對象的顯示尺寸，其中當位姿資訊表明圖像採集裝置遠離第一參考面時，將虛擬對象的顯示尺寸減小，當位姿資訊表明圖像採集裝置靠近第一參考面時，將虛擬對象的顯示尺寸增大，最後將所述虛擬對象按照顯示尺寸渲染到所述圖像上；如此，實現通過調節圖像採集裝置與虛擬對象放置平面之間的位姿資訊來自動調整虛擬對象的顯示尺寸，無需手動調整，不僅能簡化操作，還能夠提高增強現實應用的交互性和娛樂性。
在一些實施例中，所述步驟S203可以通過以下步驟實現。
步驟S2031，基於所述位姿資訊確定所述圖像採集裝置所在的第二參考面與所述第一參考面之間的夾角。這裡，當圖像處理設備為智慧手機時，圖像採集裝置所在的第二參考面可以認為是智慧手機中顯示幕所在的面。
在本實施例中，步驟S2031可以通過以下步驟實現。
步驟11，基於所述位姿資訊確定所述圖像採集裝置在第一座標系中的第一座標資訊。這裡，第一座標系為基於所述第一參考面建立得到的座標系。
一種實施方式中，第一座標系可以是採用世界座標系，此時，在計算第二參考面和第一參考面的夾角時，是基於在世界座標系中，第一參考面和第二參考面的空間位置關係進行計算兩者之間的夾角。在另一種實施方式中，第一座標系還可以是以第一參考面中的一預設點為原點，以兩兩垂直的三個座標軸形成的座標系。
由於位姿資訊中包括圖像採集裝置相對於第一參考面自身所在的座標系下的平移量和旋轉量，那麼就可以根據該平移量和旋轉量確定出圖像採集裝置在第一座標系中的第一座標資訊。
步驟12，獲取通過所述圖像採集裝置中鏡頭的光心且垂直於所述第二參考面的直線與所述第一參考面的交點的第二座標資訊。
這裡，通過圖像採集裝置中鏡頭的光心的直線是垂直於圖像採集裝置所在的第二參考面的，那麼在確定出圖像採集裝置的旋轉矩陣之後，即可確定出通過圖像採集裝置中鏡頭的光心的直線與第一參考平面之間的夾角，那麼在已知圖像採集裝置的第一座標資訊以及該直線與第一參考平面之間的夾角之後，即可確定出第二座標資訊。
步驟13，基於所述第一座標資訊和所述第二座標資訊，確定所述第一參考面與所述第二參考面之間的夾角。
這裡，如圖2B所示，第一參考面為圖2B中的211，第二參考面為圖2B中的212，通過所述圖像採集裝置中鏡頭的光心O且垂直於第二參考面212的直線213與第一參考面211的交點為圖2B中的點A，第一座標資訊可以是光心O在第一座標系中的座標，假設點O的第一座標資訊為
Figure 02_image001
，點A第二座標資訊為
Figure 02_image003
，那麼基於第一座標資訊和第二座標資訊可以按照公式（1）確定出OA之間的距離
Figure 02_image005
：
Figure 02_image007
（1）；
第一參考面211為第一座標系中由兩個座標軸形成的平面，假設在本發明實施例中，第一參考面為xoy所形成的平面，那麼在圖2B中，OP之間的距離即為
Figure 02_image009
。那麼，
Figure 02_image011
（2）；
在公式（2）中，cos為餘弦函數。
Figure 02_image013
可以按照公式（3）得出：
Figure 02_image015
（3）；
在公式（3）中，arccos為反餘弦函數。由於
Figure 02_image017
，
Figure 02_image019
，也即
Figure 02_image021
。
Figure 02_image023
即為第一參考平面與第二參考平面之間的夾角。
步驟S2032，基於所述夾角確定所述虛擬對象的顯示尺寸。
這裡，步驟S2032可以通過以下步驟實現。
步驟21，獲取顯示尺寸與角度之間的對應關係。
這裡，該對應關係可以是包括一個參考角度以及與該參考角度對應的一個參考尺寸，例如該參考角度可以是45度，對應有一個參考尺寸。在一些實施例中，該對應關係還可以是包括多個參考角度，每個參考角度對應有一個參考尺寸。
步驟22，基於所述對應關係和所述夾角，確定所述虛擬對象的顯示尺寸。
這裡，當對應關係中包括一個參考角度以及與該參考角度對應的一個參考尺寸時，步驟22在實現時可以是，確定所述夾角與該參考角度之間的比例關係，然後再根據該比例關係與參考角度對應的參考大小確定虛擬對象的顯示尺寸。
例如，參考角度可以是45度，參考尺寸為20*20，第一參考平面與第二參考平面之間的夾角為30度，夾角相對與參考角度變小，那麼認為此時圖像採集裝置聚焦在近處，此時要放大尺寸。該夾角與參考角度的比例關係為30:45=2:3，此時顯示尺寸調整為參考尺寸的3/2，即顯示尺寸為30*30。若第一參考平面與第二參考平面之間的夾角為60度，夾角相對與參考角度變大，那麼認為此時圖像採集裝置聚焦在遠處，此時要縮小尺寸。該夾角與參考角度的比例關係為60:45=4:3，此時顯示尺寸調整為參考尺寸的3/4，即顯示尺寸為15*15。
當對應關係中包括多個參考角度，每個參考角度對應有一個顯示尺寸時，步驟22在實現時可以是，確定出與夾角最接近的參考角度，將該參考角度對應的參考尺寸確定為虛擬對象的顯示尺寸；還可以是確定出與夾角最接近的參考角度之後，根據夾角與該最接近的參考角度之間的比例關係和該最接近的參考角度對應的參考尺寸確定虛擬對象的顯示尺寸。
在上述實施例中，可以根據圖像採集裝置所在的第二參考面與第一參考面之間的夾角來確定圖像採集裝置是聚焦在近處還是遠處，並在聚焦在近處時，增大顯示尺寸，聚焦在遠處時縮小顯示尺寸，從而實現了自動調整虛擬對象的顯示尺寸，增加了AR互動性和娛樂性。
在一些實施例中，確定出第二座標資訊之後，所述方法還包括如下。
步驟14，基於所述第二座標資訊和所述虛擬對象的顯示尺寸確定所述虛擬對象在所述第一參考面的放置區域。
這裡，步驟14在實現時，可以是以該第二座標資訊對應的座標點為中心，確定一圓形區域，其中該圓形區域的半徑可以是根據顯示尺寸確定的，例如該半徑可以是根據顯示尺寸確定出在第一參考面上透鏡的外接圓的半徑。當然在一些實施例中，放置區域還可以是根據虛擬對象的實際形狀確定的，例如還可以是正方形、矩形、三角形等等。
在確定出虛擬對象的放置區域後，對應地，步驟S204在實現時可以是：基於所述虛擬對象在所述第一參考面的放置區域，將所述虛擬對象按照顯示尺寸渲染到所述圖像上；如此在圖像採集裝置聚焦在不同位置時，虛擬對象的放置區域也會相應的移動，從而保證虛擬對象一直處於第一設備的顯示畫面中，提高使用者體驗。
基於前述的實施例，本發明實施例另提供一種圖像處理方法，圖3為本發明實施例提供的圖像處理方法的另一種實現流程示意圖，如圖3所示，在步驟S203之後，所述方法還包括如下。
步驟S204’，圖像處理設備確定所述第一參考面的邊界和所述虛擬對象的放置區域。
這裡，由於在確定第一參考面時，已經確定出第一參考面的各個頂點的座標，那麼根據第一參考面的各個頂點的座標可以確定出第一參考面的邊界。而虛擬對象的放置區域可以通過步驟14確定。
步驟S205，圖像處理設備判斷所述放置區域是否超出所述第一參考面的邊界。
這裡，當放置區域超出第一參考面的邊界時，進入步驟S206；當放置區域沒有超出第一參考面的邊界時，進入步驟S207。
步驟S206，圖像處理設備將所述虛擬對象按照預設的第一色彩資訊和顯示尺寸渲染到所述圖像上，以提示所述虛擬對象超出所述邊界。這裡，第一色彩資訊是不同於虛擬對象原本的色彩資訊的，例如可以是灰色，或者可以是紅色等。
步驟S207，圖像處理設備將所述虛擬對象按照預設的第二色彩資訊和顯示尺寸渲染到所述圖像上。這裡，第二色彩資訊可以是虛擬對象原本的色彩資訊。這樣當虛擬對象的放置區域超出第一參考面的邊界時，以不同於虛擬對象原本的色彩資訊的第一色彩資訊將虛擬對象進行渲染，從而能夠使用戶直觀的瞭解到虛擬對象已超出邊界，從而對虛擬對象的放置區域進行調整。
基於前述的實施例，本發明實施例再提供一種圖像處理方法，應用於圖1A所示的網路架構。圖4為本發明實施例提供的圖像處理方法的再一種實現流程示意圖，如圖4所示，所述方法包括如下。
步驟S401，第一設備通過自身的圖像採集裝置採集現實場景圖像。
這裡，圖像採集裝置可以是攝影頭。第一設備通過自身的圖像採集裝置採集的是現實場景圖像，現實場景圖像也就是圖像採集裝置採集的真實的現實世界的圖像。
步驟S402，第一設備將所述現實場景圖像發送給伺服器。這裡，在實際應用過程中，當第一設備是在錄影時，第一設備會將採集到的每一幀圖像都發送給伺服器。
步驟S403，伺服器接收到現實場景圖像後識別現實場景圖像中的各個參考面。
這裡，伺服器會對接收到的現實場景圖像進行特徵提取，並根據提取出的特徵點和預設的平面進行擬合，從而確定出現實場景圖像中的各個參考面。
步驟S404，伺服器將識別出的各個參考面資訊發送給第一設備。
這裡，參考面資訊可以是參考面的各個頂點的座標。第一設備在接收到伺服器發送的各個參考面資訊後，會在顯示介面上視覺化的區分出不同的參考面，例如，識別出的參考面是地面時，以紅色方格示出，識別出的參考面為桌面時，以黃色方格示出。
步驟S405，第一設備確定放置虛擬對象的第一參考面和待放置的虛擬對象。
這裡，第一設備示出各個參考面會，使用者可以根據自身的需求選擇出放置虛擬對象的第一參考面，此時第一設備基於使用者的選擇操作確定出第一參考面。
在一些實施例中，第一設備還可以根據識別出的各個參考面依據預設策略確定出第一參考面，例如預設策略可以是將各個參考面中面積最大的作為第一參考面，預設策略還可以是將各個參考面中距離圖像中心最近的作為第一參考面。
步驟S406，第一設備將確定出的第一參考面資訊和待放置的虛擬對象發送給伺服器。這裡，待放置的虛擬對象可以是人物、動物、建築物、物品等等。
步驟S407，伺服器確定圖像採集裝置相對於所述第一參考面的位姿資訊。
這裡，伺服器確定圖像採集裝置相對於第一參考面的位姿資訊，也可以認為是第一設備相對於第一參考面的位姿資訊。
步驟S408，伺服器基於所述位姿資訊確定所述圖像採集裝置所在的第二參考面與所述第一參考面之間的夾角和所述虛擬對象的放置區域。
步驟S409，伺服器基於所述夾角確定所述虛擬對象的顯示尺寸。
這裡，在本實施例中，第一參考面可以是與水平面平行的平面，第二設備與第一參考面之間的夾角可以是0到90度之間的角。當夾角從90度逐漸減小時，可以認為圖像採集裝置聚焦的點在逐漸靠近用戶，此時可以逐漸增大虛擬對象的顯示尺寸，當夾角從0度逐漸增大時，可以認為圖像採集裝置聚焦的點在逐漸遠離用戶，此時可以逐漸減小虛擬對象的顯示尺寸。
步驟S410，伺服器基於所述放置區域，將所述虛擬對象按照顯示尺寸渲染到所述現實場景圖像上，得到增強現實圖像資料。
這裡，伺服器將虛擬對象和現實場景圖像進行虛實疊加處理，從而實現將虛擬對象渲染到現實場景圖像中，從而得到增強現實圖像資料。
步驟S411，伺服器將增強現實圖像資料發送給第一設備。
步驟S412，第一設備基於所述增強現實圖像資料，輸出顯示相應的增強現實圖像。
在本發明實施例提供的圖像處理方法中，第一設備在採集到現實場景圖像之後，將現實場景圖像發送給伺服器，由伺服器識別圖像中的參考面，並將參考面資訊發送給第一設備，第一設備以視覺化形式顯示識別出的參考面，以便使用者確定放置虛擬對象的第一參考面，在選擇出第一參考面之後伺服器確定第一設備與第一參考面之間的夾角，並根據該夾角確定虛擬對象的顯示大小，從而將虛擬對象依據確定出的顯示大小渲染到現實場景圖像中，得到增強現實圖像資料，併發送給第一設備，以供第一設備顯示，如此，通過伺服器確定虛擬對象的顯示大小並進行虛實疊加處理，不僅能夠降低第一設備的計算量，還能夠實現自動調整顯示大小，能夠提高使用者的沉浸式體驗。
下面，將說明本發明實施例在一個實際的應用場景中的示例性應用。
在本實施例中，當需要在AR場景的平面上放置虛擬物體時，手機攝影頭所在平面與放置物體平面一般夾角都小於90度。當夾角減小，手機攝影頭望向近處時，所放置的物體因近大遠小的原理而變大並將放置在近處；當夾角增大手機攝影頭望向遠處時，所放物體根據相應的視線會變小並放置在遠處。當手機攝影頭旋轉望向別處時，所放置的物體也跟隨攝影頭視線移動，虛擬物體的放置位置也隨之移動。
在AR場景中，通過手機識別出放置虛擬物體的平面後，需要選擇放置虛擬物體的位置和放置虛擬物體的遠近。圖5為本發明實施例提供的圖像處理方法的應用場景示意圖，手機攝影頭503平面和物體放置平面504夾角小於90度，當手機攝影頭503平面和物體放置平面504夾角增大時，如圖5所示，視線朝向遠方，所放置物體501縮小並且放置的位置偏遠方，當手機攝影頭503平面和物體放置平面504夾角減小時，視線朝向近處，所放置物體502放大並且放置位置偏近處。
如果手機攝影頭旋轉角度，那麼視線也會跟著旋轉，所放置的虛擬物體也會跟著攝影頭旋轉，視線始終和手機攝影頭所在平面成直角。
在本發明實施例中，當所放置的虛擬物體過近或者過遠而超出所放置平面範圍時，虛擬物體的顏色會改變（如變成灰色）來提醒使用者無法成功放置物體。
在相關技術中，需要人工手動放大和縮小需要放置物體，並選擇放置物體的位置，增加了人為操作，從而降低了放置物體的效率。而在本發明實施例中，可通過手機攝影頭的視線方向和手機攝影頭所在平面和物體放置平面的夾角來確定所放置物體的遠近和大小，從而實現自動調整物體擺放的位置並自動調整在三維（3 Dimensions，3D）現實環境中物體的大小，讓AR的使用更有互動性和娛樂性。
在本實施例中以遊戲場景為例，進行說明。
在AR遊戲場景（如小黑羊）中，使用者在完成識別物體擺放平臺後，需要將遊戲的物體，如森林，兵營，池塘，小山擺放在識別的平臺上，以完成遊戲場景的個性化定制設計。此時通過使用者調整攝影頭與擺放物體平面的角度以及改變攝影頭的視線角度，能夠使得AR平臺上的物體擺放位置及大小隨著攝影頭而自動調整。
當然本實施例提供的在AR場景中通過手機攝影頭的視線方向和手機攝影頭所在平面和物體放置平面的夾角來確定所放置物體的遠近和大小的方法除了應用在遊戲場景，還可以用於購物場景、教育場景等，在本實施例中不進行限定。
本發明實施例提供一種圖像處理裝置，圖6為本發明實施例提供的圖像處理裝置的組成結構示意圖，如圖6所示，所述裝置600包括：第一確定模組601、第一獲取模組602、第二確定模組603和第一渲染模組604，其中：第一確定模組601，配置為基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面；第一獲取模組602，配置為獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象；第二確定模組603，配置為基於所述位姿資訊確定所述虛擬對象的顯示尺寸；第一渲染模組604，配置為將所述虛擬對象按照顯示尺寸渲染到所述圖像中的第一參考面上。
在上述方案中，所述第二確定模組603包括：第一確定部分，配置為基於所述位姿資訊確定所述圖像採集裝置所在的第二參考面與所述第一參考面之間的夾角；第二確定部分，配置為基於所述夾角確定所述虛擬對象的顯示尺寸。
在上述方案中，所述第一確定部分，包括：第一確定子部分，配置為基於所述位姿資訊確定所述圖像採集裝置在第一座標系中的第一座標資訊，第一座標系為基於所述第一參考面建立得到的座標系；第一獲取子部分，配置為獲取通過所述圖像採集裝置中鏡頭的光心且垂直於所述第二參考面的直線與所述第一參考面的交點的第二座標資訊；第二確定子部分，配置為基於所述第一座標資訊和所述第二座標資訊，確定所述第一參考面與所述第二參考面之間的夾角。
在上述方案中，所述第二確定部分包括：第二獲取子部分，配置為獲取顯示尺寸與角度之間的對應關係；第三確定子部分，配置為基於所述對應關係和所述夾角，確定所述虛擬對象的顯示尺寸。
在上述方案中，所述裝置還包括：第三確定模組，配置為基於所述第二座標資訊和所述虛擬對象的顯示尺寸確定所述虛擬對象在所述第一參考面的放置區域；
對應地，所述第一渲染模組604，包括：渲染部分，配置為基於所述虛擬對象在所述第一參考面的放置區域，將所述虛擬對象按照顯示尺寸渲染到所述圖像上。
在上述方案中，所述裝置還包括：第四確定模組，配置為確定所述第一參考面的邊界；第二渲染模組，配置為在確定所述虛擬對象在所述第一參考面的放置位置超出所述第一參考面的邊界的情況下，將所述虛擬對象按照預設的第一色彩資訊渲染到所述圖像上，以提示所述虛擬對象超出所述邊界。
在本實施例以及其他的實施例中，“部分”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是單元，還可以是模組也可以是非模組化的。
需要說明的是，以上裝置實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本發明裝置實施例中未披露的技術細節，請參照本發明方法實施例的描述而理解。
需要說明的是，如果以軟體功能模組的形式實現上述的圖像處理方法，並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦、伺服器、或者網路設備等）執行本發明各個實施例所述方法的全部或部分。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read Only Memory，ROM）、磁碟或者光碟等各種可以儲存程式碼的介質。這樣，本發明實施例不限制於任何特定的硬體和軟體結合。
相應地，本發明實施例再提供一種電腦儲存介質，所述電腦儲存介質上儲存有電腦可執行指令，所述該電腦可執行指令被處理器執行時實現上述實施例提供的圖像處理方法的步驟。
相應的，本發明實施例還提供一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現本發明實施例提供的圖像處理方法的步驟。
本發明實施例提供一種圖像處理設備，圖7為本發明實施例提供的圖像處理設備的組成結構示意圖，如圖7所示，所述設備700包括：一個處理器701、至少一個通信匯流排702、使用者介面703、至少一個外部通信介面704和記憶體705。其中，通信匯流排702配置為實現這些元件之間的連接通信。其中，使用者介面703可以包括顯示幕，外部通信介面704可以包括標準的有線介面和無線介面。其中所述處理器701，配置為執行記憶體中儲存的圖像處理程式，以實現以上述實施例提供的圖像處理方法中的步驟。
以上圖像處理設備和儲存介質實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本發明圖像處理設備和儲存介質實施例中未披露的技術細節，請參照本發明方法實施例的描述而理解。
應理解，說明書通篇中提到的“一個實施例”或“一實施例”意味著與實施例有關的特定特徵、結構或特性包括在本發明的至少一個實施例中。因此，在整個說明書各處出現的“在一個實施例中”或“在一實施例中”未必一定指相同的實施例。此外，這些特定的特徵、結構或特性可以任意適合的方式結合在一個或多個實施例中。應理解，在本發明的各種實施例中，上述各過程的序號的大小並不意味著執行順序的先後，各過程的執行順序應以其功能和內在邏輯確定，而不應對本發明實施例的實施過程構成任何限定。上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
需要說明的是，在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
在本發明所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元；既可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例的方案。
另外，在本發明各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本領域技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用硬體實施例、軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存介質（包括但不限於磁碟記憶體和光學記憶體等）上實施的電腦程式產品的形式。
本發明是根據本發明實施例的方法、設備（系統）、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計信號處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計信號處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定功能的裝置。
這些電腦程式指令也可儲存在能引導電腦或其他可程式設計信號處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可程式設計信號處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。
以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以所述申請專利範圍的保護範圍為準。
工業實用性 本發明實施例提供一種圖像處理方法及其裝置、設備和儲存介質；其中，所述方法包括：基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面；獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象；基於所述位姿資訊確定所述虛擬對象的顯示尺寸；將所述虛擬對象按照顯示尺寸渲染到所述圖像上。如此，能夠實現通過調節圖像採集裝置與虛擬對象放置平面之間的位姿資訊來自動調整虛擬對象的顯示尺寸，無需手動調整，不僅能簡化操作，還能夠提高增強現實應用的交互性和娛樂性。
101:第一設備 102:伺服器 103:網路 211:第一參考面 212:第二參考面 213:直線 501:遠觸所放置物體 502:近處所放置物體 503:手機攝影頭 504:物體放置平面 600:圖像處理裝置 601:第一確定模組 602:第一獲取模組 603:第二確定模組 604:第一渲染模組 700:圖像處理設備 701:處理器 702:通信匯流排 703:使用者介面 704:外部通信介面 705:記憶體 S201:步驟 S202:步驟 S203:步驟 S204:步驟 S204’:步驟 S205:步驟 S206:步驟 S207:步驟 S401:步驟 S402:步驟 S403:步驟 S404:步驟 S405:步驟 S406:步驟 S407:步驟 S408:步驟 S409:步驟 S410:步驟 S411:步驟 S412:步驟
圖1A為本發明實施例圖像處理方法的一種網路架構的示意圖； 圖1B為本發明實施例圖像處理方法的再一種網路架構示意圖； 圖2A為本發明實施例提供的圖像處理方法的一種實現流程示意圖； 圖2B為本發明實施例圖像處理方法的應用場景示意圖； 圖3為本發明實施例提供的圖像處理方法的另一種實現流程示意圖； 圖4為本發明實施例提供的圖像處理方法的再一種實現流程示意圖； 圖5為本發明實施例提供的圖像處理方法的應用場景示意圖； 圖6為本發明實施例提供的圖像處理裝置的組成結構示意圖； 圖7為本發明實施例提供的圖像處理設備的組成結構示意圖。
S201:步驟
S202:步驟
S203:步驟
S204:步驟

Claims (8)

  1. 一種圖像處理方法，所述方法包括： 基於圖像採集裝置採集到的圖像，確定放置虛擬對象的第一參考面； 獲取所述圖像採集裝置相對於所述第一參考面的位姿資訊和待放置的虛擬對象； 基於所述位姿資訊確定所述虛擬對象的顯示尺寸； 將所述虛擬對象按照所述顯示尺寸渲染到所述圖像上。
  2. 根據請求項1中所述的方法，其中，所述基於所述位姿資訊確定所述虛擬對象的顯示尺寸，包括： 基於所述位姿資訊確定所述圖像採集裝置所在的第二參考面與所述第一參考面之間的夾角； 基於所述夾角確定所述虛擬對象的顯示尺寸。
  3. 根據請求項2中所述的方法，其中，所述基於所述位姿資訊確定所述圖像採集裝置所在的第二參考面與所述第一參考面之間的夾角，包括： 基於所述位姿資訊確定所述圖像採集裝置在第一座標系中的第一座標資訊，第一座標系為基於所述第一參考面建立得到的座標系； 獲取通過所述圖像採集裝置中鏡頭的光心且垂直於所述第二參考面的直線與所述第一參考面的交點的第二座標資訊； 基於所述第一座標資訊和所述第二座標資訊，確定所述第一參考面與所述第二參考面之間的夾角。
  4. 根據請求項2中所述的方法，其中，所述基於所述夾角確定所述虛擬對象的顯示尺寸，包括： 獲取顯示尺寸與角度之間的對應關係； 基於所述對應關係和所述夾角，確定所述虛擬對象的顯示尺寸。
  5. 根據所述請求項3中所述的方法，所述方法還包括： 基於所述第二座標資訊和所述虛擬對象的顯示尺寸確定所述虛擬對象在所述第一參考面的放置區域； 對應地，所述將所述虛擬對象按照顯示尺寸渲染到所述圖像上，包括： 基於所述虛擬對象在所述第一參考面的放置區域，將所述虛擬對象按照顯示尺寸渲染到所述圖像上。
  6. 根據請求項5中所述的方法，所述方法還包括： 確定所述第一參考面的邊界； 在確定所述虛擬對象在所述第一參考面的放置區域超出所述第一參考面的邊界的情況下，將所述虛擬對象按照預設的第一色彩資訊渲染到所述圖像上，以提示所述虛擬對象超出所述邊界。
  7. 一種圖像處理設備，所述圖像處理設備至少包括：記憶體、通信匯流排和處理器；其中： 所述記憶體，配置為儲存圖像處理程式； 所述通信匯流排，配置為實現處理器和記憶體之間的連接通信； 所述處理器，配置為執行記憶體中儲存的圖像處理程式，以實現請求項1至6任一項中所述的圖像處理方法的步驟。
  8. 一種儲存介質，所述儲存介質上儲存有圖像處理程式，所述圖像處理程式被處理器執行時實現請求項1至6任一項中所述的圖像處理方法的步驟。
TW109126943A 2019-08-28 2020-08-07 一種圖像處理方法、設備和儲存介質 TW202109450A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910803981.6 2019-08-28
CN201910803981.6A CN110533780B (zh) 2019-08-28 2019-08-28 一种图像处理方法及其装置、设备和存储介质

Publications (1)

Publication Number Publication Date
TW202109450A true TW202109450A (zh) 2021-03-01

Family

ID=68664903

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109126943A TW202109450A (zh) 2019-08-28 2020-08-07 一種圖像處理方法、設備和儲存介質

Country Status (6)

Country Link
US (1) US11880956B2 (zh)
JP (1) JP7261904B2 (zh)
CN (1) CN110533780B (zh)
SG (1) SG11202112379VA (zh)
TW (1) TW202109450A (zh)
WO (1) WO2021036520A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533780B (zh) 2019-08-28 2023-02-24 深圳市商汤科技有限公司 一种图像处理方法及其装置、设备和存储介质
CN113703161B (zh) * 2020-05-22 2023-07-25 宏碁股份有限公司 扩增实境系统与其锚定显示方法
CN111651051B (zh) * 2020-06-10 2023-08-22 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111651057A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 一种数据展示方法、装置、电子设备及存储介质
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
CN113838164A (zh) * 2021-08-18 2021-12-24 北京商询科技有限公司 一种网格绘制方法、装置以及存储介质
CN113724397A (zh) * 2021-08-27 2021-11-30 浙江商汤科技开发有限公司 虚拟对象的定位方法、装置、电子设备及存储介质
CN114419298A (zh) * 2022-01-21 2022-04-29 北京字跳网络技术有限公司 虚拟物体的生成方法、装置、设备及存储介质
WO2023219612A1 (en) * 2022-05-11 2023-11-16 Innopeak Technology, Inc. Adaptive resizing of manipulatable and readable objects
CN115810100B (zh) * 2023-02-06 2023-05-05 阿里巴巴（中国）有限公司 确定物体放置平面的方法、设备、存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422999B (zh) 2006-10-26 2014-01-11 Seereal Technologies Sa 全像顯示裝置、其製造方法及產生全像重建的方法
US8340398B2 (en) * 2006-12-02 2012-12-25 Electronics And Telecommunications Research Institute Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same
JP4640508B2 (ja) 2009-01-09 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び撮像装置
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
CN104102678B (zh) * 2013-04-15 2018-06-05 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
JP2015038696A (ja) * 2013-08-19 2015-02-26 国立大学法人佐賀大学 拡張現実装置、拡張現実方法及び拡張現実プログラム
CN104423855B (zh) 2013-08-26 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN108572449B (zh) 2014-03-31 2021-09-14 联想(北京)有限公司 显示装置和电子设备
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
CN105718232A (zh) 2016-01-20 2016-06-29 昆山龙腾光电有限公司 一种任意角平面旋转显示方法及显示装置
US10115236B2 (en) * 2016-09-21 2018-10-30 Verizon Patent And Licensing Inc. Placing and presenting virtual objects in an augmented reality environment
CN108273265A (zh) * 2017-01-25 2018-07-13 网易（杭州）网络有限公司 虚拟对象的显示方法及装置
CN107463261B (zh) * 2017-08-11 2021-01-15 北京铂石空间科技有限公司 立体交互系统及方法
CN108021241B (zh) 2017-12-01 2020-08-25 西安维度视界科技有限公司 一种实现ar眼镜虚实融合的方法
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108924538B (zh) 2018-05-30 2021-02-26 太若科技(北京)有限公司 Ar设备的屏幕拓展方法
CN108961423B (zh) * 2018-07-03 2023-04-18 百度在线网络技术（北京）有限公司 虚拟信息处理方法、装置、设备及存储介质
CN109240682B (zh) * 2018-09-30 2021-11-30 上海葡萄纬度科技有限公司 基于ar的交互编程系统、方法、介质及智能设备
CN109195020B (zh) 2018-10-11 2021-07-02 三星电子（中国）研发中心 一种ar增强的游戏直播方法和系统
CN109903129A (zh) * 2019-02-18 2019-06-18 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
CN109961522B (zh) * 2019-04-02 2023-05-05 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备和存储介质
CN110110647A (zh) 2019-04-30 2019-08-09 北京小米移动软件有限公司 基于ar设备进行信息显示的方法、装置及存储介质
CN110533780B (zh) * 2019-08-28 2023-02-24 深圳市商汤科技有限公司 一种图像处理方法及其装置、设备和存储介质

Also Published As

Publication number Publication date
US20220058888A1 (en) 2022-02-24
US11880956B2 (en) 2024-01-23
CN110533780B (zh) 2023-02-24
JP7261904B2 (ja) 2023-04-20
CN110533780A (zh) 2019-12-03
JP2022531190A (ja) 2022-07-06
WO2021036520A1 (zh) 2021-03-04
SG11202112379VA (en) 2021-12-30

Similar Documents

Publication Publication Date Title
WO2021036520A1 (zh) 一种图像处理方法及其装置、设备和存储介质
US11238666B2 (en) Display of an occluded object in a hybrid-reality system
CN110954083B (zh) 移动设备的定位
CN107636534B (zh) 用于图像处理的方法和系统
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
JP2021530817A (ja) 画像ディスプレイデバイスの位置特定マップを決定および／または評価するための方法および装置
US9268410B2 (en) Image processing device, image processing method, and program
US9392248B2 (en) Dynamic POV composite 3D video system
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
EP3112986A1 (en) Content browsing
US10818089B2 (en) Systems and methods to provide a shared interactive experience across multiple presentation devices
US20200035035A1 (en) Imaging system, display apparatus and method of producing mixed-reality images
CN106980378B (zh) 虚拟显示方法和系统
CN107950019A (zh) 信息处理装置、信息处理方法和程序
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
US20220005281A1 (en) Augmented reality (ar) imprinting methods and systems
US10345595B2 (en) Head mounted device with eye tracking and control method thereof
JPWO2020144848A1 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
WO2023196203A1 (en) Traveling in time and space continuum
Fetzer et al. 3D interaction design: Increasing the stimulus-response correspondence by using stereoscopic vision
CN115965742A (zh) 空间展示方法、装置、设备和存储介质
Rich Point Of Gaze Applications For Assistive Interaction