TWI816057B - 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體 - Google Patents

虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI816057B
TWI816057B TW109135526A TW109135526A TWI816057B TW I816057 B TWI816057 B TW I816057B TW 109135526 A TW109135526 A TW 109135526A TW 109135526 A TW109135526 A TW 109135526A TW I816057 B TWI816057 B TW I816057B
Authority
TW
Taiwan
Prior art keywords
screen
image
virtual
camera
processor
Prior art date
Application number
TW109135526A
Other languages
English (en)
Other versions
TW202215113A (zh
Inventor
陳立婷
翁明昉
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW109135526A priority Critical patent/TWI816057B/zh
Priority to CN202110011498.1A priority patent/CN114359516A/zh
Priority to US17/148,509 priority patent/US11430190B2/en
Publication of TW202215113A publication Critical patent/TW202215113A/zh
Application granted granted Critical
Publication of TWI816057B publication Critical patent/TWI816057B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Abstract

一種虛實影像融合方法,包含以下步驟:由第一相機取得三維空間中的畫面,其中畫面包含螢幕畫面以及實體標籤的標籤畫面,其中螢幕畫面投射於實體標籤之上;由處理器依據畫面取得實體標籤於螢幕畫面上的對應點資料;由處理器依據對應點資料取得空間校正參數;以及由處理器依據空間校正參數於螢幕畫面顯示圖像。

Description

虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體
本案是有關於一種虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體,特別是應用於光學可透視頭戴式顯示器的虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體。
頭戴式顯示器出廠時,由於螢幕相對於相機的位置/轉向(外部參數)不同,顯示器屏幕投射至三維空間的尺寸/角度/位置也會隨著配戴者的瞳孔和焦距(內部參數)而有差異,若欲產生虛擬影像與實際場景疊合的效果,虛進行空間校正。目前普遍的作法是頭戴式顯示器出廠後,再由使用者自行操作混合實境虛實疊合應用軟體,獲取個人化的空間校正參數。然而,上述校正方法會受到使用者操作方式的影響,且耗時較長。
本案之一態樣是在提供一種虛實影像融合方法。虛實影像融合方法包含以下步驟:由第一相機取得三維空間中的畫面,其中畫面包含螢幕畫面以及實體標籤的標籤畫面,其中螢幕畫面投射於實體標籤之上;由處理器依據畫面取得實體標籤於螢幕畫面上的對應點資料;由處理器依據對應點資料取得空間校正參數;以及由處理器依據空間校正參數於螢幕畫面顯示圖像。
本案之另一態樣是在提供一種虛實影像融合系統,包含顯示器、第一相機以及處理器。顯示器用以顯示螢幕畫面。第一相機用以取得三維空間中的畫面。畫面包含螢幕畫面以及實體標籤的標籤畫面,其中螢幕畫面投射於實體標籤之上。處理器用以依據畫面取得實體標籤於螢幕畫面上的對應點資料,依據對應點資料取得空間校正參數,並依據空間校正參數於螢幕畫面顯示圖像。
本案之另一態樣是在提供一種非暫態電腦可讀取媒體,其包含至少一程式指令用以執行虛實影像融合方法。虛實影像融合方法包含下列步驟:由處理器依據畫面取得實體標籤於螢幕畫面上的對應點資料,其中畫面包含螢幕畫面以及實體標籤的標籤畫面,其中螢幕畫面投射於實體標籤之上。依據對應點資料取得空間校正參數。依據空間校正參數於螢幕畫面顯示圖像。
以下揭示提供許多不同實施例或例證用以實施本發明的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本案。所討論的任何例證只用來作解說的用途,並不會以任何方式限制本發明或其例證之範圍和意義。
請參閱第1圖。第1圖係一種頭戴式顯示裝置100傳統上的校正示意圖。如畫面1A所繪式,頭戴式顯示裝置100包含相機110與顯示器130。顯示器130可為單螢幕顯示器或是雙螢幕顯示器。畫面1B係為繪製於顯示器130的螢幕畫面135上的內容。畫面1C係為畫面1A中的使用者經由顯示器130所看到的虛實疊合的畫面。如畫面1C所示,於使用者看到的畫面中螢幕畫面135投射至實體標籤150上之後,使用者看到的螢幕畫面135與實體標籤150互相疊合。於傳統的校正方式中,由使用者自行調整位置和角度,瞄準並對齊實體目標,再拍照蒐集資料以進行校正。在一較佳實施例中,頭戴式顯示裝置100係指光學可透視頭戴式顯示器(Optical See-through HMD)。
請參閱第2圖。第2圖係根據本發明之一些實施例所繪示之一種虛實影像融合系統200的示意圖。如第2圖所繪式,虛實影像融合系統200包含頭戴式顯示裝置210、第一相機230以及處理器250。頭戴式顯示裝置210包含顯示器212和第二相機214,顯示器212用以顯示螢幕畫面410。於連接關係上,頭戴式顯示裝置210與第一相機230通信連接,第一相機230與處理器250通信連接,處理器250與頭戴式顯示裝置210通信連接。如第2圖所示之虛實影像融合系統200僅作為例示說明之用,本實施不以此為限制。關於虛實影像融合系統200的詳細操作方法,將與以下配合第3圖進行說明。
請參閱第3圖。第3圖係根據本發明之一些實施例所繪示之一種虛實影像融合方法300的示意圖。本發明的實施方式不以此為限制。
應注意到,此控制方法可應用於與第2圖中的虛實影像融合系統200的結構相同或相似之系統。而為使敘述簡單,以下將以第2圖為例進行對操作方法敘述,然本發明不以第2圖的應用為限。
需注意的是,於一些實施例中,虛實影像融合方法300亦可實作為一電腦程式,並儲存於一非暫態電腦可讀取媒體中,而使電腦、電子裝置、或前述如第2圖中的虛實影像融合系統200中的處理器250讀取此記錄媒體後執行此一操作方法,處理器可以由一或多個晶片組成。非暫態電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之非暫態電腦可讀取記錄媒體。
另外,應瞭解到,在本實施方式中所提及的盲掃方法的操作,除特別敘明其順序者外,均可依實際需要調整其前後順序,甚至可同時或部分同時執行。
再者,在不同實施例中,此些操作亦可適應性地增加、置換、及/或省略。
請參閱第3圖。虛實影像融合方法300包含以下步驟。
於步驟S310:由相機取得三維空間中的畫面。畫面包含螢幕畫面以及實體標籤的標籤畫面。螢幕畫面係投射於實體標籤之上。關於螢幕畫面投射於實體標籤上的方法可參閱如第1圖所示,各種習知的投射方法亦為適用。請一併參閱第2圖,於部分實施例中,步驟S310可由如第2圖中的第一相機230所執行。如第2圖中的第一相機230係用以模擬使用者的眼睛。請一併參閱第4圖,第4圖係根據本發明之一些實施例所繪示之一種畫面400的示意圖。
如第4圖所繪式,第4圖係為第一相機230經由顯示器212所拍攝的三維空間中的畫面400。於畫面400中包含的螢幕畫面410以及實體標籤430的標籤畫面。螢幕畫面410係為顯示器212的顯示畫面。
於步驟S330中,由處理器依據畫面取得實體標籤於螢幕畫面上的對應點資料。請一併參閱第2圖,於部分實施例中,步驟S330可由如第2圖中的處理器250所執行。
請一併參閱第4圖。當第2圖中的第一相機230取得畫面400後,第一相機230將畫面400傳送至處理器250。於步驟S330中,處理器250接收畫面400後,處理器250進行反扭曲轉換處理。由於第一相機230的視野、焦距的不同,第一相機230所拍攝的畫面400會產生形變,透過反扭曲轉換處理以消除畫面400受到形變的影響。
此外,於步驟S330中,處理器250亦會對畫面400進行透視轉換處理,以產生如第5圖所示之螢幕空間畫面500。於部分實施例中,處理器250於畫面400中取得螢幕畫面410的位置以進行透視轉換處理。舉例而言,於第一相機230取得畫面400時,處理器250可控制使螢幕畫面410顯示單一底色或是顯示邊框,以使處理器250辨識畫面400中螢幕畫面410的位置。於部分實施例中,處理器250所取得之螢幕畫面410的位置係為螢幕畫面410的四個角的座標,然本案的實施方式不以此為限制。
請一併參閱第5圖。第5圖係根據本發明之一些實施例所繪示之一種螢幕空間畫面500的示意圖。第5圖中虛線框的範圍即為螢幕空間畫面500。於處理器250取得螢幕畫面410的位置後,處理器250即依據螢幕畫面410產生螢幕空間畫面500。
於部分實施例中,於進行透視轉換處理時,由於螢幕畫面410是長方形,但是受到第一相機230與顯示器212之間的距離的影響,於畫面400中所取得的螢幕畫面410會變成平行四邊形。經由透視轉換處理,處理器250將螢幕畫面410轉換回長方形的螢幕空間畫面500。
接著,處理器250於螢幕空間畫面500中取得實體標籤430的標籤畫面的位置。於部分實施例中,實體標籤430的標籤畫面的位置係為實體標籤430的標籤畫面於螢幕空間畫面500中的座標。舉例而言,處理器250於螢幕空間畫面500中取得實體標籤430的標籤畫面的四個角的座標以取得實體標籤430的標籤畫面的位置。
接著,處理器250依據實體標籤430的標籤畫面於螢幕空間畫面500中的位置,取得對應點資料。此對應點資料係為在三維空間中的實體標籤於二維空間中的螢幕空間畫面500的位置的對應值。
請回頭參閱第2圖。於部分實施例中,於步驟S330中,第二相機214拍攝以取得實體標籤430的影像,並將所取得的實體標籤430的影像傳送至處理器250。處理器250估算第二相機214的參數後,處理器250依據實體標籤430的影像以及第二相機214的參數以取得實體標籤430相對於第二相機214於立體空間中的位置。第二相機214由於第二相機214與顯示器212互相連接且位置接近,因此實體標籤430相對於第二相機214於立體空間中的位置近似於此實體標籤430相對於顯示器212於立體空間中的位置。於處理器250於步驟S330中取得實體標籤於螢幕畫面上的對應點資料時,處理器250並依據實體標籤430相對於第二相機214於立體空間中的位置以產生對應點資料。
於步驟S350中,由處理器依據對應點資料取得空間校正參數。於部分實施例中,步驟S350係由如第2圖所繪式的處理器250所執行。於部分實施例中,處理器250依據步驟S330中所取得的對應點資料以奇異值分解(SVD)運算取得空間校正參數。於部分實施例中,奇異值分解運算係採用習知的奇異值運算方法。
於步驟S370中,由處理器依據空間校正參數於螢幕畫面顯示圖像。於部分實施例中,步驟S370係由如第2圖所繪式的處理器250所執行。舉例而言,請一併參閱第6圖。第6圖係根據本發明之一些實施例所繪示之一種螢幕畫面410的示意圖。如第6圖所示,處理器250依據空間校正參數於第2圖中的顯示器212的螢幕畫面410中顯示長方體610,依據空間校正參數,處理器250使長方體610顯示於期望與真實空間中的影像相疊合的部分。當使用者使用頭戴式顯示裝置210時,使用者透過顯示器212所看到的影像即如第6圖所示。
於部分實施例中,處理器250可為位於手機、伺服器、或其他裝置。於部分實施例中,處理器250可以是具有儲存、運算、資料讀取、接收信號或訊息、傳送信號或訊息等功能的伺服器、電路、中央處理單元(central processor unit, CPU)、微處理器(MCU)或其他具有同等功能的裝置。於部分實施例中,相機110、第一相機230、第二相機214可以是具有影像擷取、拍照等功能的電路其他具有同等功能的裝置。第一相機230包含位置與角度調整器,以模擬人眼的位置與角度。於部分實施例中,顯示器130可以是具有影像顯示等功能的電路其他具有同等功能的裝置。
如第2圖所示的虛實影像融合系統200僅作為例示說明之用,本案不以此為限制。舉例而言,於部分實施例中,處理器250可位於頭戴式顯示裝置210中。
由上述本案之實施方式可知,本案之實施例藉由提供一種虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體,以相機模擬人的眼睛,透過設備調整不同焦距,無須以人為的方式調整,而以自動化設備的方式產生大量的資料數據。此外,透過對模擬人的眼睛的相機所取得的影像作分析,以找出實體標籤於成像中的位置。配合傳統習知的相機估算演算法,可得到三維空間中的擴增實境的實體標籤的位置,以建立二維的屏幕空間畫面和三維空間之間的對應資料,再以習知的方法取得空間校正參數。在知道相機位置和物體在三維空間中的位置後,空間校正參數可把相對應的虛擬影像畫在螢幕上,以達到虛實疊合的效果。
另外,上述例示包含依序的示範步驟,但該些步驟不必依所顯示的順序被執行。以不同順序執行該些步驟皆在本揭示內容的考量範圍內。在本揭示內容之實施例的精神與範圍內,可視情況增加、取代、變更順序及/或省略該些步驟。
雖然本案已以實施方式揭示如上,然其並非用以限定本案,任何熟習此技藝者,在不脫離本案之精神和範圍內,當可作各種之更動與潤飾,因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
1A、1B、1C:畫面 100:頭戴式顯示裝置 110:相機 130:顯示器 135:螢幕畫面 150:實體標籤 200:虛實影像融合系統 210:頭戴式顯示裝置 212:顯示器 214:第二相機 230:第一相機 250:處理器 300:虛實影像融合方法 S310至S370:步驟 400:畫面 410:螢幕畫面 430:實體標籤 500:螢幕空間畫面 610:長方體
為讓本揭示之上述和其他目的、特徵、優點與實施例能夠更明顯易懂,所附圖式之說明如下: 第1圖係一種頭戴式顯示裝置傳統上的校正示意圖; 第2圖係根據本發明之一些實施例所繪示之一種虛實影像融合系統的示意圖; 第3圖係根據本發明之一些實施例所繪示之一種虛實影像融合方法的示意圖; 第4圖係根據本發明之一些實施例所繪示之一種畫面的示意圖; 第5圖係根據本發明之一些實施例所繪示之一種螢幕空間畫面的示意圖;以及 第6圖係根據本發明之一些實施例所繪示之一種螢幕畫面的示意圖。
300:虛實影像融合方法
S310至S370:步驟

Claims (18)

  1. 一種虛實影像融合方法,包含:由一第一相機取得一三維空間中的一畫面,其中該畫面包含一螢幕畫面以及一實體標籤的一標籤畫面,其中該螢幕畫面投射於該實體標籤之上;由一處理器依據該畫面取得該實體標籤於該螢幕畫面上的一對應點資料,其中該對應點資料係為該三維空間中的該實體標籤於該螢幕畫面中的一座標;由該處理器依據該對應點資料取得一空間校正參數;以及由該處理器依據該空間校正參數於該螢幕畫面顯示一圖像。
  2. 如請求項1所述之虛實影像融合方法,更包含:對該畫面進行反扭曲轉換處理。
  3. 如請求項1所述之虛實影像融合方法,更包含:於該畫面中取得該螢幕畫面的一位置以對該畫面進行透視轉換處理,以產生一螢幕空間畫面。
  4. 如請求項3所述之虛實影像融合方法,更包含: 於該螢幕畫面上顯示一底色或一邊框,以使該處理器辨識該螢幕畫面的該位置。
  5. 如請求項1所述之虛實影像融合方法,更包含:依據該對應點資料以一奇異值分解(SVD)運算取得該空間校正參數。
  6. 如請求項1所述之虛實影像融合方法,更包含:取得該實體標籤相對於一第二相機於該三維空間中的一位置,其中該螢幕畫面係顯示於一顯示器,且該第二相機與該顯示器位於一頭戴式顯示裝置;以及依據該實體標籤相對於該第二相機於該三維空間中的該位置以及該第一相機擷取的該畫面取得該對應點資料。
  7. 如請求項6所述之虛實影像融合方法,更包含:由該第二相機取得該實體標籤的一影像;估算該第二相機的一參數;以及依據該實體標籤的該影像以及該第二相機的該參數以取得該實體標籤相對於該第二相機於該三維空間中的該位置。
  8. 一種虛實影像融合系統,包含:一顯示器,用以顯示一螢幕畫面;一第一相機,用以取得一三維空間中的一畫面,其中該畫面包含一螢幕畫面以及一實體標籤的一標籤畫面,其中該螢幕畫面投射於該實體標籤之上;以及一處理器,用以依據該畫面取得該實體標籤於該螢幕畫面上的一對應點資料,依據該對應點資料取得一空間校正參數,並依據該空間校正參數於該螢幕畫面顯示一圖像,其中該對應點資料係為該三維空間中的該實體標籤於該螢幕畫面中的一座標。
  9. 如請求項8所述之虛實影像融合系統,其中該處理器更用以對該畫面進行反扭曲轉換處理。
  10. 如請求項8所述之虛實影像融合系統,其中該處理器更用以於該畫面中取得該螢幕畫面的一位置以對該畫面進行透視轉換處理,以產生一螢幕空間畫面。
  11. 如請求項10所述之虛實影像融合系統,其中該處理器更用以於該螢幕畫面上顯示一底色或一邊框,以使該處理器辨識該螢幕畫面的該位置。
  12. 如請求項8所述之虛實影像融合系統,其中該處理器更用以依據該對應點資料以一奇異值分解 (SVD)運算取得該空間校正參數。
  13. 如請求項8所述之虛實影像融合系統,其中該處理器更用以取得該實體標籤相對於一第二相機於該三維空間中的一位置,其中該第二相機對應於該螢幕畫面,並依據該實體標籤相對於該第二相機於該三維空間中的該位置以及該第一相機擷取的該畫面取得該對應點資料。
  14. 如請求項13所述之虛實影像融合系統,更包含:一第二相機,用以取得該實體標籤的一影像;其中該處理器更用以估算該第二相機的一參數,並依據該實體標籤的該影像以及該第二相機的該參數以取得該實體標籤相對於該第二相機於該三維空間中的該位置。
  15. 如請求項14所述之虛實影像融合系統,其中該顯示器與該第二相機位於一頭戴式顯示裝置,並與該處理器以及該第一相機通信連接。
  16. 一種非暫態電腦可讀取媒體,其包含至少一程式指令用以執行一虛實影像融合方法,該虛實影像融合方法包含下列步驟:由一處理器依據一畫面取得一實體標籤於一螢幕畫面 上的一對應點資料,其中該畫面包含該螢幕畫面以及該實體標籤的一標籤畫面,其中該螢幕畫面投射於該實體標籤之上,其中該對應點資料係為該三維空間中的該實體標籤於該螢幕畫面中的一座標;依據該對應點資料取得一空間校正參數;以及依據該空間校正參數於該螢幕畫面顯示一圖像。
  17. 如請求項16所述之非暫態電腦可讀取媒體,該虛實影像融合方法更包含:對該畫面進行反扭曲轉換處理。
  18. 如請求項16所述之非暫態電腦可讀取媒體,該虛實影像融合方法更包含:於該畫面中取得該螢幕畫面的一位置以對該畫面進行透視轉換處理,以產生一螢幕空間畫面。
TW109135526A 2020-10-14 2020-10-14 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體 TWI816057B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109135526A TWI816057B (zh) 2020-10-14 2020-10-14 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體
CN202110011498.1A CN114359516A (zh) 2020-10-14 2021-01-06 虚实影像融合方法、虚实影像融合系统及非暂态计算机可读取媒体
US17/148,509 US11430190B2 (en) 2020-10-14 2021-01-13 Virtual and real image fusion method, virtual and real image fusion system and non-transient computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109135526A TWI816057B (zh) 2020-10-14 2020-10-14 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體

Publications (2)

Publication Number Publication Date
TW202215113A TW202215113A (zh) 2022-04-16
TWI816057B true TWI816057B (zh) 2023-09-21

Family

ID=81078495

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109135526A TWI816057B (zh) 2020-10-14 2020-10-14 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體

Country Status (3)

Country Link
US (1) US11430190B2 (zh)
CN (1) CN114359516A (zh)
TW (1) TWI816057B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016103415A1 (ja) * 2014-12-25 2016-06-30 日立マクセル株式会社 ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法
CN108780228A (zh) * 2016-01-19 2018-11-09 奇跃公司 利用映像的增强现实系统和方法
TW202001805A (zh) * 2018-06-12 2020-01-01 大陸商光寶電(廣州)有限公司 影像處理系統及影像處理方法
TW202022321A (zh) * 2018-12-06 2020-06-16 宏達國際電子股份有限公司 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600068B2 (en) * 2013-03-13 2017-03-21 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
WO2016154123A2 (en) * 2015-03-21 2016-09-29 Mine One Gmbh Virtual 3d methods, systems and software
US10043305B2 (en) * 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
US11354787B2 (en) * 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016103415A1 (ja) * 2014-12-25 2016-06-30 日立マクセル株式会社 ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法
CN108780228A (zh) * 2016-01-19 2018-11-09 奇跃公司 利用映像的增强现实系统和方法
TW202001805A (zh) * 2018-06-12 2020-01-01 大陸商光寶電(廣州)有限公司 影像處理系統及影像處理方法
TW202022321A (zh) * 2018-12-06 2020-06-16 宏達國際電子股份有限公司 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體

Also Published As

Publication number Publication date
US20220114789A1 (en) 2022-04-14
CN114359516A (zh) 2022-04-15
TW202215113A (zh) 2022-04-16
US11430190B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
US10417829B2 (en) Method and apparatus for providing realistic 2D/3D AR experience service based on video image
JP2017525052A (ja) 表示のためにキャプチャ画像の視野を調整する技術
WO2020140758A1 (zh) 图像显示方法、图像处理方法和相关设备
CN110738736B (zh) 图像处理装置、图像处理方法和存储介质
US10567649B2 (en) Parallax viewer system for 3D content
CN107392853B (zh) 双摄像头视频融合畸变校正与视点微调整方法及系统
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US20170069056A1 (en) Focal Length Warping
KR101586249B1 (ko) 광 시야각 영상 처리 장치 및 방법
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
CN112995638A (zh) 自动调节视差的裸眼3d采集和显示系统及方法
CN111095348A (zh) 基于摄像头的透明显示器
JP2008287588A (ja) 画像処理装置および方法
TWI816057B (zh) 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體
CN112017242A (zh) 显示方法及装置、设备、存储介质
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
CN112805755A (zh) 信息处理装置、信息处理方法和记录介质
KR20170044319A (ko) 헤드 마운트 디스플레이의 시야 확장 방법
JP6430420B2 (ja) 情報呈示システム、および情報呈示方法
JP2020167657A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
US11119313B1 (en) Imaging systems and methods for expanding field of view of captured images