TWI831583B - 虛擬實境設備調節方法、裝置、電子設備及儲存介質 - Google Patents

Abstract

本發明實施例之技術手段係提供一種虛擬實境設備調節方法、裝置、電子設備及儲存介質。該方法包含：對雙目相機進行極線校正，得到各相機的校正旋轉矩陣；獲取各透鏡光機的光機內參矩陣、相機選擇矩陣及各相機的相機平移矩陣；根據各相機的校正旋轉矩陣、相機選擇矩陣及各相機的相機平移矩陣，將雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到透鏡光機坐標系下的各目標成像點；根據各光機內參矩陣和各目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節。本發明實施例的技術手段調節虛擬實境設備在影片透視時觀察之場景與真實世界之差異性，減少計算量。

Description

虛擬實境設備調節方法、裝置、電子設備及儲存介質

本發明關於虛擬實境技術領域，尤其關於一種虛擬實境設備調節方法、裝置、電子設備及儲存介質。

See-Through（透視，ST）是虛擬實境中的重要技術，通過See-Through可以將虛擬空間和真實世界結合起來。

目前，See-Through的實現方式主要包含：光學透視（Optical See-Through, OST）和影片透視（Video See-Through, VST）。其中，影片透視具有可以完全由演算法控制視覺集成、允許虛擬空間與真實世界之間的完全遮擋，以及可以對真實物體進行更高級別的修改等優點。

但是，由於雙目相機的擺放角度和距離與人眼的瞳距不一致，通過影片透視看到的場景與真實世界之間存在差異。針對差異，可以採用圖像拼接和三維重建等方法進行調節，但是計算量過大。

本發明提供一種虛擬實境設備調節方法、裝置、電子設備及儲存介質，調節虛擬實境設備在影片透視時觀察的場景和真實世界的差異性，減少了計算量。

根據本發明的一態樣，提供一種虛擬實境設備調節方法，包含： 對雙目相機進行極線校正，得到各相機的校正旋轉矩陣； 獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣； 根據所述各相機的校正旋轉矩陣、所述相機選擇矩陣和所述各相機的相機平移矩陣，將所述雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到所述透鏡光機坐標系下的各目標成像點； 根據各所述光機內參矩陣和各所述目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節。

根據本發明的另一態樣，提供虛擬實境設備調節裝置，包含： 極線校正模組，用於對雙目相機進行極線校正，得到各相機的校正旋轉矩陣； 矩陣獲取模組，用於獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣； 坐標系轉換模組，用於根據所述各相機的校正旋轉矩陣、所述相機選擇矩陣和所述各相機的相機平移矩陣，將所述雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到所述透鏡光機坐標系下的各目標成像點； 目標圖元點確定模組，用於根據各所述光機內參矩陣和各所述目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節。

根據本發明的另一態樣，提供一種電子設備，所述電子設備包含： 至少一個處理器；以及 與所述至少一個處理器通訊連接的記憶體；其中， 所述記憶體儲存有可被所述至少一個處理器執行的電腦程式，所述電腦程式被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本發明任一實施例所述的虛擬實境設備調節方法。

根據本發明的另一態樣，提供一種電腦可讀儲存介質，所述電腦可讀儲存介質儲存有電腦指令，所述電腦指令用於使處理器執行時實現本發明任一實施例所述的虛擬實境設備調節方法。

本發明實施例的技術手段，通過對雙目相機進行極線校正，得到各相機的校正旋轉矩陣；獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣；根據各相機的校正旋轉矩陣、相機選擇矩陣和各相機的相機平移矩陣，將雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到透鏡光機坐標系下的各目標成像點；根據各光機內參矩陣和各目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節，解決了計算量過大的問題，調節了虛擬實境設備在影片透視時觀察的場景和真實世界的差異性，減少了計算量。

應當理解，本部分所描述的內容並非旨在標識本發明的實施例的關鍵或重要特徵，也不用於限制本發明的範圍。本發明的其它特徵將通過以下的說明書而變得容易理解。

為使所屬技術領域中具有通常知識者更好地理解本發明手段，下面將結合本發明實施例中的圖式，對本發明實施例中的技術手段進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，所屬技術領域中具有通常知識者在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。

需要說明的是，本發明的說明書及申請專利範圍及上述圖式中的術語「第一」、「第二」等是用於區別類似的物件，而不必用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換，以便這裡描述的本發明的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施。此外，術語「包含」和「具有」及其等之任何變形，意圖在於覆蓋不排他的包含，例如，包含一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包含沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。 ［實施例］

實施例一

圖1是本發明實施例一提供的一種虛擬實境設備調節方法的流程圖。本實施例可適用於對虛擬實境設備進行調節情況，該方法可以由虛擬實境設備調節裝置來執行，該虛擬實境設備調節裝置可以採用硬體及/或軟體的形式實現，該虛擬實境設備調節裝置可配置於承載虛擬實境設備調節功能的電子設備中。

參見圖1所示之虛擬實境設備調節方法，包含： S110、對雙目相機進行極線校正，得到各相機的校正旋轉矩陣。

雙目相機包含左相機和右相機。由於生產工藝的原因，左相機的相機成像平面與右相機的相機成像平面之間可能存在不平行或不在同一直線上的情況。在雙目相機對物點進行拍攝時，在左相機的相機成像平面上顯示的平面成像點可能與在右相機的相機成像平面上顯示的平面成像點不一致。因此，通過對雙目相機的各相機進行極線校正，以使左相機的相機成像平面和右相機的相機成像平面平行且在同一直線上，確保物點在各相機的相機成像平面上一致顯示。校正旋轉矩陣可以是各相機從極線校正前變換至極線校正後的旋轉矩陣。

具體的，可以通過使用極線校正演算法對各相機進行極線校正，得到各相機的校正旋轉矩陣。示例性的，極線校正演算法可以包含：Bouguet（立體校正）演算法等。

示例性的，圖2是極線校正前的雙目相機的結構示意圖；圖3是極線校正後的雙目相機的結構示意圖。其中，C _l為左相機光心；C _r為右相機光心；P _w為物點；左相機光心C _l和右相機光心C _r的連線為基線；物點P _w與兩個相機光心的連線構成的平面為極平面；極平面與相機成像平面的交線為極線；基線與相機成像平面的交點為極點；相機光心和物點的連線為視准軸；視准軸與相機成像平面的交點為平面成像點，其中，P _l和P _r為平面成像點。

對比極線校正前的雙目相機的結構示意圖和極線校正後的雙目相機的結構示意圖，可以發現：在極線校正前，左相機的相機成像平面和右相機的相機成像平面不平行且不在同一直線上，左相機的光軸與右相機的光軸不是相互平行的；在極線校正後，左相機的相機成像平面和右相機的相機成像平面平行且在同一直線上，左相機的極點和右相機的極點均在無窮遠處，左相機的光軸與右相機的光軸平行，左相機的平面成像點和右相機的平面成像點高度一致。

S120、獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣。

透鏡光機可以是虛擬實境設備中用於觀察投影螢幕的光學元件。示例性的，透鏡光機可以包含：非球面透鏡、菲涅爾透鏡和Pancake（薄餅）手段等。其中，Pancake手段可以為小巧輕便的薄型透鏡。光機內參矩陣、相機選擇矩陣和相機平移矩陣可以通過對虛擬實境設備進行標定獲取。其中，相機選擇矩陣可以用於變換相機的相機成像平面與投影螢幕之間的角度，以使各相機的相機成像平面與投影螢幕之間平行。相機平移矩陣可以用於從相機光心變換至透鏡光機光心。相機平移矩陣可以將相機的成像平面上的平面成像點變換至透鏡光機坐標系下。

S130、根據各相機的校正旋轉矩陣、相機選擇矩陣和各相機的相機平移矩陣，將雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到透鏡光機坐標系下的各目標成像點。

透鏡光機坐標系可以是以透鏡光機光心為原點的空間坐標系。目標成像點可以是平面成像點變換至透鏡光機坐標系下的位置座標點。示例性的，圖4為透鏡光機的結構示意圖。其中，V _l為左透鏡光機光心；V _r為右透鏡光機光心；P _w為物點；P _vl為左透鏡光機對應的目標成像點；P _vr為右透鏡光機對應的目標成像點。

具體的，可以根據各相機的校正旋轉矩陣，對各相機進行極線校正，得到極線校正之後的各相機的相機成像平面；再根據相機選擇矩陣，對極線校正後的各相機的相機成像平面與投影螢幕之間的夾角進行校正，使得極線校正後的各相機的相機成像平面與投影螢幕之間平行；最後將各平面成像點由相機的相機成像平面變換至透鏡光機坐標系下，得到透鏡光機坐標系下的各目標成像點。

S140、根據各光機內參矩陣和各目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節。

投影螢幕坐標系可以是平面坐標系。相較於投影螢幕坐標系，透鏡光機坐標系為空間坐標系。將透鏡光機坐標系中的目標成像點投影至投影螢幕坐標系下，即完成對目標成像點的投影。目標圖元點可以是透鏡光機坐標系中的目標成像點在投影螢幕坐標系中的投影點。

具體的，可以根據各光機內參矩陣，將透鏡光機坐標系下的各目標成像點，變換至投影螢幕坐標系，得到各目標圖元點。可以理解為得到物點在投影螢幕坐標系中的位置座標點，即可通過虛擬實境設備看到景深和真實世界一致的畫面。

虛擬實境設備通過透鏡光機觀察投影螢幕上顯示的物點。同一物點在左右螢幕的顯示位置不同，從而產生不同的景深。通過虛擬實境設備的透鏡光機看到的真實世界的物體，實際上看到的是真實世界的物體在透鏡光機坐標系的投影。通過確定雙目相機的平面成像點與透鏡光機坐標系下的目標成像點的對應關係，根據透鏡光機坐標系下的目標成像點和投影螢幕坐標系中的目標圖元點的對應關係，進而確定了雙目相機的平面成像點、透鏡光機坐標系下的目標成像點，以及投影螢幕坐標系中的目標圖元點之間的對應關係，實現了雙目相機採集的真實世界的畫面與人眼通過透鏡光機觀察的透鏡光機坐標系的投影的對應關係，以實現通過虛擬實境設備觀察到景深和真實世界一致的畫面，即可實現對虛擬實境設備的調節。

示例性的，可以採用以下公式，確定目標圖元點： 式中，p _vl為左透鏡光機對應的目標圖元點；K _vl為左透鏡光機的光機內參矩陣；P _vl為左透鏡光機的目標成像點；p _vr為右透鏡光機對應的目標圖元點；K _vr為右透鏡光機的光機內參矩陣；P _vr為右透鏡光機的目標成像點。

在本發明的一個可選實施例中，將對雙目相機進行極線校正，得到各相機的校正旋轉矩陣，具體化為：根據棋盤格圖像，對雙目相機進行標定，分別得到各相機的相機外參矩陣；根據各相機外參矩陣，計算雙目相機之間的雙目相對旋轉矩陣和雙目相對平移矩陣；根據雙目相對旋轉矩陣和雙目相對平移矩陣，對各相機進行極線校正，得到各相機的校正旋轉矩陣。

雙目相對旋轉矩陣可以是雙目相機之間進行變換的旋轉矩陣。雙目相對平移矩陣可以是雙目相機之間進行變換的平移矩陣。示例性的，雙目相對旋轉矩陣可以是右相機變換至左相機的旋轉矩陣；雙目相對平移矩陣可以是右相機變換至左相機的平移矩陣。相機外參矩陣可以包含第一相機外參矩陣和第二相機外參矩陣。其中，第一相機外參矩陣為各相機的平面成像點相對於各相機光心的旋轉矩陣；第二相機外參矩陣為各相機的平面成像點相對於各相機光心的平移矩陣。

具體的，可以將棋盤格圖像放置在固定的平面上，使用雙目相機同時從不同的方位和距離對棋盤格圖像進行採集，得到雙目相機的標定資料。可以使用標定演算法，對雙目相機的各相機分別進行標定，得到各相機的相機外參矩陣。可選的，標定演算法可以包含：張正友標定演算法或OpenCV（開源電腦視覺軟體）中的calibrateCamera（相機標定）函數等。

根據各相機的相機外參矩陣，可以計算出雙目相機之間的雙目相對旋轉矩陣和雙目相對平移矩陣。

示例性的，可以採用以下公式，計算得到雙目相機之間的雙目相對旋轉矩陣和雙目相對平移矩陣： ； ； 式中，R _rl為右相機變換至左相機的雙目相對旋轉矩陣；R _tr為右相機的第一相機外參矩陣；R _tl為左相機的第一相機外參矩陣；T _rl為雙目相對平移矩陣；T _tr為右相機的第二相機外參矩陣；T _tl為左相機的第二相機外參矩陣。

可以根據雙目相對旋轉矩陣和雙目相對平移矩陣，採用極線校正演算法，對各相機進行極線校正，得到各相機的校正旋轉矩陣。示例性的，極線校正演算法可以包含：Bouguet演算法或OpenCV中的stereoRectify（立體校正）函數等。

本手段通過根據棋盤格圖像，對雙目相機進行標定，分別得到各相機的相機外參矩陣，根據各相機外參矩陣，計算雙目相機之間的雙目相對旋轉矩陣和雙目相對平移矩陣，根據雙目相對旋轉矩陣和雙目相對平移矩陣，對各相機進行極線校正，得到各相機的校正旋轉矩陣，實現了對雙目相機的各相機的極線校正，以確保各相機的極線對齊，進而保證了各相機的成像平面平行且在同一條直線上，以實現通過各相機採集的同一物點在各相機的成像平面上的一致性。

在本發明的一個可選實施例中，在確定投影螢幕的目標圖元點之後，該方法還包含：根據投影螢幕的顯示參數和目標圖元點，對目標圖元點進行插值。

投影螢幕的顯示參數可以包含解析度和圖元密度等。

具體的，可以根據投影螢幕的顯示參數和目標圖元點數值，對目標圖元點進行插值處理，以使插值後的目標圖元點的值與投影螢幕的顯示參數更加適配。

可選的，也可以對目標圖元點進行縮放係數，調節目標圖元點的大小，以使縮放後的目標圖元點的值與投影螢幕的顯示參數更加適配。

本手段通過根據投影螢幕的顯示參數和目標圖元點，對目標圖元點進行插值，考慮投影螢幕的顯示參數，對目標圖元點進行進一步插值處理，使得目標圖元點與投影螢幕之間更加適配，提高了投影螢幕的顯示效果。

在本發明的一個可選實施例中，在確定投影螢幕的目標圖元點之後，該方法還包含：基於眼動識別技術，對投影螢幕中的物件進行參數標注；參數為距離及/或尺寸。

具體的，可以基於眼動識別技術，對人眼注視的投影螢幕中的物件進行參數標注，顯示物件的距離及/或尺寸等資訊。

本手段通過基於眼動識別技術，對投影螢幕中的物件進行參數標注，結合人眼的注視點，實現對投影螢幕中的物件的進一步顯示，提高虛擬實境設備顯示的靈活性。

本發明實施例的技術手段通過對雙目相機進行極線校正，得到各相機的校正旋轉矩陣，獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣，根據各相機的校正旋轉矩陣、相機選擇矩陣和各相機的相機平移矩陣，將雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到透鏡光機坐標系下的各目標成像點，根據各光機內參矩陣和各目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節，實現了對雙目相機的極線校正，以使雙目相機的各相機成像平面平行且在同一條直線上，保證了通過各相機採集的同一物點的一致性；同時，實現了對相機的成像平面和投影螢幕之間的校正，使得相機的成像平面與投影螢幕之間平行，並將雙目相機的成像平面中的平面成像點與透鏡光機坐標系中的目標成像點，以及投影螢幕坐標系中的目標圖元點對應，實現了雙目相機採集的真實世界的畫面與人眼觀察的投影螢幕坐標系中的畫面的一致性。不同於圖像拼接和三維重建等方法需要進行大量的公式計算，本發明實施例的技術手段僅通過少量的計算，調節虛擬實境設備在影片透視時觀察的場景和真實世界的差異性，減少了計算量。

實施例二

圖5是本發明實施例二提供的一種虛擬實境設備調節方法的流程圖，本實施例在上述實施例的基礎上，將根據各相機的校正旋轉矩陣、相機選擇矩陣和各相機的相機平移矩陣，將雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到透鏡光機坐標系下的各目標成像點，具體化為：根據各相機的校正旋轉矩陣和相機選擇矩陣，將雙目相機在相機成像平面上的平面成像點旋轉至與投影螢幕平行的參考相機坐標系下，得到參考成像點；根據各相機平移矩陣，將參考成像點從參考相機坐標系平移至透鏡光機坐標系下，得到透鏡光機坐標系下的目標成像點。需要說明的是，在本發明實施例中未詳述的部分，可參見其他實施例的表述。

參見圖5所示之虛擬實境設備調節方法，包含： S510、對雙目相機進行極線校正，得到各相機的校正旋轉矩陣。

S520、獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣。

S530、根據各相機的校正旋轉矩陣和相機選擇矩陣，將雙目相機在相機成像平面上的平面成像點旋轉至與投影螢幕平行的參考相機坐標系下，得到參考成像點。

參考相機坐標系可以是對相機成像平面與投影螢幕之間的夾角進行校正後得到的坐標系。參考相機坐標系可以是校正後的相機成像平面對應的坐標系。參考相機坐標系與投影螢幕坐標系平行。參考成像點可以是由相機成像平面變換至參考相機坐標系後的平面成像點。

具體的，可以根據各相機的校正旋轉矩陣和相機選擇矩陣，將雙目相機的相機成像平面旋轉至與投影螢幕平行的參考相機坐標系，相機成像平面上的平面成像點經過旋轉變換後，得到參考成像點。

示例性的，可以採用以下公式，確定參考成像點： ； ； 式中， 為左相機的參考成像點；R為相機選擇矩陣；R _l為左相機的校正旋轉矩陣；P _l為左相機的平面成像點； 為右相機的參考成像點；R _r為右相機的校正旋轉矩陣；P _r為右相機的平面成像點。

S540、根據各相機平移矩陣，將參考成像點從參考相機坐標系平移至透鏡光機坐標系下，得到透鏡光機坐標系下的目標成像點。

具體的，可以根據相機平移矩陣，實現參考成像點從參考相機坐標系平移至透鏡光機坐標系，得到透鏡光機坐標系下的目標成像點。

示例性的，可以採用以下公式，確定目標成像點： ； ； 式中， 為左透鏡光機的目標成像點； 為左相機的參考成像點；T _l為左相機的相機平移矩陣； 為右透鏡光機的目標成像點； 為右相機的參考成像點；T _r為右相機的相機平移矩陣。

S550、根據各光機內參矩陣和各目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節。

在本發明的一個可選實施例中，各相機光心之間的連線，與各透鏡光機光心之間的連線平行且對稱。

圖6為虛擬實境設備的相機光心和透鏡光機光心的結構示意圖。如圖6所示，左相機光心和右相機光心之間的連線，與左透鏡光機光心和右透鏡光機光心之間的連線平行且對稱，即C _lC _r平行於V _lV _r，且左右對稱。T _l為左相機的相機平移矩陣；T _r為右相機的相機平移矩陣。

本手段通過對虛擬實境設備的結構進行限定，限定各相機光心之間的連線，與各透鏡光機光心之間的連線平行且對稱，保證了通過對虛擬實境設備標定獲取的相機平移矩陣的準確度，提高了參考相機坐標系與透鏡光機坐標系的對應程度，進而保證了影片透視的場景的呈現效果。

在本發明的一個可選實施例中，相機選擇矩陣根據投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角，以及預設的候選夾角和候選相機選擇矩陣之間的關聯關係確定。

候選夾角與實際夾角都是虛擬實境設備的投影螢幕坐標系和雙目相機的相機成像平面之間的夾角。但是，候選夾角是在對候選夾角和候選相機選擇矩陣之間的關聯關係進行計算時檢測的夾角。通過對大量的虛擬實境設備進行檢測，可以預先計算得到候選夾角與候選相機選擇矩陣之間的關聯關係。而實際夾角是對正在進行調節的虛擬實境設備標定得到的夾角。此時，已經通過對大量的虛擬實境設備進行預先計算，得到了候選夾角和候選相機選擇矩陣之間的關聯關係。通過對正在進行調節的虛擬實境設備的實際夾角進行測定，並基於已經預先設定的候選夾角和候選相機選擇矩陣之間的關聯關係，可以計算得到正在進行調節的虛擬實境設備的相機選擇矩陣。利用相機選擇矩陣，可以對各相機的相機成像平面和投影螢幕之間的實際夾角進行校正，以使校正後的相機成像平面與投影螢幕平行。

具體的，可以通過對虛擬實境設備進行標定，確定投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角，基於預設的候選夾角和候選相機選擇矩陣之間的關聯關係，根據實際夾角，計算得到相機選擇矩陣。

示例性的，預設的候選夾角和候選相機選擇矩陣之間的關聯關係可以為如下公式： 式中， 為候選相機選擇矩陣； 為投影螢幕坐標系和雙目相機的相機成像平面之間的候選夾角。

圖7為雙目相機的成像平面與投影螢幕的結構示意圖。如圖7所示，投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角為a。在獲取投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角a之後，可以令 ，並將a代入上述公式中，即可確定相機選擇矩陣。

可以採用以下公式，表示相機選擇矩陣： ； 式中， 為相機選擇矩陣； 為投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角。

本手段通過預設候選夾角和候選相機選擇矩陣之間的關聯關係，通過根據投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角，以及預設的候選夾角和候選相機選擇矩陣之間的關聯關係，確定相機選擇矩陣，提高了確認相機選擇矩陣的效率，進而提高了通過相機選擇矩陣對虛擬實境設備進行調節的效率。

圖8為See-Through系統的系統框架圖。如圖8所示，See-Through系統中的硬體設備包含左相機、右相機、左投影螢幕和右投影螢幕。其中，左相機和右相機可以是兩個同型號的相機。左投影螢幕和右投影螢幕也可以為一個投影螢幕。此時，左相機採集的圖像可以顯示在投影螢幕的左半部分；右相機採集的圖像可以顯示在投影螢幕的右半部分。為了避免投影螢幕出現盲區，左相機的FOV（Field of View，視場角）區域和右相機的FOV區域應該有交叉，並儘量覆蓋最大的觀察區域。如需實現注視點標注，硬體設備可以增加眼動識別技術的紅外線攝像頭及LED（Light Emitting Diode，發光二極體）燈。See-Through系統中的軟體模組包含影片採集模組、極線對齊模組、注視點標注模組、投影變換模組和影片顯示模組等。其中，影片採集模組用於接收雙目相機採集的影片資料；極線對齊模組用於對雙目相機進行極線校正；注視點標注用於根據眼動識別技術對投影螢幕中的物件進行參數標注；投影變換用於將各相機的相機成像平面上的平面成像點變換至投影螢幕座標中的目標圖元點；影片顯示模組用於對投影螢幕中的影片進行顯示。

通過本手段的See-Through系統可以實現虛擬實境設備的影片透視功能，通過硬體設備和軟體模組的結合，實現本發明上述實施例所述之虛擬裝置調節方法，並利用調節後的虛擬實境設備進行影片透視，保證了影片透視顯示的場景和真實世界的一致性，提高影片透視之顯示效果。

本發明實施例的技術手段通過根據各相機的校正旋轉矩陣和相機選擇矩陣，將雙目相機在相機成像平面上的平面成像點旋轉至與投影螢幕平行的參考相機坐標系下，得到參考成像點，根據各相機平移矩陣，將參考成像點從參考相機坐標系平移至透鏡光機坐標系下，得到透鏡光機坐標系下的目標成像點，實現了對雙目相機的極線校正，以及各相機成像平面與投影螢幕之間的平行校正，然後通過相機平移矩陣，將參考坐標系變換至透鏡光機坐標系，實現了雙目相機採集的畫面與透鏡光機投影的畫面的對齊，保證虛擬實境設備在影片透視時觀察的場景和真實世界的一致性。簡化虛擬實境設備的差異性調節的計算過程，提高虛擬實境設備調節的效率。

實施例三

圖9是本發明實施例三提供的一種虛擬實境設備調節裝置的結構示意圖。本實施例可適用於對虛擬實境設備進行調節情況，該裝置可以執行上述實施例的虛擬實境設備調節方法，該虛擬實境設備調節裝置可以採用硬體及/或軟體的形式實現，該虛擬實境設備調節裝置可配置於承載虛擬實境設備調節功能的電子設備中。

參見圖9所示之虛擬實境設備調節裝置，包含：極線校正模組910、矩陣獲取模組920、坐標系轉換模組930及目標圖元點確定模組940。其中， 極線校正模組910，用於對雙目相機進行極線校正，得到各相機的校正旋轉矩陣； 矩陣獲取模組920，用於獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣； 坐標系轉換模組930，用於根據各相機的校正旋轉矩陣、相機選擇矩陣和各相機的相機平移矩陣，將雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到透鏡光機坐標系下的各目標成像點； 目標圖元點確定模組940，用於根據各光機內參矩陣和各目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節。

本發明實施例的技術手段通過對雙目相機進行極線校正，得到各相機的校正旋轉矩陣，獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣，根據各相機的校正旋轉矩陣、相機選擇矩陣和各相機的相機平移矩陣，將雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到透鏡光機坐標系下的各目標成像點，根據各光機內參矩陣和各目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節，實現了對雙目相機的極線校正，以使雙目相機的各相機成像平面平行且在同一條直線上，保證了通過各相機採集的同一物點的一致性；同時，實現了對相機的成像平面和投影螢幕之間的校正，使得相機的成像平面與投影螢幕之間平行，並將雙目相機的成像平面中的平面成像點與透鏡光機坐標系中的目標成像點，以及投影螢幕坐標系中的目標圖元點對應，實現了雙目相機採集的真實世界的畫面與人眼觀察的投影螢幕坐標系中的畫面的一致性。不同於圖像拼接和三維重建等方法需要進行大量的公式計算，本發明實施例的技術手段僅通過少量的計算，調節了虛擬實境設備在影片透視時觀察的場景和真實世界的差異性，減少了計算量。

在本發明的一個可選實施例中，坐標系轉換模組930包含：參考成像點確定單元，用於根據各相機的校正旋轉矩陣和相機選擇矩陣，將雙目相機在相機成像平面上的平面成像點旋轉至與投影螢幕平行的參考相機坐標系下，得到參考成像點；目標成像點確定單元，用於根據各相機平移矩陣，將參考成像點從參考相機坐標系平移至透鏡光機坐標系下，得到透鏡光機坐標系下的目標成像點。

在本發明的一個可選實施例中，各相機光心之間的連線，與各透鏡光機的光心之間的連線平行且對稱。

在本發明的一個可選實施例中，相機選擇矩陣根據投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角，以及預設的候選夾角和候選相機選擇矩陣之間的關聯關係確定。

在本發明的一個可選實施例中，極線校正模組910包含：雙目相機標定單元，用於根據棋盤格圖像，對雙目相機進行標定，分別得到各相機的相機外參矩陣；相對矩陣計算單元，用於根據各相機外參矩陣，計算雙目相機之間的雙目相對旋轉矩陣和雙目相對平移矩陣；校正旋轉矩陣確定單元，用於根據雙目相對旋轉矩陣和雙目相對平移矩陣，對各相機進行極線校正，得到各相機的校正旋轉矩陣。

在本發明的一個可選實施例中，在目標圖元點確定模組940確定投影螢幕的目標圖元點之後，該裝置還包含：目標圖元點插值模組，用於根據投影螢幕的顯示參數和目標圖元點，對目標圖元點進行插值。

在本發明的一個可選實施例中，在目標圖元點確定模組940確定投影螢幕的目標圖元點之後，該裝置還包含：物件參數標注模組，用於基於眼動識別技術，對投影螢幕中的物件進行參數標注；參數為距離及/或尺寸。

本發明實施例所提供的虛擬實境設備調節裝置可執行本發明任意實施例所提供的虛擬實境設備調節方法，具備執行方法相應的功能模組及功效。

本發明的技術手段中，所涉及的各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣等的獲取、儲存及應用等，均符合相關法律法規的規定，且不違背公序良俗。

實施例四

圖10示出可用來實施本發明的實施例的電子設備1000的結構示意圖。電子設備旨在表示各種形式的數位電腦，諸如，筆記型電腦、台式電腦、工作台、個人數位助理、伺服器、刀鋒伺服器、大型電腦、及其它適合的電腦。電子設備亦可表示各種形式的行動裝置，諸如，個人數文書處理、行動電話、智慧型手機、可穿戴設備（如頭盔、眼鏡、手錶等）和其它類似的計算裝置。本說明書所示之部件、其等之連接和關係、以及其等之功能僅僅作為示例，並且不意在限制本說明書中描述的及/或者要求的本發明的實現。

如圖10所示，電子設備1000包含至少一個處理器1001，以及與至少一個處理器1001通訊連接的記憶體，如唯讀記憶體（Read-Only Memory，ROM）1002、隨機存取記憶體（Random Access Memory，RAM）1003等，其中，記憶體儲存有可被至少一個處理器執行的電腦程式，處理器1001可以根據儲存在唯讀記憶體（ROM）1002中的電腦程式或者從記憶單元1008載入到隨機存取記憶體（RAM）1003中的電腦程式，來執行各種適當的動作和處理。在隨機存取記憶體（RAM）1003中，亦可儲存電子設備1000操作所需的各種程式和資料。處理器1001、唯讀記憶體（ROM） 1002及隨機存取記憶體（RAM） 1003通過匯流排1004彼此相連。輸入/輸出（Input/Output，I/O）介面1005也連接至匯流排1004。

電子設備1000中的多個部件連接至輸入/輸出（I/O）介面1005，包含：輸入單元1006，例如鍵盤、滑鼠等；輸出單元1007，例如各種類型的顯示器、揚聲器等；記憶單元1008，例如磁片、光碟等；以及通訊單元1009，例如網卡、數據機、無線通訊收發機等。通訊單元1009允許電子設備1000通過諸如網際網路的電腦網路及/或各種電訊網路與其他設備交換資訊/資料。

處理器1001可以是各種具有處理和計算能力的通用及/或專用處理組件。處理器1001的一些示例包含但不限於中央處理單元（Central Processing Unit，CPU）、圖形處理單元（Graphics Processing Unit，GPU）、各種專用的人工智慧（Artificial Intelligence，AI）計算晶片、各種運行機器學習模型演算法的處理器、數位訊號處理器（Digital Signal Processor，DSP）、以及任何適當的處理器、控制器、微控制器等。處理器1001執行上文所描述的各個方法和處理，例如虛擬實境設備調節方法。

在一些實施例中，虛擬實境設備調節方法可被實現為電腦程式，其被有形地包含於電腦可讀儲存介質，例如記憶單元1008。在一些實施例中，電腦程式的部分或者全部可以經由唯讀記憶體（ROM）1002及/或通訊單元1009而被載入及/或安裝到電子設備1000上。當電腦程式載入到隨機存取記憶體（RAM） 1003並由處理器1001執行時，可以執行上文描述的虛擬實境設備調節方法的一個或多個步驟。備選地，在其他實施例中，處理器1001可以通過其他任何適當的方式（例如，借助於固件）而被配置為執行虛擬實境設備調節方法。

本說明書中以上描述之系統及技術的各種實施方式可以在數位電子電路系統、積體電路系統、現場可程式化邏輯閘陣列（Field Programmable Gate Array，FPGA）、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、專用標準產品（Application Specific Standard Product，ASSP）、單晶片系統（System on Chip，SOC）、複雜可程式化邏輯裝置（Complex Programmable Logic Device，CPLD）、電腦硬體、韌體、軟體、及/或其等之組合中實現。此等各種實施方式可以包含：實施在一個或者多個電腦程式中，該一個或者多個電腦程式可在包含至少一個可程式設計處理器的可程式設計系統上執行及/或解釋，該可程式設計處理器可以是專用或者通用可程式設計處理器，可以從儲存系統、至少一個輸入裝置、和至少一個輸出裝置接收資料和指令，並且將資料和指令傳輸至該儲存系統、該至少一個輸入裝置、和該至少一個輸出裝置。

用於實施本發明的方法的電腦程式可以採用一個或多個程式設計語言的任何組合來編寫。此等電腦程式可以提供給通用電腦、專用電腦或其他可程式設計資料處理裝置的處理器，使得電腦程式當由處理器執行時使流程圖及/或框圖中所規定的功能/操作被實施。電腦程式可以完全在機器上執行、部分地在機器上執行，作為獨立套裝軟體部分地在機器上執行且部分地在遠端機器上執行或完全在遠端機器或伺服器上執行。

在本發明的上下文中，電腦可讀儲存介質可以是有形的介質，其可以包含或儲存以供指令執行系統、裝置或設備使用或與指令執行系統、裝置或設備結合地使用的電腦程式。電腦可讀儲存介質可以包含但不限於電子的、磁性的、光學的、電磁的、紅外線的、或半導體系統、裝置或設備，或者上述內容的任何合適組合。備選地，電腦可讀儲存介質可以是機器可讀訊號介質。機器可讀儲存介質的更具體示例會包含基於一個或多個線的電氣連接、可擕式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可抹除可程式唯讀記憶體（EPROM或快閃記憶體）、光纖、光碟唯讀記憶體（CD-ROM）、光學儲存設備、磁性儲存設備、或上述內容的任何合適組合。

為了提供與使用者的交互，可以在電子設備上實施此處描述的系統和技術，該電子設備具有：用於向使用者顯示資訊的顯示裝置（例如，CRT（陰極射線管）或者LCD（液晶顯示器）監視器）；以及鍵盤和指向裝置（例如，滑鼠或者軌跡球），使用者可以通過該鍵盤和該指向裝置來將輸入提供給電子設備。其它種類的裝置還可以用於提供與使用者的交互；例如，提供給使用者的回饋可以是任何形式的感測回饋（例如，視覺回饋、聽覺回饋、或者觸覺回饋）；並且可以用任何形式（包含聲輸入、語音輸入或者、觸覺輸入）來接收來自使用者的輸入。

可以將此處描述的系統和技術實施在包含後台部件的計算系統（例如，作為資料伺服器）、或者包含中介軟體部件的計算系統（例如，應用伺服器）、或者包含前端部件的計算系統（例如，具有圖形化使用者介面或者網路流覽器的使用者電腦，使用者可以通過該圖形化使用者介面或者該網路流覽器來與此處描述的系統和技術的實施方式交互）、或者包含此種後台部件、中介軟體部件、或者前端部件的任何組合的計算系統中。可以通過任何形式或者介質的數位資料通訊（例如，通訊網路）來將系統的部件相互連接。通訊網路的示例包含：區域網路（LAN）、廣域網路（WAN）、區塊鏈網路及網際網路。

計算系統可以包含使用者端和伺服器。使用者端和伺服器一般遠離彼此並且通常通過通訊網路進行交互。通過在相應的電腦上運行並且彼此具有使用者端-伺服器關係的電腦程式來產生使用者端和伺服器的關係。伺服器可以是雲端伺服器，又稱為雲端計算伺服器或雲端主機，是雲端計算服務體系中的一項主機產品，以解決了傳統物理主機與VPS（Virtual Private Server，虛擬專用伺服器）服務中，存在的管理難度大，業務擴展性弱的缺陷。

應該理解，可以使用上面所示之各種形式的流程，重新排序、增加或刪除步驟。例如，本發明中記載的各步驟可以並行地執行也可以順序地執行也可以不同的次序執行，只要能夠實現本發明的技術手段所期望的結果，本說明書在此不進行限制。

上述具體實施方式，並不構成對本發明保護範圍的限制。所屬技術領域中具有通常知識者應該明白的是，根據設計要求和其他因素，可以進行各種修改、組合、子組合和替代。任何在本發明的精神和原則之內所作的修改、均等替換及改進等，均應包含在本發明保護範圍之內。

本發明要求在2022年11月23日提交中國專利局、申請號為202211478252.6的中國專利申請的優先權，以上申請之全部內容通過引用結合在本發明中。

1000:電子設備

1001:處理器

1002:唯讀記憶體（ROM）

1003:隨機存取記憶體（RAM）

1004:匯流排

1005:輸入/輸出（I/O）介面

1006:輸入單元

1007:輸出單元

1008:記憶單元

1009:通訊單元

910:極線校正模組

920:矩陣獲取模組

930:坐標系轉換模組

940:目標圖元點確定模組

為了更清楚地說明本發明實施例中的技術手段，下面將對實施例描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對於所屬技術領域中具有通常知識者來講，在不付出創造性勞動的前提下，亦可根據此等圖式獲得其他的圖式。 〔圖1〕是根據本發明實施例一提供的一種虛擬實境設備調節方法的流程圖。 〔圖2〕是根據本發明實施例一提供的極線校正前的雙目相機的結構示意圖。 〔圖3〕是根據本發明實施例一提供的極線校正後的雙目相機的結構示意圖。 〔圖4〕是根據本發明實施例一提供的透鏡光機的結構示意圖。 〔圖5〕是根據本發明實施例二提供的一種虛擬實境設備調節方法的流程圖。 〔圖6〕是根據本發明實施例二提供的虛擬實境設備的相機光心和透鏡光機光心的結構示意圖。 〔圖7〕是根據本發明實施例二提供的雙目相機的成像平面與投影螢幕的結構示意圖。 〔圖8〕是根據本發明實施例二提供的See-Through系統的系統框架圖。 〔圖9〕是根據本發明實施例三提供的一種虛擬實境設備調節裝置的結構示意圖。 〔圖10〕是實現本發明實施例的虛擬實境設備調節方法的電子設備的結構示意圖。

S110、S120、S130、S140:步驟

Claims (9)

1. 一種虛擬實境設備調節方法，其特徵係包含：對雙目相機進行極線校正，得到各相機的校正旋轉矩陣；獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣；根據該各相機的校正旋轉矩陣、該相機選擇矩陣和該各相機的相機平移矩陣，將該雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到該透鏡光機坐標系下的各目標成像點；根據各該光機內參矩陣和各該目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節；其中，該虛擬實境設備包含該雙目相機，該各透鏡光機和投影螢幕；該雙目相機採集的圖像顯示在該投影螢幕上，該各透鏡光機係該虛擬實境設備中用於觀察該投影螢幕的光學元件；其中，該相機選擇矩陣用於變換相機的相機成像平面與該投影螢幕之間的角度，以使各相機的相機成像平面與該投影螢幕之間平行；其中，該相機選擇矩陣根據該投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角，以及預設的候選夾角和候選相機選擇矩陣之間的關聯關係確定。
2. 如請求項1所述之方法，其中，該根據該各相機的校正旋轉矩陣、該相機選擇矩陣和該各相機的相機平移矩陣，將該雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到該透鏡光機坐標系下的各目標成像點，包含：根據該各相機的校正旋轉矩陣和該相機選擇矩陣，將該雙目相機在相機成像平面上的平面成像點旋轉至與投影螢幕平行的參考相機坐標系下，得到參考成像點； 根據各該相機平移矩陣，將該參考成像點從該參考相機坐標系平移至該透鏡光機坐標系下，得到該透鏡光機坐標系下的目標成像點。
3. 如請求項2所述之方法，其中，該各相機光心之間的連線，與該各透鏡光機光心之間的連線平行且對稱。
4. 如請求項1所述之方法，其中，該對雙目相機進行極線校正，得到各相機的校正旋轉矩陣，包含：根據棋盤格圖像，對雙目相機進行標定，分別得到各相機的相機外參矩陣；根據各該相機外參矩陣，計算雙目相機之間的雙目相對旋轉矩陣和雙目相對平移矩陣；根據該雙目相對旋轉矩陣和該雙目相對平移矩陣，對各相機進行極線校正，得到各相機的校正旋轉矩陣。
5. 如請求項1所述之方法，其中，在確定投影螢幕座標系下的各目標圖元點之後，還包含：根據投影螢幕的顯示參數和該目標圖元點，對該目標圖元點進行插值。
6. 一種虛擬實境設備調節裝置，其特徵係包含：對雙目相機進行極線校正，得到各相機的校正旋轉矩陣；獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣；根據該各相機的校正旋轉矩陣、該相機選擇矩陣和該各相機的相機平移矩陣，將該雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到該透鏡光機坐標系下的各目標成像點；根據各該光機內參矩陣和各該目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節； 其中，該虛擬實境設備包含該雙目相機，該各透鏡光機和投影螢幕；該雙目相機採集的圖像顯示在該投影螢幕上，該各透鏡光機係該虛擬實境設備中用於觀察該投影螢幕的光學元件；其中，該相機選擇矩陣用於變換相機的相機成像平面與該投影螢幕之間的角度，以使各相機的相機成像平面與該投影螢幕之間平行；在確定投影螢幕座標系下的各目標圖元點之後，還包含：基於眼動識別技術，對該投影螢幕中的物件進行參數標注；該參數為距離及/或尺寸。
7. 一種虛擬實境設備調節裝置，其特徵係包含：極線校正模組，用於對雙目相機進行極線校正，得到各相機的校正旋轉矩陣；矩陣獲取模組，用於獲取各透鏡光機的光機內參矩陣、相機選擇矩陣和各相機的相機平移矩陣；坐標系轉換模組，用於根據該各相機的校正旋轉矩陣、該相機選擇矩陣和該各相機的相機平移矩陣，將該雙目相機的各平面成像點轉換至透鏡光機坐標系下，得到該透鏡光機坐標系下的各目標成像點；目標圖元點確定模組，用於根據各該光機內參矩陣和各該目標成像點，確定投影螢幕坐標系下的各目標圖元點，以實現對虛擬實境設備的調節；其中，該虛擬實境設備包含該雙目相機，該各透鏡光機和投影螢幕；該雙目相機採集的圖像顯示在該投影螢幕上，該各透鏡光機係該虛擬實境設備中用於觀察該投影螢幕的光學元件；其中，該相機選擇矩陣用於變換相機的相機成像平面與該投影螢幕之間的角度，以使各相機的相機成像平面與該投影螢幕之間平行； 其中，該相機選擇矩陣根據該投影螢幕坐標系和雙目相機的相機成像平面之間的實際夾角，以及預設的候選夾角和候選相機選擇矩陣之間的關聯關係確定。
8. 一種電子設備，其特徵係包含：至少一個處理器；以及與該至少一個處理器通訊連接的記憶體；其中，該記憶體儲存有可被該至少一個處理器執行的電腦程式，該電腦程式被該至少一個處理器執行，以使該至少一個處理器能夠執行請求項1至6中任一項所述之虛擬實境設備調節方法。
9. 一種電腦可讀儲存介質，其特徵係該電腦可讀儲存介質儲存有電腦指令，該電腦指令用於使處理器執行時實現請求項1至6中任一項所述之虛擬實境設備調節方法。