TWI586936B - 實體影像與虛擬影像之間轉換的方法及其系統 - Google Patents

實體影像與虛擬影像之間轉換的方法及其系統 Download PDF

Info

Publication number
TWI586936B
TWI586936B TW105115704A TW105115704A TWI586936B TW I586936 B TWI586936 B TW I586936B TW 105115704 A TW105115704 A TW 105115704A TW 105115704 A TW105115704 A TW 105115704A TW I586936 B TWI586936 B TW I586936B
Authority
TW
Taiwan
Prior art keywords
virtual
user
physical
distance
target
Prior art date
Application number
TW105115704A
Other languages
English (en)
Other versions
TW201741622A (zh
Inventor
莊仁輝
謝易育
魏羽涵
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW105115704A priority Critical patent/TWI586936B/zh
Priority to CN201610430876.9A priority patent/CN107403406B/zh
Priority to US15/222,340 priority patent/US10403002B2/en
Application granted granted Critical
Publication of TWI586936B publication Critical patent/TWI586936B/zh
Publication of TW201741622A publication Critical patent/TW201741622A/zh

Links

Classifications

    • G06T3/16—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Description

實體影像與虛擬影像之間轉換的方法及其系統
本發明提供一種影像轉換技術，尤指一種實體影像與虛擬影像之間轉換的方法及其系統。
在現今實體與虛擬之影像擷取及轉換的技術領域中，可利用投影機對於物體平面投射出可見的特殊結構光(structure light)，並透過與投影機架設於固定相對位置之攝影機拍照，擷取照射在物體表面的特殊結構光，從而對此影像進行分析與計算，以算得投影機與物體所在位置之距離。然而，由於必須對目標物體投射出可見光，故除了一般攝影機，仍需要一台投影機作為光源，並設置於暗室中，以便在物體上投射出不同能量位階的結構光。且此一系統硬體架構攜帶不便，另由於在一般環境下所投射出的結構光容易受到其他光源影響，造成亮度衰減，導致運算結果不正確，不適合應用於攜帶式或穿戴型裝置系統。
而若使用具有偏光遮罩的固定式攝影機監控液晶螢幕，則偏光遮罩可以遮蔽掉液晶螢幕所投射出的單一相位 光，但讓其他相位的自然光通過，使得拍攝到的影像只會看到液晶螢幕的外框。當使用者使用雷射筆照射液晶螢幕時，由於可以控制雷射光的光源方向，可以控制到不會被遮罩遮蔽，讓攝影機可以偵測到雷射點，進而計算雷射光在螢幕中的相對位置。接著透過螢幕邊框上架設的感測器偵測滑鼠游標位置，與雷射光相對位置比對後，進而控制滑鼠游標移動，達成電腦指向功能。
又若利用氣墊式壓力偵測器作為枕頭改良上述使用具有偏光遮罩的固定式攝影機監控液晶螢幕的方法，則須讓使用者運用頭部對壓力枕施壓，進而控制架設有攝影機與雷射筆的機械旋轉雲台，並利用攝影機影像計算得到雷射光投影在投影幕上的相對位置，達到指向功能。
或者，先前技術也提出一種將雷射筆結合在眼鏡架上的方式，其讓使用者可以帶著眼鏡架，藉由固定式攝影機拍攝雷射光位置執行指向功能。而此一方法並不局限於對電腦系統進行指向，也可應用於空間指向，用雷射光照射周遭物體，以告知周圍的人們。然而，以上使用具有偏光遮罩的固定式攝影機監控液晶螢幕或將雷射筆結合在眼鏡架上的缺點在於需要發射出有色雷射光讓攝影機拍攝到指向位置，這使得其他人都能知道使用者正在指向什麼位置，缺乏隱私性。並且皆需要一固定位置之雲台架設攝影機，故與利用投影機對於物體平面投射出可見的特殊結構光之方法一樣有攜帶不便的缺點，不適合應用於攜帶式或穿戴型裝置系統。
因此，如何克服上述習知實體與虛擬之影像擷取及轉換的方法及系統不適合應用於攜帶式或穿戴型裝置系統的諸多缺點是本領域技術人員的一大課題。
有鑒於上述習知技術之缺失，本發明提供一種實體影像與虛擬影像之間轉換的方法，係包括：設置不與使用者之視線重合的影像擷取裝置；提供在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物，以該影像擷取裝置擷取該至少三個實體距離參考物之影像，進而得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及以耦接該影像擷取裝置之計算單元根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，取得該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係。
本發明提供一種轉換實體影像與虛擬影像的系統，係包括：不與使用者之視線重合的影像擷取裝置，係擷取在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物之影像，以得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及耦接該影像擷取裝置之計算單元，係根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，以得到該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係。
本發明另提供一種轉換實體影像與虛擬影像的系統，係包括：不與使用者之視線重合之影像擷取單元，且該影像擷取單元擷取在該使用者之視線中至少為近似直線且距該使用者之不同已知距離的至少三個實體距離參考物之影像，以得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線，而於提供在一實體平面上、在該使用者之視線中及已知彼此距離和實體位置的至少四個實體平面構成物之後，該影像擷取單元擷取該至少四個實體平面構成物之影像，以得到由該些影像所分別對應且構成虛擬平面之在該虛擬平面的已知位置之至少四個虛擬平面構成物，且在該實體平面中提供第五目標之後，該影像擷取單元擷取該第五目標之影像於該極線中，以產生對應該第五目標之第五虛擬目標；以及與該影像擷取單元耦接的計算單元，且該計算單元以該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係得到該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係，而該計算單元經由該第一關係而得到該至少四個實體平面構成物距該使用者之距離，且該計算單元以該至少四個實體平面構成物之實體位置與該至少四個虛擬平面構成物在該虛擬平面的位置之間的對應關係得到一座標轉換矩陣，再者，該計算單元以該虛擬平面中之該極線中的所有虛擬點之位置經由該座標轉換矩陣得到該虛擬平面中之該極線中的所有虛擬點所對應之所有實體空間點在該實體平面的位置，另該 計算單元以該至少四個實體平面構成物的已知彼此距離和距該使用者之距離、以及該所有實體空間及該第五目標在該實體平面的位置得到該所有實體空間點距該使用者之距離，又該計算單元以該虛擬平面中之該極線中的所有虛擬點之位置與該所有實體空間點距該使用者之距離得到第三關係，之後，該計算單元比對該第一關係與該第三關係以得到二者之交點。
本發明藉由使用與使用者為固定位置關係且不與使用者之視線重合的影像擷取裝置擷取實體之影像以產生虛擬影像，且以計算單元利用實體的實體位置與虛擬影像在虛擬空間(畫素座標)中的虛擬位置之間的位置關係得到目標之實體位置，從而可適合應用於攜帶式或穿戴型裝置系統。
C‧‧‧影像擷取裝置
C1‧‧‧第一影像擷取裝置
C2‧‧‧第二影像擷取裝置
E‧‧‧使用者
EL‧‧‧視線
EL’‧‧‧極線
G‧‧‧視覺裝置
LR1‧‧‧第一關係曲線
LR2‧‧‧第二關係曲線
LR3‧‧‧第三關係線段
O1‧‧‧第一目標
O1’‧‧‧第一虛擬目標
O2‧‧‧第二目標
O2’‧‧‧第二虛擬目標
O3‧‧‧第三目標
O3’‧‧‧第三虛擬目標
O41~O4x‧‧‧第四目標
O41’~O4n’‧‧‧第四虛擬目標
O41”~O4n”‧‧‧第四投影目標
O5‧‧‧第五目標
O5’‧‧‧第五虛擬目標
P‧‧‧計算單元
R1‧‧‧第一實體距離參考物
R1’‧‧‧第一虛擬距離參考物
R2‧‧‧第二實體距離參考物
R2’‧‧‧第二虛擬距離參考物
R3‧‧‧第三實體距離參考物
R3’‧‧‧第三虛擬距離參考物
RP1‧‧‧第一實體平面構成物
RP2‧‧‧第二實體平面構成物
RP3‧‧‧第三實體平面構成物
RP4‧‧‧第四實體平面構成物
RP1’‧‧‧第一虛擬平面構成物
RP2’‧‧‧第二虛擬平面構成物
RP3’‧‧‧第三虛擬平面構成物
RP4’‧‧‧第四虛擬平面構成物
T‧‧‧標記
V1~Vn‧‧‧實體空間點
V1’~Vn’‧‧‧虛擬點
S101~S103、S401~S402、S601~S604、S801~S805、S1201~S1207‧‧‧步驟
第1圖係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之流程圖；第2圖係搭配第1圖之說明示意圖；第3圖係由第1圖之流程圖所得到的結果關係圖；第4圖係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之一態樣的流程圖；第5圖係搭配第4圖之說明示意圖；第6圖係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之另一態樣的流程圖；第7圖係搭配第6圖之說明示意圖； 第8圖係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之再一態樣的流程圖；第9圖係搭配第8圖之說明示意圖；第10圖係第9圖之特定態樣示意圖；第11圖係由第8圖之流程圖所得到的結果關係圖；第12圖係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之又一態樣的流程圖；第13圖係搭配第12圖之說明示意圖；以及第14圖係由第12圖之流程圖所得到的結果關係圖。
以下藉由特定的具體實施例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。本發明亦可藉由其它不同的具體實施例加以施行或應用，本說明書中的各項細節亦可基於不同觀點與應用，在不悖離本發明之精神下進行各種修飾與變更。
請參閱第1圖，係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之流程圖，而第2圖係搭配第1圖之說明示意圖，且第3圖係由第1圖之流程圖所得到的結果關係圖。
在本發明之步驟S101，設置不與使用者E之視線EL重合的影像擷取裝置C。舉例而言，影像擷取裝置C可為Google眼鏡的相機，而使用者E可特指使用者之眼睛，且影像擷取裝置C與使用者E(眼睛)之間的位置關係在使用 時為固定。
在本發明之步驟S102，提供在使用者E之視線EL中距使用者E之不同距離的至少三個實體距離參考物(如第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3。以下以R1、R2、R3為舉例說明，但不以此為限)，以影像擷取裝置C擷取第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3之影像，進而得到由該些影像所分別對應之至少三個虛擬距離參考物(如第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛擬距離參考物R3’，以下以R1’、R2’、R3’為舉例說明，但不以此為限)所形成的極線(epipolar line)EL’。具體而言，第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3距使用者E之距離可分別為25cm、40cm及100cm，而為了避免使用者E之頭部晃動造成各參考物之影像漂移，可例如以影像擷取裝置C連續拍攝10張再取其平均位置、位置統計峰值或加權位置後，以近似方法求得極線EL’。
另外，如第2圖所示，本發明可於該三個實體距離參考物與使用者E之間提供能顯示標記T的視覺裝置G以便使用者E之眼球受吸引而定於一點，從而避免視線EL之路徑因眼球隨意運動而浮動，更免於極線EL’之位置不準確。舉例而言，視覺裝置G可為至少一定程度透明之鏡片或顯示器，而標記T可以顯示器顯示、機械定位或投影等方式出現於視線EL中的視覺裝置G處，且標記T可與該 三個實體距離參考物排成一列。
在本發明之步驟S103，至少與影像擷取裝置C耦接的計算單元P根據第一實體距離參考物R1、第二實體距離參考物R2、第三實體距離參考物R3、第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛擬距離參考物R3’之位置對應關係得到第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3距使用者E之距離與第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛擬距離參考物R3’在極線EL’中的位置之間如第3圖的第一關係。具體而言，由於第一實體距離參考物R1、第二實體距離參考物R2、第三實體距離參考物R3距使用者E之距離已知，且第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛擬距離參考物R3’在影像擷取裝置C上的畫素位置(係例如由相對座標轉換者)已知，故計算單元P自當能得到各實體距離參考物與各虛擬距離參考物之間的距離對應關係，進而得到該第一關係的第一關係曲線LR1。
請參閱第4圖，係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之一態樣的流程圖，而第5圖係搭配第4圖之說明示意圖。
在本發明之步驟S401，係接續步驟S103，其中，如第5圖所示，在至少三個實體距離參考物構成之直線(即第2圖的視線EL)之延伸方向中提供第一目標O1，並以影像擷取裝置C擷取第一目標O1之影像於極線EL’之延伸方向 中(值得注意的是，本發明中的視線及極線之延伸方向分別包含視線EL及極線EL’)，以得到在極線EL’之延伸方向中的已知位置(即畫素位置)之第一虛擬目標O1’。
在本發明之步驟S402，計算單元P以第一實體距離參考物R1、第二實體距離參考物R2、第三實體距離參考物R3、第一虛擬距離參考物R1’、第二虛擬距離參考物R2’、第三虛擬距離參考物R3’及第一虛擬目標O1’之位置對應關係經由該第一關係得到第一目標O1距使用者E之距離。具體而言，計算單元P以第一虛擬目標O1’在極線EL’之延伸方向中的位置(亦即該第一關係之x軸)所對應第一關係曲線LR1中之點的y軸座標反推得到第一目標O1距使用者E之距離，計算單元P得到第一目標O1距使用者E之距離的方式可以交比(cross ratio)方程式得到，即下列方程式(1)：
請參閱第6圖，係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之另一態樣的流程圖，而第7圖係搭配第6圖之說明示意圖。
在本發明之步驟S601，係接續步驟S103，其中，提供已知距使用者E之距離的第二目標O2於使用者E之視線EL中。具體而言，可由計算單元P令外界產生距使用者E之已知距離的第二目標O2於使用者E之視線EL中，或令外界產生距使用者E之已知距離的第二目標O2於使用 者E之視線EL中再通知第二目標O2距使用者E之距離予計算單元P。
在本發明之步驟S602，計算單元P以第一關係得到第二目標O2於極線EL’之延伸方向中所對應之第二虛擬目標O2’之位置。具體而言，該步驟係步驟S402之反向方式。
在本發明之步驟S603，令使用者E之視線EL對應所欲之第三目標O3，且令影像擷取裝置C擷取第三目標O3之影像為極線EL’之延伸方向中的第三虛擬目標O3’，步驟S603之具體實現方式可為使用者E注視實體空間之一處(即令使用者E之視線EL對應所欲之第三目標O3)，且使用者E可以例如語音、手勢或按鈕等方式令影像擷取裝置C擷取第三目標O3之影像。
在本發明之步驟S604，計算單元P比對第二虛擬目標O2’之位置與第三虛擬目標O3’之位置(即比對二者之畫素位置)，以得知第二虛擬目標O2’之位置與第三虛擬目標O3’之位置是否吻合。因此，本發明之此一態樣可應用於例如射擊遊戲之應用中，但本發明不限於此。
根據本發明之一種實體影像與虛擬影像之間轉換的方法之又一態樣中，類似於本發明之步驟S601，但第二目標O2、第二虛擬目標O2’、第三目標O3及第三虛擬目標O3’之數目係複數個，而提供第二目標O2至影像擷取裝置C擷取第三目標O3之影像的步驟係循環進行後，再進行計算單元P比對該些第二虛擬目標O2’之位置與該些第三虛擬目標O3’之位置的步驟，也就是先循環進行步驟S601 至步驟S603(但不必擷取所有第二目標O2)，再進行步驟S604，或者，本發明可將提供第二目標O2至計算單元P比對該些第二虛擬目標O2’之位置與該些第三虛擬目標O3’之位置的步驟完整重覆進行，即逐次進行步驟S601至步驟S603。
請參閱第8圖，係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之再一態樣的流程圖，而第9圖係搭配第8圖之說明示意圖，第10圖係第9圖之特定態樣示意圖，且第11圖係由第8圖之流程圖所得到的結果關係圖。
在本發明之步驟S801之前，擷取第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3之影像係以第一影像擷取裝置C1(即影像擷取裝置C)進行，且另設置不與使用者E之視線EL重合及位置相異於第一影像擷取裝置C1的第二影像擷取裝置C2，而在接續步驟S103的步驟S801，提供已知彼此之實體位置關係的複數第四目標O41~O4x於使用者E之視線EL中，其中，各第四目標O41~O4x可為離散或構成一整體(如第9或10圖所示)，且至少該些第四目標O41~O4x可附加有識別訊息。
在本發明之步驟S802，第二影像擷取裝置C2擷取使用者E之影像。
在本發明之步驟S803，可以與第二影像擷取裝置C2耦接或無線耦接之外界計算單元或計算單元P判定使用者 E之實體位置以得到使用者E距各該第四目標O41~O4x之距離，並令計算單元P得到使用者E距各該第四目標O41~O4x之距離(由於複數第四目標O41~O4x彼此之實體位置關係及使用者E之位置為已知，故自當能得到使用者E距各該第四目標O41~O4x之距離)，且第一影像擷取裝置C1擷取該些第四目標O41~O4x之影像以形成極線EL’之延伸方向中已知虛擬位置(即畫素位置)的複數第四虛擬目標O41’~O4x’，且至少該些第四虛擬目標O41’~O4x’可附加有識別訊息。
類似於步驟S103，在步驟S804，計算單元P以各該第四目標O41~O4x之距使用者E之實體距離與對應各該第四目標O41~O4x之各該第四虛擬目標O41’~O4x’的已知該些虛擬位置得到第二關係的第二關係曲線LR2。
在步驟S805，如第11圖所示，計算單元P比對該第一關係與該第二關係以得到二者之交點，並進而得知使用者E的注視處。
值得注意的是，本發明之一種實體影像與虛擬影像之間轉換的方法之再一態樣可有一特定態樣，即如第10圖所示，若除第四目標O4x以外之一部分該些第四目標O41~O4n不在視線EL之延伸方向中，由於第一影像擷取裝置C1與使用者E之間的位置關係固定，故於使用者E轉頭看該些第四目標O41~O4n時，各該第四目標O41~O4n可視為投影在步驟S102之原視線EL的延伸方向中，從而可視為在原視線EL的延伸方向中產生對應之各該第四投影目 標O41”~O4n”，並在第一影像擷取裝置C1擷取該些第四目標O41~O4x之影像時使各該第四虛擬目標O41’~O4x’仍位於原極線EL’之延伸方向中，而第二關係曲線LR2則為該些第四投影目標O41”~O4n”及第四虛擬目標O4x’所構成的曲線。
另外，在該些第四目標O41~O4x附加有識別訊息及/或該些第虛擬四目標O41’~O4x’附加有識別訊息的情況下，計算單元P可使用該識別訊息及其所對應之資料(例如，圖片)以令與計算單元P耦接或無線耦接之顯示裝置(例如視覺裝置G或其它未顯示者)顯示對應之資料。
本發明提出如第2圖所示之一種轉換實體影像與虛擬影像的系統，其包括影像擷取裝置C及計算單元P。
如上所述之影像擷取裝置C係不與使用者E之視線EL重合，且影像擷取裝置C擷取在使用者E之視線EL中距使用者E之不同距離的至少三個實體距離參考物(如第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3)之影像，以得到由該些影像所分別對應之至少三個虛擬距離參考物(如第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛擬距離參考物R3’)所形成的極線EL’。
如上所述之計算單元P係耦接影像擷取裝置C，根據第一實體距離參考物R1、第二實體距離參考物R2、第三實體距離參考物R3、第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛擬距離參考物R3’之位置對應關 係得到第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3距使用者E之距離與第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛擬距離參考物R3’在極線EL’中的位置之間的第一關係。
此外，本發明提出如第5圖所示之一種態樣之轉換實體影像與虛擬影像的系統，其與如第2圖所示之一種轉換實體影像與虛擬影像的系統之差異在於，於視線EL之延伸方向中提供第一目標O1，而影像擷取裝置C擷取第一目標O1之影像於極線EL’之延伸方向中，以得到已知在極線EL’之延伸方向中的位置之第一虛擬目標O1’。
該計算單元P根據第一實體距離參考物R1、第二實體距離參考物R2、第三實體距離參考物R3、第一虛擬距離參考物R1’、第二虛擬距離參考物R2’、第三虛擬距離參考物R3’及第一虛擬目標O1’之位置對應關係經由該第一關係得到第一目標O1距使用者E之距離，其中，計算單元P得到第一目標O1距使用者E之距離的方式係以交比(cross ratio)方程式得到。
再者，本發明提出如第7圖所示之另一種態樣之轉換實體影像與虛擬影像的系統，其與如第2圖所示之一種轉換實體影像與虛擬影像的系統之差異在於，提供距使用者E之已知距離的第二目標O2於使用者E之視線EL中的情況下，計算單元P以第一關係得到第二目標O2於極線EL’之延伸方向中所對應之第二虛擬目標O2’之位置。而之後，使用者E之視線EL對應所欲第三目標O3的情況下， 影像擷取裝置C擷取所欲之第三目標O3之影像為於極線EL’之延伸方向中的第三虛擬目標O3’。其後，計算單元P比對第二虛擬目標O2’之位置與第三虛擬目標O3’之位置。
另外，本發明提出如第9圖所示之再一種態樣之轉換實體影像與虛擬影像的系統，其與如第2圖所示之一種轉換實體影像與虛擬影像的系統之差異在於，於先設置不與使用者E之視線EL重合的第二影像擷取裝置C2且設定影像擷取裝置C為第一影像擷取裝置C1的情況下，第一影像擷取裝置C1的位置相異於第二影像擷取裝置C2。在提供已知彼此之實體位置關係的複數第四目標O41~O4x於使用者E之視線EL中的情況下，第二影像擷取裝置C2擷取使用者E之影像。之後，計算單元P或外部之計算單元判定使用者E之實體位置以得到使用者E距各該第四目標O41~O4x之距離，且第一影像擷取裝置C1擷取該些第四目標之影像O41~O4x以形成極線EL’之延伸方向中已知虛擬位置的該些第四虛擬目標O41’~O4x’。
計算單元P根據各該第四目標O41~O4x之距使用者E之實體距離與對應各該第四目標O41~O4x之各該第四虛擬目標O41’~O4x’的已知該些虛擬位置得到第二關係之第二關係曲線LR2。並且，計算單元P比對該第一關係與該第二關係以得到二者之交點。
而除第四目標O4x以外之在一部分該些第四目標O41~O4n不在原視線EL之延伸方向中的情況下，第二關係曲線LR2則為該些第四投影目標O41”~O4n”及第四虛擬目 標O4x’所構成的曲線。
請參閱第12圖，係說明根據本發明之一種實體影像與虛擬影像之間轉換的方法之又一態樣的流程圖，而第13圖係搭配第12圖之說明示意圖，且第14圖係由第12圖之流程圖所得到的結果關係圖。
在步驟S1201，係接續步驟S103，提供在一實體平面上、在使用者E之視線EL中及已知彼此距離和實體位置的至少四個實體平面構成物，例如第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4，且以影像擷取裝置C擷取第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4之影像，以得到由該些影像所分別對應且構成虛擬平面之在該虛擬平面的已知位置(即畫素位置)之至少四個虛擬平面構成物，例如第一虛擬平面構成物RP1’、第二虛擬平面構成物RP2’、第三虛擬平面構成物RP3’及第四虛擬平面構成物RP4’，而第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4距使用者E之距離係藉由計算單元P經由該第一關係而得到。
在步驟S1202，計算單元P以第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4之實體位置與第一虛擬平面構成物RP1’、第二虛擬平面構成物RP2’、第三虛擬平面RP3’ 構成物及第四虛擬平面構成物RP4’在該虛擬平面的位置之間的對應關係得到一座標轉換矩陣 H ，舉例而言，該座標轉換矩陣 H 可為單應性(homography)矩陣，即座標轉換矩陣 H 係以下列方程式(2)得到：X= H X’---------(2)
於步驟S1203，在該實體平面中提供第五目標O5，且影像擷取裝置C擷取第五目標O5之影像於極線EL’中，以產生對應第五目標O5之第五虛擬目標O5’。特定而言，在該實體平面中提供第五目標O5之後，使用者E之視線EL通常應直視第五目標O5以確保影像擷取裝置C所擷取第五目標O5之影像於極線EL’中，也就是所產生對應第五目標O5之第五虛擬目標O5’是在極線EL’中。
在步驟S1204，計算單元P以該虛擬平面中之極線EL’中的所有虛擬點V1’~Vn’之位置經由座標轉換矩陣 H 得到該虛擬平面中之極線EL’中的所有虛擬點VI’~Vn’所對應之所有實體空間點V1~Vn在該實體平面的位置。具體而言，計算單元P可從極線EL’中推算出第五虛擬目標O5’落於其中的虛擬點V1’~Vn’所構成之虛擬線段V1'Vn'，且使用座標轉換矩陣 H 之逆矩陣H -1將虛擬點V1’~Vn’逆推回實體空間點V1~Vn，並令實體空間點V1落於第一實體平面構成物RP1與第四實體平面構成物RP4構成之線段中，且令實體空間點Vn落於第二實體平面構成物RP2與第三實體平面構成物RP3構成之線段中。
在步驟S1205，類似於步驟S103，計算單元P以第一 實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4的已知彼此距離和距使用者E之距離、以及所有實體空間點V1~Vn在該實體平面的位置得到所有實體空間點V1~Vn距使用者E之距離。舉例而言，計算單元P得到所有實體空間點V1~Vn距使用者E之距離可使用餘弦方程式，但不以此為限。
在步驟S1206，如第14圖所示，計算單元P以該虛擬平面中之極線EL’中的所有虛擬點V1’~Vn’之位置與所有實體空間點V1~Vn距使用者E之距離得到第三關係線段LR3。
在步驟S1207，計算單元P比對該第一關係與該第三關係以得到二者之交點，從而由該交點得到第五目標O5在該實體空間中之位置，其中，由此交點資訊可得到第五目標O5相對於使用者E的估算位置與距離，即第14圖中第五目標O5的點所對應之Y軸的值。
本發明提出如第13圖所示之本發明之一種轉換實體影像與虛擬影像的系統之又一態樣，其包括不與使用者E之視線EL重合之影像擷取裝置C及與影像擷取裝置C耦接之計算單元P。
如上所述之影像擷取裝置C擷取在使用者E之視線EL中距使用者E之不同距離的至少三個實體距離參考物，例如第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3之影像，以得到由該些影像所分別對應之第一虛擬距離參考物R1’、第二虛擬距離參考物 R2’及第三虛擬距離參考物R3’所形成的極線EL’。並且，於提供在一實體平面上、在使用者E之視線EL中及已知彼此距離和實體位置的至少四個實體平面構成物，例如第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4之後，影像擷取裝置C擷取第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4之影像，以得到由該些影像所分別對應且構成虛擬平面之已知在該虛擬平面的位置之至少四個虛擬平面構成物，例如第一虛擬平面構成物RP1’、第二虛擬平面構成物RP2’、第三虛擬平面構成物RP3’及第四虛擬平面構成物RP4’。另外，在該實體平面中提供第五目標O5之後，影像擷取裝置C擷取第五目標O5之影像於極線EL’中，以產生對應第五目標O5之第五虛擬目標O5’。特定而言，在該實體平面中提供第五目標O5之後，使用者E之視線EL通常應直視第五目標O5以確保影像擷取裝置C所擷取第五目標O5之影像於極線EL’中，也就是所產生對應第五目標O5之第五虛擬目標O5’是在極線EL’中。如上所述之計算單元P根據第一實體距離參考物R1、第二實體距離參考物R2、第三實體距離參考物R3、第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛擬距離參考物R3’之位置對應關係得到第一實體距離參考物R1、第二實體距離參考物R2及第三實體距離參考物R3距使用者E之距離與第一虛擬距離參考物R1’、第二虛擬距離參考物R2’及第三虛 擬距離參考物R3’在極線EL’中的位置之間的第一關係。此外，計算單元P經由該第一關係而得到第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4距使用者E之距離。再者，計算單元P以第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4之實體位置與第一虛擬平面構成物RP1’、第二虛擬平面構成物RP2’、第三虛擬平面構成物RP3’及第四虛擬平面構成物RP4’在該虛擬平面的位置之間的對應關係得到一座標轉換矩陣 H 。另外，計算單元P以該虛擬平面中之極線EL’中的所有虛擬點V1’~Vn’之位置經由座標轉換矩陣 H 得到該虛擬平面中之極線EL’中的所有虛擬點V1’~Vn’所對應之所有實體空間點V1~Vn在該實體平面的位置。又計算單元P以第一實體平面構成物RP1、第二實體平面構成物RP2、第三實體平面構成物RP3及第四實體平面構成物RP4的已知彼此距離和距使用者E之距離、以及所有實體空間點V1~Vn在該實體平面的位置得到該所有實體空間點V1~Vn距使用者E之距離。另計算單元P以該虛擬平面中之極線EL’中的所有虛擬點V1’~Vn’之位置與所有實體空間點V1~Vn距使用者E之距離得到第三關係。最後，計算單元P比對該第一關係與該第三關係以得到二者之交點，其中，由此交點資訊可得到第五目標O5相對於使用者E的估算位置與距離，即第14圖中第五目標O5的點所對應之Y軸的值。
綜上所述，相較於習知技術，本發明藉由使用與使用者為固定位置關係且不與使用者之視線重合的影像擷取裝置擷取實體之影像以產生虛擬影像，且以計算單元利用實體的實體位置與虛擬影像在虛擬空間(畫素座標)中的虛擬位置之間的位置關係得到目標之實體位置，從而可輕巧穿戴、不另需手持設備、不干擾活動中使用者的視野、對於已知物體表面(平面)上之任意目標點可同時進行指向及/或測距的功能、以及不需發射測距訊號。
上述實施例係用以例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修改。因此本發明之權利保護範圍，應如申請專利範圍所列。
S101~S103‧‧‧步驟

Claims (18)

  1. 一種實體影像與虛擬影像之間轉換的方法，係包括：設置不與使用者之視線重合的影像擷取裝置；提供在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物，以該影像擷取裝置擷取該至少三個實體距離參考物之影像，進而得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及以耦接該影像擷取裝置之計算單元根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，取得該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；其中，在得到該第一關係之後，更包括：在該至少三個實體距離參考物構成之直線之延伸方向中提供第一目標，以該影像擷取裝置擷取該第一目標之影像於該極線之延伸方向中，進而得到在該極線之延伸方向中之第一虛擬目標及該第一虛擬目標之位置；以及令該計算單元以該至少三個實體距離參考物、該至少三個虛擬距離參考物及該第一虛擬目標之位置對應關係經由該第一關係得到該第一目標距該使用者之距離。
  2. 如申請專利範圍第1項所述之方法，其中，該計算單元 係利用交比(cross ratio)方程式得到該第一目標距該使用者之距離。
  3. 一種實體影像與虛擬影像之間轉換的方法，係包括：設置不與使用者之視線重合的影像擷取裝置；提供在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物，以該影像擷取裝置擷取該至少三個實體距離參考物之影像，進而得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及以耦接該影像擷取裝置之計算單元根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，取得該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；其中，在得到該第一關係之後，更包括：提供距該使用者之已知距離的第二目標於該使用者之視線中；令該計算單元以該第一關係得到該第二目標於該極線之延伸方向中所對應之第二虛擬目標之位置；令該使用者之視線對應所欲的第三目標，且令該影像擷取裝置擷取該第三目標之影像為於該極線之延伸方向中的第三虛擬目標；以及令該計算單元比對該第二虛擬目標之位置與該第三虛擬目標之位置。
  4. 如申請專利範圍第3項所述之方法，其中，該第二目標、該第二虛擬目標、該第三目標及該第三虛擬目標之數目係複數個，而提供該第二目標至該影像擷取裝置擷取該第三目標之影像的步驟係循環進行後再進行該計算單元比對該些第二虛擬目標之位置與該些第三虛擬目標之位置的步驟，或者提供該第二目標至該計算單元比對該些第二虛擬目標之位置與該些第三虛擬目標之位置的步驟係重覆完整進行。
  5. 一種實體影像與虛擬影像之間轉換的方法，係包括：設置不與使用者之視線重合的影像擷取裝置；提供在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物，以該影像擷取裝置擷取該至少三個實體距離參考物之影像，進而得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及以耦接該影像擷取裝置之計算單元根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，取得該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；其中，擷取該至少三個實體距離參考物之影像係以該影像擷取裝置進行，且設置不與該使用者之視線重合及位置相異於該影像擷取裝置的另一影像擷取裝置，而在得到該第一關係之後，更包括： 提供已知彼此之實體位置關係的複數第四目標於該使用者之視線中；令該另一影像擷取裝置擷取該使用者之影像；判定該使用者之實體位置以得到該使用者距各該第四目標之距離，令該計算單元得到該使用者距各該第四目標之距離，且令該影像擷取裝置擷取該些第四目標之影像以形成該極線之延伸方向中已知虛擬位置的複數第四虛擬目標；令該計算單元以各該第四目標之距該使用者之實體距離與對應各該第四目標之各該第四虛擬目標的已知該些虛擬位置得到第二關係；以及令該計算單元比對該第一關係與該第二關係以得到二者之交點。
  6. 如申請專利範圍第5項所述之方法，其中，該些第四虛擬目標係附加有識別訊息。
  7. 一種實體影像與虛擬影像之間轉換的方法，係包括：設置不與使用者之視線重合的影像擷取裝置；提供在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物，以該影像擷取裝置擷取該至少三個實體距離參考物之影像，進而得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及以耦接該影像擷取裝置之計算單元根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位 置對應關係，取得該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；其中，於該影像擷取裝置擷取該至少三個實體距離參考物之影像之前，以位於該至少三個實體距離參考物與該使用者之間的視覺裝置而令與該三個實體距離參考物排成一列的標記出現。
  8. 一種實體影像與虛擬影像之間轉換的方法，係包括：設置不與使用者之視線重合的影像擷取裝置；提供在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物，以該影像擷取裝置擷取該至少三個實體距離參考物之影像，進而得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及以耦接該影像擷取裝置之計算單元根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，取得該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；其中，於得到該第一關係之後，更包括：提供在一實體平面上、在該使用者之視線中及已知彼此距離和實體位置的至少四個實體平面構成物，且以該影像擷取單元擷取該至少四個實體平面構成物之影像，以得到由該些影像所分別對應且構成虛擬平面之在 該虛擬平面的已知位置之至少四個虛擬平面構成物，而該至少四個實體平面構成物距該使用者之距離係藉由該計算單元經由該第一關係而得到；該計算單元以該至少四個實體平面構成物之實體位置與該至少四個虛擬平面構成物在該虛擬平面的位置之間的對應關係而得到一座標轉換矩陣；在該實體平面中提供第五目標，且該影像擷取單元擷取該第五目標之影像於該極線中，以產生對應該第五目標之第五虛擬目標；該計算單元以該虛擬平面中之該極線中的所有虛擬點及該第五虛擬目標之位置經由該座標轉換矩陣得到該虛擬平面中之該極線中的所有虛擬點所對應之所有實體空間點在該實體平面的位置；該計算單元以該至少四個實體平面構成物的已知彼此距離和距該使用者之距離、以及該所有實體空間點在該實體平面的位置得到該所有實體空間點距該使用者之距離；該計算單元以該虛擬平面中之該極線中的所有虛擬點及該第五虛擬目標之位置與該所有實體空間點距該使用者之距離得到第三關係；以及該計算單元比對該第一關係與該第三關係以得到二者之交點。
  9. 如申請專利範圍第8項所述之方法，其中，該座標轉換矩陣係單應性(homography)矩陣，且該計算單元得到該 所有實體空間點及該第五目標距該使用者之距離係使用餘弦方程式。
  10. 一種轉換實體影像與虛擬影像的系統，係包括：影像擷取裝置，係不與使用者之視線重合，且擷取在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物之影像，以得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及計算單元，係耦接該影像擷取裝置且根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，以得到該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；其中，在得到該第一關係之後，在該至少三個實體距離參考物構成之視線之延伸方向中提供第一目標，而該影像擷取裝置擷取該第一目標之影像於該極線之延伸方向中，以得到在該極線之延伸方向中的已知位置之第一虛擬目標，且該計算單元以該至少三個實體距離參考物、該至少三個虛擬距離參考物及該第一虛擬目標之位置對應關係經由該第一關係得到該第一目標距該使用者之距離。
  11. 如申請專利範圍第10項所述之系統，其中，該計算單元係利用交比方程式得到該第一目標距該使用者之距離。
  12. 一種轉換實體影像與虛擬影像的系統，係包括： 影像擷取裝置，係不與使用者之視線重合，且擷取在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物之影像，以得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；以及計算單元，係耦接該影像擷取裝置且根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，以得到該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；其中，在得到該第一關係之後，提供距該使用者之已知距離的第二目標於該使用者之視線中，之後該使用者之視線對應所欲的第三目標，而該計算單元以該第一關係得到該第二目標於該極線之延伸方向中所對應之第二虛擬目標之位置，且該影像擷取裝置擷取該第三目標之影像為於該極線之延伸方向中的第三虛擬目標，該計算單元比對該第二虛擬目標之位置與該第三虛擬目標之位置。
  13. 一種轉換實體影像與虛擬影像的系統，係包括：影像擷取裝置，係不與使用者之視線重合，且擷取在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物之影像，以得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；計算單元，係耦接該影像擷取裝置且根據該至少三個實體距離參考物與該至少三個虛擬距離參考物之位 置對應關係，以得到該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；以及不與該使用者之視線重合的另一影像擷取裝置，該另一影像擷取裝置的位置係相異於該影像擷取裝置，其中，在得到該第一關係之後，提供已知彼此之實體位置關係的複數第四目標於該使用者之視線中，而該另一影像擷取裝置擷取該使用者之影像，該影像擷取裝置擷取該些第四目標之影像以形成該極線之延伸方向中已知虛擬位置的該些第四虛擬目標，且該計算單元或外部之計算單元判定該使用者之實體位置以得到該使用者距各該第四目標之距離，而該計算單元在得到該使用者距各該第四目標的距離之後，以各該第四目標之距該使用者之實體距離與對應各該第四目標之各該第四虛擬目標的已知該些虛擬位置得到第二關係，且該計算單元比對該第一關係與該第二關係以得到二者之交點。
  14. 如申請專利範圍第13項所述之系統，其中，該些第四虛擬目標係附加有識別訊息。
  15. 一種轉換實體影像與虛擬影像的系統，係包括：影像擷取裝置，係不與使用者之視線重合，且擷取在該使用者之視線中距該使用者之不同距離的至少三個實體距離參考物之影像，以得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線；計算單元，係耦接該影像擷取裝置且根據該至少三 個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係，以得到該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中的位置之間的第一關係；以及位於該至少三個實體距離參考物與該使用者之間的視覺裝置，係用以出現與該三個實體距離參考物排成一列的標記。
  16. 一種轉換實體影像與虛擬影像的系統，係包括：影像擷取單元，係不與使用者之視線重合，且擷取在該使用者之視線中至少為近似直線且距該使用者之不同已知距離的至少三個實體距離參考物之影像，以得到由該些影像所分別對應之至少三個虛擬距離參考物所形成的極線，而於提供在一實體平面上、在該使用者之視線中及已知彼此距離和實體位置的至少四個實體平面構成物之後，該影像擷取單元擷取該至少四個實體平面構成物之影像，以得到由該些影像所分別對應且構成虛擬平面之在該虛擬平面的已知位置之至少四個虛擬平面構成物，且在該實體平面中提供目標之後，該影像擷取單元擷取該目標之影像於該極線中，以產生對應該目標之虛擬目標；以及計算單元，係與該影像擷取單元耦接，且以該至少三個實體距離參考物與該至少三個虛擬距離參考物之位置對應關係得到該至少三個實體距離參考物距該使用者之距離與該至少三個虛擬距離參考物在該極線中 的位置之間的第一關係，而該計算單元經由該第一關係而得到該至少四個實體平面構成物距該使用者之距離，且該計算單元以該至少四個實體平面構成物之實體位置與該至少四個虛擬平面構成物在該虛擬平面的位置之間的對應關係得到一座標轉換矩陣，再者，該計算單元以該虛擬平面中之該極線中的所有虛擬點之位置經由該座標轉換矩陣得到該虛擬平面中之該極線中的所有虛擬點所對應之所有實體空間點在該實體平面的位置，另該計算單元以該至少四個實體平面構成物的已知彼此距離和距該使用者之距離、以及該所有實體空間及該目標在該實體平面的位置得到該所有實體空間點距該使用者之距離，又該計算單元以該虛擬平面中之該極線中的所有虛擬點之位置與該所有實體空間點距該使用者之距離得到第三關係，之後，該計算單元比對該第一關係與該第三關係以得到二者之交點。
  17. 如申請專利範圍第16項所述之系統，其中，該座標轉換矩陣係單應性矩陣，且該計算單元得到該所有實體空間點及該目標距該使用者之距離係使用餘弦方程式。
  18. 如申請專利範圍第16項所述之系統，更包括位於該至少三個實體距離參考物與該使用者之間的視覺裝置，係用以出現與該三個實體距離參考物排成一列的標記。
TW105115704A 2016-05-20 2016-05-20 實體影像與虛擬影像之間轉換的方法及其系統 TWI586936B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105115704A TWI586936B (zh) 2016-05-20 2016-05-20 實體影像與虛擬影像之間轉換的方法及其系統
CN201610430876.9A CN107403406B (zh) 2016-05-20 2016-06-16 实体影像与虚拟影像之间转换的方法及其系统
US15/222,340 US10403002B2 (en) 2016-05-20 2016-07-28 Method and system for transforming between physical images and virtual images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105115704A TWI586936B (zh) 2016-05-20 2016-05-20 實體影像與虛擬影像之間轉換的方法及其系統

Publications (2)

Publication Number Publication Date
TWI586936B true TWI586936B (zh) 2017-06-11
TW201741622A TW201741622A (zh) 2017-12-01

Family

ID=59688080

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105115704A TWI586936B (zh) 2016-05-20 2016-05-20 實體影像與虛擬影像之間轉換的方法及其系統

Country Status (3)

Country Link
US (1) US10403002B2 (zh)
CN (1) CN107403406B (zh)
TW (1) TWI586936B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
US11295141B1 (en) * 2019-03-15 2022-04-05 Alarm.Com Incorporated Security camera drone station detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201342254A (zh) * 2012-04-03 2013-10-16 Univ Chung Hua 物件追蹤方法
TW201525934A (zh) * 2013-12-31 2015-07-01 Ind Tech Res Inst 影像合成系統及方法
TW201624424A (zh) * 2014-12-16 2016-07-01 財團法人工業技術研究院 擴增實境方法與系統

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10116341A (ja) * 1996-10-11 1998-05-06 Sanyo Electric Co Ltd 位置計測方法
EP1946243A2 (en) * 2005-10-04 2008-07-23 Intersense, Inc. Tracking objects with markers
US8265343B2 (en) * 2006-12-25 2012-09-11 Nec Corporation Apparatus, method and program for distance measurement
WO2009100728A1 (en) * 2008-02-12 2009-08-20 Trimble Ab Determining coordinates of a target in relation to a survey instruments having a camera
TW200937348A (en) * 2008-02-19 2009-09-01 Univ Nat Chiao Tung Calibration method for image capturing device
JP2011070579A (ja) * 2009-09-28 2011-04-07 Dainippon Printing Co Ltd 撮影画像表示装置
WO2011053319A1 (en) * 2009-10-30 2011-05-05 Hewlett-Packard Development Company, L.P. Stereo display systems
CN102741884B (zh) * 2010-07-27 2016-06-08 松下知识产权经营株式会社 移动体检测装置及移动体检测方法
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US20140002617A1 (en) * 2012-06-27 2014-01-02 The Board Of Trustees Of The University Of Illinois Particle tracking system and method
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
CN103646391B (zh) * 2013-09-30 2016-09-28 浙江大学 一种针对动态变化场景的实时摄像机跟踪方法
EP2860699A1 (en) * 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
TWI529663B (zh) * 2013-12-10 2016-04-11 財團法人金屬工業研究發展中心 虛擬影像定位方法及其裝置
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201342254A (zh) * 2012-04-03 2013-10-16 Univ Chung Hua 物件追蹤方法
TW201525934A (zh) * 2013-12-31 2015-07-01 Ind Tech Res Inst 影像合成系統及方法
TW201624424A (zh) * 2014-12-16 2016-07-01 財團法人工業技術研究院 擴增實境方法與系統

Also Published As

Publication number Publication date
CN107403406A (zh) 2017-11-28
US20170337707A1 (en) 2017-11-23
TW201741622A (zh) 2017-12-01
US10403002B2 (en) 2019-09-03
CN107403406B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US8696141B2 (en) Method, apparatus, and manufacture for a tracking camera or detector with fast asynchronous triggering
US9740282B1 (en) Gaze direction tracking
TWI486631B (zh) 頭戴式顯示裝置及其控制方法
US20090244097A1 (en) System and Method for Providing Augmented Reality
US20130176337A1 (en) Device and Method For Information Processing
JP2013206322A (ja) 情報処理装置、情報処理システム及び情報処理方法
US20100188355A1 (en) Apparatus and method for detecting an object pointed by a user
WO2013191120A1 (ja) 画像処理装置、方法、プログラム、および記録媒体
TWI651657B (zh) 擴增實境系統與方法
US11720996B2 (en) Camera-based transparent display
CN111998959B (zh) 基于实时测温系统的温度校准方法、装置及存储介质
TWI586936B (zh) 實體影像與虛擬影像之間轉換的方法及其系統
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
TW578031B (en) Projection system with an image capturing device
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
Andersen et al. A hand-held, self-contained simulated transparent display
San Agustin et al. Gaze-based interaction with public displays using off-the-shelf components
Gunn et al. Using sticky light technology for projected guidance
CN111857461B (zh) 图像显示方法、装置、电子设备及可读存储介质
JP2015100052A (ja) 映像投影装置
JP2012058353A (ja) 画像表示装置、及びその制御方法
JP4340760B2 (ja) ハンズフリーポインティングシステム
US10477104B1 (en) Image sensor selection in a multiple image sensor device
Scherfgen et al. A robust inside-out approach for 3D interaction with large displays