TWI436270B - 虛擬望遠方法及其裝置 - Google Patents

虛擬望遠方法及其裝置 Download PDF

Info

Publication number
TWI436270B
TWI436270B TW99111193A TW99111193A TWI436270B TW I436270 B TWI436270 B TW I436270B TW 99111193 A TW99111193 A TW 99111193A TW 99111193 A TW99111193 A TW 99111193A TW I436270 B TWI436270 B TW I436270B
Authority
TW
Taiwan
Prior art keywords
image
virtual
observer
virtual object
optical module
Prior art date
Application number
TW99111193A
Other languages
English (en)
Other versions
TW201135583A (en
Inventor
Chun Li Chang
Kuo Cheng Huang
Chien Liang Lin
Wen Hong Wu
Yu Zheng Su
Chun Jen Chen
Original Assignee
Nat Applied Res Laboratories
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Applied Res Laboratories filed Critical Nat Applied Res Laboratories
Priority to TW99111193A priority Critical patent/TWI436270B/zh
Publication of TW201135583A publication Critical patent/TW201135583A/zh
Application granted granted Critical
Publication of TWI436270B publication Critical patent/TWI436270B/zh

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

虛擬望遠方法及其裝置
本發明是有關於一種虛擬望遠方法及其裝置,特別是涉及使用望遠以觀測虛擬實境與擴增實境的方法及利用該方法所構成的裝置。
虛擬實境(Virtual Reality,VR)為電腦利用電腦繪圖或影像合成技術建構的虛擬環境,在此虛擬環境中的虛擬物件影像可為觀測者常見的實物影像、或經由影像可引導觀測者產生虛幻想像的影像;觀測者可透過載上頭戴顯示器(head mounting display,HMD)、使用3D滑鼠或穿上感應手套等虛擬實境設備,於虛擬環境進行瀏覽、控制或觸及虛擬物件影像;虛擬實境處理系統,則可依據觀測者的行為,進行運算處理,並即時(on-line)顯示新的虛擬物件影像或反應觀測者的行為。因此,觀測者藉由虛擬實境處理系統產生身歷其境的感覺與效果,使觀測者融入虛擬實境中(immersion)、虛擬實境互動(interaction)與藉由觀測者的感官產生幻覺的想像(imagination)。
由於虛擬實境的虛擬物件影像僅為2D圖像或進步者為3D圖像,與實體物件相比欠缺實體感,在先前技術中,如台灣專利 TWI302675將2D圖像的虛擬物件影像以時間構成展示,使觀測者產生3D的虛擬實境;台灣專利TW I286715則揭露使用俯視影像、2D影像與3D影像切換的方式,目的使虛擬實境呈現更多元;再如台灣專利公開號TW200502822,為使虛擬實境的虛擬物件影像與實體物件能相對應,揭露利用電腦(如PDA)對固定的實體物件發出射頻、經接收後可產生對應感測的互動,或使用可移動的實體物件(如玩具熊、玩具車等模型)設置無線接收器以虛擬實境遙控實體物件,以使觀測者更易融入、互動與想像。然而,觀測者所在的位置與虛擬物件影像的相對位置,直接影響虛擬實境的融入程度;例如,當觀測者戴上頭戴顯示器使用虛擬實境設備時,若在相同虛擬物件影像向前行進位置改變時,虛擬物件影像如果不能依位置對應互動,則虛擬實境使觀測者不易融入、互動與想像。同樣,當觀測者姿勢改變而向下俯看、轉頭、點頭、向上仰望時,虛擬物件影像如果不能依位置對應互動,則虛擬實境也使觀測者不易融入、互動與想像。
近年,為使虛擬視覺與真實環境更為合理,在虛擬實境下發展了擴增實境(Augmented Reality,又稱為混合實境Mixed Reality),主要是將電腦產生的虛擬物件影像融合於實境背景影像,用於增設虛擬物體於實體環境,以增強實體環境之虛擬功能與視覺認知,如美國專利US7,162,054、日本專利公開號JP2005-141433、美國專利公開號US2008/0147325、US2009/0244097、台灣專利TWM369462等,主要揭露將圖片或標誌的識別元件融入擴增實境中,或辨識觀測者的位置的技術;如第1圖,當觀測者戴上頭戴式顯示器82,頭戴式顯示器82附有攝影裝置822,並且連接至擴 增實境影像處理裝置81;錄攝時,先在實體物件(如路跑的路程上)放置擴增實境識別元件83(如圖卡),當觀測者使用攝影裝置822拍攝下實體物件(含擴增實境識別元件83)的影像,而形成虛擬影像,形成擴增實境影像。當觀測者使用頭戴式顯示器82時,擴增實境影像處理裝置1會識別擴增實境識別元件83出現於畫面資料,根據擴增實境識別元件83的圖形以識別擴增實境識別元件83的種類,並導入對應擴增實境識別元件83之擴增實境影像,以進行後續虛擬影像與實體影像的結合。然而,相較於虛擬實境的模式,此擴增實境模式已增加入實體影像的結合,但仍存在前述的觀測者向前行進位置改變或姿勢改變時,虛擬物件影像不能依位置對應互動的困難。
再如第2圖,觀測者94佩戴擴增實境裝置95在視覺空間91移動,此視覺空間91可舉例為房間,即當觀測者94佩戴擴增實境裝置95在各個不同房間移動時,投影單元951發出虛擬物件影像93,虛擬物件影像93係藉由影像處理器953與網路界面952連接至資訊伺服器96,由資訊伺服器96提供虛擬物件影像93,也可暫存於記憶體956中;位置感測單元955及光學感測單元954可以偵測觀測者94位置的改變,以提供給影像處理器953,其中,位置感測單元955可為加速度計、陀螺儀、超音波感測器或GPS等;其中,光學感測單元954可為光強度感測器,可以偵測觀測者94在房間的位置或角度。經由此設計影像處理器953可以依據觀測者94在房間的位置投影出適當的虛擬物件影像93,觀測者94可以融入虛擬物件影像93與實體物件92構成的擴增實境中。然而,此擴增實境模式已增加入觀測者94位置的改變,但仍存在前述的觀測者94姿勢 改變時,虛擬物件影像不能依觀測者94的姿勢對應互動的困難。
又,習知的頭戴式顯示器82或類似的光學系統,僅能在近處提供影像,觀測者的眼睛容易疲累,尤其在虛擬影像與實體物件結合時,更容易感受到虛擬影像失真,難以提升擴增實境的效果。
有鑑於上述習知技術的問題與實用需求,本發明之主要目的就是在提供一種虛擬望遠方法,以用於虛擬實境與擴增實境,當用於虛擬實境時,該方法包含:(1)先建立環場影像與虛擬物件影像,其中,環場影像包含有識別元件影像;將虛擬物件影像結合環場影像,投影後供觀測者以望遠方式觀看;(2)偵測觀測者的位置,比對觀測者的位置與環場影像中識別元件影像的相對位置,以建立虛擬物件影像的位置條件;依據位置條件,調整虛擬物件影像呈現的遠近,由觀測者經由望遠光學模組以望遠方式觀測虛擬物件影像與環場影像;(3)偵測觀測者的姿勢,比對觀測者的姿勢與環場影像中識別元件影像的相對角度,以建立虛擬物件影像的情境條件;依據情境條件,調整虛擬物件影像呈現的角度,由觀測者經由望遠光學模組以望遠方式觀測虛擬物件影像與環場影像。
當用於擴增實境時,該方法包含:(1)建立虛擬物件影像,將虛擬物件影像投影後供觀測者以望遠方式觀看; (2)偵測觀測者的位置,比對觀測者的位置與實體物件的距離,以建立虛擬物件影像的位置條件;依據位置條件,調整虛擬物件影像呈現的遠近,由觀測者經由望遠光學模組以望遠方式觀測虛擬物件影像與實體物件;(3)偵測觀測者的姿勢,比對觀測者的姿勢與實體物件的角度,以建立虛擬物件影像的情境條件;依據情境條件,調整虛擬物件影像呈現的角度,由觀測者經由望遠光學模組以望遠方式觀測虛擬物件影像與實體物件。
對於前述之虛擬望遠方法,本發明之另一個主要目的就是在提供一種虛擬望遠裝置,可用於虛擬實境與擴增實境,該虛擬望遠裝置包含:影像訊號處理模組、虛擬圖像運算模組及望遠光學模組。影像訊號處理模組與虛擬圖像運算模組,可將實體物件所拍攝得的虛擬物件影像、與實景所拍攝得的環場影像,經由虛擬圖像運算模組進行運算與組合後,由影像訊號處理模組處理成為電子信號,傳送至望遠光學模組。
望遠光學模組包含有虛擬影像投影單元、望遠鏡頭單元、位置感測單元及姿勢感測單元;望遠光學模組可接收影像訊號處理模組傳送的虛擬影像的電子信號,由虛擬影像投影單元將電子信號轉變為虛擬影像,並投射至望遠鏡頭單元。望遠鏡頭單元係由複數個光學鏡片所構成,如同望遠鏡,可對虛擬影像以望遠聚焦的方式投射至觀測者。
位置感測單元用以感測觀測者的位置資訊,並傳送至影像訊號處理模組,用以調整虛擬物件影像呈現的遠近;姿勢感測單元用以 感測觀測者的姿勢資訊(或虛擬望遠裝置的姿勢資訊),並傳送姿勢資訊至影像訊號處理模組,用以調整虛擬物件影像呈現的角度。虛擬影像投影單元、望遠鏡頭單元、位置感測單元及姿勢感測單元係容納於一外框中,望遠光學模組以有線或無線與影像訊號處理模組電性連接,藉由電性連接將位置資訊與姿勢資訊傳送給影像訊號處理模組,影像訊號處理模組處理後的虛擬物件影像與環場影像以電子訊號傳送至望遠光學模組,由虛擬影像投影單元轉變成為虛擬影像。
本發明的另一目的在於提供一種虛擬望遠裝置,可用於虛擬實境與擴增實境,該虛擬望遠裝置包含:影像訊號處理模組、虛擬圖像運算模組及望遠光學模組。其中,望遠光學模組包含:虛擬影像投影單元、望遠鏡頭單元、位置感測單元、姿勢感測單元及近目光學單元;近目光學單元由複數個鏡片所構成,可由觀測者調整鏡片間的距離,以調整改變近目光學單元的焦距,使觀測者視覺的焦距改變,可調整觀測虛擬影像。
本發明的再一目的在於提供一種虛擬望遠裝置,可用於虛擬實境與擴增實境,該虛擬望遠裝置包含:影像訊號處理模組、虛擬圖像運算模組及望遠光學模組。其中,望遠光學模組包含:虛擬影像投影單元、望遠鏡頭單元、位置感測單元、姿勢感測單元及切換視窗,其中,切換視窗可用以切換觀測者觀測的虛擬實境模式或擴增實境模式;當虛擬實境模式時,可關閉切換視窗對外界的入射光線,觀測虛擬物件影像與環場影像組合後的虛擬影像,使觀測者身處於虛擬實境;當擴增實境模式時,可打開切換視窗,使外界實景的入射光線可以進入望遠鏡頭單元,使觀測者虛擬物 件影像與實景組合後的虛擬影像。
承上所述,依本發明之虛擬望遠方法及其裝置,其可具有一或多個下述優點:
(1)觀測者可依據觀測目的,選擇虛擬實境模式時,藉由本發明之虛擬望遠方法及其裝置,可將虛擬物件影像與環場影像組合,觀測組合後的虛擬影像;當觀測者移動時,經由位置感測單元可以獲得觀測者的位置資訊,用以調整虛擬物件影像呈現的遠近;經由姿勢感測單元可以獲得觀測者的姿勢資訊(或虛擬望遠裝置的姿勢資訊),用以調整虛擬物件影像呈現的角度。如此使觀測者可以容易融入、互動與想像,可做為射擊訓練、飛行模擬訓練或虛擬歷史場景等使用。
(2)當觀測者打開切換視窗,選擇擴增實境模式時,藉由本發明之虛擬望遠方法及其裝置,可將虛擬物件影像與實景組合,觀測組合後的虛擬影像;當觀測者移動時,經由位置感測單元可以獲得觀測者的位置資訊,用以調整虛擬物件影像呈現的遠近;經由姿勢感測單元可以獲得觀測者的姿勢資訊(或虛擬望遠裝置的姿勢資訊),用以調整虛擬物件影像呈現的角度。如此使觀測者可以容易融入、互動與想像,可做為觀星、賞鳥、或各種模擬訓練等使用。
1‧‧‧虛擬望遠裝置
2‧‧‧觀測者
11‧‧‧望遠光學模組
12‧‧‧影像訊號處理模組
13‧‧‧虛擬圖像運算模組
14‧‧‧外框
15‧‧‧虛擬影像投影單元
151‧‧‧投影組件
152‧‧‧投影透鏡
153‧‧‧反射鏡片
154‧‧‧分光鏡片
16‧‧‧望遠鏡頭單元
17‧‧‧近目光學單元
18‧‧‧切換視窗
191‧‧‧位置感測單元
192‧‧‧姿勢感測單元
21‧‧‧環場影像
22‧‧‧虛擬物件影像
23‧‧‧實體物件
24‧‧‧實景
231、232、233、234‧‧‧識別元件影像
31‧‧‧訓練模擬影像
32‧‧‧虛擬遙控飛機影像
331、332、333、334‧‧‧甲板識別元件影像
81‧‧‧擴增實境影像處理裝置
82‧‧‧頭戴式顯示器
83‧‧‧擴增實境識別元件
822‧‧‧攝影裝置
823‧‧‧螢幕
84‧‧‧擴增實境影像
91‧‧‧視覺空間
92‧‧‧實體物件
93‧‧‧虛擬物件影像
94‧‧‧觀測者
95‧‧‧擴增實境裝置
951‧‧‧投影單元
952‧‧‧網路界面
953‧‧‧影像處理器
954‧‧‧光學感測單元
955‧‧‧位置感測單元
956‧‧‧記憶儲存單元
96‧‧‧資訊伺服器
S11~S15‧‧‧步驟
S21~S25‧‧‧步驟
第1圖係為習知之擴增實境影像處理裝置之示意圖;第2圖係為習知之擴增實境裝置之示意圖;;第3圖係為本發明之虛擬望遠裝置第一實施例在虛擬實境模式操 作之示意圖;第4圖係為本發明之虛擬望遠方法應用於虛擬實境模式之流程圖;第5圖係為本發明之虛擬望遠裝置第一實施例在擴增實境模式操作之示意圖;第6圖係為本發明之虛擬望遠裝置第二實施例在擴增實境模式操作之示意圖;第7圖係為本發明之虛擬望遠方法應用於擴增實境模式之流程圖;以及第8A~8C圖係為本發明之虛擬望遠裝置運用在遙控飛機降落訓練之第三實施例之示意圖。
請參閱第3圖,係為本發明之虛擬望遠裝置1第一實施例在虛擬實境模式操作之示意圖,虛擬望遠裝置1可用於虛擬實境與擴增實境,虛擬望遠裝置1包含:影像訊號處理模組12、虛擬圖像運算模組13及望遠光學模組11;影像訊號處理模組12係連接望遠光學模組11,可將電子信號或資訊相互傳送;可接收望遠光學模組11傳送的信號,並可將虛擬影像的電子信號傳送至望遠光學模組11;其連接方式可為有線或無線方式,當使用無線方式時,可使用紅外線傳輸、藍芽傳輸、WiFi傳輸等各種數據傳輸協定,不為限定。
影像訊號處理模組12儲存有實體物件各種大小角度的虛擬物件影像22與許多幕的實景的環場影像21,例如第3圖中,飛機各種大小角度的影像(虛擬物件影像22)及飛機行徑上的許多幕的風景影 像(環場影像21);影像訊號處理模組12依據觀測者2的情境,選擇適合情境的虛擬物件影像22與環場影像21,送至虛擬圖像運算模組13進行運算,組合後形成一個虛擬影像,由該影像訊號處理模組處理該虛擬影像成為電子信號後,傳送至望遠光學模組11;虛擬圖像運算模組13運算方式為調整虛擬物件影像22與環場影像21的相對位置、虛擬物件影像22的大小或角度等,以形成適合此情境合理的虛擬影像。
其中,環場影像21包含有至少一個識別元件影像231,識別元件影像231可以標注特定的為置資訊。在本實施例中,共有四個識別元件影像231、232、233、234,分別設置於大樹的根部、雲的右側、船桅的上方及群山腰部;識別元件影像231、232、233、234的位置可與虛擬物件影像22位置產生對應,可藉由識別元件影像231、232、233、234的位置識別虛擬物件影像22位置,可由虛擬圖像運算模組13調整虛擬物件影像22與環場影像21的相對位置。
望遠光學模組11包含:虛擬影像投影單元15、望遠鏡頭單元16、位置感測單元191、姿勢感測單元192、近目光學單元17及切換視窗18,並容置於外框14中。
虛擬影像投影單元15如商品的微投影機(pico projector),用以將虛擬影像的電子信號轉變為虛擬影像,送至望遠鏡頭單元16,虛擬影像投影單元15通常包含有投影組件151、投影透鏡152及反射鏡片153,此僅為舉例,依據虛擬影像投影單元15之設計,不為限定;對於不同的虛擬影像投影單元15設計,投影組件151可由三色雷射光源或單色光源及掃描元件所構成,常用的掃描元件 如微機電掃描鏡片(MEMS scanner)、數位光源處理(Digital Light Processing,DLP)或矽基液晶(Liquid crystal on silicon,LCoS),當雷射光源依據虛擬影像的電子信號控制發出雷射光線後,經由掃描元件將雷射光線掃描(或處理)後,經由投影透鏡152聚集及反射鏡片153反射角度後入射至望遠鏡頭單元16。若在入射至望遠鏡頭單元16之前,欲引入外界實景,則可增設分光鏡片154(如第6圖所示)。
望遠鏡頭單元16係由複數個光學鏡片所構成,在本實施例中採用七個透鏡所構成,望遠鏡頭單元16可對虛擬影像投影單元15投射的虛擬影像,以望遠聚焦的方式投射至觀測者2,由觀測者2觀測。由於觀測者2係透過望遠鏡頭單元16觀測虛擬影像,使虛擬影像更具立體感,也較不疲累,使觀測者2可以容易融入虛擬影像。然而,觀測者2單純觀測虛擬影像不易產生互動與想像,本發明之虛擬望遠裝置1之望遠光學模組11更包含有位置感測單元191與姿勢感測單元192。
位置感測單元191可感測觀測者2持望遠光學模組11所在的位置資訊,由望遠光學模組11傳送此位置資訊至影像訊號處理模組12,由影像訊號處理模組12調整虛擬物件影像22呈現的遠近;例如,觀測者2的位置接近環場影像21所展示的實景時,虛擬物件影像22則可以經由影像訊號處理模組12調整較大或偏離原虛擬物件影像22的位置(如向右偏離),使觀測者2感受虛擬影像更為真實;同樣的,觀測者2的位置遠離環場影像21所展示的實景時,虛擬物件影像22則可以經由影像訊號處理模組12調整較小或偏離原虛擬物件影像22的位置(如向左偏離)。
位置感測單元191的位置感測元件可為全球定位系統(Global Positioning System,GPS)或雷射測距系統,並不限制。在本實施例係採用全球定位系統為位置感測單元191之位置感測元件,全球定位系統是利用基本的三角測量原理,而達到定位的目的。當觀測者2移動時,每個時間點都有一個座標值,這個座標值是已知的,全球定位系統接收機所在位置的座標是未知值,全球定位系統可同時接收到至少3顆衛星的訊號,依據全球定位系統接收到訊號的衛星所構成的角度,而計算出觀測者2的座標位置。位置感測單元191接收全球定位系統的座標位置,經計算後將位置資訊傳送至影像訊號處理模組12。全球定位系統有不同應用系統,在本實施例中,位置感測單元191全球定位系統112為差分全球定位系統(Differential GPS,DGPS);DGPS係利用附近的已知參考座標點,來修正全球定位系統的誤差,再將此即時(real time)誤差值加入本身座標運算的考慮,以可獲得精確的觀測者2的座標位置。對於不同的應用,位置感測單元191之全球定位系統也可為廣域增強差分全球定位系統(Wide Area Augmentation System GPS,WAAS-DGPS),WAAS-DGPS可以校正由電離層干擾、時序控制不正確以及衛星軌道錯誤等因素所造成的GPS訊號誤差,以可獲得更精確的觀測者2的座標位置。
姿勢感測單元192可感測觀測者2持望遠光學模組11的姿勢資訊,由望遠光學模組11傳送此姿勢資訊至影像訊號處理模組12,由影像訊號處理模組12調整虛擬物件影像22呈現的角度;例如,觀測者2持望遠光學模組11向左(右)旋轉時,即沿Y軸移動之偏移(Yaw),姿勢感測單元192感測到向左(右)的加速度,虛擬物件影 像22則可以經由影像訊號處理模組12調整向左(右)移動,使觀測者2感受虛擬影像更為真實;若觀測者2持望遠光學模組11向下(上)時,即沿Z軸移動之翻滾(Roll),姿勢感測單元192感測到向下(上)的加速度,虛擬物件影像22則可以經由影像訊號處理模組12調整為向下俯視(向上仰視);或當觀測者2持望遠光學模組11上下點頭時,虛擬物件影像22則隨之上下點頭;同樣的,若觀測者2持望遠光學模組11向前(後)時,即沿X軸移動之寸動(Pitch),姿勢感測單元192感測到向前(後)的加速度,虛擬物件影像22則可以經由影像訊號處理模組12調整為前(後)寸動;由此可使觀測者2可以容易融入虛擬影像並產生互動,進以產生虛擬實境的想像。
姿勢感測單元192的姿勢感測元件可為慣性參考儀(IMU)、三軸加速度計(3D accelerometer)或陀螺儀(Gyros),並不限制。在本實施例係採用三軸加速度計為姿勢感測單元192之姿勢感測元件,三軸加速度計可感測觀測者2持望遠光學模組11之姿態資訊,在本實施例係採用Virtus Advanced Sensors(VAS)生產的商品型號為VAS340A之半導體式三軸加速度計,可偵測Z軸翻滾、Y軸偏移及X軸寸動的姿勢資訊,由姿勢感測單元192傳輸至影像訊號處理模組12。
其中,近目光學單元17係設置於望遠鏡頭單元16與觀測者2之間,為數片光學透鏡所組成;在實施例為二透鏡群,第一透鏡群為單片光學透鏡,第二透鏡群為二片黏合(cement)的光學透鏡,藉由旋轉光學透鏡的鏡筒,可以改變二透鏡群的空氣間距,進以改變近目光學單元17的焦距;由此觀測者2可藉由近目光學單元17 的調整,使在望遠的觀測更為便利調整至最清晰的虛擬影像。
其中,切換視窗18係設置於觀測者2與望遠鏡頭單元16的光學路徑上,光學路徑可以由觀測者2直線向實景方向,也可以利用反射鏡改變實景入射光線的路徑,不為所限。當切換視窗18關閉時(如第3圖所示),外界實景的光線被阻斷,不能經由望遠鏡頭單元16進入觀測者2的眼睛中,僅有虛擬物件影像22與環場影像21組合的虛擬影像進入望遠鏡頭單元16及觀測者2的眼睛中,觀測者2所觀測的為虛擬實境模式;當切換視窗18打開時(如第5圖所示),外界實景的光線可以經由望遠鏡頭單元16進入觀測者2的眼睛中,而虛擬物件影像22(或虛擬物件影像22與環場影像21組合的虛擬影像)亦同時進入望遠鏡頭單元16及觀測者2的眼睛中,觀測者2所觀測的為擴增實境模式。
請參閱第6圖,係為本發明之虛擬望遠裝置1第二實施例,為在擴增模式操作之示意圖,虛擬望遠裝置1包含:影像訊號處理模組12、虛擬圖像運算模組13及望遠光學模組11。望遠光學模組11包含:虛擬影像投影單元15、望遠鏡頭單元16、位置感測單元191、姿勢感測單元192、近目光學單元17及切換視窗18,並容置於外框14中。第二實施例與第一實施例不同點為虛擬影像投影單元15進一步包含分光鏡片154,當切換視窗18打開後,因虛擬影像入射於分光鏡片154,虛擬影像被分光鏡片154所反射而進入望遠鏡頭單元16,由觀測者2所觀測;因外界實景的入射光線大於臨界角度,外界實景的入射光線直接進入望遠鏡頭單元16由觀測者2所觀測;由此,觀測者2可同時觀測到實景與虛擬影像。
請參閱第4圖,其係為本發明虛擬望遠方法之步驟示意圖,該方 法應用於虛擬實境,包含下列步驟:S11:建立環場影像21與虛擬物件影像23,其中,環場影像21包含有識別元件影像231、232、233、234;將虛擬物件影像22結合環場影像21,投影後供觀測者2觀看;如第3圖中,飛機的虛擬物件影像23與風景的環場影像21組合,並且飛機的位置在船桅(識別元件影像233)的上方、雲(識別元件影像232)的右方;S12:偵測觀測者2的位置,比對觀測者2的位置與環場影像21中識別元件影像231、232、233、234的相對位置,以建立虛擬物件影像22的位置條件;例如,觀測者2持望遠光學模組11向前進,位置感測單元191感測GPS的座標改變,影像訊號處理模組12比對GPS的座標與環場影像21中的樹根、雲、船桅及群山腰部相對位置,建立飛機的位置條件;S13:依據位置條件,調整虛擬物件影像22呈現的遠近,由觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測虛擬物件影像22與環場影像21;例如,由於觀測者2向前進,影像訊號處理模組12將飛機的虛擬物件影像22尺寸變大,使觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測,感覺接近了飛機;S14:偵測觀測者2的姿勢,比對觀測者2的姿勢與環場影像21中識別元件影像231、232、233、234的相對角度,以建立虛擬物件影像22的情境條件;例如,觀測者2持望遠光學模組11向上仰,姿勢感測單元192感測到Y軸的加速度,影像訊號處理模組12比對環場影像21中的樹根、雲、船桅及群山腰部相對角度,建立飛機 的情境條件;S15:依據情境條件,調整虛擬物件影像22呈現的角度,由觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測虛擬物件影像22與環場影像21;例如,由於觀測者2向上仰,影像訊號處理模組12將飛機的虛擬物件影像22機腹向上旋轉對應的角度,使觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測,感覺向上仰視飛機。
當觀測者2於擴增實境模式時,如第5圖,望遠光學模組11之切換視窗18打開;本發明虛擬望遠方法可應用於擴增實境模式,如第7圖,包含下列步驟:S21:建立虛擬物件影像22,將虛擬物件影像22投影後供觀測者2觀看;虛擬物件影像22經由望遠光學模組11之望遠鏡頭單元16,由觀測者2以望遠方式觀測;此時,外界的實景光線也經由望遠光學模組11之望遠鏡頭單元16,也同時由觀測者2以望遠方式觀測,觀測者2可看到飛機的虛擬物件影像22飛行於風景實物(實景24)中;特別說明,在此實施例中,當切換視窗18打開後,虛擬影像投影單元15投影的虛擬影像(飛機的虛擬物件影像22),係經由二片反射鏡片153折射進入望遠鏡頭單元16,二片反射鏡片153僅設置於觀測者2的右眼光線路徑,觀測者2的左眼與實景24僅透由望遠鏡頭單元16觀測;形成兩眼獨立觀測,而於觀測者2腦中將實景24與虛擬物件影像22組合;此兩眼獨立觀測為本實施例所說明,但不以此為限。
S22:偵測觀測者2的位置,比對觀測者2的位置與實景24中的實體物件23的距離,以建立虛擬物件影像22的位置條件;例如,觀測者2持望遠光學模組11向前進,位置感測單元191感測GPS的座標改變,影像訊號處理模組12比對GPS的座標與環場影像21中的船(實體物件23)的距離,建立飛機的位置條件;S23:依據位置條件,調整虛擬物件影像22呈現的遠近,由觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測虛擬物件影像22與實景24;例如,由於觀測者2向前進,影像訊號處理模組12將飛機的虛擬物件影像22尺寸變大,使觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測,感覺接近了飛機;S24:偵測觀測者2的姿勢,比對觀測者2的姿勢與實體物件23的角度,以建立虛擬物件影像22的情境條件;例如,觀測者2持望遠光學模組11向上仰,姿勢感測單元192感測到Y軸的加速度,影像訊號處理模組12比對環場影像21中的船(實體物件23)的相對角度,建立飛機的情境條件;S25:依據情境條件,調整虛擬物件影像22呈現的角度,由觀測者經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測虛擬物件影像與實景;例如,由於觀測者2向上仰,影像訊號處理模組12將飛機的虛擬物件影像22機腹向上旋轉對應的角度,使觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測,感覺向上仰視飛機。
本發明之虛擬望遠方法與虛擬望遠裝置1,可用於虛擬實境與擴 增實境之模擬訓練。請參閱第6圖,係為本發明之虛擬望遠裝置1應用於賽車遊戲,為清楚說明,本實施例僅說明擴增實境的模擬遊戲,虛擬實境之遊戲不再贅述。
在第6圖中,賽車跑道的環場影像21包含有四個識別元件影像231、232、233、234,分別設置於跑道的道路界線上;賽車的虛擬物件影像22位置在遊戲開始時,置於賽車跑道的前端(環場影像21的前端)、跑道的道路界線的中間(識別元件影像231、232、233、234的相對中間位置)。
觀測者2持望遠光學模組11,將切換視窗18打開,可由望遠鏡頭單元16以望遠方式看到實景及傳送至望遠鏡頭單元16的虛擬影像。望遠光學模組11之位置感測單元191可感測觀測者2持望遠光學模組11所在的位置資訊,由望遠光學模組11傳送此位置資訊至影像訊號處理模組12;當觀測者2持望遠光學模組11向前行進時,位置感測單元191感測到全球定位系統座標的改變,由影像訊號處理模組12調整虛擬物件影像22呈現的遠近,此時為藉由環場影像21場景的改變(環場影像21向後退)與觀測者2前進後實景的改變,形成賽車的前進;若賽車跑道向右轉彎時,姿勢感測單元192感測到Y軸的加速度,將姿勢資訊傳送給影像訊號處理模組12,影像訊號處理模組12將下一幕的環場影像21組合相對向右旋轉的賽車影像(虛擬物件影像22),傳送至望遠光學模組11,由觀測者2觀測;因此,觀測者2可觀測到下一幕的環場影像21、向右旋轉的賽車影像(虛擬物件影像22)及實景的組合,觀測者2可融入遊戲中,與遊戲互動及產生賽車的想像。
本發明之虛擬望遠方法與虛擬望遠裝置1,也可用於虛擬實境與 擴增實境之模擬訓練。請參閱第8A~8C圖,係為本發明之虛擬望遠裝置1第三實施例,在本實施例為使用虛擬望遠裝置1進行遙控飛機降落於甲板上的模擬訓練,為清楚說明,本實施例僅說明虛擬實境之模擬訓練,擴增實境之模擬訓練不再贅述。
在第8(A)、8(B)及8(C)圖中,甲板、藍天與海洋的環場影像31包含有四個甲板識別元件影像331、332、333、334,分別設置於甲板的前端、降落點的側邊與降落點中心;可藉由甲板識別元件影像331、332、333、334的位置識別遙控飛機的虛擬物件影像32位置,可由虛擬圖像運算模組13調整遙控飛機的虛擬物件影像32與環場影像31的相對位置。
在第8(A)圖中,當遙控飛機飛臨甲板上方時,遙控飛機的虛擬物件影像32位置位於甲板的前端的甲板識別元件影像333、332的上方,觀測者2融入此虛擬實境中,觀測者2手持的望遠光學模組11之姿勢為向上仰。
當觀測者2訓練遙控飛機向下飛行時,如第8(B)圖,觀測者2手持的望遠光學模組11向下方旋轉移動,姿勢感測單元192感測到Z軸的加速度,影像訊號處理模組12比對環場影像31中的甲板與降落點(甲板識別元件影像331、332、333、334)的相對角度,建立遙控飛機的情境條件;影像訊號處理模組12依據遙控飛機的情境條件,將遙控飛機的虛擬物件影像22變更為向下飛行,觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測,感覺已操控遙控飛機向下飛行。
當觀測者2訓練遙控飛機降落時,如第8(C)圖,觀測者2手持的望 遠光學模組11再度向下方旋轉移動,姿勢感測單元192感測到Z軸的加速度,影像訊號處理模組12比對環場影像31中的甲板與降落點(甲板識別元件影像331、332、333、334)的相對角度與相對位置,辨識為降落的情境條件,由影像訊號處理模組12將遙控飛機的虛擬物件影像22變更為水平,並調整遙控飛機的虛擬物件影像22的位置與甲板識別元件影像331、334,觀測者2經由望遠光學模組11之望遠鏡頭單元16以望遠方式觀測,感覺已操控遙控飛機降落於甲板的降落點。
以上所述僅為舉例性,而非為限制性者。任何未脫離本發明之精神與範疇,而對其進行之等效修改或變更,均應包含於後附之申請專利範圍中。
1‧‧‧虛擬望遠裝置
2‧‧‧觀測者
11‧‧‧望遠光學模組
12‧‧‧影像訊號處理模組
13‧‧‧虛擬圖像運算模組
14‧‧‧外框
15‧‧‧虛擬影像投影單元
151‧‧‧投影組件
152‧‧‧投影透鏡
153‧‧‧反射鏡片
16‧‧‧望遠鏡頭單元
17‧‧‧近目光學單元
18‧‧‧切換視窗
191‧‧‧位置感測單元
192‧‧‧姿勢感測單元
21‧‧‧環場影像
22‧‧‧虛擬物件影像
231、232、233、234‧‧‧識別元件影像

Claims (5)

  1. 一種虛擬望遠方法,係使用一虛擬望遠裝置於虛擬實境模式,其中該虛擬望遠裝置包含有一望遠光學模組;該方法包含下列步驟:建立一環場影像與一虛擬物件影像,其中,該環場影像包含有至少一個識別元件影像;將該虛擬物件影像結合該環場影像,由該望遠光學模組供觀測者觀看;偵測觀測者的位置,比對觀測者的位置與該環場影像之該等識別元件影像的相對位置,以建立該虛擬物件影像的一位置條件;依據該位置條件,調整該虛擬物件影像呈現的遠近,由觀測者經由該望遠光學模組以望遠方式觀測該虛擬物件影像與該環場影像;偵測觀測者的姿勢,比對觀測者的姿勢與該環場影像之該等識別元件影像的相對角度,以建立該虛擬物件影像的一情境條件;依據該情境條件,調整該虛擬物件影像呈現的角度,由觀測者經由該望遠光學模組以望遠方式觀測該虛擬物件影像與該環場影像;切換為虛擬實境模式或擴增實境模式,供觀測者觀測;其中,在虛擬實境模式下觀測該虛擬物件影像與該環場影像組合後的虛擬影像;其中,在擴增實境模式下可觀測該虛擬物件影像與實景組合後的虛擬影像。
  2. 一種虛擬望遠方法,係使用一虛擬望遠裝置於擴增實境模式,其中該虛擬望遠裝置包含有一望遠光學模組;該方法包含下列步驟: 建立一虛擬物件影像,由該望遠光學模組投影後供觀測者觀看;偵測觀測者的位置,比對觀測者的位置與實景中至少一個實體物件的距離,以建立該虛擬物件影像的一位置條件;依據該位置條件,調整該虛擬物件影像呈現的遠近,由觀測者經由該望遠光學模組以望遠方式觀測該虛擬物件影像與實景;偵測觀測者的姿勢,比對觀測者的姿勢與實景中至少一個實體物件的角度,以建立該虛擬物件影像的一情境條件;依據該情境條件,調整該虛擬物件影像呈現的角度,由觀測者經由該望遠光學模組以望遠方式觀測該虛擬物件影像與實景;切換為虛擬實境模式或擴增實境模式,供觀測者觀測;其中,在虛擬實境模式下觀測該虛擬物件影像;其中,在擴增實境模式下可觀測該虛擬物件影像與實景組合後的虛擬影像。
  3. 一種虛擬望遠裝置,係用於虛擬實境與擴增實境之觀測,包含:一影像訊號處理模組、一虛擬圖像運算模組及一望遠光學模組;其中,該影像訊號處理模組係連接該虛擬影像投影單元與該望遠光學模組,用以接收該望遠光學模組傳送的信號,並將實體物件的一虛擬物件影像與實景的一環場影像送由該虛擬圖像運算模組進行運算後形成一虛擬影像,由該影像訊號處理模組處理該虛擬影像成為一電子信號後,傳送至該望遠光學模組;其中,該望遠光學模組包含:一虛擬影像投影單元、一望遠鏡頭單元、一位置感測單元及一姿勢感測單元;其中,該虛擬影像投影單元用以將該電子信號轉變為一虛擬影像,送至該望遠鏡頭單元;其中,該望遠鏡頭單元係由複數個光學鏡片所構成,可對該虛擬影像投影單元投射的該虛擬影像,以望遠聚焦的方式投射至觀測 者,由觀測者觀測;其中,該位置感測單元用以感測觀測者的一位置資訊,由該望遠光學模組傳送該位置資訊至該影像訊號處理模組,用以調整該虛擬物件影像呈現的遠近;其中,該姿勢感測單元用以感測觀測者的一姿勢資訊,由該望遠光學模組傳送該姿勢資訊至該影像訊號處理模組,用以調整該虛擬物件影像呈現的角度;其中,該望遠光學模組進一步包含一切換視窗,該切換視窗用以切換為虛擬實境模式或擴增實境模式,供觀測者觀測;其中,在虛擬實境模式下觀測該虛擬物件影像與該環場影像組合後的虛擬影像;其中,在擴增實境模式下觀測該虛擬物件影像與實景組合後的虛擬影像。
  4. 如申請專利範圍第3項所述之虛擬望遠裝置,其中該望遠光學模組進一步包含一近目光學單元,該近目光學單元用以由觀測者調整其視覺的焦距,用以觀測該虛擬影像。
  5. 如申請專利範圍第3項所述之虛擬望遠裝置,其中,該影像訊號處理模組與該望遠光學模組,係以無線方式傳送該虛擬影像的該電子訊號、該位置資訊及該姿勢資訊。
TW99111193A 2010-04-09 2010-04-09 虛擬望遠方法及其裝置 TWI436270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW99111193A TWI436270B (zh) 2010-04-09 2010-04-09 虛擬望遠方法及其裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW99111193A TWI436270B (zh) 2010-04-09 2010-04-09 虛擬望遠方法及其裝置

Publications (2)

Publication Number Publication Date
TW201135583A TW201135583A (en) 2011-10-16
TWI436270B true TWI436270B (zh) 2014-05-01

Family

ID=46751963

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99111193A TWI436270B (zh) 2010-04-09 2010-04-09 虛擬望遠方法及其裝置

Country Status (1)

Country Link
TW (1) TWI436270B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI626851B (zh) * 2017-03-14 2018-06-11 宏正自動科技股份有限公司 影像切換裝置、影像切換系統及影像切換方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI453462B (zh) * 2012-04-09 2014-09-21 Nat Applied Res Laboratories 智慧型電子裝置之虛擬望遠系統及其方法
TWI599988B (zh) * 2012-04-23 2017-09-21 天門有限公司 製作內容細膩的視訊之方法及其相關之電腦程式與電腦可讀取媒體
TWI567670B (zh) * 2015-02-26 2017-01-21 宅妝股份有限公司 切換虛擬實境模式與擴增實境模式的管理方法以及系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI626851B (zh) * 2017-03-14 2018-06-11 宏正自動科技股份有限公司 影像切換裝置、影像切換系統及影像切換方法

Also Published As

Publication number Publication date
TW201135583A (en) 2011-10-16

Similar Documents

Publication Publication Date Title
US11644832B2 (en) User interaction paradigms for a flying digital assistant
JP6860488B2 (ja) 複合現実システム
US10366511B2 (en) Method and system for image georegistration
JP7026214B2 (ja) ヘッドマウントディスプレイ追跡システム
US9747725B2 (en) Video system for piloting a drone in immersive mode
CN108292489B (zh) 信息处理装置和图像生成方法
US20160292924A1 (en) System and method for augmented reality and virtual reality applications
US20130307842A1 (en) System worn by a moving user for fully augmenting reality by anchoring virtual objects
US11156843B2 (en) End-to-end artificial reality calibration testing
CN104781873A (zh) 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
JP2018009836A (ja) プログラム、頭部装着型表示装置、キャリブレーション方法
TWI453462B (zh) 智慧型電子裝置之虛擬望遠系統及其方法
US20190114803A1 (en) Locating method, locator, and locating system for head-mounted display
US11100713B2 (en) System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
WO2015048890A1 (en) System and method for augmented reality and virtual reality applications
US20210042513A1 (en) Information processing apparatus, information processing method, and program
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
TWI436270B (zh) 虛擬望遠方法及其裝置
US9989762B2 (en) Optically composited augmented reality pedestal viewer
WO2022061934A1 (zh) 图像处理方法、装置、系统、平台及计算机可读存储介质
KR101896239B1 (ko) 모션인식을 이용한 드론 제어 시스템
US20230063386A1 (en) Eyewear synchronized with uav image capturing system
US20230319476A1 (en) Eyewear with audio source separation using pose trackers
JP2023083072A (ja) 方法、システムおよびプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees