TWI688879B - 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體 - Google Patents

虛擬實境環境中與真實世界互動的方法、系統與記錄媒體 Download PDF

Info

Publication number
TWI688879B
TWI688879B TW106102255A TW106102255A TWI688879B TW I688879 B TWI688879 B TW I688879B TW 106102255 A TW106102255 A TW 106102255A TW 106102255 A TW106102255 A TW 106102255A TW I688879 B TWI688879 B TW I688879B
Authority
TW
Taiwan
Prior art keywords
controller
virtual reality
notification
processing device
reality headset
Prior art date
Application number
TW106102255A
Other languages
English (en)
Other versions
TW201732501A (zh
Inventor
大衛 布琳達
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201732501A publication Critical patent/TW201732501A/zh
Application granted granted Critical
Publication of TWI688879B publication Critical patent/TWI688879B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097Worn on the head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種虛擬實境環境中與真實世界互動的方法、系統與記錄媒體。此方法適用於包括虛擬實境頭戴裝置以及控制器的虛擬實境系統,其中虛擬實境系統係由處理裝置接收資料,並且包括下列步驟。首先,一事件訊號係觸發於虛擬實境頭戴裝置以及控制器至少之一者,其中事件訊號係接受自處理裝置且指出關聯於真實世界的通知的到來。由控制器產生移動資料並且反應於判斷移動資料符合第一移動資料,第一互動介面係產生以讓虛擬實境頭戴裝置以及控制器至少之一者與通知進行互動。

Description

虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
本發明是有關於一種虛擬實境環境中與真實世界互動的方法、虛擬實境系統與電腦可讀取記錄媒體。
虛擬實境創造出具有真實影像、聲音以及其它感官上的擬真世界,以複製出真實環境或是虛構場景。使用者得以融入、探索以及操控虛擬實境環境而感覺仿佛身歷其境。
此技術最初的發展是致力於讓使用者完全地融入於虛擬實境而不受外界的干擾。然而,在通訊服務的蓬勃發展下,使用者時常頻繁地藉由電話、網路通話、電話簡訊、應用程式訊息等方式與他人聯繫。此時,若使用者將自己隔絕至虛擬實境環境中則將顯得不切實際。
有鑑於此,本發明提供一種虛擬實境環境中與真實世界互動的方法、虛擬實境系統與電腦可讀取記錄媒體,其不僅可避免使用者完全隔絕於真實世界,更可在最少的突兀感與干擾下提供使用者一種真實世界與虛擬世界的連接管道。
在本發明的一實施例中,上述的方法適用於包括虛擬實境頭戴裝置以及控制器的虛擬實境系統,其中虛擬實境系統係由處理裝置接收資料,並且包括下列步驟。首先,一事件訊號係觸發於虛擬實境頭戴裝置以及控制器至少之一者,其中事件訊號係接受自處理裝置且指出關聯於真實世界的通知的到來。由控制器產生移動資料並且反應於判斷移動資料符合第一移動資料,第一互動介面係產生以讓虛擬實境頭戴裝置以及控制器至少之一者與通知進行互動。
本發明的一實施例中,上述的虛擬實境系統包括虛擬實境頭戴裝置以及控制器,其中虛擬實境頭戴裝置以及控制器係連接於處理裝置,且其中指出關聯於該真實世界的通知的到來的一事件訊號係接收自處理裝置並觸發於虛擬實境頭戴裝置以及控制器至少之一者,並且反應於判斷由控制器產生之移動資料符合第一移動資料,一第一互動介面係產生以讓虛擬實境頭戴裝置以及控制器至少之一者與通知進行互動。
本發明的一實施例中,上述的電腦可讀取記錄媒體記錄程式,其經由虛擬實境系統的處理裝置載入以執行上述方法的步驟。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的方法、系統以及電腦可讀取媒體的範例。
圖1為根據本發明一實施例所繪示的虛擬實境系統的方塊圖。首先圖1先介紹虛擬實境系統的所有構件以及配置關係,詳細功能將配合圖2一併揭露。
請參照圖1,虛擬實境系統100至少包括處理裝置110、虛擬實境頭戴裝置120以及控制器130,其中處理裝置110連接於虛擬實境頭戴裝置120以及控制器130。
處理裝置110可以是具有運算能力並且具有處理器的運算裝置,例如是檔案伺服器、資料庫伺服器、應用程式伺服器、工作站、個人電腦、筆記型電腦等。處理器可以是北橋(North Bridge)、南橋(South Bridge)、場式可程式閘陣列(Field Programmable Array, FPGA)、可程式化邏輯裝置(Programmable Logic Device,PLD)、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)或其他類似裝置或這些裝置的組合。處理器亦可以是中央處理單元(Central Processing Unit,CPU)、應用處理器(Application Processor,AP),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、圖形處理器(Graphics Processing Unit,GPU)或其他類似裝置或這些裝置的組合。處理裝置110可創造出具有立體視覺效果的真實環境或是虛構場景,並且其可與虛擬實境頭戴裝置120以及控制器130進行溝通,以讓使用者得以在虛擬世界中進行探索以及互動。此外,處理裝置110更可以產生聲音效果,以提供使用者身歷其境與真實的體驗。
用於例示,處理裝置110可與虛擬實境頭戴裝置120整合為一裝置,或可與虛擬實境頭戴裝置120有線或無線連接。
本領域具通常知識者應明瞭,處理裝置110包括資料儲存裝置。資料儲存裝置可以是任意型式的非暫態性、揮發性、非揮發性的記憶體,其用以儲存緩衝資料、永久資料以及用來執行處理裝置110的功能的編譯程式碼。此外,資料儲存裝置可以是外接於並且可被處理裝置110存取的外接硬碟、雲端儲存或是其它外接記錄裝置。
虛擬實境頭戴裝置120可以是具有內建頭部追蹤系統的頭戴顯示器或是眼鏡。虛擬實境頭戴裝置120至少包括整合顯示器、動作感測器以及通訊介面。顯示器例如是液晶顯示器(Liquid-Crystal Display,LCD)、發光二極體(Light-Emitting Diode,LED)顯示器或其他類似裝置。動作感測器可以是加速度計(例如:重力感測器)、陀螺儀(例如:陀螺儀感測器)或任何可偵測虛擬實境頭戴裝置120的線性移動、線性移動方向以及旋轉移動(例如旋轉角速度或旋轉角度)的感測器。虛擬實境頭戴裝置120會將所感測到的資料藉由通訊介面以習知的無線或有線方式輸出至處理裝置110,而處理裝置110會將影像傳送給虛擬實境頭戴裝置120的顯示器呈現。此外,虛擬實境頭戴裝置120更可包括播放來自處理裝置110的聲音訊號的耳機。
控制器130可以例如是具有動作感測器的手持控制器、滑鼠、搖桿、軌跡球、觸控板及/或按鈕等允許使用者與虛擬世界的環境、物體或人物互動的輸入裝置。用於例示,控制器130為可以任何無線通訊標準與處理裝置110及/或虛擬實境頭戴裝置120進行溝通的無線手持控制器。
在一實施例中,虛擬實境系統100可包括至少一個定位器,其可以例如是雷射或紅外線的發射器以及接收器並且掛於牆上或放置於使用者活動空間的角落。定位器不僅可定位出虛擬實境頭戴裝置120以及控制器130的所在位置,更可定義出此活動空間的邊界,以避免沉浸於虛擬世界中的使用者碰撞到牆壁或是實際物體。
圖2為根據本發明之一實施例所繪示的虛擬實境環境中與真實世界互動的方法流程圖。圖2的步驟可以是以圖1所繪示的虛擬實境系統100來實現。
請同時參照圖1以及圖2,當關聯於真實世界的通知到來時,處理裝置110將於虛擬實境頭戴裝置120以及控制器130至少之一者觸發事件訊號(步驟S202)。在此的通知可以是簡訊、應用程式訊息、即時訊息、電子郵件訊息或其它本領域所熟知的相關形式。事件訊號則表示通知的到來,藉以告知融入於虛擬實境環境中的使用者。在此的事件訊號可以是控制器130所產生的觸覺回饋、虛擬實境頭戴裝置120所產生的聲音效果或是視覺效果等。在一些實施例中,虛擬實境頭戴裝置120可具有內建的揚聲器或可有線或無線地與一耳機連接,如此聲音效果可被使用者透過揚聲器或耳機聽見。
舉例來說,圖3為根據本發明之一實施例所繪示的通知到來的情境示意圖。請參照圖3,當通知到來時,使用者將會在虛擬實境環境VR中感覺到實際的觸覺感受或是聽到聲響。此時,當使用者向下看或將控制器舉起,具有燈光效果302的虛擬控制器310將會顯示於視野中。此效果會追蹤控制器130實際的空間位置而呈現,且其僅為一個提醒的指示以提醒使用者有一通知,並不會打擾使用者遊玩遊戲。或者,亦可以是將與通知內容相關的圖示顯示於使用者的視野角落,本發明不在此設限。
請再回到圖2,處理裝置110將自控制器130接收移動資料(步驟S204)。詳細來說,控制器130將不斷地偵測本身是否移動。當偵測到移動時,控制器130將產生對應於控制器130移動的移動資料,並且將其傳送至處理裝置110。值得注意的是,在偵測任何移動之前,處理裝置110可提供使用者來定義關聯於控制器130的特定功能的移動手勢。換句話說,控制器130可在偵測到移動時產生移動資料,並且處理裝置130將移動資料對應至特定功能並且將此移動資料儲存於移動資料庫。或者,移動資料庫的移動資料亦可以是系統預設設定。移動資料可包括位置、圖案、軌跡、加速度等等。在本實施例中,已定義的移動資料包括對應於致能與通知互動的第一移動資料以及對應於禁能與通知互動的第二移動資料。
接著,處理裝置110將判斷移動資料是否在容許誤差上符合第一移動資料(步驟S206)。當移動資料不符合第一移動資料時,有可能是使用者仍欲利用控制器130來做為其它用途而選擇在此時忽略通知。流程將回到步驟S204,而處理裝置110將持續接收來自控制器130的移動資料。
另一方面,當移動資料符合第一移動資料時,處理裝置110將允許虛擬實境頭戴裝置120以及控制器130至少之一者與通知進行互動(步驟S208)。也就是說,當處理裝置110成功地確認所接收到的移動資料時,將允許使用者在虛擬實境環境中藉由虛擬實境頭戴裝置120及/或控制器130與關聯於真實世界的通知進行互動,例如可藉由顯示一第一互動介面。因此,使用者可在完全融入於虛擬世界的狀態下與真實世界具有一定程度的聯繫。
舉例來說,圖4為根據本發明之一實施例所繪示的與通知互動的情境示意圖。在此假設通知為訊息,而第一移動資料以及第二移動資料分別為關聯於控制器130的向上移動以及向下移動。
請參照圖4,當使用者欲預視通知時,可將控制器130舉起以使虛擬控制器310突出於視野中。當處理裝置110確認完自控制器130所接收的移動資料時,將會控制虛擬實境頭戴裝置120在虛擬實境環境VR中顯示通知(即,簡訊MSG)。此時,控制器130的實際位置仍被追蹤。在本實施例中,虛擬控制器310以及通知MSG將以半透明呈現,而控制器130將持續地主導虛擬實境環境VR中的功能。換句話說,虛擬世界的進度,例如遊玩遊戲,仍持續進行,而控制器130仍可與虛擬物體以及人物進行互動。
當使用者閱讀完通知MSG時,可將控制器130放下以移除通知MSG。以另一觀點而言,當通知顯示時,處理裝置110將同時自控制器130接收移動資料並且判斷移動資料是否在容許誤差上符合第二移動資料。當移動資料符合第二移動資料時,處理裝置110將自虛擬實境環境VR中移除通知MSG。藉此,使用者無須離開虛擬實境環境VR亦可觀看通知MSG的內容。
圖5為根據本發明之另一實施例所繪示的與通知互動的情境示意圖。在本實施例中,使用者可藉由控制器130回覆通知。
請參照圖5,接續於圖4,當通知MSG顯示於虛擬實境環境VR時,使用者可藉由例如是按壓控制器130上的按鈕來回覆通知MSG,以產生第一觸發訊號並且傳輸至處理裝置110。當處理裝置110接收到第一觸發訊號時,將會暫停虛擬實境環境VR的進度並且指示控制器130與通知MSG互動。
在本實施例中,處理裝置110將控制虛擬環境頭戴裝置120來顯示通知MSG以及對應於控制器130的一第二互動介面,例如虛擬鍵盤KB及/或其他輸入方式。虛擬鍵盤針對不同的語言可具有不同的類型及排列方式以及針對同一語言可具有不同的排列方式以供使用者選擇。虛擬鍵盤KB的字母鍵510的排列方式將會對應於控制器130的實體按鈕及/或觸控板,以提供直覺的文字輸入。舉例來說,當使用者按壓控制器130上對應於字母鍵510中的A~D鍵的按鈕時,A~D鍵將會顯示於選擇鍵514來提供選擇。當使用者按壓控制器130上對應於選擇鍵514中的B鍵的按鈕時,字母「B」將會做為通知MSG的文字輸入。當使用者結束對話時,可例如是藉由按壓控制器130上相同的按鈕來移除通知MSG,以產生第二觸發訊號並且傳輸至處理裝置110。當處理裝置110接收到第二觸發訊號時,將會接續虛擬實境環境VR中的進度並且指示控制器130可再次與虛擬實境環境VR互動。
由於使用者可在不離開目前虛擬實境環境的前提下方便地觀看通知,使用者可能希望最少的干擾,以維持虛擬世界的情境。在此將會提供一個虛擬實境環境與通知之間的平穩過渡方式,以讓使用者可在不同狀態下進行切換並且不會感受到突兀的轉變。
以圖5為例,當顯示通知MSG並且虛擬實境環境VR的進度暫停時,處理裝置110將會擷取目前虛擬空間的視野的畫面。接著,處理裝置110將針對畫面進行模糊化處理,並且控制虛擬實境頭戴裝置120來設定並且顯示模糊化擷取畫面為通知的背景畫面,如此使用者即可在虛擬實境環境中看見2D的模糊化擷取畫面懸浮在3D的空間中。當移除通知MSG時,原本的虛擬實境環境VR將會自通知顯示前的進度接續。
以視覺化而言,圖6A~圖6D為根據本發明之一實施例所繪示的虛擬實境環境與通知之間轉換的情境示意圖。
請先參照圖6A,當虛擬實境環境VS的進度暫停時,目前虛擬空間的畫面VSImgA將會被擷取。此時,控制器130的功能將會自與虛擬物體以及人物的互動轉向與通知的互動。此種轉變將會是以虛擬控制器自原本的模樣漸漸消失而顯示成實體控制器的模樣610,樣並且將畫面VSImgA進行模糊化以產生如圖6B所示的模糊化擷取畫面VSImgB。在本實施例中,如圖6C所示,模糊化擷取畫面VSImgB可被縮放成縮小畫面VSImgC,而實體控制器的模樣610將會逐漸地顯示,當實體控制器的圖案610完全地顯示時,代表控制器130可以與通知進行互動。使用者的視野將會呈現出實體控制器的圖案610、縮小畫面VSImgC以及位於前述兩者之間的通知。
當使用者結束通知時,如圖6D所示,縮小畫面VSImgC將會轉變成使用中的空間視窗VSImgD並且融入於虛擬實境環境VS之中,而實體控制器的模樣610將換轉換回先前所呈現的虛擬控制器。值得注意的是,除了通知以外,此種概念可延伸至其他介面、模型、互動等,例如選單設定視窗等,本發明不在此設限。
請再回到圖2,步驟S208中的通知不限定於訊息。在另一實施例中,此通知可以是經由電信業者或是網路電話業者的來電。在一範例中,當處理裝置110在步驟S206判斷所接收的移動資料符合第一移動資料時,處理裝置110將會允許使用者利用虛擬實境頭戴裝置120接聽來電。在另一範例中,當處理裝置110在步驟S206判斷所接收的移動資料符合第一移動資料時,處理裝置110將控制虛擬實境頭戴裝置120顯示來電的相關資訊(例如來電顯示),而使用者可藉由例如是按壓控制器130上的按鈕來接聽來電,以產生第一觸發訊號並且傳輸至處理裝置110。當處理裝置110接收到第一觸發訊號時,將會暫停虛擬實境環境VR的進度並且指示虛擬實境頭戴裝置120來接聽來電。類似地,當使用者在接聽來電時,處理裝置110可選擇性地暫停虛擬實境環境的進度,並且在來電結束後接續虛擬實境環境的進度。在更另一實施例中,通知可為未接來電通知、社群網路事件通知、新聞通知、服務應用程式的通知、警告通知等。
本發明另提供一種非暫態的電腦可讀取媒體,其記錄程式並且可經由虛擬實境系統的處理裝置載入以執行上述方法的步驟。此電腦可讀取媒體所記錄的程式包括多數個程式碼片段(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段),並且這些程式碼片段在載入虛擬實境系統的處理裝置中並執行之後,即可完成上述方法的步驟。
綜上所述,本發明所提出的方法、虛擬實境系統以及電腦可讀取記錄媒體可讓使用者在不受干擾的情況下將到來的通知顯示於虛擬實境環境之中。其他人仍可與融入於虛擬實境環境中的使用者進行聯繫,並且使用者無須移除虛擬實境頭戴裝置即可利用控制器執行指定功能,以在最少干擾的前提下在虛擬世界與真實世界之間移動。本發明不僅可避免完全隔絕於真實世界,更以一種簡單明瞭的方式來提供連接現實與虛擬世界的管道。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧虛擬實境系統110‧‧‧處理裝置120‧‧‧虛擬實境頭戴裝置130‧‧‧控制器S202~S208‧‧‧虛擬實境環境中與真實世界互動的方法流程VR‧‧‧虛擬實境環境302‧‧‧燈光效果310‧‧‧虛擬控制器MSG‧‧‧通知KB‧‧‧虛擬鍵磐510‧‧‧字母鍵514‧‧‧選擇鍵VS‧‧‧虛擬實境環境VSImgA‧‧‧畫面VSImgB‧‧‧模糊化擷取畫面VSImgC‧‧‧縮小畫面VSImgD‧‧‧使用中的空間視窗610‧‧‧實體控制器的圖案
圖1為根據本發明一實施例所繪示的虛擬實境系統的方塊圖。 圖2為根據本發明之一實施例所繪示的虛擬實境環境中與真實世界互動的方法流程圖。     圖3為根據本發明之一實施例所繪示的通知到來的情境示意圖。     圖4為根據本發明之一實施例所繪示的與通知互動的情境示意圖。 圖5為根據本發明之另一實施例所繪示的與通知互動的情境示意圖。 圖6A~圖6D為根據本發明之一實施例所繪示的虛擬實境環境與通知之間轉換的情境示意圖。
S202~S208‧‧‧虛擬實境環境中與真實世界互動的方法流程

Claims (17)

  1. 一種在虛擬實境環境中與真實世界互動的方法,適用於包括虛擬實境頭戴裝置及控制器的虛擬實境系統,其中該虛擬實境系統係由處理裝置接收資料,該方法包括下列步驟:反應於關聯於該真實世界的通知的到來,一事件訊號係觸發於該虛擬實境頭戴裝置以及該控制器至少之一者,其中該通知為一訊息,其中該事件訊號係接受自該處理裝置,且該事件訊號指出該通知的到來;反應於該事件訊號被觸發且偵測到該控制器移動時,由該控制器產生該控制器移動的移動資料;反應於判斷該控制器移動的移動資料符合對應於致能與該通知互動的第一移動資料,第一互動介面係產生以讓該虛擬實境頭戴裝置以及該控制器至少之一者與該通知進行互動,其中該第一互動介面顯示該通知的內容;反應於自該控制器接收到第一觸發訊號,第二互動介面係產生以讓該控制器與該通知互動,以使該使用者得以回覆該訊息;由該控制器產生該控制器移動的另一移動資料;以及反應於判斷該控制器移動的另一移動資料符合第二移動資料,該虛擬實境頭戴裝置移除該第一互動介面。
  2. 如申請專利範圍第1項所述的方法,其中一事件訊號係觸發於該虛擬實境頭戴裝置以及該控制器至少之一者的步驟包括: 在該控制器產生觸覺回饋。
  3. 如申請專利範圍第1項所述的方法,其中一事件訊號係觸發於該虛擬實境頭戴裝置以及該控制器至少之一者的步驟包括:在該虛擬實境頭戴裝置產生聲音效果。
  4. 如申請專利範圍第1項所述的方法,其中一事件訊號係觸發於該虛擬實境頭戴裝置以及該控制器至少之一者的步驟包括:在該處理裝置控制該虛擬實境頭戴裝置產生視覺效果。
  5. 如申請專利範圍第1項所述的方法,其中第一互動介面係產生以讓該虛擬實境頭戴裝置以及該控制器至少之一者與該通知進行互動的步驟包括:在虛擬實境頭戴裝置顯示該通知的內容,以使使用者得以於該虛擬實境環境中觀看該訊息。
  6. 如申請專利範圍第1項所述的方法,其中第二互動介面係產生以讓該控制器來與該通知互動的步驟包括:在該虛擬實境頭戴裝置顯示對應於該控制器的虛擬鍵盤。
  7. 如申請專利範圍第1項所述的方法,其中該方法更包括:反應於自該控制器接收到第二觸發訊號,該虛擬實境頭戴裝置移除該通知且該控制器恢復與該虛擬實境環境互動。
  8. 如申請專利範圍第1項所述的方法,其中反應於自該控制器接收到該第一觸發訊號,該方法更包括: 該虛擬實境環境中的目前虛擬空間的畫面係被擷取並進行模糊化處理,以產生模糊化擷取畫面;以及在暫停進度的該虛擬實境環境中顯示該模糊化擷取畫面以作為該通知的背景畫面。
  9. 如申請專利範圍第8項所述的方法,其中反應於自該控制器接收到該第二觸發訊號,該方法更包括:接續該虛擬實境環境中的該進度。
  10. 一種在虛擬實境環境中與真實世界互動的虛擬實境系統,包括:虛擬實境頭戴裝置;以及控制器;其中,該虛擬實境頭戴裝置以及該控制器係連接於一處理裝置,且其中指出反應於關聯於該真實世界的通知的到來的一事件訊號係接收自該處理裝置並觸發於該虛擬實境頭戴裝置以及該控制器至少之一者,其中該通知為一訊息,並且反應於判斷該事件訊號被觸發且偵測到該控制器移動時由該控制器產生該控制器移動的移動資料符合對應於致能與該通知互動的第一移動資料,顯示該通知的內容的一第一互動介面係產生以讓該虛擬實境頭戴裝置以及該控制器至少之一者與該通知進行互動,並且反應於自該控制器接收到第一觸發訊號,第二互動介面係產生以讓該控制器與該通知互動,以使該使用者得以回覆該訊息, 並且反應於判斷自該控制器接收由該控制器產生該控制器移動的另一移動資料符合第二移動資料,該虛擬實境頭戴裝置移除該第一互動介面。
  11. 如申請專利範圍第10項所述的虛擬實境系統,其中該事件訊號包括觸覺回饋、聲音效果以及視覺效果至少其中之一者。
  12. 如申請專利範圍第10項所述的虛擬實境系統,其中該虛擬實境頭戴裝置顯示該通知的內容,以使使用者得以於該虛擬實境環境中觀看該訊息。
  13. 如申請專利範圍第12項所述的虛擬實境系統,其中該虛擬實境頭戴裝置顯示對應於該控制器的虛擬鍵盤。
  14. 如申請專利範圍第10項所述的虛擬實境系統,其中反應於自該控制器接收到第二觸發訊號,該虛擬實境頭戴裝置移除該通知且該控制器恢復與該虛擬實境環境互動。
  15. 如申請專利範圍第10項所述的虛擬實境系統,其中反應於自該控制器接收到該第一觸發訊號,該虛擬實境環境中的目前虛擬空間的畫面係被擷取並進行模糊化處理以產生模糊化擷取畫面,並且在暫停進度的該虛擬實境環境中顯示該模糊化擷取畫面以作為該通知的背景畫面。
  16. 如申請專利範圍第15項所述的虛擬實境系統,其中反應於自該控制器接收到該第二觸發訊號,接續該虛擬實境環境中的該進度。
  17. 一種電腦可讀取記錄媒體,記錄程式,經由虛擬實境系統的處理裝置載入以執行下列步驟:反應於關聯於該真實世界的通知的到來,由該處理裝置於虛擬實境頭戴裝置以及控制器至少之一者觸發事件訊號,其中該通知為一訊息,其中該事件訊號指出該通知的到來;反應於該事件訊號被觸發且偵測到該控制器移動時,由該處理裝置自該控制器接收由該控制器產生該控制器移動的移動資料;由該處理裝置判斷該移動資料是否符合對應於致能與該通知互動的第一移動資料;反應於該控制器移動的移動資料符合該第一移動資料時,由該處理裝置產生顯示於該虛擬實境頭戴裝置的一第一互動介面以允許該虛擬實境頭戴裝置以及該控制器至少之一者與該通知進行互動,其中該第一互動介面顯示該通知的內容;反應於自該控制器接收到第一觸發訊號,第二互動介面係產生以讓該控制器與該通知互動,以使該使用者得以回覆該訊息;由該處理裝置自該控制器接收由該控制器產生該控制器移動的另一移動資料;以及由該處理裝置判斷該另一移動資料是否符合第二移動資料,反應於該控制器移動的另一移動資料符合該第二移動資料時,由該處理裝置允許該虛擬實境頭戴裝置移除該第一互動介面。
TW106102255A 2016-01-22 2017-01-20 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體 TWI688879B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662281746P 2016-01-22 2016-01-22
US201662281745P 2016-01-22 2016-01-22
US62/281,746 2016-01-22
US62/281,745 2016-01-22

Publications (2)

Publication Number Publication Date
TW201732501A TW201732501A (zh) 2017-09-16
TWI688879B true TWI688879B (zh) 2020-03-21

Family

ID=59359390

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106102255A TWI688879B (zh) 2016-01-22 2017-01-20 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體

Country Status (3)

Country Link
US (1) US10477006B2 (zh)
CN (1) CN106997241B (zh)
TW (1) TWI688879B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US10613628B2 (en) 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
EP3286621A4 (en) 2015-04-21 2018-12-12 Immersion Corporation Dynamic rendering of etching input
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US20180059788A1 (en) * 2016-08-23 2018-03-01 Colopl, Inc. Method for providing virtual reality, program for executing the method on computer, and information processing apparatus
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
TWI663546B (zh) * 2017-10-02 2019-06-21 宏碁股份有限公司 可支援虛擬實境應用程式的混合實境系統及其顯示方法
TWI642903B (zh) * 2017-10-13 2018-12-01 緯創資通股份有限公司 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
CN108170275B (zh) * 2017-12-29 2022-03-18 青岛小鸟看看科技有限公司 虚拟现实设备外接设备的输入信息的处理方法及装置
CN108646923B (zh) * 2017-12-29 2019-06-14 南京轩世琪源软件科技有限公司 一种带3d扫描装置的虚拟现实显示系统
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
US10768426B2 (en) * 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
US11481965B2 (en) * 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
CN115268739A (zh) * 2022-08-16 2022-11-01 北京字跳网络技术有限公司 控制方法、装置、电子设备和存储介质
WO2024085996A1 (en) * 2022-10-21 2024-04-25 Meta Platforms Technologies, Llc Overlay on an artificial reality environment
CN118363594A (zh) * 2024-05-06 2024-07-19 北京恒歌零一信息科技有限公司 一种基于沉浸式虚拟现实的用户界面设计方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200729062A (en) * 2006-01-25 2007-08-01 yue-ming Liu Interactive shopping method having 3D virtual reality
US20090083678A1 (en) * 2007-09-26 2009-03-26 Autodesk, Inc. Navigation system for a 3D virtual scene
US20100005480A1 (en) * 2008-07-07 2010-01-07 International Business Machines Corporation Method for virtual world event notification
US20140364197A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Transitioning gameplay on a head-mounted display
US20140361976A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Switching mode of operation in a head mounted display
CN104238738A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐美国公司 在头戴式系统内产生增强虚拟现实场景的系统和方法
US20150049113A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
CN104618712A (zh) * 2015-02-13 2015-05-13 北京维阿时代科技有限公司 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
CN103207677B (zh) 2013-04-22 2017-05-10 北京工业大学 一种数字曾侯乙编钟虚拟现实体感交互系统与方法
WO2015102464A1 (ko) 2014-01-06 2015-07-09 삼성전자 주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
CN104281260A (zh) 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
WO2016069588A1 (en) * 2014-10-27 2016-05-06 Wichita State University Computer program, system, and method for observation and communication for mobile settings, mobile applications, and wearable mobile devices
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200729062A (en) * 2006-01-25 2007-08-01 yue-ming Liu Interactive shopping method having 3D virtual reality
US20090083678A1 (en) * 2007-09-26 2009-03-26 Autodesk, Inc. Navigation system for a 3D virtual scene
US20100005480A1 (en) * 2008-07-07 2010-01-07 International Business Machines Corporation Method for virtual world event notification
US20140364197A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Transitioning gameplay on a head-mounted display
US20140361976A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Switching mode of operation in a head mounted display
CN104238738A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐美国公司 在头戴式系统内产生增强虚拟现实场景的系统和方法
US20150049113A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
CN104618712A (zh) * 2015-02-13 2015-05-13 北京维阿时代科技有限公司 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统

Also Published As

Publication number Publication date
CN106997241B (zh) 2020-04-21
US20170214782A1 (en) 2017-07-27
TW201732501A (zh) 2017-09-16
US10477006B2 (en) 2019-11-12
CN106997241A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
TWI688879B (zh) 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US10488931B2 (en) Systems and methods for pressure-based haptic effects
EP3458937B1 (en) Co-presence handling in virtual reality
EP3332314B1 (en) Input via context sensitive collisions of hands with objects in virtual reality
US20200097093A1 (en) Touch free interface for augmented reality systems
CN111448542B (zh) 显示应用程序
US11360550B2 (en) IMU for touch detection
US20210311608A1 (en) Displaying Representations of Environments
KR20150118036A (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
KR102400085B1 (ko) 크리에이티브 카메라
US11934584B2 (en) Finger orientation touch detection
CN113821124B (zh) 用于触摸检测的imu
US20230297168A1 (en) Changing a Dimensional Representation of a Content Item
KR102357342B1 (ko) 크리에이티브 카메라