TW202236080A - 物件互動的系統與方法 - Google Patents

物件互動的系統與方法 Download PDF

Info

Publication number
TW202236080A
TW202236080A TW111103222A TW111103222A TW202236080A TW 202236080 A TW202236080 A TW 202236080A TW 111103222 A TW111103222 A TW 111103222A TW 111103222 A TW111103222 A TW 111103222A TW 202236080 A TW202236080 A TW 202236080A
Authority
TW
Taiwan
Prior art keywords
finger
virtual
module
collision
hand
Prior art date
Application number
TW111103222A
Other languages
English (en)
Inventor
蕭詠今
周亞諄
謝姍妮
卓俊宏
孔德仁
葉怡君
Original Assignee
美商海思智財控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商海思智財控股有限公司 filed Critical 美商海思智財控股有限公司
Publication of TW202236080A publication Critical patent/TW202236080A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明揭露真實物件及虛擬物件在擴增實境中互動的系統及方法。該系統包含一真實物件偵測模組，用於接收該至少一主動物件的數個影像像素以及相對深度；一真實物件識別模組，用於判斷該主動物件的形狀、位置及移動；；一虛擬物件顯示模組，用於顯示一虛擬目標物件；一碰撞模組，用於確認該至少一主動物件是否碰撞到一虛擬目標物件；以及一互動模組，該互動模組根據來自該真實物件識別模組的至少一物件識別判斷、來自該碰撞模組的碰撞判斷、以及該虛擬目標物件的類型來決定行動。

Description

物件互動的系統與方法
本發明涉及物件互動；具體來說，涉及至少一主動物件以及一真實/虛擬目標物件在擴增實境中互動的系統及方法。
擴增實境技術使真實物件得以在擴增實境中與虛擬物件共存；同時，擴增實境技術也讓使用者可以跟虛擬物件互動。在傳統的擴增實境或虛擬實境中，需要依靠穿戴在使用者或目標物件上的標記或感測器來實現該使用者或該目標物件的動作擷取。藉由這些標記或感測器擷取的該動作相關數據會隨後被傳送至物理引擎，以實現該使用者或該目標物件(虛擬物件)之間的互動。然而，穿戴式標記或感測器對使用者而言可能不太方便，並給使用者的體驗帶來負面影響。此外，一些常規的擴增實境或虛擬實境需要用到大量的相機來定位該真實物件，以實現真實物件及虛擬物件之間的互動。因此，有必要提供一種新的方法改善真實物件與虛擬物件之間的互動體驗。
本發明揭露至少一主動物件及一目標物件之間的物件互動的系統及方法。在一實施例中，該第一主動物件及該第二主動物件可以分別是一使用者的右手及左手。該目標物件可以為一真實目標物件，例如一電器，或是一虛擬目標物體，例如一虛擬棒球、一虛擬骰子、一虛擬汽車、以及一虛擬使用者介面。該目標物件及該主動物件之間的互動可以根據不同的互動因素分類，例如形狀、位置、以及該至少一第一主動物件及第二主動物件的移動。
該嶄新的物件互動系統包括一真實物件偵測模組、一真實物件識別模組、一虛擬物件顯示模組、一碰撞模組、以及一互動模組。該真實物件偵測模組用於接收該第一主動物件及一第二主動物件至少其中之一的數個影像像素以及相對深度。該真實物件識別模組用於判斷該第一主動物件及第二主動物件至少其中之一的形狀、位置及移動。該虛擬物件顯示模組透過投射數條右光訊號至一使用者的一視網膜、並投射數條相對應左光訊號至該使用者的另一視網膜，以在一第一深度顯示一虛擬目標物件。該碰撞模組，用於確認該第一主動物件或第二主動物件至少其中之一是否碰撞到一虛擬目標物件。該互動模組根據來自該真實物件識別模組的至少一物件識別判斷、來自該碰撞模組的碰撞判斷、以及該虛擬目標物件的類型來決定行動。
在一實施例中，若該第一主動物件為一右手且該第二主動物件唯一左手，該真實物件識別模組透過確認每個手指是否分別為彎曲或伸直，來確定該右手及該左手中至少一個的形狀。在另一實施例中，該碰撞模組產生該右手及該左手中至少一個的外表面模擬。
在一實施例中，該真實物件識別模組透過該第一主動物件及該第二主動物件中至少一個在一預設時間段內的形狀及位置改變，確定該第一主動物件及該第二主動物件中至少一個的動作。該碰撞模組藉由接觸點的數量、每個接觸點的碰撞區域、以及每個接觸點的碰撞時間來確定碰撞類型。該虛擬目標物件可以為至少兩種類型的其中之一，包括一移動目標物件及一固定目標物件。
在一實施例中，當該虛擬目標物件為一固定虛擬使用者介面且該碰撞判斷為發生碰撞時，該互動模組根據使用者介面物件的描述確定響應該事件的動作。當該虛擬目標物件為一移動目標物件、該碰撞判斷為「推」且該物件識別判斷為移動速度比預設速度更快時，該互動模組確定該虛擬目標物件的動作，且該虛擬物件顯示模組顯示反映動作的該虛擬目標物件。當該碰撞判斷為「握」時，若接觸點的數量大於等於兩個，該至少兩個碰撞區域為指尖，且該碰撞時間比一預設時間段長。
在另一實施例中，該真實物件識別模組透過辨認手上至少17個特徵點並獲得每個特徵點的3D座標，確定該右手及該左手中至少一個的位置。在另一實施例中，該真實物件識別模組透過確定每根手指是否分別為彎曲或伸直，以確認該右手及該左手中至少一個的形狀。
本文中所使用的詞彙係用來描述本發明特定具體實施例中的細節，所有的詞彙應以最大的範疇做合理解讀。某些詞彙將在以下特別強調；任何限制性用語將由具體實施例定義
本發明涉及一第一主動物件跟一第二主動物件(皆稱為一主動物件)以及一目標物件之間的物件互動的系統及方法。根據該第一主動物件及該第二主動物件中至少一個跟該目標物件之間的互動，將確定一行動。在一實施例中，該第一主動物件及該第二主動物件可以分別為一使用者的右手及左手。該目標物件可以為一真實目標物件，例如一電器，或是一虛擬目標物件，例如一虛擬棒球、一虛擬骰子、一虛擬汽車、一虛擬使用者介面。該第一主動物件及該第二種動物件中的至少一個與該目標物件的互動為觸發特殊行為的事件，例如觸碰一虛擬控制選單以增加一電器的音量、以及向一虛擬本壘板投擲一虛擬棒球以顯示該虛擬棒球的移動。這些互動都會根據不同互動因素而分類，例如形狀、位置、以及該第一主動物件及該第二種動物件中的至少一個的動作；若該主動物件與該目標物件碰撞，則接觸點的數量、接觸範圍、接觸時間也是因素之一；以及該主動物件及該目標物件之間的空間關係。
如圖1所示，該創新的物件互動系統100包括一真實物件偵測模組110、一真實物件識別模組120、一虛擬目標物件顯示模組130、一碰撞模組140、以及一互動模組150。該真實物件偵測模組110用於接收一第一主動物件102及一第二主動物件104至少其中之一的數個影像像素以及相對深度。該真實物件識別模組120用於判斷該第一主動物件102及第二主動物件104至少其中之一的形狀、位置及移動。該虛擬目標物件顯示模組130透過投射數條右光訊號至一使用者的一視網膜、並投射數條相對應左光訊號至該使用者的另一視網膜，以在一第一深度顯示一虛擬目標物件106，其中該第一深度跟投射至該使用者視網膜的該右光訊號及該相對應左光訊號之間的一第一角度有關。該碰撞模組140用於確認該第一主動物件或第二主動物件至少其中之一是否碰撞到一虛擬目標物件，若有碰撞，則確認一碰撞區域、以及一碰撞時間及碰撞持續時間。該互動模組150根據來自該真實物件識別模組120的至少一物件識別判斷、來自該碰撞模組140的碰撞判斷、以及該虛擬目標物件106的類型來決定行動。
在一實施例中，該真實物件偵測模組110可以包括一定位元件，用於接收一第一主動物件102及一第二主動物件104至少其中之一的數個影像像素及相對深度。在另一實施例中，該真實物件偵測模組110可以包括至少一RGB相機， 用於接收一第一主動物件102及一第二主動物件104中至少一個的數個影像像素，以及至少一深度相機，用於接收相對深度。該深度相機114可以量測主動物件及周遭目標物件的深度。該深度相機114可以為一飛時測距相機，它採用飛時測距技術，通過測量雷射或LED(例如LiDAR)發出的人工光訊號的往返時間，來得到該物件影像中的每一點與該相機的距離。一飛時測距相機可以量測從幾公分至幾公里的距離。其他裝置，例如結構光模組、超音波模組或紅外線模組，也可以做為用於偵測周遭物體深度的深度相機。當該目標物件106為真實目標物件，該真實物件偵測模組110可以用於接收該真實目標物件的數個影像像素及相對深度。
該真實物件識別模組120可以藉由該真實物件偵測模組110接收到的資訊確定該第一主動物件102及該第二主動物件104中至少一個的形狀、位置及動作。該真實物件識別模組可以包括處理器，例如CPU、GPU、人工智能處理器，以及記憶體，例如SRAM、DRAM以及快閃記憶體，用於計算並確認該第一主動物件102及該第二主動物件104中至少一個的形狀、位置及動作。為了確定該主動物件的形狀，該真實物件識別模組120首先要辨認該主動物件的數個特徵點，並接著確定這些特徵點的三維座標。該系統100需要建立一慣性參考坐標系，以提供實體世界中每一點的三維座標。在一實施例中，每一點的三維座標代表三個方向，分別為水平方向、垂直方向、以及深度方向，例如XYZ座標系。當該系統100為一用於虛擬實境(VR)、擴增實境(AR)、以及混和實境(MR)的頭戴式裝置，可以設瞳孔間連線的方向為水平方向(或X軸向)；可以設臉部中線且垂直於水平向的方向為垂直方向(或Y軸向)；可以設正對正面並垂直於水平方向及垂直方向的方向為深度方向(或X軸向)。
為了提供一慣性參考坐標系，該系統100可進一步包含一定位模組116(未顯示)，可確定一使用者在室內及室外的位置及方向。該定位模組116可以藉由以下元件及科技實行：全球定位系統(GPS)、陀螺儀、加速計、行動電話網路、WiFi、超寬頻(UWB)、藍芽、其他無線網路、用於室內及室外定位的信標感應。該定位模組116可以包括一積體慣性感測器(IMU)，該積體慣性感測器為使用加速計、陀螺儀及有時磁力計量測並回報身體的比力、角速度、及有時身體的方向的一電子裝置。使用該包含一定位模組116的該系統100的使用者可以透過各種有線及/或無線通訊方式跟其他使用者分享其位置資訊。該功能可以方便一使用者遠程定位另一使用者。該系統也可以使用來自該定位模組116的該使用者位置檢索該位置周遭環境的資訊，例如地圖及周邊店家、餐廳、加油站、銀行、教堂等。
該數個影像像素提供該主動物件的每一個特徵點的一二維座標，例如XY座標。然而，因為沒有考慮到深度，所以該二維座標並不精準。因此，如圖2A至2B所示，該真實物件識別模組120可以對齊或重疊包含數個影像像素及深度圖的該RGB影像，讓該RGB影像中的特徵點可以疊加至該深度圖上的相對應的特徵點。藉此得到每個特徵點的深度。該RGB影像及該深度圖可以有不同的解析度及尺寸。因此，如圖2B所示之一實施例，該深度圖的沒有跟該RGB影像重疊的周邊部分會被裁切掉。特徵點的深度是用來校正該RGB影像的XY座標並對導出真實的XY座標。舉例來說，一特徵點在RGB影像中有XY座標(a,c)並在深度圖中有Z座標(depth)。該真實XY座標為(a+b*depth,c+d*depth)，其中b及d為校正參數。因此，該真實物件識別模組120使用同時擷取的數個影像像素及其對應深度，分別調整右手及左手中至少一個的水平座標及垂直座標。
如上所述，該第一主動物件及該第二主動物件可以分別為該系統100的使用者的右手或左手。為了辨識該右手或該左手的形狀，該真實物件識別模組120分別為該右手及該左手中至少一個識別了至少十七個特徵點。如圖3所示之一實施例，每隻手共有21個特徵點，分別在手腕及五根手指上，每隻手指有四個特徵點。每隻手有五隻手指，即拇指、食指、中指、無名指以及尾指。每隻手指有四個特徵點，包括三個關節(拇指的腕掌關節(第一關節)、掌指關節(第二關節)及指間關節(第三關節)；其他四指的掌指關節(第一關節)、近側指間關節(第二關節)及遠側指間關節(第三關節))及一個指尖。該右手有21個特徵點，即RH0(手腕)、RH1(拇指腕掌關節)、RH2(拇指掌指關節)一直到RH19(尾指遠側指間關節)及RH20(尾指指尖)。左手一樣有21個特徵點，即LH0(手腕)、LH1(拇指腕掌關節)、LH2(拇指掌指關節)、一直到LH19(尾指遠側指間關節)及LH20(尾指指尖)。
每隻手的形狀可以由該21個特徵點的空間關係表示。一個分類手的形狀的方式是確定每根手指是伸直或彎曲的。因此，在一實施例中，該真實物件識別模組120藉由確定每根手指分別為伸直或彎曲，確定該右手及該左手中至少一個的形狀。因為每隻手有五根手指，且每隻手指有兩種狀態—彎曲以及伸直，因此每隻手可以有32種形狀。可以透過手指角度430及手指長度差(450的長度減去440的長度)確定手指為伸直或彎曲。如圖4A所示，該手指角度430為一第一線及一第二線之間的角度，該第一線是由手腕特徵點(例如RH0)跟該手指的第一關節(例如RH1、RH5、RH9、RH13及RH17)所形成，該第二線是由該手指的第一關節及該手指的指尖(例如RH4、RH8、RH12、RH16及RH20)所形成。如圖4B所示，對於食指、中指、無名指、尾指而言，手指長度差是一第一長度450跟一第二長度440的差距，該第一長度是從手腕(例如RH0)至該手指的第二關節(例如RH6、RH10、RH14、RH18)，該第二長度是從手腕至該手指的指尖(例如RH8、RH12、RH16、RH20)。對拇指而言，手指長度差是一第三長度470跟一第四長度460的差距，該第三長度是從拇指指尖(例如RH4)至尾指的第一關節(例如RH17)，該第四長度是從母指的第二關節至尾指的第一關節。在一實施例中，當一手指角度430大於120度，且該手指長度差大於0時，該手指即判定為伸直。
在該真實物件識別模組確定每根手指為彎曲或伸直之後，透過指派0以代表一彎曲的手指，指派1以代表一伸直的手指，一隻手的32種形狀都可以由一五位的二進位數字表示，而每一位依序顯示了從拇指到尾指每根手指的狀態。舉例來說，01000代表一種手型，其拇指彎曲、食指伸直、中指彎曲、無名指彎曲且尾指彎曲。該手型可能是使用者跟一虛擬使用者介面互動時最常使用的手型之一。此外，圖5A至5C說明了右手的三種手型。舉例來說，圖5A可以由11111表示；圖5B可以由11000表示；以及圖5C可以由00000表示。
在特定時間確定該主動物件的形狀及位置後，該真實物件識別模組120接著藉由一預設時間段內的形狀及位置變化確定該主動物件的動作。動作可以為旋轉、平移、震盪、不規則運動，或是上述動作的組合。動作可以有方向、速度以及加速度，這些都可以從該主動物件的形狀及位置變化得知。常見的動作種類包含拉、推、丟、轉以及滑。舉例來說，該真實物件識別模組120接著分析該主動物件的形狀及位置變化，一秒大約十次，並且大約每兩秒做出一次判斷。該真實物件識別模組120產生一物件識別判斷，該物件識別判斷可以包括該第一主動物件及該第二主動物件中至少一個的物件識別相關資訊，例如形狀、位置、動作(包括方向、速度以及加速度)，以及該第一及/或第二主動物件與該目標物件之間的空間關係。
該虛擬目標物件顯示模組130透過分別投射數條右光訊號至一使用者的一視網膜，並投射數條左光訊號至該使用者的另一視網膜，在一第一深度顯示一虛擬目標物件106。此外，一第一右光訊號及一相對應第一左光訊號由該使用者感知，以顯示該虛擬目標物件的一第一虛擬雙眼像素，所以該使用者在該第一深度感知到一雙眼像素，該第一深度跟投射至該使用者視網膜的該右光訊號及該相對應左光訊號有關。該虛擬目標物件顯示模組130包括一右光訊號產生器10、一右合光元件20、一左光訊號產生器30、及一左合光元件40。該右光訊號產生器10產生數條右光訊號，並由一右合光元件20重定向並投射至該使用者的第一眼以形成一右影像。該左光訊號產生器30產生數條左光訊號，並由一左合光元件40重定向並投射至該使用者的第二眼以形成一左影像。
該碰撞模組140用於確定該第一主動物件102跟該第二主動物件104中至少一個有無跟一虛擬目標物件106發生碰撞，若有發生碰撞，則確定碰撞區域、及碰撞時間及碰撞持續時間。該碰撞模組140可以產生該第一主動物件102跟該第二主動物件104中至少一個的外表面模擬。如前所述，該第一主動物件及該第二主動物件可以分別為該使用者的右手及左手。在一實施例中，該碰撞模組140透過掃描該右手及左手的外表面產生該使用者的右手及左手的外表面模擬。因此，該模擬可以透過手型以及手的特徵點的位置立刻調整其外表面的位置(三維座標)。該同步定位與建圖(SLAM)技術可以用來建構或調整手的外表面以及它跟環境間的空間關係。在另一實施例中，該碰撞模組140使用幾何建模技術產生右手及左手的外表面模擬。一種幾何建模技術被稱為體積階層式近似凸式分解(volumetric hierarchical approximate convex decomposition, V-HACD)，將該外表面分解為一群二維或三維的凸元件，或是二維及三維的凸元件的組合。該二維凸元件可以有幾何形狀，例如三角形、正方形、橢圓形、以及圓形等。該三維凸元件可以有幾何形狀，例如圓柱體、球體、角錐、角柱、長方體、正方體、三角錐、圓錐、半球形等。每個凸元件接著會被分配一組二維或三維座標/參數以代表該凸幾何形狀的特殊位置來模擬其外表面。
如圖6A所示，一右手的外表面模擬為22個三維凸元件的組合，從V0至V21，其幾何形狀可以為圓柱體、正方體以及三角錐。每根手指包含三個圓柱體的凸元件。手掌包含七個凸元件。圖6B為另一實施例，說明用幾何建模做出的手的外表面模擬。左手的21個特徵點都用一球形的三維凸元件表示。這些特徵點間用圓柱的三維凸元件連接。手掌可以用數個三角錐、角住或正方體的三維凸元件表示。如圖6C所示，一圓柱體的三維它圓建可以被分配數個參數以模擬其外表面，像是中心點Pc的三維座標、上半徑、下半徑、該圓柱的長度、以及旋轉角度。這些參數可以透過一使用者的右手及左手的校正程序獲得。在校正程序中，每隻手的幾何資訊，例如手掌厚度、兩個指節(關節)間的距離、手指長度、兩指尖的角度等會被訂正並用於產生手的外表面模擬。
在產生該第一主動物件及該第二主動物件中至少一個的外表面模擬後，該碰撞模組140確定該第一主動物件及該第二主動物件中至少一個的外表面模擬跟該虛擬目標物件的外表面之間是否有接觸。如前所述，在一實施例中，該第一主動物件及該第二主動物件可以分別為該使用者的右手及左手。在該情況下，該目標物件106為由該虛擬目標物件顯示模組130顯示的一虛擬目標物件，該虛擬目標物件的外表面可以從該系統100獲得。一般來說，若該右手或佐手的外表面模擬跟該虛擬目標物件的外表面相交，則該右手或佐手的外表面模擬跟該虛擬目標物件的外表面有接觸。相交的程度可以通過量測相交空間的體積得知。然而，為了促進該主動物件與該虛擬目標物件的互動，當該第一主動物件及該第二主動物件中至少一個的外表面模擬與該虛擬目標物件之間最短距離小於一預設距離(例如0.4公分)時，則該碰撞模組判定有接觸。於是，即使一手沒有實際接觸到該虛擬目標物件，但因為該手非常靠近該虛擬目標物件，則判定有接觸。
該碰撞模組140產生一碰撞判斷，該碰撞判斷可以包括各種碰撞相關資訊，例如是否發生碰撞，若有發生碰撞，則進一步包括接觸點數量(單接觸點碰撞或多接觸點碰撞)、每個接觸點的接觸範圍、每個接觸點的碰撞時間(開始時間、結束時間、接觸持續時間)。一碰撞事件可以根據該碰撞相關資訊分成各種不同的種類。舉例來說，單接觸點碰撞、多接觸點碰撞、維持(連續多接觸點碰撞)、單擊碰撞(在一預設時間段內的一個單接觸點碰撞)、雙擊碰撞(在一預設時間段內的兩個單接觸點碰撞)、滑動碰撞或滾動碰撞(在一移動接觸範圍內的一連續單接觸點碰撞)。
如上所述，該目標物件可以為一虛擬目標物件或一真實目標物件。如圖7所示，真實或虛擬目標物件皆可以根據該目標物件的位置(三維座標)是否在慣性參考坐標系中移動，進一步分類為一移動目標物件及一固定目標物件。一移動虛擬目標物件可以為一虛擬棒球、一虛擬杯子、一虛擬骰子、一虛擬汽車等。一固定虛擬目標物件可以為一虛擬使用者介面，例如一圖標、一按鈕、一選單。該固定虛擬目標物件可以根據該物件的內部相對於該物件的其他部分是否有移動，進一步分類為一剛性目標物件及一可變形目標物件。一可變形目標物件可以為一彈簧、一氣球、以及可以被選轉或按壓的按鈕。
該互動模組150用於確定一事件是否發生，以及確定一事件發生時的反應行動。來自該真實物件識別模組120的該物件識別判斷以及來自該碰撞模組140的該碰撞判斷可以一起定義或分類各種種類的事件。該目標物件的種類及特徵也可以用來決定一事件的反應行動。
如圖8所示，該第一事件為一使用者的右手握住一虛擬棒球(目標物件)，該第二事件為該使用者的右手往前丟出該虛擬棒球70。因為該目標物件為一虛擬棒球，該第一事件的反應行動為該虛擬棒球70維持被握住並跟著該使用者的右手移動。該第二事件的反應行動為該虛擬棒球70從一第一目標位置T1移動至一第二目標位置T2。該棒球虛擬目標物件70由該虛擬目標物件顯示模組在該第一目標位置T1(其深度為D1)顯示，並以一第一虛擬雙眼像素72(其中點)表示；當該棒球虛擬目標物件70移動至一第二目標位置T2(其深度為D2)，則以該第二虛擬雙眼像素74表示。
圖9A至9D說明一使用者用其右手102的食指指一電視910(沒有觸碰)以啟動一虛擬操作選單，並接著用食指接觸一虛擬音量調以調整音量。如圖9A所示，該第一事件為一使用者食指伸出的手型(01000)指向一電視，該電視為在一預設時間段內(例如五秒鐘)沒有碰撞的一真實目標物件。該事件是透過該右手102的形狀、該食指的方向、以及該預設時間段所確定的。如圖9B所示，該反應行動為在該電視910周圍顯示一虛擬長方形920，以告知該使用者該電視910已經被選取且一虛擬控制選單930已經跳出以供後續操作。如圖9C所示，五個音量標示圈940中只有兩個被點亮。該第二事件為該使用者右手102接觸該虛擬音量條的上端一段時間—跟一虛擬音量條(及一固定虛擬目標物件)發生一連續單觸碰點碰撞。如圖9D所示，該反應行動為五個音量標示圈940中有四個被點亮。
在該互動模組150確認一事件並確定一反應行動後，該互動模組150將會透過一介面模組180，經由有線或無線通訊通道，跟該系統中的其他模組通信，例如該虛擬目標物件顯示模組130及一反饋模組160，或是跟外部裝置/設備通信，例如一電視及一外部伺服器190，以執行該反應行動。
該系統100可進一步包括一反饋模組160。該反饋模組160在一預設情境發生時提供反饋給該使用者，例如聲音及震動。該反饋模組160可以進一步包括一揚聲器以提供聲音來確認一主動物件跟一虛擬目標物件接觸，以及/或一振動產生器以提供各種種類的震動。這些種類的反饋可以由該使用者通過一介面模組180來設定。
該系統100可以進一步包括一用於密集計算的處理模組170。該系統100的其他模組可以使用該處理模組以執行密集運算，例如模擬、人工智能演算法、幾何建模、用於顯示一虛擬目標物件的右光訊號及左光訊號。事實上，所有計算工作都可以由該處理模組170執行。
該系統100可以進一步包括一介面模組180，該模組讓使用者可以控制該系統100的各種功能。該介面模組180可以使用一平板、一鍵盤、一滑鼠、一旋鈕、一開關、一手寫筆、一按鈕、一桿子、一觸控螢幕等形式，用聲音、手勢、手指/腳的移動來操作。
該系統的所有元件可以由一個模組專門使用，也可以由兩個或更多模組共享，以執行所需的功能。此外，本發明中所述的兩個或多個模組可以由一個物理模組實現。例如，儘管該真實物件識別模組120、該碰撞模組140及該互動模組150的功能是獨立的，但是他們可以藉由一個物理模組實現。本發明中所述的一個模組可以由兩個或多個獨立的模組實現。外部伺服器190不是該系統100的一部份，但可以為更複雜的計算提供額外的計算能力。上述每個模組及外部伺服器190可以通過有線或無線方式相互通信。無線的方式可以包括WiFi、藍芽、近場通信(NFC)、網路、電信、無線電通訊等。
如圖10所示，該系統100進一步包括一可戴在使用者頭上的支撐結構。該真實物件偵測模組110、該真實物件識別模組120、該虛擬目標物件顯示模組130(包括一右光訊號產生器10、一右合光元件20、一左光訊號產生器30、以及一左合光元件40)、該碰撞模組140、以及該互動模組150皆由該支撐結構乘載。在一實施例中，該系統為頭戴式裝置，例如一虛擬實境(VR)護目鏡及擴增實境/混合實境眼鏡。在該情況下，該支撐結構可以為一帶有鏡片或沒有鏡片的鏡框。該鏡片可以為用來矯正近視、遠視等的處方鏡片。此外，該反饋模組160、該處理模組170、該介面模組180、以及該定位模組116也可以由該支撐結構所乘載。
在本發明的一實施例中，該系統100可以用於實現統一的AR環境中的多用戶互動，例如遠端會議、遠端學習、直播、線上拍賣及線上購物等。
圖11說明來自不同位置或相同位置的多個使用者透過該系統100所創造的AR環境中彼此互動。每個使用者藉由頭戴式裝置的形式配戴一組系統100，該頭戴式裝置分別包含該真實物件偵測模組110、該真實物件識別模組120、該虛擬目標物件顯示模組130、該碰撞模組140、以及該互動模組150。每個系統100之間可以藉由各種有線及/或無線的通信方式分享該使用者、該主動物件、以及該目標物件的相對位置資訊，以及各自的虛擬目標物件顯示模組130為不同使用者顯示的事件及行動。該定位模組116可以確定每個使用者及目標物件在真實空間的位置，並將這些位置對映到擁有自己的座標系統的AR環境中。這些跟位置相關的資訊可以在使用者之間傳輸，以便各自的虛擬目標物件顯示模組130根據不同的事件及反應行動向使用者顯示相對應的虛擬影像。該反饋模組160也可以根據該行動提供反饋給該使用者，例如聲音及震動。進一步說，用戶們可以一起與該目標物件進行互動，該目標物件可以為一真實物件，也可以為一虛擬目標物件。舉例來說，參照圖11，如果使用者A與該真實目標物件在同一個位置，而使用者B及使用者C在不同於使用者A的位置；那麼目標物件的虛擬影像可以根據使用者B和C相對於目標物件的相對位置(由定位模組116決定)，通過他們各自的系統100創造的AR環境，呈現給使用者B和C。當使用者A跟該目標物件互動時，該事件可以觸發一反應行動，像是顯示該目標物件的一虛擬價格標籤，且可以被所有使用者看見。進一步說，任何一位使用者都可以單點該虛擬價格標籤，將該價格以另外一種貨幣的價格顯示；或是任何一位使用者可以輕觸並滑動該虛擬價格標籤以縮小或關掉該價格標籤。該價格標籤可以被觸碰並滑動的情況下，在AR環境中表現出平移運動。由於從每個使用者的角度來看，該虛擬目標物件(即虛擬價格標籤)的位置可能是不同的，所以定位模組116可以根據每個使用者在AR環境坐標系中的位置，確定各自的虛擬目標物件顯示模組130的相應位置，以顯示價格標籤的相應平移運動。此外，如圖11所示的例子，使用者A可以操作該目標物件的一個功能(例如開啟汽車中的音響系統)，音頻資訊可以傳輸給使用者B和C，因此該反饋模組160可以反應使用者A觸法的行動而撥放音樂。
在一些實施例中，該虛擬目標物件可以顯示給沒有跟該目標物件在同一個位置的使用者B或C。然而，使用者B和C可以經由該目標物件的虛擬影像跟該目標物件進行遠端互動。如前所述，該系統100可以根據該主動物件的指定位置跟該目標物件在AR環境中的位置，確定該主動物件(即使用者B或C的手)是否跟該目標物件的虛擬影像碰撞。該被觸發的行動可以傳送給其他使用者，以便對所有使用者顯示相同的行動。在本實施例中，該目標物件的模型可以由該真實物件識別系統120創造；或是該模型可以預先創造並儲存在AR環境中，以便更快的存取。
下面將詳細討論該虛擬影像模組120在特定位置及深度產生虛擬目標物件70,75的方法、以及依照需求移動該虛擬目標物件的方法。於2020年11月6日提交的PCT國際申請PCT/US20/59317，標題為”SYSTEM AND METHOD FOR DISPLAYING AN OBJECT WITH DEPTHS”，其全部內容通過引用納入本文。
如圖12所示，該使用者在該使用者前方的區域C感知到該棒球的虛擬目標物件70。在一第一目標地點T1(深度為D1)顯示的該棒球虛擬目標物件70由其影像的中心點，即一第一虛擬雙眼像素72(其中心點)表示；當該虛擬目標物件70移動到一第二目標地點T2(深度為D2)時，由一第二虛擬雙眼像素74表示。該第一重定向右光訊號16’(該第一右光訊號)與相對應的該第一重定向左光訊號36’(該第一左光訊號)之間的該第一角度為Ɵ1。該第一深度D1跟該第一角度Ɵ1有關。特別是，該第一虛擬目標物件70的第一虛擬雙眼像素的第一深度可以由該第一重定向右光訊號及相對的該第一重定向左光訊號光線延伸路徑之間的第一角度Ɵ1所決定。於是，該第一虛擬雙眼像素72的該第一深度D1可以由下列公式算出近似值：
Figure 02_image001
該右瞳孔52與該左瞳孔62之間的距離為瞳距(IPD)。相同的，該第二重定向右光訊號18’(該第二右光訊號)與相對應的該第二重定向左光訊號36’(該第二左光訊號)之間的該第二角度為Ɵ2。該第二深度D1跟該第二角度Ɵ2有關。特別是，該虛擬目標物件70的第二虛擬雙眼像素的第二深度可以透過相同公式，由該第二重定向右光訊號及相對的該第一重定向左光訊號光線延伸路徑之間的第二角度Ɵ2所決定。因為該第二虛擬雙眼像素74跟該第一虛擬雙眼像素72，在距離該觀看者較遠的地方被感知(深度較深)，該第二角度Ɵ2會比該第一角度Ɵ1小。
此外，雖然RLS_2的該重定向右光訊號16’與LLS_2的該重定向左光訊號72共同在該第一深度D1顯示一第一虛擬雙眼像素72。RLS_2的該重定向右光訊號16’可能會顯示和相對應的LLS_2的該重定向左光訊號36’有相同或不同的視角的影像。換句話說，雖然該第一角度Ɵ1決定該第一虛擬雙眼像素72的深度，但RLS_2的該重定向右光訊號16’與相對應的LLS_2的該重定向左光訊號36’可能有視差。因此，紅綠藍(RGB)色光的強度及/或該右光訊號及該左光訊號的亮度可以大致相同，也可以因為陰影、視角等等的關係而有些許不同，以達到更好的3D效果。
如上所述，該數條右光訊號是由該右光訊號產生器10產出、由該右合光元件20重定向、接著由該右視網膜掃描後，在該右視網膜上形成一右影像122(圖13中右視網膜影像86)。同樣地，該數條左光訊號是由該左光訊號產生器30產出、由該左合光元件40重定向、接著由該左視網膜掃描後，在該左視網膜上形成一左影像124(圖13中左視網膜影像96)。如圖12所示之一實施例，一右影像122包含36個正常像素(6x6矩陣)且一左影像124也包含36個調整像素(6x6矩陣)。在另一實施例中，一右影像122可包含921600個正常像素(1280x720矩陣)且一左影像124也可包含921600個調整像素(1280x720矩陣)。該虛擬影像模組120用來產生數個右光訊號及相對應的數條左光訊號，這些訊號分別在右視網膜上形成該右影像122，且在該左視網膜上形成左影像124。結果，該觀看者因為影像融合而在區域C中感知到一具有特定深度的虛擬目標物件。
參考圖12，來自該右光訊號產生器10的該第一右光訊號16被該右合光元件20接收並反射。該第一重定向右光訊號16’穿過該右瞳孔52到達該使用者的該右視網膜並顯示該右視網膜像素R43。來自該左光訊號產生器30的該相對應的左光訊號36被該左合光元件40接收並反射。該第一重定向左光訊號36’穿過該左瞳孔62到達該使用者的該左視網膜並顯示該左像素L33。作為影像融合的結果，一使用者感知到在該第一深度的該虛擬目標物件70，其深度是由該第一重定向右光訊號及相對應的該第一重定向左光訊號之間的該第一角度決定。一重定向右光訊號與一相對應左光訊號之間的角度是由該右像素與該左像素之間的相對水平距離決定的。因此，一虛擬雙眼像素的深度跟形成該虛擬雙眼像素的該右像素及相對應的該左像素之間的水平距離成負相關。換句話說，該使用者感知到的一虛擬雙眼像素越深，形成該虛擬雙眼像素的該右像素與左像素之間在X軸上的水平距離越小。舉例來說，如圖12所示，該使用者感知到的該第二虛擬雙眼像素74比該第一虛擬雙眼視覺像素72更深(也就是比該觀看者更遠)。因此，在視網膜影像122,124上，該第二右像素與該第二左像素之間的水平距離會比該第一右像素與該第一左像素之間的水平距離更小。具體來說，形成該第二虛擬雙眼像素74的該第二右像素R41與該第二左像素L51之間的水平距離為四個像素長。然而，形成該第一虛擬雙眼像素72的該第一右像素R43與該第一左像素L33之間的水平距離為六個像素長。
如圖13所示之一實施例，說明了來自光訊號產生器的數條右光訊號及數條左光訊號的光線路徑。該數條右光訊號由該右光訊號產生器10產生並向該右合光元件20投射並形成一右合光元件影像(RSI)82。該數條右光訊號由該右合光元件20重定向並匯聚至一微小右瞳孔影像(RPI)84穿過該右瞳孔52，最終到達該右視網膜54並形成一右視網膜影像(RRI)86(右影像122)。RSI, RPI, RRI皆由ixj個像素組成。每個右光訊號RLS(i,j)都會經過相對應的像素，從RSI(i,j)到RPI(i,j)、接著到RRI(x,y)。舉例來說，RLS(5,3)會從RSI(5,3)到RPI(5,3)，再到RRI(2,4)。相同地，該數條左光訊號由該左光訊號產生器30產生並向該左合光元件40投射並形成一左合光元件影像(LSI)92。該數條左光訊號由該左合光元件40重定向並匯聚為一微小左瞳孔影像(LPI)94穿過該左瞳孔62，最終到達該左視網膜64並形成一左視網膜影像(LRI)96(左影像124)。LSI, LPI, LRI皆由 ixj 個像素組成。每個左光訊號ALS(i,j)都會經過相對應的像素，從LSI(i,j)到LPI(i,j)、接著到LRI(x,y)。舉例來說，ALS(3,1)會從LSI(3,1)到LPI(3,1)，再到LRI(4,6)。(0,0)像素是每個影像最左上方的像素。視網膜影像中的像素跟合光元件影像中相對應的像素為左右相反且上下顛到的。在該光訊號產生器及合光元件的相對位置都已經安排好的情況下，每個光訊號都有其自己從一光訊號產生器到一視網膜的光線路徑。在右視網膜上顯示一右像素的一右光訊號及相對應的在左視網膜上顯示一左像素的一左光訊號會共同形成一帶有特定深度的虛擬雙眼像素，並由一使用者感知。因此，一在空間中的虛擬雙眼像素可以由一對右視網膜像素及左視網膜像素或是一對右合光元件像素及左合光元件像素表示。
一使用者在區域C中感知到一虛擬目標物件可能包括數個虛擬雙眼像素，但在本發明中僅由一虛擬雙眼像素表示。為了可以精確地描述一虛擬雙眼像素在空間中的位置，每個空間中的位置都會有一個三維座標，例如XYZ座標，其他三維座標系統可以用在其他實施例中。於是，每個虛擬雙眼像素都有一個三維座標：一水平方向、一垂直方向以及一深度方向。水平方向(或X軸方向)是沿著瞳孔連線的方向；垂直方向(或Y軸方向)沿著臉部中線的方向並垂直於水平方向；深度方向(或Z軸方向)是指正平面的法線並與水平方向及垂直方向皆垂直。水平方向座標與垂直方向座標在本發明中被統稱為位置。
圖14說明該右合光元件影像中的像素、該左光元件影像中的像素、以及該虛擬雙眼像素之間的關係。如上所述，該右合光元件影像中的像素每個都與該右視網膜影像中的像素(右像素)相對應。該左合光元件影像中的像素每個都與該左視網膜影像中的像素(左像素)相對應。然而，該視網膜影像中的像素與相對應在合光元件影像中的像素左右相反且上下顛倒。對於一由36個(6x6)右像素組成的右視網膜影像與一由36個(6x6)左像素組成的左視網膜影像，假設所有光訊號都在該觀看者兩隻眼睛的視野(FOV)內，則在區域C中有216個(6x6x6)虛擬雙眼像素(顯示為一點)。一重定向右光訊號的光線延伸路徑會與該影像中同一排的所有重定向左光訊號的光線延伸路徑相交。同樣地，一重定向左光訊號的光線延伸路徑會與該影像中同一排的所有重定向右光訊號的光線延伸路徑相交。因此，一層會有36個(6x6)虛擬雙眼視覺像素而空間中一共有六層。雖然在圖14中看起來例如平行線，但是相鄰兩條光線延伸路徑相交並形成虛擬雙眼像素代表他們之間有一小角度。在視網膜中大約相同高度的一右像素及相對應的一左像素(即在右視網膜影像與左視網膜影像的同一行)通常會更早融合。因此，右像素與在視網膜影像同一行的調整像素配對，並形成虛擬雙眼像素。
如圖15所示，創造了一查詢表以方便識別每一虛擬雙眼像素的右像素及左像素對。舉例來說，216個虛擬雙眼像素由36個右像素及36個左像素組成，編號從1至216。該第一(1st)虛擬雙眼像素VBP(1)代表右像素RRI(1,1)及左像素LRI(1,1)。該第二(2nd)虛擬雙眼像素VBP(2)代表右像素RRI(2,1)及左像素LRI(1,1)。該第七(7th)虛擬雙眼像素VBP(7)代表右像素RRI(1,1)及左像素LRI(2,1)。該第三十七(37th)虛擬雙眼像素VBP(37)代表右像素RRI(1,2)及左像素LRI(1,2)。該第兩百一十六(216th)虛擬雙眼像素VBP(216)代表右像素RRI(6,6)及左像素LRI(6,6)。因此，為了向該使用者顯示一虛擬目標物件在空間中的一特定虛擬雙眼像素，需要確定哪一對右像素及左像素可以用來產生相對應的右光訊號及左光訊號。此外，在查詢表中一虛擬雙眼像素的每一行包括一指標，該指標導向儲存該VBP的感知深度(z)及感知位置(x,y)的記憶體位址。額外的訊息也可以儲存在VBP，例如尺寸比例、重疊物品的數量、以及序列深度。尺寸比例為特定VBP與標準VBP相比的相對大小資訊。舉例來說，當該虛擬目標物件顯示在該使用者面前一公尺處的該標準VBP時，尺寸比例可以設為1。因此，對於在該使用者前面90公分的該特定VBP，該尺寸比例可以設為1.2。同樣地，對於在該使用者前面1.5公尺的特定VBP，該尺寸比例可以設為0.8。當該虛擬目標物件從一第一深度移動到第二深度時，尺寸比例可以用來決定該虛擬目標物件顯示的尺寸。尺寸比例在本發明中可以為放大率。重疊物品的數量為因重疊而部分或完全被其他物品覆蓋的物品數量。序列深度包含各個重疊影像的深度排序。舉例來說，有三個影像相互重疊。在最前面的該第一影像的序列深度設為1，而被該第一影像覆蓋的該第二影像的序列深度設為2。重疊影像的數量與序列深度是用來決定當各種重疊物品移動時，該顯示哪個影像及該影像的哪個部分。
該查詢表由下列步驟創造。第一步驟：根據該使用者IPD獲得一個人虛擬地圖，該虛擬地圖是由該虛擬影像模組在啟動或校正時創建，它指定了區域C的邊界，在該邊界中該使用者可以因為右視網膜影像及左視網膜影像的融合而感知到一帶有深度的虛擬物體。第二步驟：對於Z軸方向上的每個深度(Z軸上的每個點)計算輻輳角度，以確定該右視網膜影像及該左視網膜影像上的一對右像素及左像素，無論其X座標與Y座標。第三步驟：沿X軸方向移動該對右像素及左像素，以確定每對在一特定深度的右像素及左像素的X座標及Z座標，無論其Y座標。第四步驟：沿Y軸方向移動該對右像素及左像素，以確定每對右像素及左像素的Y座標。因此，可以確定該右視網膜影像及該左視網膜影像上的每對右像素及左像素的三維座標系，如XYZ，以建立該查詢表。此外，第三步驟跟第四步驟可以互換。
該光訊號產生器10及30可以為雷射、發光二極體(LED)，包含mini LED及 micro LED、有機發光二極體(OLED)、或超輻射發光二極體(SLD)、矽基液晶(LCoS)、液晶顯示器(LCD)，或其任何組合作為其光源。在一實施例中，該光訊號產生器10及30為一雷射掃描投影器(LBS projector)，該投影器由一光源(包括一紅光雷射、一綠光雷射及一藍光雷射)、一色彩修飾物(例如雙色合光鏡及偏振合光鏡)、以及一二維可調式反光鏡(例如一二維微機電系統鏡)。該二維可調式反射鏡可以由兩個一維反射鏡取代，例如兩個一維微機電系統(MEMS)鏡。該LBS投影器依序產生並掃描光訊號以在一預設解析度下形成一二維影像，例如每幀1280x720像素。因此，該投影器產生一像素的一光訊號並一次性投射到該合光元件20及40上。為了讓一使用者的一眼能夠看到該二維影像，該LBS投影器需要在視覺暫留時間內(例如1/18秒)依序產生每個像素的光訊號(例如1280x720個光訊號)。因此，每個光訊號的持續時間約為60.28奈秒。
在另一實施例中，該光訊號產生器10及30可為一數位光處理投影器(DLP projector)，該投影器可以一次產生一二維彩色影像。德州儀器的DLP技術為可以用來製造DLP投影器的數個技術之一。該完整二維彩色影像(可能由1280x720個像素所組成)會同時投射至該合光元件20及40上。
該合光元件20,40接收並重定向由該光訊號產生器10,30所產生的數條光訊號。在一實施例中，該合光元件20,40反射該數條光訊號，所以該重定向光訊號與該入射光訊號在同一側。在另一實施例中，該合光元件20,40折射該數條光訊號，所以該重定向光訊號與該入射光訊號在不同側。當該合光元件20,40作為一折射鏡，其反射率變動很大，如20%至80%，部分取決於該光訊號產生器的功率。在該領域有通常知識者知道如何根據該光訊號產生器及該合光元件的特性決定適當的反射率。此外，該合光元件20,40在入射光訊號另一側的環境光下為光學透明的，所以該使用者可以在同一時間看到該即時影像。根據其應用不同，透明度的變動範圍很大。若是應用在AR/MR，其透明度最好大於50%，例如在一實施例中約為75%。
該合光元件20,40可以由眼鏡或像透鏡一樣的塑膠材料製成，塗上特定材質(例如金屬)讓它部分透明且部分反射。使用一反射合光元件將光訊號導向該觀看者眼睛，而非現有技術中的導波器的一個優點為消除不良的繞射效應，例如重影、色彩置換等等。
本發明也揭露一用於真實物件識別的系統。該系統包括一真實物件偵測模組、一真實物件識別模組、以及一互動模組。該真實物件偵測模組是用於接收一右手及一左手中至少一個的數個影像像素以及相對應的深度。該真實物件識別模組用於確定該右手及該左手中至少一個的形狀、位置及動作。該互動模組根據來自該真實物件識別模組的一物件識別判斷，確定反應一事件的行動。此外，該真實物件識別模組藉由分別辨識手上至少十七個特徵點並獲得每個特徵點的三維座標，確定該右手及該左手中至少一個的位置。此外，該真實物件識別模組藉由確定每根手指為彎曲或伸直，確定該右手及該左手中至少一個的形狀。上述有關於該真實物件偵測模組、該真實物件識別模組、該互動模組及其他模組的描述適用於本系統的真實物件識別。
上述所提供之實施例的描述是為了使所屬領域具有通常技術者得以製造並使用本發明。對該實施例的各種修改對於所屬領域具有通常技術者是顯而易見的，並且此處確定的基本原理不需要創造性勞動便可以應用於其他實施例。因此，本所要求的主題不僅限於此處展示的實施例，而是要符合與此處公開的原理及新穎特徵一致的最廣範圍。可以預想其他的實施例也在本發明所揭露的精神及範圍內。因此，本發明意旨為涵蓋屬於所附的專利請求項及其等同物的範圍內的修改及變化。
10:右光訊號產生器 16:右光訊號 16’:重定向右光訊號 18:右光訊號 18’:重定向右光訊號 20:右合光元件 30:左光訊號產生器 36:左光訊號 36’:重定向左光訊號 38:左光訊號 38’:重定向左光訊號 40:左合光元件 50:右眼 52:右瞳孔 54:右視網膜 60:左眼 62:左瞳孔 64:左視網膜 70:虛擬目標物件 72:第一虛擬雙眼像素 74:第二虛擬雙眼像素 82:右合光元件影像 86:右視網膜影像 92:左合光元件影像 96:左視網膜影像 100:系統 102:第一主動物件 104:第二主動物件 106:虛擬/真實目標物件 110:真實物件偵測模組 112:RGB相機 114:深度相機 120:真實物件識別模組 122:右影像 124:左影像 130:虛擬物件顯示模組 140:碰撞模組 150:互動模組 160:反饋模組 170:處理模組 180:介面模組 190:外部伺服器 410:距離 420:距離 430:距離 440:距離 450:距離 460:距離 470:距離 910:電視 920:虛擬長方形 930:虛擬控制選單 940:音量標示圈 ϴ1:第一角度 ϴ2:第二角度 D1:第一目標深度 D2:第二目標深度 LH1:特徵點 LH2:特徵點 LH3:特徵點 LH4:特徵點 LH5:特徵點 LH6:特徵點 LH7:特徵點 LH8:特徵點 LH9:特徵點 LH10:特徵點 LH11:特徵點 LH12:特徵點 LH13:特徵點 LH14:特徵點 LH15:特徵點 LH16:特徵點 LH17:特徵點 LH18:特徵點 LH19:特徵點 LH20:特徵點 RH0:特徵點 RH1:特徵點 RH2:特徵點 RH3:特徵點 RH4:特徵點 RH5:特徵點 RH6:特徵點 RH7:特徵點 RH8:特徵點 RH9:特徵點 RH10:特徵點 RH11:特徵點 RH12:特徵點 RH13:特徵點 RH14:特徵點 RH15:特徵點 RH16:特徵點 RH17:特徵點 RH18:特徵點 RH19:特徵點 RH20:特徵點 T1:第一目標地點 T2:第二目標地點 V0:凸元件 V1:凸元件 V2:凸元件 V3:凸元件 V4:凸元件 V5:凸元件 V6:凸元件 V7:凸元件 V8:凸元件 V9:凸元件 V10:凸元件 V11:凸元件 V12:凸元件 V13:凸元件 V14:凸元件 V15:凸元件 V16:凸元件 V17:凸元件 V18:凸元件 V19:凸元件 V20:凸元件 V21:凸元件 VBP1:第一虛擬雙眼像素 VBP7:第七虛擬雙眼像素 VBP216:第二百一十六虛擬雙眼像素
圖1為方塊圖，說明本發明中物件互動系統的一實施例。 圖2A至2B為示意圖，說明RGB影像跟深度圖之間的關係。 圖3為一示意圖，說明本發明中人類手上的二十一個特徵點。 圖4A至4C為示意圖，說明確認手指彎曲或伸直的標準。 圖5A至5C為示意圖，說明本發明中手的各種形狀。 圖6A至6C為示意圖，說明本發明中使用幾何建模技術產生手的外表面模擬的實施例。 圖7為一圖表，說明本發明中各種類型的目標物件。 圖8為一示意圖，說明本發明中一手及一虛擬物件之間的物件互動的實施例。 圖9A至9D為示意圖，說明本發明中一使用者的一手及一真實目標物件及一虛擬目標物件之間的物件互動的另一實施例。 圖10為一示意圖，說明本發明中一頭戴式系統的一實施例。 圖11為一示意圖，說明本發明中多使用者互動的一實施例。 圖12為一示意圖，說明本發明中從一光訊號產生器、到一合光元件、再到一觀看者的一視網膜的光線路徑。 圖13為另一示意圖，說明本發明中從一光訊號產生器、到一合光元件、再到一觀看者的一視網膜的光線路徑。 圖14為一示意圖，說明本發明中深度感知跟查詢表之間的關係。 圖15為一表格，說明本發明中一查詢表的一實施例。
100:系統
102:第一主動物件
104:第二主動物件
106:虛擬/真實目標物件
110:真實物件偵測模組
112:RGB相機
114:深度相機
120:真實物件識別模組
130:虛擬物件顯示模組
140:碰撞模組
150:互動模組
160:反饋模組
170:處理模組
180:介面模組
190:外部伺服器

Claims (33)

  1. 一個用於物件互動的系統，該系統包括： 一真實物件偵測模組，用於接收一第一主動物件及一第二主動物件中至少一個的數個影像像素及相對應的深度； 一真實物件識別模組，用於確定該第一主動物件及該第二主動物件中至少一個的形狀、位置及動作； 一虛擬目標物件顯示模組，藉由投射數條右光訊號至一使用者的一視網膜並投射數條左光訊號至該使用者的另一視網膜，在一第一深度顯示一虛擬目標物件，其中該第一深度跟投射至該使用者視網膜的該右光訊號及相對應該左光訊號之間的一第一角度有關； 一碰撞模組，用於確定該第一主動物件及該第二主動物件中至少一個是否跟一虛擬目標物件發生碰撞，若有，則確定碰撞區域以及碰撞時間；以及 一互動模組，根據來自該真實物件識別模組的一物件識別判斷、來自該碰撞模組的一碰撞判斷、以及該虛擬目標物件的種類中至少其中之一，確定反應一事件的行動。
  2. 如請求項1中所述的該系統，其中該真實物件偵測模組包含至少一RGB相機，用於接收該第一主動物件及該第二主動物件中至少一個的數個影像像素；以及至少一個深度相機，用於接收相對應的深度。
  3. 如請求項1中所述的該系統，其中該真實物件識別模組採用同時擷取的數個影像像素及其相對應的深度來調整該第一主動物件及該第二主動物件中至少一個的水平座標及垂直座標。
  4. 如請求項3中所述的該系統，其中若該第一主動物件為一右手，且該第二主動物件為一左手，該真實物件識別模組分別為該右手及該左手中至少一個識別出至少十七個特徵點，並獲取每個特徵點的三維座標。
  5. 如請求項1中所述的該系統，其中若該第一主動物件為一右手，且該第二主動物件為一左手，該真實物件識別模組藉由確定每根手指分別為彎曲或伸直，確認該右手及該左手中至少一個的形狀。
  6. 如請求項5中所述的該系統，其中每隻手有一手腕特徵點，每隻手指有一第一關節、一第二關節、以及一指尖，由一手腕特徵點及該手指的一第一關節形成的一第一線，以及由該第一關節及該手指的一指尖形成的一第二線，當這兩者之間的一手指角度大於一預設角度時，則該手指被認定為伸直。
  7. 如請求項6中所述的該系統，其中對於一食指、一中指、一無名指、以及一尾指而言，從該手腕特徵點至該手指的一第二關節的一第一長度，以及從該手腕特徵點至該手指指尖的一第二長度，當兩者之間的一手指長度差大於一預設長度時，則該手指被認定為伸直；對於一拇指而言，從該拇指指尖至該尾指的一第一關節的一第三長度，以及從該拇指的一第二關節至該尾指的一第一關節的一第四長度，當兩者之間的一手指長度差大於一預設長度時，則該拇指被認定為伸直。
  8. 如請求項7中所述的該系統，其中當該手指角度大於約120度且該手指長度差大約大於零時，則該手指被認定為伸直。
  9. 如請求項1中所述的該系統，其中該真實物件識別模組根據該第一主動物件及該第二主動物件中至少一個在一預設時間段中的形狀及位置變化，確定該第一主動物件及該第二主動物件中至少一個的動作。
  10. 如請求項9中所述的該系統，其中該真實物件識別模組根據該第一主動物件及該第二主動物件中至少一個在一預設時間段中的位置變化，確定該動作的一速度或一加速度。
  11. 如請求項1中所述的該系統，其中當該第一主動物件為一右手且該第二主動物件為一左手，該碰撞模組為該右手及該左手中至少一個產生一外表面模擬。
  12. 如請求項11中所述的該系統，其中該外表面模擬為數個三維凸元件的組合，可以代表該右手或該左手的形狀。
  13. 如請求項12中所述的該系統，其中該數個三維凸元件中的每一個皆包含圓柱體、角錐、球體、長方體、正方體、三角錐的其中一種。
  14. 如請求項11中所述的該系統，其中若該右手及該左手中至少一個的外表面模擬跟該虛擬目標物件的一外表面有接觸，則該碰撞模組認定有碰撞發生。
  15. 如請求項14中所述的該系統，其中若(1)該右手及該左手中至少一個的外表面模擬與該虛擬目標物件的外表面相交或(2)該右手及該左手中至少一個的外表面模擬與該虛擬目標物件的外表面之間的最短距離小於一預設距離，則該右手及該左手中至少一個的外表面模擬與該虛擬目標物件的外表面之間有接觸。
  16. 如請求項15中所述的該系統，其中該碰撞模組藉由接觸點的數量、每個接觸點的接觸區域、以及每個接觸點的接觸時間，確定一碰撞種類。
  17. 如請求項16中所述的該系統，其中該虛擬目標物件可以為至少以下兩種之一，包含一移動目標物件以及一固定目標物件。
  18. 如請求項17中所述的該系統，其中當該虛擬目標物件為一固定使用者介面物件且該碰撞判斷為碰撞發生時，該互動模組根據該固定使用者介面的描述決定該行動。
  19. 如請求項17中所述的該系統，其中若接觸點的數量為一個或更多，且該碰撞時間比一預設時間段短，則該碰撞判斷為「推」。
  20. 如請求項19中所述的該系統，其中當該虛擬目標物件為一移動目標物件、該碰撞判斷為「推」、且該物件識別判斷為該動作比一預設速度更快時，則該互動模組確定該虛擬目標物件的一反應動作，且該虛擬物件顯示模組在該反應動作中顯示該虛擬目標物件。
  21. 如請求項16中所述的該系統，其中若接觸點的數量為兩個或更多、該至少兩個碰撞區域為指尖，且該碰撞時間比一預設時間段長，則該碰撞判斷為「握」。
  22. 如請求項17中所述的該系統，其中當該虛擬目標物件為一移動目標物件、該碰撞判斷為「握」、且該物件識別判斷為該動作比一預設速度慢時，則該互動模組確定該虛擬目標物件的一反應動作，該反應動作對應到握著該虛擬目標物件的手的動作，並且該虛擬物件顯示模組在該反應動作中顯示該虛擬目標物件。
  23. 如請求項1中所述的該系統，進一步包括： 一反饋模組，用於在碰撞發生時提供一反饋給該使用者。
  24. 如請求項1中所述的該系統，其中該虛擬目標物件顯示模組進一步包括： 一右光訊號產生器，產生數條右光訊號以形成一右影像； 一右合光元件，重定向該數條右光訊號至該使用者的一視網膜； 一左光訊號產生器，產生數條左光訊號以形成一左影像； 一左合光元件，重定向該數條左光訊號至該使用者的另一視網膜；
  25. 如請求項1中所述的該系統，進一步包括： 一可戴在該使用者頭上的支撐結構； 其中該真實物件偵測模組、該真實物件識別模組、該虛擬目標物件顯示模組、該碰撞模組、以及該互動模組皆由該支撐結構所乘載。
  26. 一種用於真實物件識別的系統，包括： 一真實物件偵測模組，接收一右手及一左手中至少一個的數個影像像素以及相對應的深度； 一真實物件識別模組，確定該右手及該左手中至少一個的形狀、位置及動作； 一互動模組，根據來自該真實物件識別模組的一物件識別判斷，確定反應一事件的一行動； 其中該真實物件識別模組藉由分別辨識手上至少十七個特徵點並獲得每個特徵點的三維座標，確定該右手及該左手中至少一個的位置。
  27. 如請求項26中所述的該系統，其中該真實物件偵測模組包括至少一RGB相機，以接收該右手及該左手中至少一個的數個影像像素；以及至少一深度相機，以接收相對應的深度。
  28. 如請求項26中所述的該系統，其中該真實物件識別模組使用同時擷取的數個影像像素及其對應深度，分別調整該右手及該左手中至少一個的水平座標及垂直座標。
  29. 如請求項26中所述的該系統，其中每隻手有一手腕特徵點，每隻手指有一第一關節、一第二關節、以及一指尖。由一手腕特徵點及該手指的一第一關節形成的一第一線，以及由該第一關節及該手指的一指尖形成的一第二線，當這兩者之間的一手指角度大於一預設角度時，則該手指被認定為伸直。
  30. 如請求項29中所述的該系統，其中對於一食指、一中指、一無名指、以及一尾指，從該手腕特徵點至該手指的一第二關節的一第一長度，以及從該手腕特徵點至該手指指尖的一第二長度，當兩者之間的一手指長度差大於一預設長度時，則該手指被認定為伸直；對於一拇指而言，從該拇指指尖至該尾指的一第一關節的一第三長度，以及從該拇指的一第二關節至該尾指的一第一關節的一第四長度，當兩者之間的一手指長度差大於一預設長度時，則該拇指被認定為伸直。
  31. 如請求項30中所述的該系統，其中當該手指角度大於約120度且該手指長度差大約大於零時，則該手指被認定為伸直。
  32. 如請求項26中所述的該系統，其中該真實物件識別模組根據該第一主動物件及該第二主動物件中至少一個在一預設時間段中的形狀及位置變化，確定該第一主動物件及該第二主動物件中至少一個的動作。
  33. 如請求項26中所述的該系統，其中該真實物件識別模組根據該第一主動物件及該第二主動物件中至少一個在一預設時間段中的位置變化，確定該動作的速度或加速度。
TW111103222A 2021-01-25 2022-01-25 物件互動的系統與方法 TW202236080A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163140961P 2021-01-25 2021-01-25
US63/140,961 2021-01-25

Publications (1)

Publication Number Publication Date
TW202236080A true TW202236080A (zh) 2022-09-16

Family

ID=82549949

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111103222A TW202236080A (zh) 2021-01-25 2022-01-25 物件互動的系統與方法

Country Status (5)

Country Link
US (1) US20240103606A1 (zh)
EP (1) EP4248300A1 (zh)
CN (1) CN116547639A (zh)
TW (1) TW202236080A (zh)
WO (1) WO2022159911A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117055739B (zh) * 2023-10-11 2024-01-26 深圳优立全息科技有限公司 一种全息设备交互方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2256605B1 (en) * 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
US9952673B2 (en) * 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
DE102016215481A1 (de) * 2016-08-18 2018-02-22 Technische Universität Dresden System und Verfahren zur haptischen Interaktion mit virtuellen Objekten
JP6342038B1 (ja) * 2017-05-26 2018-06-13 株式会社コロプラ 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
US10936051B2 (en) * 2018-09-20 2021-03-02 Dell Products, L.P. Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications

Also Published As

Publication number Publication date
US20240103606A1 (en) 2024-03-28
WO2022159911A1 (en) 2022-07-28
EP4248300A1 (en) 2023-09-27
CN116547639A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN110945405B (zh) 眼睛跟踪校准技术
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US9728010B2 (en) Virtual representations of real-world objects
CN105793764B (zh) 用于为头戴式显示设备提供扩展显示设备的设备、方法和系统
KR20230164185A (ko) 가상 및 그래픽 요소들을 제어하기 위한 매핑된 손 영역들 사이의 양손 상호 작용들
US9367136B2 (en) Holographic object feedback
EP4327185A1 (en) Hand gestures for animating and controlling virtual and graphical elements
US9986228B2 (en) Trackable glasses system that provides multiple views of a shared display
CN116027894A (zh) 纤细形状因子的无源光学和惯性跟踪
US20100128112A1 (en) Immersive display system for interacting with three-dimensional content
CN114402589A (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
CN114127669A (zh) 无源指示笔的可跟踪性增强
WO2014093608A1 (en) Direct interaction system for mixed reality environments
EP2926223A1 (en) Direct hologram manipulation using imu
JP2011022984A (ja) 立体映像インタラクティブシステム
CN113892074A (zh) 用于人工现实系统的手臂凝视驱动的用户界面元素选通
CN116719415A (zh) 用于提供计算机生成的体验的设备、方法和图形用户界面
WO2008132724A1 (en) A method and apparatus for three dimensional interaction with autosteroscopic displays
US10652525B2 (en) Quad view display system
CN113841110A (zh) 具有用于选通用户界面元素的个人助理元素的人工现实系统
CN113892075A (zh) 用于人工现实系统的拐角识别手势驱动的用户界面元素选通
TW202236080A (zh) 物件互動的系統與方法
US20220256137A1 (en) Position calculation system
CN210109742U (zh) 头戴式虚实交互装置
JP7413472B1 (ja) 情報処理システムおよびプログラム