TW202141120A - 具可調整影像感測模組的頭戴式裝置及其系統 - Google Patents

具可調整影像感測模組的頭戴式裝置及其系統 Download PDF

Info

Publication number
TW202141120A
TW202141120A TW110105723A TW110105723A TW202141120A TW 202141120 A TW202141120 A TW 202141120A TW 110105723 A TW110105723 A TW 110105723A TW 110105723 A TW110105723 A TW 110105723A TW 202141120 A TW202141120 A TW 202141120A
Authority
TW
Taiwan
Prior art keywords
image
image sensing
module
user
sensing module
Prior art date
Application number
TW110105723A
Other languages
English (en)
Inventor
蕭詠今
賴俊穎
桓毅 林
曾聖嵐
Original Assignee
美商海思智財控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商海思智財控股有限公司 filed Critical 美商海思智財控股有限公司
Publication of TW202141120A publication Critical patent/TW202141120A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

一種頭戴式顯示系統，包括一頭戴式裝置與一影像影像處理模組，用於處理所述第一影像感測模組或所述第二影像感測模組捕獲的影像，其中所述頭戴式裝置更進一步包含一框架，將裝置連接到使用者頭部；一顯示模組，設置在所述框架上；一第一影像感測模組，用以在朝向一使用者臉部的第一方向捕獲影像；以及一第二影像感測模組，用以在朝向遠離使用者臉部的第二方向捕獲影像；其中，所述第一影像感測模組和所述第二影像感測模組可調節地安裝在所述框架上。

Description

具可調整影像感測模組的頭戴式裝置及其系統
本發明涉及頭戴式裝置領域，特別是涉及一種具有可調整影像感測模組的頭戴式裝置及其系統。
虛擬實境或虛擬實境（VR）（有時也可互換地稱為沈浸式多媒體或計算器模擬的現實）描述了一種模擬環境，旨在為使用者提供一種互動式的感官體驗，以試圖複製使用者的感官體驗。人工環境中的物理存在，例如基於現實的環境或基於非現實的環境，例如視頻遊戲。除了視覺元件之外，虛擬實境更包括音訊和觸覺元件。
虛擬實境的視覺元件可以顯示在計算器螢幕上，也可以顯示在身歷聲頭戴式顯示器（HMD）上，例如Rift，這是由華盛頓州西雅圖市的Oculus VR開發的虛擬實境頭戴式顯示耳機。傳統的HMD僅將影像或符號系統投射在佩戴者的護目鏡或標線板上。投影的影像不屬於現實世界（即，影像不會根據佩戴者的頭部位置而改變）。其他HMD集成了一個定位系統，該系統跟蹤佩戴者的頭部位置和角度，從而使顯示器投射的圖片或符號與使用透視影像的外界環境保持一致。頭戴式顯示器還可與跟蹤感測器一起使用，該跟蹤感測器允許記錄佩戴者角度和方向的變化。當此類資料可用於提供虛擬實境環境的系統時，它可用于生成與特定時間佩戴者的視角相對應的顯示。這使佩戴者只需移動頭部即可“環顧四周”虛擬實境環境，而無需單獨的控制器來更改影像的角度。基於無線的系統允許佩戴者在系統的跟蹤限制內移動。適當放置的感測器還可以允許虛擬實境系統跟蹤HMD佩戴者的手部運動，以允許與內容進行自然交互以及便利的遊戲機制。
本發明揭露一種頭戴式顯示系統，包括一頭戴式裝置與一影像影像處理模組，用於處理所述第一影像感測模組或所述第二影像感測模組捕獲的影像，其中所述頭戴式裝置更進一步包含一框架，將裝置連接到使用者頭部；一顯示模組，設置在所述框架上；一第一影像感測模組，用以在朝向一使用者臉部的第一方向捕獲影像；以及一第二影像感測模組，用以在朝向遠離使用者臉部的第二方向捕獲影像；其中，所述第一影像感測模組和所述第二影像感測模組可調節地安裝在所述框架上。
在一實施例中，所述第一影像感測模組能夠捕獲所述使用者的整個臉部影像，部分臉部影像或部分姿勢影像，並且所述影像處理模組能夠根據所述影像識別一使用者情緒資訊。
在另一實施例中，所述系統還包括一存儲模組，用於存儲所述預存儲影像的。
在另一實施例中，所述的系統，可以根據所述使用者情緒資訊來發送或顯示所述預存儲影像。
在另一實施例中，所述系統還包括所述預存儲的影像是指使用者的真實臉部影像或動畫。
在另一實施例中，其中所述影像處理模組依照使用者情緒資訊，使用所述預存儲影像與部份與所述第一影像感測模組所捕獲的影像以重建使用者影像。
在另一實施例中，所述的系統包含一通訊模組，用以傳輸資訊或接收網際網路上的資訊。
在另一實施例中，所述的系統更包含一定位模組，用以決定系統的位置資訊。
在另一實施例中，其中所述的顯示模組用以顯示近端影像與遠端影像。
本發明更揭露一供使用者佩戴的頭戴式裝置，包括一框架，用以配戴於使用者頭部；一顯示模組，設置在框架上；以及複數個影像感測模組可調節地安裝在所述框架上，其中每一個影像感測模組透過依附接結構附接於一框架上接收位置，並且所述的接收位置是可以調整的。
在一實施例中，其中所述的影像感測模組能夠透過附接結構移動以調整所述接收位置或其視角。
在另一實施例中，所述附接結構還包括樞紐關節，以調節所述影像感測模組的視角。
在另一實施例中，所述的影像感測模組與所述框架藉由所述附接結構電連接以供電或傳輸資料。
在另一實施例中，所述附接結構是凹形結構或凸形結構。
在另一實施例中，所述接收位置是軌道結構或球形結構。
在另一實施例中，所述顯示模組可以投影具有多個景深的三維影像。
在另一實施例中，所述影像感測模組朝外或朝內拍攝影像。
以下通過結合附圖以示例方式詳細描述。
以下將描述具有可調節影像感測模組的頭戴式裝置及其系統。在下面的示例性描述中，闡述了許多具體細節，以便提供對本發明的實施例的更透徹的理解。然而，對於本領域普通技術人員而言顯而易見的是，可以在不結合本文描述的具體細節的所有方面的情況下實踐本發明。在其他情況下，沒有詳細描述本領域普通技術人員眾所周知的特定特徵，數量或測量，以免模糊本發明。讀者應注意，儘管在此闡述了本發明的示例，但是權利要求和任何等同形式的全部範圍是限定本發明的範圍和邊界的內容。
圖1a和圖1b為本發明的第一實施例。圖1a是本實施例的頭戴式裝置的側視圖，圖1b是本實施例的頭戴式裝置的俯視圖。參照圖1a和1b，諸如頭盔，頭戴式裝置，可穿戴式增強現實（AR），虛擬實境（VR）或混合現實（MR）裝置之類的頭戴式裝置100或一副智慧眼鏡包括：框架101，至少一個影像感測模組102和近眼顯示模組103(透鏡/光學組合器部份)。
在本實施例中，影像感測模組102指向頭戴式裝置100的使用者的臉部。圖1a和圖1b中三角形的區域是影像感測模組102的拍攝區域，可以理解為影像感測模組102的視野範圍（Field of View, FOV）。在另一實施例中，影像感測模組102可以是結合有用於各種應用的廣角鏡頭，變焦鏡頭，魚眼鏡頭或多功能鏡頭的照相機。一般而言，為了獲得更寬的視角以捕獲盡可能多的臉部影像資訊，可以將廣角鏡安裝在內置相機中。另外，照相機不限於光學照相機，還包括用於測量深度，溫度或其他物理參數測量感測模組的紅外照相機，距離成像感測器等。
在一實施例中，影像感測模組102是可旋轉的。它可以是朝外以捕獲周圍環境的影像，或者向內以記錄臉部表情的影像以及頭戴式裝置100的使用者的眼球運動。捕獲使用者的臉部和/或上身影像的影像感測模組102被稱為「內向相機」。捕獲外部環境影像的影像感測模組102稱為「外向相機」。一個可旋轉的影像感測模組可以同時作為「內向相機」與「外向相機」。
在本發明實施例中，對於一些特定應用，向內照相機僅捕獲使用者臉部的重要局部影像；例如，向內相機捕獲完整或包含臉部重要特徵的影像以進行臉部影像重建和識別。其中重要的臉部特徵，如眼睛，鼻子，嘴和嘴唇都應被捕獲。另一個應用是臉部表情，除臉部特徵點外，還應捕捉包括眼眶，鼻腔和口腔在內的臉部肌肉。另一個應用程式是眼球跟蹤，瞳孔在每只眼睛上的相對位置應通過向內相機捕獲。
外向相機可用於許多應用，例如導航，室內或室外徒步旅行（例如在博物館和觀光場所），社交共用，AR遊戲，製作/操作指南等。外向相機可用於通過使用放大或縮小鏡頭，可以用作望遠鏡或顯微鏡。例如，當將高解析度（例如20-50百萬甚至120百萬圖元）的外向型數碼相機放大到很小的區域時，它可以充當顯微鏡來幫助進行人腦手術。這種頭戴式裝置可用于許多應用中，例如醫療操作或工廠的精確生產。
圖2是本發明的另一個實施例。在本實施例中，頭戴式裝置100可以在影像感測模組102中包括內向相機和外向相機。為了獲得更好的拍攝角度，影像感測模組102可調節地安裝在框架101上。如圖2所示，影像感測模組102具有滑動結構1022，該滑動結構1022插入框架101內，從而影像感測模組102可沿軌道1012滑動。影像感測模組102由軌道1012中的電源線供電，並且影像感測模組102捕獲的影像資料與資料線一起在軌道1012中傳輸。
在另一實施例中，影像感測模組102通過樞紐關節1014附接到框架101上。在圖1a和1b中，框架101通過樞紐關節1014與影像感測模組102物理連接。樞紐關節1014允許影像感測模組102旋轉，使得影像感測模組102的面對方向可根據應用場景調整。在當前實施例中，使用者可以調整影像感測模組102以對準整個臉部以捕獲臉部表情或向外對準以捕獲環境影像。可調設計允許影像感測模組102以更好的方式根據臉部形狀和/或大小的各個變化來捕獲使用者臉部的特徵。
圖3是頭戴式裝置100的系統圖。頭戴式裝置100包括用於向內和向外捕獲影像的多個影像感測模組102，用於處理影像並識別影像資訊的影像處理模組110，以及存儲模組120，用於存儲影像和影像資訊，其中所述的多個影像感測模組102包含一第一影像感測模組與第二影像感測模組。在該實施例中，影像感測模組捕獲使用者或環境影像。這些影像由影像處理模組110進行辨識，包含決定影像中使用者臉部表徵資訊以及姿態表徵資訊。在一些實施例中，影像感測模組102僅以特定的特定視角捕獲影像，並且影像處理模組110可以針對由不同的影像感測模組102所捕獲特定視角的影像來重建獲得較完整的使用者臉部和姿勢影像(例如使用者的完整臉部或姿態)。此外，一些影像可以被預先存儲在存儲模組120中。在一些情況下，頭戴式裝置100的使用者僅需要打開針對使用者的嘴，唇，眉毛和眼球等關鍵臉部表情特徵的一些特定影像感測模組，即可獲得部分即時影像或圖片。影像影像處理模組110將預先提取存儲在存儲模組120中的歷史影像資料和使用者資訊，以與即時影像融合以形成動畫。如此一來，使用者即使在沒有拍攝完整臉部表情的情況下，仍可以應用融合局部臉部表情以及歷史影像資料以形成近似於即時的影像動畫。
頭戴式裝置100還包括近眼顯示模組103。在優選實施例中，近眼顯示模組103是視網膜投影顯示器。視網膜投影顯示系統旨在直接通過使用者的瞳孔將資訊、光源信號或影像投影到使用者的視網膜上。此外，視網膜投影顯示器可以顯示不同影像景深的物件。換言之影像中多個物件具有不同的景深。在其他實施例中，近眼顯示模組103可以是AR眼鏡、智慧眼鏡或VR顯示器。申請人于2020年11月6日提交的名稱為「用於顯示具有深度的物體的系統和方法」的國際申請號為PCT / US20 / 59317的PCT專利申請通過引用整體併入本文，做為參考。
此外，可穿戴式頭部裝置100還包括通信模組130，例如Wi-Fi，藍牙，4G或5G通信模組，以將影像或使用者資訊(包含臉部表徵資訊)接收或發送到遠端伺服器150。頭部可穿戴裝置還具有定位模組140, 如GPS或陀螺儀用以確定頭戴式裝置100的位置或方向資訊，並將該資訊傳輸到影像處理模組110，以進一步應用或顯示在顯示模組103上。
圖4a和圖4b示出了本發明的另一個實施例。圖4a和4b示出了將影像感測模組102附接到框架101上的位置。在圖4a和4b中，框架101上的圓圈30指示用以對應附接到影像感測模組的接收位置。
實線箭頭A表示由由圓圈30所指出的接收位置中的影像傳感模組所拍攝的環境影像資訊的視角，而虛線箭頭B表示由圓圈30所指出的接收位置中的影像傳感模組所拍攝臉部，手勢或姿勢影像資訊的視角。
在本實施例中，一些影像感測模組設置在由圓圈30所指出的接收位置僅能夠分別捕獲環境影像資訊或使用者的臉部，手勢或姿勢資訊：但有一些影像感測模組設置在由特定圓圈30所指出的接收位置，若採用廣角鏡頭時，能夠以便同時捕獲環境影像資訊和內部影像資訊，例如同使捕獲使用者的臉部影像以及較遠的手勢和姿勢資訊。
影像資訊將由頭戴式裝置100內建的影像影像處理模組（未示出）或網路上的遠端伺服器（未示出）的影像影像處理模組（未示出）進行處理和分析，以用於進一步的應用。
在本實施例中，由於使用者的臉部或身體與頭戴式裝置100上的影像感測模組102之間的距離太短，所以每個影像感測模組102僅捕獲部分使用者的臉部影像或部分姿勢影像。由影像感測模組102捕獲的部分臉部或姿勢影像將被發送到影像處理模組。影像處理模組將融合部分影像，以形成用於識別使用者的臉部和姿勢資訊的完整影像。
局部影像和整個影像可以存儲在頭戴式裝置100的存儲模組（未示出）中。所存儲的局部影像和整個影像可以用作使用者的影像資料庫。在某些情況下，使用者僅需要打開一些針對臉部表情的重要特徵（例如嘴和眉毛）的影像感測模組即可。頭戴式裝置的影像處理模組將融合即時的嘴/嘴唇/眼球/眉毛影像與存儲的影像，以形成新的完整影像。
圖5示出了本發明的另一個實施例，頭戴式裝置200包括在頭戴式裝置的框架201上的多個樞軸照相機202/202’。樞軸照相機202/202’可以被附接到框架201的不同位置上。由頭戴式裝置200的照相機202/202’拍攝的包括照片和視頻的影像可以被進一步處理並且經由一個頭傳送到頭戴式裝置的其他使用者或更多伺服器。在本實施例中，一個樞軸照相機202’設置在使用者的後頭上，以捕獲使用者後面的即時背景圖像。背景圖像可以與由其他樞軸相機202捕獲的圖像（例如使用者的面部圖像和姿勢圖像）集成在一起，以提供全方位圖像資訊。
具有AR / VR / MR功能的頭戴式裝置200可能能夠顯示具有多個景深的3D影像。除了影像之外，頭戴式裝置200可以結合有用於記錄和播放聲音的麥克風和揚聲器。此外，頭部可穿戴裝置可以與全球定位系統（GPS）和/或陀螺儀合併在一起，以確定裝置的位置和方向。
具有AR / VR / MR（統稱為“擴展現實”）功能的頭戴式裝置200可以在執行大部分（如果不是全部）智慧手機的功能時解放雙手去做一些其他事情當前可以提供諸如拍攝照片和視頻，流覽網頁，下載/查看/編輯/共用文件，玩遊戲，通過文本，語音和影像與他人通信等功能。
影像包括照片和視頻。一個或多個相機的操作可以通過觸摸，語音，手勢或眼球移動來預先程式設計或控制。在這種情況下，頭戴式裝置可以具有觸摸面板，語音辨識元件，手勢識別元件和/或眼球跟蹤組件。觸摸面板可以是在空間中顯示多個景深的3D虛擬影像，以便頭戴裝置可以確定是否發生了觸摸，例如通過使用使用者指尖深度的深度感應相機。或者，該頭戴式裝置可以具有遙控器或連接到智慧手機，以控制相機操作的觸摸，語音或手勢。在另一實施例中，一個或多個相機可以由佩戴者以外的其他人遠端控制。這樣的人（可能是第二個佩戴者）可以查看來自使用者相機的影像，並控制該相機（無論是否經過佩戴者的認可）。例如，頭部可穿戴裝置的佩戴者正在檢查損壞的機器，以決定如何修理它，但無法找出問題所在。此時，主管可以遠端控制相機以檢查機器的特定部位/元件以解決問題。另一個例子是，監督醫生可以遠端控制使用者裝置在患者面前的相機，以檢查身體的特定部位以進行診斷。
圖6是一個實施例中的影像處理模組的工作流程圖。影像影像處理模組拍攝到的使用者臉部和身體的影像可以進行處理，以獲取有關使用者的更多資訊，以供在AR / VR / MR應用中進一步使用。例如，如果由於用於捕獲影像或與預先存儲的臉部影像融合的角度或鏡頭（例如廣角鏡）而使相機拍攝的原始臉部影像失真，則可以恢復臉部影像。以下步驟說明了處理影像的方法。
在步驟S1中，確定原始臉部影像是否由於視角或鏡頭的特性而失真或部分變形。
在步驟S2中，可以通過提取畸變的臉部影像的特徵來分析該臉部影像，以得出使用者的臉部表情，例如幸福，悲傷，憤怒，驚奇，厭惡，恐懼，困惑，興奮，欲望和鄙視，從而分析畸變的臉部影像，並獲取表情ID。
在步驟S3中，根據臉部表情ID選擇存儲在資料庫中的一個或多個影像。
在步驟S4中，依照表情ID將原始影像與資料庫中存儲的影像重建一較完整或全面的臉部表情影像以進行發送或顯示。
結果，與臉部表情相對應的預存儲的臉部影像之一可以用於傳輸和/或顯示
在另一個實施例中，使用者可以為他/她自己選擇與該臉部表情相對應的預先存儲的化身（例如卡通或電影角色），而不顯示他/她自己的真實臉部影像。另外，內向相機可以跟蹤眼球的運動以得出凝視的方向。眼動追蹤的結果可用于AR / VR / MR應用程式的設計。在另一個實施例中，眼睛跟蹤的結果可以指示另一個相機（例如外向相機）捕捉裝置佩戴者注視的影像。
類似地，可以處理由照相機（外部照相機）拍攝的外部周圍環境和使用者身體的一部分的影像（例如手指/手的位置，手勢的類型和身體姿勢），以得出有關以下內容的更多資訊：佩戴者和環境，以便在AR / VR / MR應用中進一步使用。例如，影像可以由物件識別元件處理，該物件識別元件可以是頭戴式裝置的一部分或位於單獨的伺服器中。可以將標籤添加到識別的對像以提供其名稱和描述。在一種情況下，佩戴者參加會議並看到其他幾位參與者的臉部影像被拍攝和處理。如果識別出這些參與者中的任何一個，則其名字和描述將通過AR眼鏡顯示在該參與者影像旁邊顯示的標籤中。除標籤外，還可以為AR / VR / MR應用程式創建和顯示其他虛擬物件。在一種情況下，可以在AR / MR導航系統中顯示諸如箭頭的虛擬物件。另一個示例是，使用者的手指/手的位置，手勢類型和身體姿勢也可以進行分析和識別，以獲取有關佩戴者的更多資訊。在一種情況下，特定手勢可以是對頭戴式裝置的指令或命令。頭戴式裝置上的深度感測相機可以感測佩戴者的手勢，以與顯示具有多個景深的3D影像的AR / VR / MR應用程式進行交互，以命令和控制頭戴式裝置上可用的各種功能。在一種情況下，相機可以感應手勢的深度，例如指尖的深度和手的移動，因此具有AR / VR / MR應用程式的頭戴式裝置可以顯示多個景深的3D影像，指尖實際上觸摸了空間中的特定影像/物件，或者手指手勢是否滿足預定義的放大/縮小以啟動指令。對於周圍的影像，帶有變焦鏡頭的向外相機可以像望遠鏡一樣放大以捕獲並顯示特定點的近距離影像。
除了照相機之外，麥克風，揚聲器，GPS和陀螺儀可以與頭戴式裝置一體地結合，或者例如通過插入連接器而附接到頭戴式裝置（但是如果需要可移除）。或內置在頭戴式裝置上的插座。
可以通過諸如電信，Wi-Fi和藍牙之類的佈線或無線通訊將諸如照相機，麥克風，GPS和陀螺儀所獲取的諸如影像和聲音之類的資料/資訊/信號傳輸至通信裝置的另一元件。頭戴式裝置或單獨的伺服器，以便在頭戴式裝置或單獨的伺服器或兩者上進行進一步處理。
在被處理之後，影像和/或聲音被發送給觀眾。在一種情況下，記者或記者（例如自媒體(we-media)）可能會佩戴帶有至少一個相機的頭戴式裝置。記者或自媒體首先可以將相機向內旋轉，然後與網路上的觀眾交談，以便他/她的觀眾可以看到誰在報導。在下一刻，相機將鏡頭轉向周圍環境，因此觀眾可以看到他/她正在報告的影像。另一種情況是，頭部可穿戴裝置與用於向記者或自媒體的臉部和上半身的影像的至少一個向內照相機以及用於周圍環境的影像的至少一個向內照相機結合。因此，觀眾可以同時觀看新聞記者或自媒體和周圍環境的影像。有了這種頭戴式裝置，記者或自媒體就可以單獨製作即時調查報告或現場採訪，而無需另外的攝影師。
另外，如圖7所示，頭戴式裝置的多個使用者可以彼此交互。如果頭戴式裝置具有AR / VR / MR功能，則佩戴者可以參加虛擬視訊會議。多個穿著者可以位於單獨的空間（例如，每個穿著者都從他/她自己的家或辦公室加入）或相同的空間（包括全部位於同一空間或某些位於同一空間）。來自發送佩戴者的所有資料/資訊，包括相機和麥克風拍攝的影像和聲音，可以在傳輸到接收佩戴者之前，在頭戴式裝置和/或單獨的伺服器（例如雲伺服器）中進行全部或部分處理。 來自GPS和陀螺儀的資料/資訊可用於安排佩戴者與頭部可穿戴裝置的AR / VR / MR元件顯示的影像之間的空間關係。有了這樣的頭戴式可穿戴裝置，佩戴者可以隨時隨地參加虛擬視訊會議，例如躺在家裡，坐在汽車或辦公室中，在大街上行走，調查生產線問題，而無需坐在360度的房間裡視頻和音訊系統。如之前所討論的，每個佩戴者可以選擇向其他佩戴者顯示他/她的真實臉部影像或其替代物，例如化身（例如，電影明星或卡通對象）。在虛擬視訊會議中，每個佩戴者都可以從特定角度觀看相同的3D虛擬影像/物件。可以基於佩戴者的運動來調節該特定角度。另外，佩戴者可能能夠從另一佩戴者觀看影像/物件的相同角度觀看3D虛擬影像/物件。例如，三個戴著頭戴式可穿戴裝置的外科醫生站在躺在手術臺上進行手術周圍，另一個遠端佩戴者可能能夠看到三個頭戴式可穿戴裝置中的每一個可以從不同角度看到的影像。
頭戴式裝置的AR / VR / MR（功能可以將3D虛擬影像投影到物理物件的頂部，以使3D虛擬影像和物理物件的相應部分重迭。例如，可以在手術期間將患者心臟的計算器斷層掃描（“ CT”）掃描影像處理並疊合顯示為患者心臟的3D虛擬影像，作為操作指南。
在上述實施例中，僅對本發明進行了示範性描述，但是本領域技術人員在閱讀本專利申請後可以在不脫離本發明的精神和範圍的情況下對本發明進行各種修改。在上述實施例中，僅對本發明進行了示範性描述，但是本領域技術人員在閱讀本專利申請後可以在不脫離本發明的精神和範圍的情況下對本發明進行各種修改。
100:頭戴式設備 101:框架 1012:軌道 1014:樞紐關節 102:影像感測模組 1022:滑動結構 103:近眼顯示模組 110:影像處理模組 120:存儲模組 130:通信模組 140:定位模組 150:遠端伺服器 30:圓圈 200:頭戴式設備 201:框架 202,202’:樞軸照相機
圖1a是本發明一實施例的側視圖；
圖1b是本發明一實施例的俯視圖；
圖2是本發明一實施例的細部結構示意圖；
圖3是本發明一實施例系統示意圖；
圖4a為本發明另一具有多個攝影裝置的實施例；
圖4b為本發明另一具有多個攝影裝置的實施例；
圖5為本發明應用于遠端會議應用情境的示意圖；
圖6為處理模組的流程示意圖；
圖7為本發明實施例的應用情境示意圖。
100:頭戴式設備
101:框架
102:影像感測模組
103:近眼顯示模組
1014:樞紐關節

Claims (17)

  1. 一種頭戴式顯示系統，包括： 一頭戴式裝置，包括： 一框架，將裝置連接到使用者頭部； 一顯示模組，設置在所述框架上； 一第一影像感測模組，用以在朝向一使用者臉部的第一方向捕獲影像；以及 一第二影像感測模組，用以在朝向遠離使用者臉部的第二方向捕獲影像；其中，所述第一影像感測模組和所述第二影像感測模組可調節地安裝在所述框架上，以及 一影像影像處理模組，用於處理所述第一影像感測模組或所述第二影像感測模組捕獲的影像。
  2. 根據權利要求1所述的系統，其中所述第一影像感測模組能夠捕獲所述使用者的整個臉部影像，部分臉部影像或部分姿勢影像，並且所述影像處理模組能夠根據所述影像識別一使用者情緒資訊。
  3. 根據權利要求2所述的系統，其中所述系統還包括一存儲模組，用於存儲所述預存儲影像的。
  4. 根據權利要求3所述的系統，可以根據所述使用者情緒資訊來發送或顯示所述預存儲影像。
  5. 根據權利要求3所述的系統，其中所述系統還包括：所述預存儲的影像是指使用者的真實臉部影像或動畫。
  6. 根據權利要求5所述的系統，其中所述影像處理模組依照使用者情緒資訊，使用所述預存儲影像與部份與所述第一影像感測模組或所述第二影像感測模組所捕獲的影像以重建使用者影像。
  7. 根據權利要求1所述的系統，其中更包含一通訊模組，用以傳輸資訊或接收網際網路上的資訊。
  8. 根據權利要求1所述的系統，其中更包含一定位模組，用以決定系統的位置資訊。
  9. 根據權利要求1所述的系統，其中所述的顯示模組用以顯示近端影像與遠端影像。
  10. 一供使用者佩戴的頭戴式裝置，包括： 一框架，用以配戴於使用者頭部； 一顯示模組，設置在框架上； 複數個影像感測模組可調節地安裝在所述框架上，其中每一個影像感測模組透過依附接結構附接於一框架上接收位置，並且所述的接收位置是可以調整的。
  11. 根據權利要求10所述的裝置，其中所述的影像感測模組能夠透過附接結構移動以調整所述接收位置或其視角。
  12. 根據權利要求10所述的裝置，其中所述附接結構還包括樞紐關節，以調節所述影像感測模組的視角。
  13. 根據權利要求10所述的裝置，其中所述的影像感測模組與所述框架藉由所述附接結構電連接以供電或傳輸資料。
  14. 根據權利要求10所述的裝置，其中所述附接結構是凹形結構或凸形結構。
  15. 根據權利要求10所述的裝置，所述接收位置是軌道結構或球形結構。
  16. 根據權利要求10所述的裝置，所述顯示模組可以投影具有多個景深的三維影像。
  17. 根據權利要求10所述的裝置，所述影像感測模組朝外或朝內拍攝影像。
TW110105723A 2020-02-19 2021-02-19 具可調整影像感測模組的頭戴式裝置及其系統 TW202141120A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062978322P 2020-02-19 2020-02-19
US62/978,322 2020-02-19

Publications (1)

Publication Number Publication Date
TW202141120A true TW202141120A (zh) 2021-11-01

Family

ID=77275795

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110105723A TW202141120A (zh) 2020-02-19 2021-02-19 具可調整影像感測模組的頭戴式裝置及其系統

Country Status (3)

Country Link
US (1) US20210278671A1 (zh)
CN (1) CN113282163A (zh)
TW (1) TW202141120A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3984016A4 (en) 2020-08-14 2023-09-06 HES IP Holdings, LLC SYSTEMS AND METHODS FOR SUPERIMPOSING A VIRTUAL IMAGE ON A REAL-TIME IMAGE
CN114616511A (zh) 2020-09-03 2022-06-10 海思智财控股有限公司 改善双眼视觉的系统与方法
CN116420104A (zh) 2020-09-30 2023-07-11 海思智财控股有限公司 用于虚拟实境及扩增实境装置的虚拟影像显示系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204480228U (zh) * 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备

Also Published As

Publication number Publication date
CN113282163A (zh) 2021-08-20
US20210278671A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US10527846B2 (en) Image processing for head mounted display devices
KR102574874B1 (ko) 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
US11455032B2 (en) Immersive displays
US9122321B2 (en) Collaboration environment using see through displays
TW202141120A (zh) 具可調整影像感測模組的頭戴式裝置及其系統
US11733769B2 (en) Presenting avatars in three-dimensional environments
WO2002052330A2 (en) Teleconferencing system and head mounted display involved in the same
JP2021512402A (ja) マルチビューイング仮想現実ユーザインターフェース
WO2018149266A1 (zh) 一种基于增强现实的信息处理方法及设备
WO2021183341A1 (en) Method and device for invoking public or private interactions during a multiuser communication session
US20240104859A1 (en) User interfaces for managing live communication sessions
US11908098B1 (en) Aligning user representations
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20230384860A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240104819A1 (en) Representations of participants in real-time communication sessions
WO2024064280A1 (en) User interfaces for managing live communication sessions
WO2024064015A1 (en) Representations of participants in real-time communication sessions
WO2024054433A2 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments