TW202316848A - 使用系統感測器資料之攝影機控制 - Google Patents

使用系統感測器資料之攝影機控制 Download PDF

Info

Publication number
TW202316848A
TW202316848A TW111125621A TW111125621A TW202316848A TW 202316848 A TW202316848 A TW 202316848A TW 111125621 A TW111125621 A TW 111125621A TW 111125621 A TW111125621 A TW 111125621A TW 202316848 A TW202316848 A TW 202316848A
Authority
TW
Taiwan
Prior art keywords
user
camera
sensor
image capture
augmented reality
Prior art date
Application number
TW111125621A
Other languages
English (en)
Inventor
沙普納 薛羅夫
大衛 陶
碧林森
胡均
迪米提歐斯 巴西爾 卡拉尼寇斯
賽巴斯提安 茲圖克
照年 張
鄺江濤
劉丹尼
李一雷
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/856,760 external-priority patent/US20230012426A1/en
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202316848A publication Critical patent/TW202316848A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

提供一種使用擴增實境頭戴式裝置中的攝影機之方法。所述方法包含從安裝在使用者所穿戴的頭戴式裝置之上的感測器接收一信號,所述信號指出對於捕捉影像的使用者意圖。所述方法亦包含根據一模型來識別對於捕捉所述影像的所述使用者意圖以根據所述使用者意圖來分類來自所述感測器的所述信號、根據第一影像捕捉裝置的規格以及對於捕捉所述影像的所述使用者意圖來選擇所述頭戴式裝置中的所述第一影像捕捉裝置、以及利用所述第一影像捕捉裝置來捕捉所述影像。也提供一種擴增實境頭戴式裝置、一種儲存指令之記憶體、以及一種用以執行所述指令以使得所述擴增實境頭戴式裝置如上操作之處理器。

Description

使用系統感測器資料之攝影機控制
本揭露內容是有關於在包含一或多個用於記錄影像及視訊的攝影機之智慧型眼鏡裝置中的使用者介面。更明確地說,本揭露內容是有關用於自動地從所述智慧型眼鏡裝置的一或多個攝影機選擇一攝影機之方法,其設定會更佳地適合於根據使用者輸入及姿勢來收集影像。 相關申請案之交互參照
本揭露內容是相關於並且根據第35號美國法典§119(e)來主張2021年7月29日申請的名稱為“CAMERA CONTROL USING SYSTEM SENSOR DATA”的第63/227,228號美國臨時專利申請案的優先權、以及2021年7月7日申請的名稱為“CAMERA CONTROL USING SYSTEM SENSOR DATA”的第63/219,266號美國臨時專利申請案的優先權,兩案之發明人都包括Sapna SHROFF等人,所述美國申請案的內容針對所有目的以其整體納入本文中作為參考。
在現今可穿戴的平台中,裝置包含多個攝影機、感測器及致動器,其被配置以執行多個特定的功能。在某些實例中,超過一個的這些配件裝置可以同時操作,而其中只有一個是針對於目前的工作提供最佳的功能使用。然而,這些多個裝置通常缺少用於啟動或停用的自動化機制,因而產生麻煩的使用者互動以選擇操作用於所選的工作的裝置、或是浪費珍貴的電力資源在具有非操作的作用中的裝置上。
在一第一實施例中,一種擴增實境頭戴式裝置包含安裝在一框架之上的一第一攝影機以及一第二攝影機,其分別具有一第一視野及一第二視野、一安裝在所述框架之上的感測器、一被配置以儲存多個指令的記憶體、以及一或多個處理器,其被配置以執行所述指令以使得所述擴增實境頭戴式裝置執行一方法。所述方法包含以下程序:從安裝的所述感測器接收一信號,所述信號指出一使用者對於捕捉一影像的一意圖;根據一模型來識別所述使用者對於捕捉所述影像的所述意圖以根據所述使用者的所述意圖來分類來自所述感測器的所述信號;根據所述第一視野、所述第二視野、以及所述使用者對於捕捉所述影像的所述意圖來選擇所述第一攝影機或是所述第二攝影機中之一者;並且利用一所選的攝影機來捕捉所述影像。
在一第二實施例中,一種電腦實施的方法包含從安裝在使用者所穿戴的一頭戴式裝置之上的一感測器接收一信號,所述信號指出對於捕捉一影像的一使用者意圖。所述電腦實施的方法亦包含根據一模型來識別對於捕捉所述影像的所述使用者意圖以根據所述使用者意圖來分類來自所述感測器的所述信號、根據一第一影像捕捉裝置的一規格以及對於捕捉所述影像的所述使用者意圖來選擇所述頭戴式裝置中的所述第一影像捕捉裝置、以及利用所述第一影像捕捉裝置來捕捉所述影像。
在一第三實施例中,一種儲存指令之非暫態的電腦可讀取的媒體,當所述指令藉由一或多個處理器執行時,其使得一電腦執行一種方法。所述方法包含從安裝在使用者所穿戴的一頭戴式裝置之上的一感測器接收一信號,所述信號指出對於捕捉一影像的一使用者意圖。所述方法亦包含根據一模型來識別對於捕捉所述影像的所述使用者意圖以根據所述使用者意圖來分類來自所述感測器的所述信號、根據一第一影像捕捉裝置的一規格以及對於捕捉所述影像的所述使用者意圖來選擇所述頭戴式裝置中的所述第一影像捕捉裝置、以及利用所述第一影像捕捉裝置來捕捉所述影像。
在以下的詳細說明中,許多特定的細節被闡述以提供本揭露內容的完整理解。然而,對於一般熟習此項技術者而言將會明顯的是,本揭露內容的實施例可以在無這些特定細節中的某些細節下實施。在其它實例中,眾所周知的結構及技術並未詳細地展示,以免模糊本揭露內容。如同在此所揭露的實施例應該被視為在此同時申請的附錄I中描繪的特點以及其它實施例的範疇之內。
一種多攝影機或多成像器的智慧型眼鏡系統可包含多個攝影機或成像器,其可以發揮不同的功能。譬如,一種系統可以具有指向不同方向的攝影機,因而每一個攝影機涵蓋一視景球面的不同部分。在某些實施例中,隨時、或實質隨時、或大部分時間、或至少在某些時間保持所有、大多數、或至少某些的所述攝影機開啟是可能的,以確保完全涵蓋所述視景球面。然而,此會消耗電力,產生不必要的資料及後續的管理,並且一般是效率差的。因此,所期望的是有效率地控制所述系統,其藉由只從那些將會觀看到相關活動的攝影機觸發捕捉。
藉由時時刻刻根據視野及相關活動以直接控制及觸發或切換每一個攝影機的開啟/關閉來人工地控制此種系統對於使用者而言可能是不便而且引發混亂的體驗。因此,有需要一種系統層級的相關活動的自動偵測,以使用於有效率且無監督/最低限度監督的攝影機控制。
吾人提出一種用以偵測相關活動的系統層級的方法,以使用於有效率且無監督/最低限度監督的攝影機控制。吾人考量一種多視野的系統的一實施例,其中多個攝影機捕捉一視景球面的不同部分。在某些實施例中,所述系統是內建或附接至一副眼鏡。
如同在此所揭露的一種系統是利用在所述裝置上的感測器,例如是攝影機影像串流、手姿勢、IMU資料、音訊提示、或是一些主動按鈕按下,其可以單獨或組合地被利用,以估計所述相關的活動可能正發生在所述使用者的視景球面中的何處。眼動追蹤感測器可被用來判斷所述使用者的注視。IMU資料可被用來判斷頭部角度,其指出他們是否向前看或是向下看。藉由一攝影機串流捕捉的手姿勢可以指出目前所關注的區域。音訊提示可以示意例如需要被捕捉的一個人的人名。一攝影機串流可被用來偵測及辨認或是追蹤在視野中的所述相關的人。位置及背景感測可被用來建立活動的相關性。這些資料可以單獨或組合地被利用,以估計相關性的區域。所述系統可以應用使用案例優先的模型、或是透過機器學習/深度學習從各種使用情況中學習適當的模型,以得出良好的估計。一旦所述相關的區域被識別後,所述系統可以觸發適當的攝影機所需的事件,例如是適當的曝光/其它控制以及完整捕捉。
所述使用者想要利用一面向前方的攝影機來捕捉其面對遠景的視野,而且可能具有大的視野。當所述使用者向下看他的手,譬如其在餅乾上撒糖霜或是從事任何其它詳細的手工作業時,其可能需要切換到一不同的面向下的攝影機,其具有一不同的視野並且可能有不同的影像品質(例如,具有較高解析度的較窄的視野)。
圖1是描繪根據某些實施例的一架構10,其包含一或多個可穿戴的裝置(例如,智慧型眼鏡100-1)以及(例如,智慧型手錶100-2)(在以下整體被稱為“可穿戴的裝置100”),其彼此耦接、耦接至一行動裝置110、耦接至一遠端的伺服器130、且耦接至一資料庫152。智慧型眼鏡100-1可被配置以用於AR/VR應用,並且行動裝置110可以是一智慧型手機,其全部都可以經由無線通訊來和彼此通訊,並且交換一第一資料組103-1。資料組103-1可包含錄下的視訊、音訊、或是某種其它檔案或串流媒體。可穿戴的裝置100的使用者101也是行動裝置110的擁有者、或是和行動裝置110相關的。在某些實施例中,所述智慧型眼鏡可以經由所述網路來和所述遠端的伺服器、所述資料庫、或是任何其它客戶裝置(例如,一不同的使用者的一智慧型手機、與類似者)直接通訊。所述行動裝置可以經由一網路150來和一遠端的伺服器以及一資料庫通訊地耦接,並且彼此發送/共用資訊、檔案、與類似者,例如是資料組103-2及資料組103-3(在以下整體被稱為“資料組103”)。網路150例如可包含本地區域網路(LAN)、廣域網路(WAN)、網際網路、與類似者中的任一或多個。再者,所述網路可包含但不限於以下的網路拓樸中的任一或多個,其包含匯流排網路、星狀網路、環狀網路、網狀網路、星狀匯流排網路、樹狀或階層式網路、與類似者。
智慧型眼鏡100-1可包含一框架105,其包含接目鏡107以提供一影像給使用者101。一攝影機115(例如,向前看的)是被安裝在框架105之上,並且具有一視野(FOV)。一面對所述使用者的感測裝置128是被配置以追蹤所述使用者的一瞳孔位置。處理器112是被配置以識別在由使用者101所觀看的影像之內的一所關注的區域(ROI)。一介面裝置129是向使用者101指出攝影機115的FOV至少部分地錯過所述使用者的ROI。在某些實施例中,智慧型眼鏡100-1亦可包含一觸覺致動器125以為了VR/AR應用重建觸碰感給所述使用者、以及一揚聲器127以向使用者101傳達語音或聲音信號,其指出調整一注視方向以用於改善攝影機115的FOV(例如,其是利用來自感測裝置128的瞳孔追蹤資訊所獲得的)。例如,在某些實施例中,觸覺致動器125可包含一振動構件以向所述使用者指出在一所要的方向上輕推其頭部位置以對準向前看的攝影機115的FOV與所述ROI、或是向所述使用者確認所述FOV是適當地集中在所述ROI。
在某些實施例中,智慧型眼鏡100-1可包含多個感測器121,例如是IMU、陀螺儀、麥克風、以及被配置為用於所述使用者的觸碰介面的電容式感測器。其它觸控感測器可包含一壓力感測器、一溫度計、與類似者。
此外,可穿戴的裝置100或是行動裝置110可包含一儲存指令的記憶體電路120、以及一處理器電路112,其被配置以執行所述指令以使得智慧型眼鏡100-1至少部分地執行在和本揭露內容一致的方法中的某些步驟。記憶體電路120亦可以儲存資料,例如是用於攝影機115相對於所述使用者的FOV的位置及朝向的校準資料。在某些實施例中,智慧型眼鏡100-1、行動裝置110、伺服器130、及/或資料庫152可以進一步包含一通訊模組118,其致能所述裝置能夠經由網路150以和遠端的伺服器130無線地通訊。智慧型眼鏡100-1因此可以從遠端的伺服器130下載一多媒體線上內容(例如,資料組103-1),以至少部分地執行在如同在此所揭露的方法中的某些操作。在某些實施例中,記憶體120可包含指令以使得處理器112接收及結合來自感測器121的信號、避免誤測、以及當從一使用者介面接收到一輸入信號時,更佳的評估使用者的意圖及命令。
圖2A至圖2B是描繪兩個配置,其中一使用者201穿戴智慧型眼鏡200。智慧型眼鏡200包含兩個攝影機215A及215B(在以下整體被稱為“攝影機215”)。攝影機215分別具有視野,亦即FOV 220A及220B(在以下整體被稱為“FOV 220”)。FOV 220一般是不同的,並且其特徵是依據攝影機215的規格而定。例如,FOV 220A是直接指向使用者201的臉的正前方,並且是比指向下靠近所述使用者身體的FOV 220B更寬的。
圖2A是描繪根據某些實施例的在一第一配置中的戴有智慧型眼鏡200的一使用者201。於是,使用者201可以注視在她面前的一物品上,並且因此第一攝影機215A(在所述使用者的右接目鏡的頂端)可以更佳地適合於捕捉在一使用者FOV 220A之內的一所關注的物體的一影像。如同所繪的,如同在此所揭露的一種系統接著選擇啟動攝影機215A,其具有在所述使用者面前的視角以及寬的視野220A。
圖2B是描繪根據某些實施例的在一第二配置中的戴有智慧型眼鏡200的一使用者201。於是,在此第二配置中,使用者201可以注視在較窄的視野220B內、在所述使用者的臉的正下方、在所述使用者的手的高度的一物品230上。在此例中,如同在此所揭露的一種系統可以選擇啟動在所述使用者的左接目鏡的頂端的一第二攝影機215B,其可被配置有一向下看的較窄的視野220B(相較於所述第一攝影機)。
在某些實施例中,所述系統是被配置以在所述使用者切換姿態及姿勢時,自動地切換在所述第一攝影機以及所述第二攝影機之間,而不需要使用者輸入。在某些實施例中,當不同的使用者姿勢之間有不明確性時、或是當兩個或多個攝影機可能有相關所述使用者所關注的物體的競爭的規格時,某種程度的使用者輸入可能是所期望的。
圖3是描繪根據某些實施例的在一種利用多個感測器資料來控制一智慧型眼鏡裝置(例如,智慧型眼鏡100-1及200以及感測器121)中的一或多個攝影機之方法300中的步驟的流程圖。所述智慧型眼鏡亦可包含安裝在一框架之上的一或多個攝影機、一感測裝置、一麥克風、一揚聲器、以及一觸覺致動器(例如,攝影機115、感測裝置128、介面裝置129、揚聲器127、以及觸覺致動器125)。所述智慧型眼鏡亦可包含一通訊模組118以在執行方法300中的一或多個步驟時,透過一網路來和一行動裝置或是一伺服器發送及接收資料組(例如,通訊模組118、客戶裝置110、伺服器130、資料組103、以及網路150)。在和本揭露內容一致的實施例中,在方法300中的至少一個步驟可以藉由執行在一記憶體電路中所儲存的指令的一處理器來加以執行(例如,處理器112、記憶體120)。在某些實施例中,和本揭露內容一致的一種方法可包含在方法300中的步驟中的至少一或多個是用不同的順序、同時、準同時、或是在時間上重疊地加以執行。
步驟302包含從安裝在使用者所穿戴的一智慧型眼鏡之上的一感測器接收一信號,所述信號指出一使用者意圖。在某些實施例中,步驟302包含從一慣性運動感測器接收一慣性信號、從一使用者語音接收一聲音捕捉、接收一手姿勢、或是接收一主動按鈕按壓中之一者。在某些實施例中,步驟302包含識別所述使用者的一手姿勢,其指出一所關注的物體。在某些實施例中,步驟302包含從安裝在頭戴式裝置之上的一眼動追蹤裝置接收所述使用者的一瞳孔位置。在某些實施例中,步驟302包含識別所述頭戴式裝置的一朝向,並且選擇第一影像捕捉裝置包括選擇視野與所述頭戴式裝置的朝向對準的一攝影機。
步驟304包含根據一模型來識別所述使用者意圖以根據所述使用者意圖來分類來自所述感測器的所述信號。
步驟306包含根據第一影像捕捉裝置的規格以及所述使用者意圖來選擇所述智慧型眼鏡中的所述第一影像捕捉裝置。在某些實施例中,步驟306包含在所述第一影像捕捉裝置的一視野包含在針對於所述使用者的一視野中的一所關注的點時,選擇在所述智慧型眼鏡中的所述第一影像捕捉裝置。在某些實施例中,步驟306包含在所述使用者意圖不與所述至少一影像捕捉裝置的規格相容時,停用在所述智慧型眼鏡中的所述影像捕捉裝置。在某些實施例中,步驟306包含從所述智慧型眼鏡中的一或多個影像捕捉裝置選擇其中的規格最匹配所述使用者意圖的影像捕捉裝置。在某些實施例中,步驟306包含根據一第二使用者意圖以選擇一第二影像捕捉裝置,並且停用所述第一影像捕捉裝置。在某些實施例中,所述第一影像捕捉裝置的規格是一視野,並且步驟306包含驗證所述視野包含在所述使用者意圖內識別出的一所關注的物體。
步驟308包含利用所述第一影像捕捉裝置來捕捉所述影像。
上述標的技術例如是根據在以下敘述的各種特點來描繪的。上述標的技術的特點的各種例子是為了方便起見而被描述為編號的請求項(請求項1、2、等等)。這些是被提供作為例子,因而並不限制所述標的技術。
在一特點中,一種方法可以是一操作、一指令、或是一功能,並且反之亦然。在一特點中,一請求項可被修正以包含在一或多個請求項、一或多個文字、一或多個句子、一或多個片語、一或多個段落、及/或一或多個請求項中所闡述的文字(例如,指令、操作、功能、或是構件)的某些或全部。 硬體概觀
圖4是描繪根據某些實施例的一範例的電腦系統400的方塊圖,圖1的可穿戴的裝置100以及圖3的方法300可以利用電腦系統400來實施。在某些特點中,電腦系統400可以利用硬體或是軟體及硬體的組合,而被實施在一專用的伺服器中、或是整合到另一實體中、或是被分散橫跨多個實體。電腦系統400可包含一桌上型電腦、一膝上型電腦、一平板電腦、一平板手機、一智慧型手機、一功能型手機、一伺服器電腦、或者是其它。一伺服器電腦可以是遠端地位在一資料中心中、或是本地儲存的。
電腦系統400包含一匯流排408或是其它用於通訊資訊的通訊機構、以及和匯流排408耦接以用於處理資訊的一處理器402(例如,處理器112)。例如,所述電腦系統400可以利用一或多個處理器402來實施。處理器402可以是一般用途的微處理器、一微控制器、一數位信號處理器(DSP)、一特殊應用積體電路(ASIC)、一現場可程式化的閘陣列(FPGA)、一可程式化的邏輯裝置(PLD)、一控制器、一狀態機、閘控邏輯、離散的硬體構件、或是任何其它可以執行資訊的計算或其它處理的適當的實體。
除了硬體以外,電腦系統400可包含產生用於所論述的電腦程式的一執行環境的碼,例如是構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統、或是它們的一或多個的組合的碼,其被儲存在一內含的記憶體404(例如,記憶體120)中,例如是一隨機存取記憶體(RAM)、一快閃記憶體、一唯讀記憶體(ROM)、一可程式化的唯讀記憶體(PROM)、一可抹除的PROM(EPROM)、暫存器、一硬碟、一可移碟片、一CD-ROM、一DVD、或是任何其它適當的儲存裝置,其是和匯流排408耦接以用於儲存資訊及指令以藉由處理器402來執行。所述處理器402以及所述記憶體404可以輔以特殊用途的邏輯電路、或是被納入在特殊用途的邏輯電路中。
所述指令可被儲存在所述記憶體404中,並且被實施在一或多個電腦程式產品中,例如是被編碼在一電腦可讀取的媒體上的一或多個模組的電腦程式指令,以用於藉由所述電腦系統400執行、或是控制所述電腦系統400的操作,並且根據任何具有此項技術中的技能者眾所週知的方法,其包含但不限於電腦語言,例如是資料導向的語言(例如,SQL、dBase)、系統語言(例如,C、Objective-C、C++、組合語言)、建築語言(例如,Java、.NET)、以及應用程式語言(例如,PHP、Ruby、Perl、Python)。指令亦可以用例如是陣列語言、切面導向的語言、組合語言、編輯語言、命令行介面語言、編譯的語言、並行語言、波形括號語言、資料流程語言、資料結構的語言、宣告式語言、深奧的語言、擴展語言、第四代語言、函數式語言、互動模式語言、解譯語言、迭代的語言、基於列表的語言、小語言、基於邏輯的語言、機器語言、巨集語言、元程式設計語言、多範式語言、數值分析、非基於英語的語言、物件導向的基於類別的語言、物件導向的基於原型的語言、越位規則的語言、程序式語言、反射式語言、基於規則的語言、腳本語言、基於堆疊的語言、同步語言、語法處理語言、視覺化語言、wirth語言、以及基於xml的語言的電腦語言來實施。記憶體404亦可以在將藉由處理器402執行的指令的執行期間,被使用於儲存臨時的變數或是其它中間的資訊。
如同在此論述的電腦程式並不一定對應於一檔案系統中的一檔案。一程式可被儲存在一檔案的一部分中,所述檔案保有其它程式或資料(例如,一或多個腳本被儲存在一標記式語言文件中)、在專用於所論述的程式的單一檔案中、或是在多個協調的檔案中(例如,儲存一或多個模組、子程式或是碼部分的檔案)。一電腦程式可被配置以在一電腦上或是在多個電腦上執行,所述多個電腦是位在一位置、或是被分散在橫跨多個位置並且藉由一通訊網路互連的。在此說明書中所述的程序及邏輯流程可以藉由一或多個可程式化的處理器來執行,其執行一或多個電腦程式以藉由在輸入資料上運算並且產生輸出來執行功能。
電腦系統400進一步包含一例如是磁碟片或光碟的資料儲存裝置406,其和匯流排408耦接以用於儲存資訊及指令。電腦系統400可以經由輸入/輸出模組410來耦接至各種的裝置。輸入/輸出模組410可以是任意的輸入/輸出模組。範例的輸入/輸出模組410包含例如是USB埠的資料埠。所述輸入/輸出模組410是被配置以連接至一通訊模組412。範例的通訊模組412包含連網的介面卡,例如是乙太網路卡及數據機。在某些特點中,輸入/輸出模組410是被配置以連接至複數個裝置,例如一輸入裝置414及/或一輸出裝置416。範例的輸入裝置414包含一鍵盤以及一指向裝置(例如,一滑鼠或是一軌跡球),一消費者可以藉由其來提供輸入至所述電腦系統400。其它種類的輸入裝置414也可被利用以提供和一消費者的互動,例如一觸覺的輸入裝置、視覺的輸入裝置、音訊輸入裝置、或是人機介面裝置。例如,被提供給所述消費者的回授可以是任意形式的感覺的回授,例如是視覺的回授、聽覺的回授、或是觸覺的回授;並且來自所述消費者的輸入可以用任意形式來接收,其包含聲波、語音、觸覺、或是腦波輸入。範例的輸出裝置416包含顯示裝置,例如是LCD(液晶顯示器)螢幕,以用於顯示資訊給所述消費者。
根據本揭露內容之一特點,可穿戴的裝置100可以至少部分利用一電腦系統400,響應於處理器402執行內含在記憶體404中的一或多個序列的一或多個指令來實施。此種指令可以從例如是資料儲存裝置406的另一機器可讀取的媒體被讀入記憶體404。內含在主要記憶體404中的序列的指令的執行是使得處理器402執行在此所述的程序步驟。在一多重處理配置中的一或多個處理器亦可被採用以執行內含在主要記憶體404中的序列的指令。在替代的特點中,硬佈線的電路可被用來取代或是結合軟體指令,以實施本揭露內容的各種特點。因此,本揭露內容的特點並不限於硬體電路及軟體的任何特定的組合。
在此說明書中所述的標的之各種特點可被實施在一計算系統中,其包含一例如是資料伺服器的後端構件、或是包含一例如是應用程式伺服器的中介軟體構件、或是包含一前端構件,例如是具有一圖形消費者介面或一網路瀏覽器的一客戶電腦,消費者可以透過其來和在此說明書中所述標的之實施方式互動、或是一或多個此種後端、中介軟體、或是前端構件的任意組合。所述系統的構件可以藉由任意形式或媒體的數位資料通訊(例如是通訊網路)來互連。所述通訊網路例如可包含LAN、WAN、網際網路、與類似者中的任一或多個。再者,所述通訊網路(例如,網路150)可包含但不限於例如以下的網路拓樸中的任一或多個,包含匯流排網路、星狀網路、環狀網路、網狀網路、星狀匯流排網路、樹狀或階層式網路、或類似者。所述通訊模組例如可以是數據機或乙太網路卡。
電腦系統400可包含客戶及伺服器。客戶及伺服器大致是在彼此的遠端,並且通常透過一通訊網路來互動。客戶及伺服器的關係是藉由電腦程式在所述個別的電腦上執行,因而彼此具有一客戶-伺服器的關係而發生的。電腦系統400例如且非限制地可以是桌上型電腦、膝上型電腦、或是平板電腦。電腦系統400亦可以內嵌在另一裝置中,例如且非限制的是行動電話、PDA、行動音訊播放器、全球定位系統(GPS)接收器、電玩遊戲主機、及/或電視機上盒。
如同在此所用的術語“機器可讀取的儲存媒體”或是“電腦可讀取的媒體”是指參與提供指令至處理器402以用於執行的任一或多個媒體。此種媒體可以具有許多形式,其包含但不限於非揮發性媒體、揮發性媒體、以及傳送媒體。非揮發性媒體例如包含光碟或是磁碟片,例如是資料儲存裝置406。揮發性媒體包含動態記憶體,例如是記憶體404。傳送媒體包含同軸電纜、銅導線、以及光纖,包含形成匯流排408的導線。常見的機器可讀取的媒體的形式例如是包含軟碟片、軟性磁碟片、硬碟、磁帶、任何其它磁性的媒體、CD-ROM、DVD、任何其它光學媒體、打孔卡、紙帶、任何其它具有孔洞圖案的實體媒體、RAM、PROM、EPROM、快閃EPROM、任何其它記憶體晶片或卡匣、或是任何其它電腦可以讀取的媒體。所述機器可讀取的儲存媒體可以是機器可讀取的儲存裝置、機器可讀取的儲存基板、記憶體裝置、影響機器可讀取的傳播的信號的物質組成物、或是其中的一或多種的組合。
為了描繪硬體及軟體的可交換性,例如是各種舉例說明的區塊、模組、構件、方法、操作、指令、以及演算法的項目已經大致就其功能方面來敘述。此種功能是否被實施為硬體、軟體、或是硬體及軟體的組合是依據在整體系統上所施加的特定應用及設計限制而定。本領域技術人員可以對於每一個特定的應用,用不同的方式來實施所述功能。
如同在此所用的,在一系列的項目後的措辭“中的至少一個”(其具有所述術語“及”或是“或”來分開所述項目的任一個)是整體修飾所述表列,而不是所述表列的每一個構件(例如,每一個項目)。所述措辭“中的至少一個”並不需要至少一項目的選擇;而是,所述措辭容許表示包含所述項目的任一個的至少一個、及/或所述項目的任意組合的至少一個、及/或所述項目的每一個的至少一個。例如,所述措辭“A、B及C中的至少一個”或是“A、B或C中的至少一個”分別是指只有A、只有B、或是只有C;A、B及C的任意組合;及/或A、B及C的每一個中的至少一個。
所述字詞“範例的”在此是被使用來表示“作為例子、實例、或是例證”。任何在此被敘述為“範例的”實施例並不一定被解釋為相對其它實施例較佳或有利的。例如一特點、所述特點、另一特點、某些特點、一或多個特點、一實施方式、所述實施方式、另一實施方式、某些實施方式、一或多個實施方式、一實施例、所述實施例、另一實施例、某些實施例、一或多個實施例、一配置、所述配置、另一配置、某些配置、一或多個配置、標的技術、所述揭露內容、本揭露內容、以及其之其它變化與類似者的措辭只是為了便利性而已,因而並不意指有關此種措辭的揭露內容對於所述標的技術而言是重要的、或是此種揭露內容適用所述標的技術的所有配置。有關此種措辭的揭露內容可以適用所有的配置、或是一或多個配置。有關此種措辭的揭露內容可以適用一或多個例子。例如是一特點或某些特點的措辭可以是指一或多個特點並且反之亦然,而且此類似地適用於其它先前的措辭。
除非有明確地陳述,否則以單數對於一元件的參照並不欲表示“一個而且只有一個”,而是表示“一或多個”。男性的代名詞(例如,他的)包含女性及中性(例如,她的以及它的),並且反之亦然。所述術語“某些”是指一或多個。加底線及/或斜體的標題及子標題只是為了便利而被使用,並非限制所述標的技術,並且不是指與所述標的技術的說明的解釋有關的。例如是第一及第二與類似者的關係術語可被用來區別一實體或動作與另一實體或動作,而無一定需要或暗指在此種實體或動作之間的任何實際的此種關係或順序。在此整個揭露內容所述的各種配置的元件的所有已知或是之後為所述技術中具有通常技能者已知的結構及功能的等同物都是明確地被納入在此作為參考,並且打算由所述標的技術所涵蓋。再者,在此揭露的都並不打算是貢獻給社會大眾的,不論此種揭露內容是否明確地在以上的說明中闡述。請求項元件都不欲根據第35號美國法典第112條第六段的規定來解釋,除非所述元件是明確利用所述措辭“用於…的手段”來闡述、或是在一方法請求項的情形中,所述元件是利用所述措辭“用於…的步驟”來闡述。
儘管此說明書包含許多細節,但是這些不應該被解釋為在可能被描述的範疇上的限制,但是作為所述標的之特定實施方式的說明。在此說明書中,在個別的實施例的上下文中描述的某些特點亦可以組合地被實施在單一實施例中。相反地,在單一實施例的上下文中描述的各種特點亦可以在多個實施例中個別地或是用任何適當的次組合來實施。再者,儘管特點可能在以上被描述為以某種組合來作動,並且甚至最初被敘述為此,但是來自一所述組合的一或多個特點在某些情形中可以從所述組合刪除,因而所述組合可以是針對於一次組合、或是一次組合的變化。
此說明書之標的已經就特定的特點來敘述,但是其它特點可被實施並且是在以下的請求項的範疇之內。例如,儘管在圖式中的操作是以一特定的順序來描繪,但此不應該被理解為需要此種操作以所示的特定順序或是按照順序來執行、或是所有描繪的操作都被執行,以達成所期望的結果。在所述請求項中闡述的動作可以用一不同的順序來執行,並且仍然達成所期望的結果。舉例而言,在所附的圖式中描繪的方法並不一定需要所示的特定的順序或是依序的順序,以達成所期望的結果。在某些情況中,多工作業以及平行處理可能是有利的。再者,在上述的特點中的各種系統構件的分開不應該被理解為在所有的特點中都需要此種分開,因而應瞭解的是所述程式構件及系統一般可以一起被整合在單一軟體產品中、或是被封裝成多個軟體產品。
所述名稱、背景、圖式及其之說明是藉此被納入本揭露內容,並且是被提供作為本揭露內容的舉例說明的例子,而非限制性的說明。所主張的是理解到它們將不會被用來限制所述請求項的範疇或意義。此外,在所述詳細說明中,可看出的是所述說明提供舉例說明的例子,並且所述各種特點在各種的實施方式中為了使本揭露內容流暢之目的而被分組在一起。揭露內容的方法並不欲被解釋為反映所述標的需要比明確在每一個請求項中所闡述的更多特點的意圖。而是,如同所述請求項反映的,發明的標的是在於少於單一所揭露的配置或操作的所有特點。所述請求項是藉此納入所述詳細說明中,其中每一個請求項是獨立為一個別敘述的標的。
所述請求項並不欲受限於在此所述的特點,而是欲被授予和所述語言的請求項一致的完整範疇,並且欲涵蓋所有合法的等同物。然而,並無請求項是欲包含無法滿足可適用的專利法規的要求的標的,它們也不應該以此種方式被解釋。
10:架構 100:可穿戴的裝置 100-1:智慧型眼鏡 100-2:智慧型手錶 101:使用者 103:資料組 103-1:第一資料組 103-2:資料組 103-3:資料組 105:框架 107:接目鏡 110:行動裝置 112:處理器 115:攝影機 118:通訊模組 120:記憶體電路 121:感測器 125:觸覺致動器 127:揚聲器 128:感測裝置 129:介面裝置 130:遠端的伺服器 150:網路 152:資料庫 200:智慧型眼鏡 201:使用者 215:攝影機 215A:第一攝影機 215B:第二攝影機 220、220A、220B:視野(FOV) 230:物品 300:方法 302:步驟 304:步驟 306:步驟 308:步驟 400:電腦系統 402:處理器 404:記憶體 406:資料儲存裝置 408:匯流排 410:輸入/輸出模組 412:通訊模組 414:輸入裝置 416:輸出裝置
[圖1]是描繪根據某些實施例的一架構,其包含一或多個彼此耦接、耦接至一行動裝置、耦接至一遠端的伺服器、且耦接至一資料庫的可穿戴的裝置。
[圖2A]是描繪具有根據某些實施例的在一第一配置中的一智慧型眼鏡的一使用者。
[圖2B]是描繪具有根據某些實施例的在一第二配置中的一智慧型眼鏡的一使用者。
[圖3]是描繪在根據某些實施例的一種用於利用多個感測器資料來控制一智慧型眼鏡裝置中的一或多個攝影機之方法中的步驟的流程圖。
[圖4]是描繪根據某些實施例的一範例的電腦系統的方塊圖,而一頭戴式裝置以及利用該頭戴式裝置的方法可以利用所述電腦系統來加以實施。
在圖式中,除非另有明確陳述,否則具有相同或類似的元件符號的元件係共用相同或類似的特點。
300:方法
302:步驟
304:步驟
306:步驟
308:步驟

Claims (20)

  1. 一種電腦實施的方法,其包括: 從安裝在使用者所穿戴的頭戴式裝置之上的感測器接收一信號,所述信號指出對於捕捉影像的使用者意圖; 根據一模型來識別對於捕捉所述影像的所述使用者意圖以根據所述使用者意圖來分類來自所述感測器的所述信號; 根據第一影像捕捉裝置的規格以及對於捕捉所述影像的所述使用者意圖來選擇所述頭戴式裝置中的所述第一影像捕捉裝置;以及 利用所述第一影像捕捉裝置來捕捉所述影像。
  2. 如請求項1之電腦實施的方法,其中從所述感測器接收所述信號包括從慣性運動感測器接收慣性信號、從使用者語音接收聲音捕捉、接收手姿勢、或是接收主動按鈕按壓中之一者。
  3. 如請求項1之電腦實施的方法,其中根據所述第一影像捕捉裝置的所述規格來選擇所述第一影像捕捉裝置包括在所述第一影像捕捉裝置的視野包含所述使用者的視野中的所關注的點時,選擇所述頭戴式裝置中的所述第一影像捕捉裝置。
  4. 如請求項1之電腦實施的方法,其進一步包括在所述使用者意圖不與所述第一影像捕捉裝置的所述規格相容時,停用所述頭戴式裝置中的所述第一影像捕捉裝置。
  5. 如請求項1之電腦實施的方法,其進一步包括從所述頭戴式裝置中的一或多個影像捕捉裝置選擇其中的規格最匹配所述使用者意圖的影像捕捉裝置。
  6. 如請求項1之電腦實施的方法,其進一步包括根據第二使用者意圖來選擇第二影像捕捉裝置,並且停用所述第一影像捕捉裝置。
  7. 如請求項1之電腦實施的方法,其中所述第一影像捕捉裝置的所述規格是視野,並且其中選擇所述第一影像捕捉裝置包含驗證所述視野包含所述使用者意圖內識別出的所關注的物體。
  8. 如請求項1之電腦實施的方法,其中從安裝在所述頭戴式裝置之上的所述感測器接收所述信號包括識別所述使用者的手姿勢,所述手姿勢指出所關注的物體。
  9. 如請求項1之電腦實施的方法,其中從所述感測器接收所述信號包括從安裝在所述頭戴式裝置之上的眼動追蹤裝置接收所述使用者的瞳孔位置。
  10. 如請求項1之電腦實施的方法,其中從所述感測器接收所述信號包括識別所述頭戴式裝置的朝向,並且選擇所述第一影像捕捉裝置包括選擇其中的視野是沿著所述頭戴式裝置的所述朝向而指向的攝影機。
  11. 一種擴增實境頭戴式裝置,其包括: 安裝在框架之上的第一攝影機及第二攝影機,所述第一攝影機及所述第二攝影機分別具有第一視野及第二視野; 感測器,其被安裝在所述框架之上; 記憶體,其被配置以儲存多個指令;以及 一或多個處理器,其被配置以執行所述指令以使得所述擴增實境頭戴式裝置: 從安裝的所述感測器接收一信號,所述信號指出使用者對於捕捉影像的意圖, 根據一模型來識別所述使用者對於捕捉所述影像的所述意圖以根據所述使用者的所述意圖來分類來自所述感測器的所述信號, 根據所述第一視野、所述第二視野、以及所述使用者對於捕捉所述影像的所述意圖來選擇所述第一攝影機或所述第二攝影機中之一者,以及 利用所選的攝影機來捕捉所述影像。
  12. 如請求項11之擴增實境頭戴式裝置,其中所述感測器是慣性運動單元,並且從所述感測器接收所述信號包括識別所述擴增實境頭戴式裝置相對於固定的座標系統之朝向。
  13. 如請求項11之擴增實境頭戴式裝置,其中為了在所述擴增實境頭戴式裝置中選擇所述第一攝影機或所述第二攝影機中之一者,所述一或多個處理器進一步執行所述指令以在所述第一攝影機的視野包含所述使用者的視野中的所關注的點時選擇所述第一攝影機。
  14. 如請求項11之擴增實境頭戴式裝置,其中當所述第二攝影機根據第二使用者意圖而被選擇時,所述一或多個處理器進一步執行所述指令以停用所述第一攝影機。
  15. 如請求項11之擴增實境頭戴式裝置,其中所述感測器提供指出所述使用者的手姿勢指向所關注的物體的信號。
  16. 如請求項11之擴增實境頭戴式裝置,其中所述感測器是安裝在所述框架之上的眼動追蹤裝置,其被配置以提供指出所述使用者的瞳孔位置的信號。
  17. 如請求項11之擴增實境頭戴式裝置,其中所述感測器是慣性運動感測器,其被配置以提供指出所述擴增實境頭戴式裝置的朝向的信號,並且所述一或多個處理器進一步執行所述指令以在所述第一視野與所述擴增實境頭戴式裝置的所述朝向對準時,選擇所述第一攝影機。
  18. 如請求項11之擴增實境頭戴式裝置,其中所述感測器是所述第一攝影機或所述第二攝影機中之一者,其被配置以捕捉所述使用者指出所關注的物體的姿勢。
  19. 如請求項11之擴增實境頭戴式裝置,其中所述感測器是麥克風,其被配置以收集及識別指出所述使用者的所述意圖的語音命令。
  20. 如請求項11之擴增實境頭戴式裝置,其中所述感測器是觸敏的感測器,其被配置以從所述使用者接收觸控命令。
TW111125621A 2021-07-07 2022-07-07 使用系統感測器資料之攝影機控制 TW202316848A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202163219266P 2021-07-07 2021-07-07
US63/219,266 2021-07-07
US202163227228P 2021-07-29 2021-07-29
US63/227,228 2021-07-29
US17/856,760 US20230012426A1 (en) 2021-07-07 2022-07-01 Camera control using system sensor data
US17/856,760 2022-07-01

Publications (1)

Publication Number Publication Date
TW202316848A true TW202316848A (zh) 2023-04-16

Family

ID=83081120

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111125621A TW202316848A (zh) 2021-07-07 2022-07-07 使用系統感測器資料之攝影機控制

Country Status (3)

Country Link
EP (1) EP4367569A1 (zh)
TW (1) TW202316848A (zh)
WO (1) WO2023283323A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171198B1 (en) * 2012-04-02 2015-10-27 Google Inc. Image capture technique
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US10681273B2 (en) * 2017-08-24 2020-06-09 Samsung Electronics Co., Ltd. Mobile device including multiple cameras
US11861674B1 (en) * 2019-10-18 2024-01-02 Meta Platforms Technologies, Llc Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems

Also Published As

Publication number Publication date
WO2023283323A1 (en) 2023-01-12
EP4367569A1 (en) 2024-05-15

Similar Documents

Publication Publication Date Title
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
CN112352209B (zh) 用于与人工智能系统互动和界面交互的系统和方法
US9317113B1 (en) Gaze assisted object recognition
US10146316B2 (en) Method and apparatus for disambiguating a plurality of targets
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6568224B2 (ja) サーベイランス
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN110546601B (zh) 信息处理装置、信息处理方法和程序
US11573627B2 (en) Method of controlling device and electronic device
US20210081029A1 (en) Gesture control systems
US20220012283A1 (en) Capturing Objects in an Unstructured Video Stream
US11803233B2 (en) IMU for touch detection
US11500510B2 (en) Information processing apparatus and non-transitory computer readable medium
JP6841232B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220236801A1 (en) Method, computer program and head-mounted device for triggering an action, method and computer program for a computing device and computing device
WO2020080107A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230086766A1 (en) Attention tracking to augment focus transitions
CN113497912A (zh) 通过语音和视频定位的自动取景
TW202324065A (zh) 用以選擇在智慧型眼鏡中的攝影機的視野之使用者介面
TW202316848A (zh) 使用系統感測器資料之攝影機控制
US20230012426A1 (en) Camera control using system sensor data
WO2022055820A1 (en) Method of displaying selectable options
CN117616361A (zh) 使用系统传感器数据的摄像头控制
CN113498029A (zh) 交互式广播
US20230324984A1 (en) Adaptive sensors to assess user status for wearable devices