TWI534654B - 用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置 - Google Patents

用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置 Download PDF

Info

Publication number
TWI534654B
TWI534654B TW103104784A TW103104784A TWI534654B TW I534654 B TWI534654 B TW I534654B TW 103104784 A TW103104784 A TW 103104784A TW 103104784 A TW103104784 A TW 103104784A TW I534654 B TWI534654 B TW I534654B
Authority
TW
Taiwan
Prior art keywords
user
roi
hmd
gesture
hand
Prior art date
Application number
TW103104784A
Other languages
English (en)
Other versions
TW201502860A (zh
Inventor
愛爾彼特 米托
朱利亞諾 馬喬奇
麥可Ｌ 土默
保羅 馬步特
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201502860A publication Critical patent/TW201502860A/zh
Application granted granted Critical
Publication of TWI534654B publication Critical patent/TWI534654B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置
本發明之實施例係關於使用人體手勢在頭部安裝顯示器(HMD)上選擇擴充實境(AR)物件。更特定而言，本發明之實施例讓使用者可在HMD上選擇一或多個AR物件而不需使用者實體地碰觸該HMD。
本發明之態樣係關於使用人體手勢在頭部安裝顯示器(HMD)上選擇擴充實境(AR)物件。
HMD現可發展為具有內附的或由連接至HMD之主機裝置(諸如，智慧型手機)提供的某一程度之計算能力之重量輕、可買得起的裝置。
HMD可包括安裝於眼鏡框架上之一或多個自我中心攝影機。HMD亦可包括光學感測器、加速計、GPS、迴轉儀、固態羅盤、RFID及無線感測器。HMD可具有在使用者之視野內之透明顯示區，使用者在透明顯示區中可在顯示器上觀看實體物件及虛擬物件。
使用內建攝影機，HMD可根據使用者之輸入而捕捉影像及視訊。習知方法包括使用者觸碰HMD上之按鈕以捕捉使用者之視野中之影像。
描述特定實施例，該等特定實施例允許一使用者在一頭部安裝顯示器(HMD)上選擇一或多個擴充實境(AR)物件而無需一使用者實體觸碰該HMD。
在一些實施例中，一HMD可基於由一使用者之至少一手形成之一手勢而界定一感興趣區域(ROI)。隨後，該HMD可在該HMD上向該 使用者顯示一形狀。在至少一配置中，該形狀描畫該ROI之輪廓。另外，該HMD可向該使用者顯示複數個AR物件，該複數個AR物件中之每一者與該ROI內之一目標相關聯。此外，該HMD可基於該使用者之該至少一手之一第一移動而減小該ROI之大小以形成一減小大小ROI。在至少一配置中，該減小大小ROI係用以自該複數個AR物件選擇一特定AR物件。在一或多個配置中，用於減小該ROI之大小之方法包含使該使用者之手移動得更靠近彼此。另外，該HMD可基於一放開事件而放開該減小大小ROI。舉例而言，該放開事件可在該使用者之該至少一手遠離該ROI時、在該使用者之至少一手指及拇指靠攏時或在該使用者發出一語音命令時出現。
在另一配置中，其中多個擴充與該特定AR物件相關聯，該HMD可進一步基於該使用者之該至少一手在該特定AR物件之方向上之一第二移動而向該使用者顯示來自與該特定AR物件相關聯之該多個擴充之一對應擴充。
在另一配置中，該HMD可進一步：捕捉該減小大小ROI內之文字；且基於該捕捉文字而初始化翻譯。該HMD亦可執行該ROI或該減小大小ROI之自動視覺辨識及視覺搜尋。
在另一配置中，該HMD可在與一或多個其他使用者共用之一視訊期間使用該減小大小ROI來使視野變窄。
在一些實施例中，一種用於選擇一擴充實境(AR)物件之頭部安裝裝置(HMD)可包含：一或多個處理器；及儲存電腦可讀指令之記憶體，該等電腦可讀指令在由該一或多個處理器執行時使該HMD：基於由一使用者之至少一手形成之一手勢而界定一感興趣區域(ROI)；在該HMD上向該使用者顯示一形狀，其中該形狀描畫該ROI之輪廓；向該使用者顯示複數個AR物件，該複數個AR物件中之每一者與該ROI內之一目標相關聯；且基於該使用者之該至少一手之一第一移動 而減小該ROI之大小以形成一減小大小ROI，其中該減小大小ROI係用以自該複數個AR物件選擇一特定AR物件。
在一些實施例中，一或多個電腦可讀媒體，該一或多個電腦可讀媒體儲存用於在一頭部安裝裝置(HMD)上選擇一擴充實境(AR)物件之電腦可執行指令，該等電腦可執行指令在執行時使包括於一HMD中之一或多個計算裝置：基於由一使用者之至少一手形成之一手勢而界定一感興趣區域(ROI)；在該HMD上向該使用者顯示一形狀，其中該形狀描畫該ROI之輪廓；向該使用者顯示複數個AR物件，該複數個AR物件中之每一者與該ROI內之一目標相關聯；且基於該使用者之該至少一手之一第一移動而減小該ROI之大小以形成一減小大小ROI，其中該減小大小ROI係用以自該複數個AR物件選擇一特定AR物件。
在一些實施例中，一種用於選擇一擴充實境(AR)物件之頭部安裝裝置(HMD)可包含：用於基於由一使用者之至少一手形成之一手勢而界定一感興趣區域(ROI)之一構件；用於在該HMD上向該使用者顯示一形狀之一構件，其中該形狀描畫該ROI之輪廓；用於向該使用者顯示複數個AR物件之構件，該複數個AR物件中之每一者與該ROI內之一目標相關聯；及用於基於該使用者之該至少一手之一第一移動而減小該ROI之大小以形成一減小大小ROI之一構件，其中該減小大小ROI係用以自該複數個AR物件選擇一特定AR物件。
100‧‧‧簡化說明
110‧‧‧使用者
120‧‧‧頭部安裝裝置(HMD)
130‧‧‧使用者之手
140‧‧‧顯示器
150‧‧‧攝影機
200‧‧‧在頭部安裝顯示器(HMD)上選擇擴充實境(AR)物件之方法
305‧‧‧感興趣區域(ROI)
315‧‧‧形狀
320‧‧‧擴充實境(AR)物件/AR目標
350‧‧‧食指
355‧‧‧拇指
360‧‧‧手指
405‧‧‧擴充實境(AR)物件
410‧‧‧擴充實境(AR)物件
415‧‧‧擴充實境(AR)物件
420‧‧‧擴充實境(AR)物件
425‧‧‧擴充實境(AR)物件
505‧‧‧興趣點(POI)
510‧‧‧興趣點(POI)
515‧‧‧興趣點(POI)
600‧‧‧沿著目標之方向使用手勢界定注意空間(VOI)之方法
705‧‧‧擴充/使用者之手位置
710‧‧‧擴充/位置
715‧‧‧擴充/位置
720‧‧‧電影海報/目標
800‧‧‧基於選定ROI而起始智慧應用程式之方法
900‧‧‧電腦系統
905‧‧‧匯流排
910‧‧‧處理器
925‧‧‧非暫時性儲存裝置
930‧‧‧通信子系統
935‧‧‧工作記憶體
940‧‧‧作業系統
945‧‧‧應用程式
本發明之態樣係以舉例方式說明。在附圖中，相似參考數字指示類似元件，且：圖1A及圖1B說明可併有一或多個實施例之HMD的簡化圖；圖2根據一實施例說明描述與HMD互動以選擇AR目標之無觸碰方法的流程圖；圖3A及圖3B根據一實施例說明用於選擇感興趣區域(ROI)之方 法；圖4根據一實施例說明顯示於HMD上之具有五個目標之ROI；圖5根據一實施例說明顯示於HMD上之具有三個目標之減小大小ROI；圖6說明用於選擇AR目標之特定擴充層的流程圖；圖7說明使用者藉由使用VOI在目標之方向上滾動而瀏覽多個擴充；圖8說明用於基於ROI起始智慧應用程式(例如，翻譯、視覺搜尋)的流程圖；且圖9說明可於其中實施一或多個實施例之計算系統之實例。
現將參看形成實施例之部分之附圖來描述若干說明性實施例。雖然下文描述了其中可實施本發明之一或多個態樣之特定實施例，但在不脫離本發明之範疇及附加申請專利範圍之精神的情況下，可使用其他實施例且可作出各種修改。
本發明之實施例係關於使用人體手勢在頭部安裝顯示器(HMD)上選擇擴充實境(AR)物件。一些實施例揭示用於在一頭部安裝顯示器(HMD)上選擇一或多個擴充實境(AR)物件而無需使用者實體觸碰該HMD之方法。
HMD可藉由將使用者所觀看之實體物件與(例如)相關聯於實體物件或相關聯於使用者之位置及/或環境的數位內容(例如，文字、圖像、視訊)重疊而提供擴充實境(AR)功能性。舉例而言，具有擴充實境(AR)能力之HMD可將實體世界及虛擬物件兩者之影像置放於使用者之視野上方。結果，HMD可為使用者提供行動及合作式AR體驗。
如本文中所使用，術語HMD係指連結至行動處理器的捕捉距離感測器資料且具有顯示能力之裝置，其可為相對於頭部安裝裝置分離 之裝置。在一實施例中，HMD 120可為行動裝置CPU(例如，行動電話、平板電腦、智慧型手機等之處理器)之配件，其中HMD控制系統之主要處理係在行動裝置之處理器上執行。在另一實施例中，HMD 120可包含處理器、記憶體、顯示器及攝影機。
在另一實施例中，HMD可包括用於與網際網路、區域無線網路或另一計算裝置之無線介面。在另一實施例中，投影機可關聯於HMD中以實現影像至表面上之投影。HMD較佳為輕量的且構造成避免使用可使裝置佩戴起來不舒適之沉重組件。HMD亦可可操作以自使用者接收音訊/手勢輸入。此等手勢或音訊輸入可為所說的語音命令或經辨識的使用者手勢，該等輸入在由計算裝置辨識後可使彼裝置執行對應命令。
擴充實境(AR)可為要素藉由電腦產生之感測輸入(諸如，但不限於，聲音、文字、圖形、視訊及GPS資料)擴充的實體真實世界環境之實況的直接或非直接視圖。
藉由使用諸如物件辨識之AR技術，關於使用者之周圍真實世界之資訊變為互動性的且數位可操縱的。關於使用者之環境及其物件之人工資訊可覆蓋於真實世界上方。
此外，雖然本文中相對於HMD來描述實施例，但熟習此項技術者將瞭解，可利用其他形式之頭部安裝顯示器。舉例而言，本文中所描述之實施例可相對於使用者可佩戴之一或多個隱形眼鏡而實施及/或可以使用者可藉以感覺視野的另一形式之顯示器而實施。
一些實施例允許與HMD互動以選擇地理定位興趣點(POI)及AR目標。藉由偵測自然人體手勢，系統可觸發HMD選擇經由眼鏡看到的ROI內之POI或AR目標之一子集。
各種實施例包括在一擴充實境系統中選擇AR目標之方法，該等方法包括：基於藉由用以或多個頭部安裝感測器捕捉空間資料的使用 者之手勢而界定一ROI；在HMD之顯示器上顯示描畫該ROI之輪廓之一形狀；計算包括對應於AR目標的相對於HMD之距離的參數，在該ROI內顯示複數個AR物件；基於使用者之手部移動而減小該ROI之大小；及使用一減小大小之ROI選擇一特定AR目標。在一實施例中，該方法可包括連續更新產生之虛擬物件之顯示，使得虛擬物件隨著使用者轉動其頭部而以固定顯示之方式出現。
圖1A至圖1B說明可併有一或多個實施例之HMD 120的簡化圖。
圖2所描述之流程圖根據一實施例說明與HMD互動以選擇地理定位興趣點(point of interest，POI)及AR目標之無觸碰方法。藉由偵測自然人體手勢，HMD可選擇經由眼鏡看到之該等POI或AR目標之一子集。圖3A說明使用圖2中所描述之方法與HMD互動以選擇AR目標之例示性方法。手勢可涉及使雙手之食指及拇指在正交方向上指向，如圖3A及圖4所示。在一ROI已由HMD辨識之後，一使用者可藉由進一步指定ROI或注意空間(volume-of-interest，VOI)而選擇二維或三維空間中之地理定位POI或AR目標，如圖3B、圖5及圖7所示。
根據另一實施例，HMD上的具有深度量測功能之攝影機(例如，立體攝影機)可用於在AR具有與之相關聯之多個擴充時使用VOI來選擇一擴充。具備深度量測功能之攝影機可辨識手部在使用者前面或在攝影機視界中之移動。利用此等攝影機，HMD可辨識使用者之手相對於目標之位置，且因此基於該位置而顯示不同擴充。
舉例而言，使用者可選擇AR目標之一特定擴充層，如圖6所說明之流程圖中所進一步描述。首先，使用者可藉由選擇ROI而選擇一特定AR目標。此外，若多個擴充與一給定AR目標相關聯，則使用者可藉由使用VOI在目標之方向上捲定而瀏覽該等擴充。舉例而言，在圖7中，關於電影海報720，使用者可瀏覽展示以下各者之三個不同擴充705、710、715：電影之名稱(帶評論)；預告片；及相關聯於電影之 放映時間。視手部位置而定，向使用者展示對應AR擴充。
根據另一實施例，系統可基於該ROI而起始智慧應用程式(例如，翻譯、視覺搜尋)，如圖8所說明之流程圖中所進一步描述。舉例而言，可將ROI饋送至視覺搜尋系統或基於光學字元辨識(optical character recognition，OCR)之翻譯器，且結果可顯示於HMD上。
根據另一實施例，ROI可用以使視野變窄以用於視訊共用。舉例而言，將ROI視為用於基於視訊之通信的共用視界，因此，僅使用者之視野之部分(例如，表像、文件)係與遠端使用者共用。
使用手勢界定感興趣區域
圖1A為根據一個實施例的經組態以基於一使用者之手勢而界定一感興趣區域(ROI)之HMD 120的簡化說明100。在此實施例中，由使用者110佩戴之HMD 120具有經組態以追蹤使用者之手130以便界定ROI的攝影機及/或其他感測器。在此情況下，HMD 120能夠在HMD 120之顯示器140上顯示描畫ROI之輪廓之形狀。此可允許使用者給出即時回饋以視需要調整ROI，從而移除對用以接收使用者輸入之單獨介面(例如，觸控板、按鈕)之需要。其他介面可視所要功能性而併入至HMD 120中。HMD 120可利用一或多個預先安裝之攝影機150來追蹤使用者之手130以便判定ROI。
圖1B為可利用本文中所提供之技術的HMD 120之一實施例的說明。所展示之實施例包括顯示器140及一或多個攝影機150。此實施例包括類似於可擱置在使用者110之鼻子及而耳朵上之眼鏡的框架，從而使顯示器140定位於使用者之眼睛前面。
各種實施例使HMD 120能夠使用HMD 120上之感測器來捕捉使用者之手130的手勢。在一實施例中，攝影機150可為頭部安裝攝影機，其可產生處理器可分析以經由對影像之三角分析來估計影像中的至物件之距離的影像資料。替代地或另外，HMD 120可包括可量測影 像內的至各種表面之距離的一或多個距離量測感測器(例如，雷射或音波測距器)。在各種實施例中，多種不同類型之距離量測感測器及演算法可使用成像場景進行量測以用於量測至使用者110觀看到之場景內之物件的距離。又，在HMD 120中可使用一個以上感測器及感測器類型。
此外，HMD 120可包括定向感測器，諸如加速計、迴轉儀、磁感測器、光學感測器、機械或電子位準感測器及慣性感測器，單獨地或組合地，該等感測器可將關於裝置之上/下位準定向(例如，藉由感測重力定向)且因此使用者之頭部位置定向(及自彼觀看視點)的資料提供至裝置之處理器。此外，HMD 120可包括旋轉定向感測器，諸如，可將關於左/右定向及移動之資料提供至裝置之處理器的電子羅盤及加速計。總之，感測器(包括加速計、迴轉儀、磁感測器、光學感測器、機械或電子位準感測器、慣性感測器及電子羅盤)經組態以提供關於HMD 120之上/下及旋轉定向(且因此使用者之觀看視點)的資料。
HMD 120可經組態以辨識使用者輸入，該等使用者輸入可經由可由攝影機成像之手勢形成。至影像內之經辨識物件之距離可自收集自捕捉影像及距離感測器的資料來判定。HMD 120可將影像及距離感測器資料提供至行動處理器及自行動處理器接收顯示資訊，行動處理器可與HMD 120分離，諸如，在智慧型手機或其他行動裝置中。
顯示器140之至少一部分係透明的，從而提供允許使用者不僅觀看顯示於顯示器140上之影像，而且觀看使用者之周圍環境中的實體物件的透明顯示區。顯示於顯示器140上之影像之透明程度可視顯示器140之所要功能性、顯示於顯示器140上之圖形使用者介面(GUI)之設定及/或由HMD 120執行之軟體應用程式(例如，視訊、地圖、網際網路瀏覽器)而改變。雖然圖1A至圖1B所示之實施例說明定位於類似眼鏡之框架中之顯示器140，但在其他實施例中可利用能夠提供透明 顯示區之其他技術(例如，視網膜投影機或其他光學系統)。
此外，攝影機150(例如，面向外之攝影機)可捕捉使用者之周圍環境(包括可由使用者110控制以提供輸入至HMD 120的使用者之手130及/或其他物件)之影像。該等攝影機可包括將影像及/或其他資訊提供至使HMD 120能夠追蹤在使用者前面之實體物件(例如，POI)之處理單元的其他類型之感測器。在一個實施例中，HMD 120亦可使用能夠判定深度之攝影機150(例如，立體攝影機)來追蹤物件之深度。根據一個實施例，深度攝影機可在使用VOI來顯示多個擴充時使用，如圖7所示。
攝影機150可具有使HMD 120能夠追蹤自使用者角度看出現在透明顯示區內之物件(例如，手勢)的視野。當實體物件自使用者110之視點看不在透明顯示區內時，實施例可切換至低功率模式。在一些實施例中，攝影機150可具有比透明顯示區寬的視野，以允許HMD 120在HMD 120判定實體物件正在接近透明顯示區(自使用者110之角度看)時開始執行及/或按比例增大物件追蹤演算法。
自複數個AR目標選擇一特定AR目標
圖2為說明在頭部安裝顯示器(HMD)上選擇擴充實境(AR)物件之方法200之一實施例的流程圖。在區塊205，HMD基於使用者之手勢界定一感興趣區域(ROI)。
一偵測演算法可用以偵測一使用者之手勢。HMD可偵測使用者之一預定手勢且基於該使用者之手勢而界定ROI。舉例而言，使用者之手勢可包括使雙手之食指及拇指在正交方向上指向以建立如圖3A及圖3B中所說明之矩形形狀。在其他例子中，使用者之手勢可包括拳頭、張開手、用手指指向、手旋轉、揮手、一或多個手指之移動及其任何組合。
另外，根據另一實施例，後續使用者手勢可在ROI經界定之後發 生。舉例而言，手勢可包括分開/拉近使用者之手以用於對ROI調整大小。在其他例子中，後續使用者手勢可包括用於拍照之輕拍手勢、用於跨螢幕導引AR物件之推送手勢、用於移動AR物件之輕彈手勢、用於旋轉AR物件之翻轉手勢、用於放縮操作之抓放手勢、用於滾動通過媒體之撥動手勢。
如上文所指示，透明顯示區可為HMD 120之顯示器及/或顯示構件之至少一部分，其經組態以允許使用者觀看展示於顯示器上之影像以及使用者之周圍環境中之實體物件。使用者可基於使用者之手勢而選擇一ROI。圖3A進一步說明HMD 120如何識別ROI。
在區塊210，界定在透明顯示區內描畫該ROI之輪廓之一形狀且向使用者顯示該形狀。該形狀可為(例如)在HMD 120上描畫該ROI之輪廓之一矩形覆疊。該形狀可給予使用者該ROI之位置之視覺回饋。該形狀本身在透明顯示區中可或可不反白顯示及/或另外指示。界定該形狀可(例如)由可為併入至HMD中及/或以通信方式與HMD耦接之計算系統之部分的處理單元、記憶體及/或其他計算構件來執行。該形狀可顯示為自顯示元件(例如，自顯示幕之邊緣)延伸。此外，如下文更詳細論述，該形狀可與AR或其他軟體應用程式中之互動要素、數位內容及/或實體物件相關聯。隨著(例如)使用者相對於實體物件移動，此形狀可在大小、形狀及在顯示區內之位置上有變化。結果，展示與所選物件相關聯之形狀之反白顯示可或可不一直顯示。
各種實施例使HMD 120能夠在顯示器140上顯現描畫ROI之輪廓之虛擬形狀。此使HMD 120能夠提供可促進與計算裝置之互動之擴充實境體驗及來自使用者之即時合作及回饋。
在一些實施例中，HMD 120可將經辨識手勢作為在HMD 120上執行任務之輸入命令來處理。方法可在具有藉由處理器可執行指令組態以執行操作之一處理器之一計算裝置中實施。該處理器可藉由接收 關於HMD 120之定向之感測器資料而開始操作。另外，該處理器可接收來自攝影機150之資料，以及來自上述的包括於HMD 120中之其他感測器之資料。因此，該處理器可獲得由HMD 120收集的關於影像及至攝影機150之視野內之物件之距離的所有資訊。該處理器可計算物件在ROI內之距離及定向資料。此等計算在影像係以區塊提供時可使用熟知三角方法，在使用距離感測器提供距離資料時使用直接量測，及使用自感測器獲得及自影像計算的距離資訊之組合。此外，該處理器可使用距離感測器資料、攝影機資料及距離及定向資料來處理影像。
此外，該處理器可在一時間間隔上追蹤使用者之手130以判定一預定手勢是否經辨識。在此判定中，該處理器可判定任何手勢在視野中是否經辨識。若手勢經辨識，則該處理器可實質上使經辨識手勢與儲存於HMD 120之記憶體中之輸入命令匹配。該處理器可執行對應於經辨識手勢之輸入命令。
根據一個實施例，一旦ROI經識別，當使用者110放開時，即可捕捉ROI內之影像之圖像及/或視訊。舉例而言，若使用者在接收到描畫ROI之輪廓之形狀後繼續維持手勢(諸如，攝影機拍攝姿勢)，則HMD 120可設置在使用者放開之後捕捉由ROI描畫輪廓之影像。放開事件之實例可為當使用者之手快速地自ROI離開時。因此，不同於習知HMD，使用者無需實際上觸碰習知HMD上之按鈕以拍照。
根據另一實施例，HMD 120可捕捉具固定緩衝大小之視訊。在此例子中，手勢機制可用作為觸發器以向HMD指示保存來自上一預定持續時間(例如，30秒)的所有圖框。舉例而言，佩戴HMD 120之使用者可能已恰好見到鯨魚跳出海面，且口頭請求HMD 120記錄過去的30秒。因此，HMD 120可具有以下功能性：其中HMD正在緩衝圖框且基於經辨識手勢或語音命令，HMD 120可將彼等圖框儲存至記憶體 內。
在區塊215，在ROI已被辨識之後，HMD 120向使用者110顯示於ROI內之目標相關聯之複數個AR目標(例如，圖4中的Rita's Fashion 405)。另外，最初在ROI內之目標可隨著使用者移動ROI或使用者之視野而加以追蹤。用於追蹤之構件可由經組態以捕捉影像及/或位置量測、以通信方式與經組態以基於影像及/或位置量測來判定位置之處理單元、記憶體及/或其他計算構件連接的攝影機、感測器及/或其他組件來執行。用於追蹤目標之組件可用用於在透明顯示區中顯示影像之組件來校準，從而使HMD能夠判定使用者看到了什麼。
追蹤構件可使用多種追蹤演算法中之任一者。特定演算法可僅追蹤單一點(例如，透明顯示區上之座標)及/或相關聯於物件及/或物件上之位置之區域(例如，使用者之手)。較複雜追蹤演算法可追蹤諸如物件之距離的其他特徵。實施例可能能夠為了AR互動而追蹤多個及/或不同目標。
一旦使用區塊215向使用者顯示該複數個AR物件，使用者即可能接著想要如區塊220中所描述地選擇一特定AR物件以用於所選物件之進一步操縱。
舉例而言，當使用者佩戴著HMD且與複數個AR物件相關聯之廣告及橫幅可彈出時。若所有功能性在同一時間活躍起來，則此可使人分心且令人討厭。藉由減小ROI之大小，使用者可減小用於互動之AR物件之數目。
在區塊220，使用者可基於使用者之手之移動而減小或擴大ROI之大小，如圖3A至圖3B中所進一步說明。藉由使用即時使用者回饋來操縱ROI，使用者110可即時地選擇一特定AR物件。再次地，用於減小或擴大ROI之大小之構件可包括耦接至展示ROI之顯示器之處理單元、記憶體及/或其他計算構件。
在區塊225，HMD 120使用來自區塊220之減小大小ROI而自區塊215中之該複數個AR物件選擇一特定AR物件。舉例而言，使用Qualcomm之Vuforia，AR目標可由HMD 120顯示於HMD顯示器140上。
擴充實境功能性可用於無數情境中以使使用者能夠更多地瞭解使用者之周圍環境。舉例而言，如圖6及圖7中稍後所描述，HMD 120可辨識具有相關聯於電影海報之AR的電影海報，接著HMD 120可顯示一虛擬「播放預告片」按鈕，該按鈕可用另一手勢啟動。預期無數其他情境。因此，本文中所提供之技術可擴展至擴充實境情境，從而實現與數位內容之要素(自使用者之角度看，至所選物件)之互動。因為此等互動要素限於使用者之周圍環境中之所選物件，所以HMD之顯示器140上之對應ROI可相對於所選物件之位置移動且縮放。另外，根據一些實施例，可接收使用圖6及圖8中所描述之方法來進一步操縱所選AR物件。
AR平台之實例為Qualcomm VuforiaTM擴充實境平台，其可在使用者已經由使用擴充實境選擇一目標後立即將更多資訊提供至HMD之顯示器140及/或行動裝置。舉例而言，Vuforia之電腦視覺功能性可辨識多種2D及3D視覺目標，且顯示與經辨識目標相關聯之AR。因此，使用者可選擇一真實世界目標，且與所選目標相關聯之AR可顯示於HMD 120之顯示器140上。在一些例子中，廣告可開始印刷頁面，或產品包裝在零售貨架可活躍起來。另外，產品本身可提供增強互動性以提供說明。
因此，AR可增強印刷媒體及廣告、消費型產品及包裝以及教育材料之價值。區塊225中的與所選目標相關聯之AR可實現真實世界互動性。舉例而言，AR可相關聯於印刷廣告、產品及包裝以及在零售環境中。
應瞭解，圖2中所說明之特定步驟提供實現使用者與HMD 120之互動之方法200之實例。替代實施例可包括所展示之該等實施例之替代。舉例而言，替代實施例可包括界定透明顯示區內之形狀、顯示描畫ROI之輪廓之形狀、在方法200期間之不同點處顯示AR。另外其他實施例可包括執行數個動作以用HMD 120之顯示組件來校準界定ROI、顯示形狀及追蹤組件。此外，視特定應用而定，可添加、移除或組合額外特徵。一般熟習此項技術者可辨識許多變體、修改及替代。
基於使用者之手勢而界定ROI
圖3A及圖3B說明與HMD互動以選擇特定AR物件320之無觸碰方法。藉由偵測自然人體手勢，HMD 120可被觸發以捕捉經由眼鏡看到之影像或視訊。如圖3A中所說明，以形成以手指及拇指為邊緣之矩形的方式來置放手。可將此矩形內之區視為使用者110之感興趣區域(ROI)。
圖3A說明用於基於使用者之手勢來界定ROI 305之方法，如區塊205中先前所描述。舉例而言，手勢可涉及使雙手之食指350及拇指355在正交方向上指向。
如圖3A中所說明，手勢可包括使雙手之食指及拇指在正交方向上指向以建立矩形。在一個例子中，手勢可包括使用拇指355及手指360形成C形。在其他例子中，手勢可包括拳頭、張開手、用手指指向、手旋轉、揮手、一或多個手指之移動及其任何組合。
圖3B說明用於減小或擴大ROI 305之大小以選擇一特定AR物件320之方法。舉例而言，手勢可涉及合攏手部以減小ROI之大小。替代地，手勢可涉及向外移動手以擴大ROI之大小。
根據其他實施例，一旦ROI已界定，使用者即可使用後續使用者手勢來操縱ROI內之AR物件。舉例而言，手勢可包括分開/拉近使用 者之手以用於對ROI調整大小。在其他例子中，後續使用者手勢可包括用於拍照之輕拍手勢、用於跨螢幕導引AR物件之推送手勢、用於移動AR物件之輕彈手勢、用於旋轉AR物件之翻轉手勢、用於放縮操作之抓放手勢、用於滾動通過媒體之撥動手勢，及其任何組合。
HMD 120可追蹤使用者之手130，從而使使用者110能夠互動且界定ROI 305。舉例而言，使用者可以各種方式作出手勢，諸如，藉由移動使用者之手130以形成一矩形、以攝影機拍攝姿勢合攏手部、指定預定移動或使手部形狀保持在元件附件達一臨限時間量。
攝影機拍攝姿勢之實例對使用者110而言為使用使用者之手建立兩個C形。然而，關於攝影機拍攝資訊，手僅可水平地而不能對角線地移動分開，且因此，ROI之調整大小不能重新界定較大矩形區，而僅重新界定較寬矩形區。
在另一實施例中，ROI可基於L形狀之一隻手，以ROI相對於攝影機視界之中心與使用者之手130之間的距離為底。在此實例中，HMD 120中的使用者之視野及由手界定之「L」形狀之拐角之所在可用以界定ROI。來自HMD 120之回饋可為標記顯示器140之中心的小紅點及標記ROI之邊界之所在的矩形。ROI可視相對於中心視野的使用者之手130而變得更大或更小。
HMD 120在辨識手勢之選擇之後，可在HMD上向使用者顯示形狀315。形狀315(例如，矩形覆疊)可描畫ROI 305之輪廓。使用者可藉由向內或向外移動手來調整ROI 305。視所要功能性而定，若僅使用一隻手，則顯示於HMD 120上之形狀可錨定至顯示器上之點(例如，顯示器之中間的點)，使得使用者可相應地調整形狀而無需雙手描畫形狀之邊界之輪廓。
舉例而言，HMD 120藉由追蹤指尖或由手之形狀形成之輪廓來識別ROI 305(例如，矩形)。一旦偵測到ROI 305，HMD 120在HMD 眼鏡上向使用者顯示形狀315之覆疊投影，如區塊210中先前所描述。接著，使用者可藉由在放開之前移動手而如區塊220中先前所描述地調整ROI之大小，如圖3B所示。
圖3B說明可如何基於即時使用者輸入來調整所選ROI。舉例而言，在圖3A中，ROI 305最初由使用者選擇。在圖3B中，可藉由使手更靠攏或分開更遠來選擇AR物件320。使用物件辨識技術，HMD可基於使用者之手移動而判定ROI 305在減小或擴大。
根據另一實施例，系統可使用手勢及/或語音命令來啟動HMD上之攝影機。一旦減小大小ROI經識別，即可捕捉ROI 305內之影像之圖像及/或視訊。替代地，手勢機制及語音命令可用作為觸發器以向HMD指示保存來自上一預定持續時間(例如，30秒)的所有圖框。
此外，放開事件可在手離開目標之視野足夠遠時發生。放開事件亦可在手指及拇指更考慮之情況下或藉由一語音驅動命令而發生。放開事件可將ROI 305之偵測及完成發信號至HMD 120。因此，根據一個實施例，HMD 120可關閉感測器之一些且進入低功率模式中。
放開事件可包括當手不夠靠近時。HMD 120可連續地追蹤手及由手之邊緣形成之形狀；因此，HMD 120可判定何時手分開一預定距離。
因此，HMD 120可判定手是否已移動分開大於一臨限值，HMD接著可假設放開已發生。舉例而言，使用者可移動分開其手，使得手不接近ROI。
然而，HMD 120可實施可在使用者正試著使感興趣區域變大時或在使用者正試著在手移動分開時放開之情況下區別的特徵。舉例而言，HMD 120可基於手相對於ROI之位置及手移動之速度而區別ROI調整大小與放開事件。
替代地，僅握緊一隻手可為放開事件。舉例而言，當HMD 120 判定其不能自手之輪廓偵測八邊形框架時，HMD 120可假設使用者放開。
顯示複數個AR物件
圖4說明經由HMD 120之顯示器140的使用者之視界的實例。如圖4中所說明，ROI 305內與目標相關聯之複數個AR物件顯示於顯示器140上。如區塊215中先前所提及，在一使用者選擇ROI 305之後，HMD 120向該使用者顯示與該ROI內之目標(例如，興趣點(POI))相關聯之複數個AR物件。另外，最初在ROI內之目標可隨著使用者移動ROI 305或使用者之視野而加以追蹤。
一旦ROI 305已界定，HMD 120即可向使用者顯示具有相關聯AR應用程式之目標。一旦HMD已偵測ROI 305及/或向使用者顯示描畫ROI之輪廓之形狀315，HMD即可起始AR應用程式。在HMD偵測ROI 305之後，HMD可起始ROI 305內之相關聯AR應用程式。舉例而言，在圖4中，使用者經顯示具有相關聯AR應用程式之五個物件(例如，POI)。在此實例中，以下五個物件在ROI內：50公尺外之麗塔時尚(Rita's Fashion)405；星巴克(Starbucks)410；亨利餐廳(Henry's diner)415；亨利餐廳(Henry's diner)420；及電影院425。根據一個實施例，顯示器140亦可展示關於該等物件之其他相關資訊(例如，評論、與使用者之距離)。
在一些例子中，廣告商可將其項目橫幅/標誌/包裝物註冊為AR目標。舉例而言，使用Qualcomm之Vuforia，目標可具有可使用AR而顯示於HMD顯示器140上之額外資訊。因此，當使用者減小ROI 305以選擇AR目標320時，與所選目標相關聯之AR動畫可給出額外資訊。
圖5說明ROI 305由使用者減小之實例，減小導致較少AR目標或POI展示於顯示器140上。如區塊220中所描述，使用者可使用手勢(例如，藉由使手移動靠近)來減小ROI 305之大小。使用減小大小ROI， 圖5中之顯示器140在ROI內現僅具有3個POI(星巴克505、亨利餐廳510、亨利餐廳515)。藉由減小ROI之大小，ROI內的目標之數目已自圖4中之五個POI減小至圖5中之三個POI。根據另一實施例，使用者可進一步減小ROI之大小，使得僅一個AR目標320在ROI 305內。
根據一些實施例，所選AR目標320可具有與之相關聯之多個擴充。在此情境期間，使用者可使用如圖6及圖7中所進一步描述的注意空間(VOI)技術來選擇所選AR目標320之一特定擴充層。
在所選目標具有多個擴充時使用注意空間
圖6為說明沿著目標之方向(例如，z軸)使用手勢界定注意空間(VOI)之方法600之實施例的流程圖。舉例而言，使用者可藉由沿著z軸滾動一或多個手來瀏覽同一目標之地理定位點或不同擴充。如圖2所示，使用者可減小ROI之大小以選擇一目標。在選擇一目標之後，在一些例子中，所選目標可具有與之相關聯的多個擴充。
在區塊605，如圖2中先前所描述，HMD已基於使用者之手勢界定ROI。藉由使用即時使用者回饋來操縱ROI，使用者可即時地選擇一特定AR，類似於區塊225。此外，若多個擴充與一給定AR目標相關聯，則使用者可使用區塊610中所述之方法來規定一特定層。
在區塊610中，使用者可藉由在所選目標之方向(例如，z軸)上滾動來瀏覽多個擴充。舉例而言，使用者可藉由使用VOI在目標之方向上滾動來瀏覽擴充層之方式而選擇AR目標320之一特定擴充層，如圖7中所說明。
在區塊615，系統基於使用者之手位置(例如，沿著z軸，如圖7中所說明)而向使用者顯示與所選目標相關聯之不同擴充。
圖7說明基於使用者之手部位置之不同擴充之即時互動及顯示。舉例而言，使用者可使用圖2中所描述之方法來選擇電影海報。在一些例子中，可存在於所選電影海報相關聯之多個擴充。使用圖6中所 描述之方法，使用者可瀏覽與電影海報相關聯之不同擴充。
如圖7中之不同位置所說明，可基於使用者之手位置而向使用者顯示不同擴充。舉例而言，當使用者之手位置在705時，HMD 120之顯示器140展示電影之名稱及評論。位置710可在使用者之手位置在目標720之方向(例如，z軸)上相對於位置705接近移動時出現。在位置710，在此實例中，用於播放電影之預告片之擴充展示於顯示器140上。隨著使用者之手位置移動接近目標，在位置715，可顯示電影之放映時間以及線上購票之選項。最後，在此實例中，在最接近目標720之位置，HMD 120可顯示與電影相關聯之影像。
如圖6及圖7中之實例所說明，HMD 120可使用手位置及/或手勢來界定VOI。基於VOI，HMD 120可顯示與所選目標相關聯之不同擴充。替代地，一旦目標經選擇，HMD 120即可基於使用者之偏好或預定手勢辨識功能而實施其他模式，如圖8中所說明。
目標經選擇後的其他實施之實例
圖8為說明基於所選ROI而起始智慧應用程式之方法800之實施例的流程圖。智慧應用程式之一個實例可包括視覺翻譯器。舉例而言，可將在ROI內捕捉之影像饋送至視覺搜尋系統或(OCR)。在此實例中，OCR可用以判定及辨識來自影像之文字。基於經辨識字元，翻譯器可自動地翻譯且結果可顯示於顯示器140上。
為了說明此實施例，在區塊805，使用者可選擇供翻譯之一特定目標或文字。類似於圖2中所描述之方法，使用者可使用手勢來描畫用於選擇用於翻譯之文字之ROI 305之輪廓。
在區塊810，使用者可請求ROI 305中之特定文字之翻譯。舉例而言，使用者可使用語音命令或預定手勢來起始翻譯。替代地，HMD 120可自動地辨識外語且在無來自使用者之請求之情況下起始翻譯。
在區塊815，HMD 120可使用視覺搜尋系統或OCR來辨識ROI 305 中之文字。用於文字辨識之習知方法可由HMD 120利用。
在區塊820，HMD 120可將經辨識文字翻譯成使用者規定之語言且在顯示器140上顯示經翻譯文字。舉例而言，語言可為基於先前使用而預定或由使用者即時地規定之預設語言。另外，HMD 120可為使用者110大聲讀出經翻譯文字。用於文字翻譯之習知方法可由HMD 120利用。
圖8說明在使用手勢選擇目標後的一個實施之實例。替代實施例可包括所展示之該等實施例之替代。舉例而言，替代實施例可包括HMD自動地辨識外語且在無來自使用者之請求之情況下翻譯文字。此外，視特定應用而定，可添加、移除或組合額外特徵。一般熟習此項技術者可辨識許多變體、修改及替代。
根據另一實施例，ROI可用以使視野變窄以用於視訊共用。HMD 120可在合作期間使用ROI作為共用視界。當使用者想要共用其視野之部分時，使用者可使用圖2中所述之方法來選擇ROI 305。在合作模式期間，HMD 120可將ROI 305視為用於基於視訊之通信的共用視界，因此，僅使用者之視野之部分(例如，表像、文件)係與遠端使用者共用。根據一個實施例，共用視界可在放開事件發生後立即結束。替代實施例可包括所展示之該等實施例之替代。此外，視特定應用而定，可添加、移除或組合額外特徵。
圖9說明可於其中實施一或多個實施例之計算系統之實例。
電腦系統900可進一步包括一或多個非暫時性儲存裝置925(及/或與之通信)，該一或多個非暫時性儲存裝置可包含(但不限於)區域及/或網路可存取儲存器，及/或可包括(但不限於)硬碟機、驅動陣列、光學儲存裝置、可為可程式化、可快閃更新之固態儲存裝置(諸如，隨機存取記憶體「RAM」及/或唯讀記憶體「ROM」)及/或其類似者。此等儲存裝置可經組態以實施任何適當資料儲存，包括(但不限於)各 種檔案系統、資料庫結構及/或其類似者。舉例而言，在使用者想要捕捉來自上一預定持續時間之所有圖框之情況下，該等儲存裝置925可用以緩衝自HMD 120之攝影機150捕捉之視訊。
電腦系統900亦可包括通信子系統930，該通信子系統可包括(但不限於)數據機、網路卡(無線或有線的)、紅外線通信裝置、無線通信裝置及/或晶片組(諸如，BluetoothTM裝置、802.11裝置、WiFi裝置、WiMax裝置、蜂巢式通信設施等)及/或其類似者。通信子系統930可包括一或多個輸入及/或輸出通信介面以准許與網路、其他電腦系統及/或任何其他電裝置/周邊裝置交換資料。在許多實施例中，電腦系統900將進一步包含工作記憶體935，該工作記憶體可包括RAM或ROM裝置，如上所述。通信子系統930可用以將HMD 120連結至使用者之智慧型手機。
如本文中所描述，電腦系統900亦可包含軟體元件，展示為當前載入於工作記憶體935內，該等軟體元件包括作業系統940、裝置驅動程式、可執行程式庫及/或其他程式碼，諸如，由其他實施例提供之一或多個應用程式945，該一或多個應用程式可包含由各種實施例提供之電腦程式及/或可經設計以實施方法及/或組態系統。僅舉例而言，關於上文所論述之該(該等)方法所描述的一或多個程序之一部分(諸如，關於圖2所描述之方法200)可實施為可由電腦(及/或電腦內之處理單元)執行之程式碼及/或指令；因而，在一態樣中，此程式碼及/或此等指令可用以組態及/或調適通用電腦(或其他裝置)以執行根據該等所述方法之一或多個操作。
此等指令及/或程式碼之一集合可儲存於非暫時性電腦可讀儲存媒體(諸如，上述之儲存裝置925)上。在一些情況下，儲存媒體可併入電腦系統(諸如，電腦系統900)內。在其他實施例中，儲存媒體可與電腦系統分離(例如，抽取式媒體，諸如光碟)及/或以安裝封包來提 供，以使得儲存媒體可用以用儲存於其上之指令/程式碼來程式化、組態及/或調適通用電腦。此等指令可採用可由電腦系統900執行之可執行程式碼之形式及/或可採用原始及/或可安裝程式碼之形式，原始及/或可安裝程式碼在(例如，使用多種通常可獲得編譯器、安裝程式、壓縮/解壓縮公用程式等中之任一者)在電腦系統900上編譯及/或安裝後，接著採用可執行程式碼之形式。
熟習此項技術者應瞭解，可根據特定要求作出實質改變。舉例而言，亦可使用定製硬體，及/或可以硬體、軟體(包括攜帶型軟體，諸如小程式(applet)等)或其兩者來實施特定元件。此外，可使用至諸如網路輸入/輸出裝置之其他計算裝置之連接。
如上文所提及，在一個態樣中，一些實施例可使用電腦系統(諸如，電腦系統900)來執行根據本發明之各種實施例之方法。根據實施例之一集合，此等方法之程序之一些或全部係由電腦系統900回應於處理器910執行含於工作記憶體935中之一或多個指令(該一或多個指令可併入至作業系統940及/或諸如應用程式945之其他程式碼中)之一或多個序列而執行。可將此等指令自另一電腦可讀媒體(諸如，儲存裝置925中之一或多者)讀取至工作記憶體935中。僅舉例而言，含於工作記憶體935中之指令之序列之執行可使處理器910執行本文中所描述之方法之一或多個程序。另外或替代地，本文中所描述之方法之部分可經由特殊化硬體來執行。僅舉例而言，關於上文所論述之方法(諸如，關於圖2所描述之方法200)所描述的一或多個程序之一部分可由HMD 120中之處理器910來實施。替代地，HMD 120可經由通信子系統930連結至智慧型手機，且圖2之方法可由智慧型手機中之處理器910來實施。
如本文中所使用，術語「機器可讀媒體」及「電腦可讀媒體」係指參與提供使機器以特定方式操作之資料之任何媒體。在使用電腦 系統900實施之一實施例中，各種電腦可讀媒體可在將指令/程式碼提供至處理器910以供執行中涉及及/或可用以儲存及/或載運此等指令/程式碼。在許多實施中，電腦可讀媒體為實體及/或有形儲存媒體。此媒體可採用非揮發性媒體或揮發性媒體之形式。非揮發性媒體包括(例如)光碟及/或磁碟，諸如儲存裝置925。揮發性媒體包括(但不限於)動態記憶體，諸如工作記憶體935。
有形電腦可讀媒體之一般形式包括(例如)軟碟片、軟性磁碟、硬碟、磁帶或任何其他磁性媒體、CD-ROM、任何其他光學媒體、具有孔圖案之任何其他實體媒體、RAM、PROM、EPROM、FLASH-EPROM、任何其他記憶體晶片或匣，或任何其他媒體(電腦可自其讀取指令及/或程式碼)。
各種形式之電腦可讀媒體可在將一或多個指令之一或多個序列載運至處理器910以供執行中涉及。僅舉例而言，該等指令最初可載運於遠端電腦之磁碟及/或光碟上。遠端電腦可將該等指令載入至其動態記憶體中且將該等指令作為信號經由傳輸媒體發送以待由電腦系統900接收及/或執行。
通信子系統930(及/或其組件)通常將接收信號，且匯流排905接著可將該等信號(及/或由該等信號載運之資料、指令等)載運至工作記憶體935，處理器910自工作記憶體擷取該等指令且執行該等指令。由工作記憶體935接收之該等指令可視情況在由處理器910執行之前或之後而儲存於非暫時性儲存裝置925上。
上文所論述之方法、系統及裝置係實例。各種組態可適當地省略、取代或添加各種程序或組件。舉例而言，在替代組態中，方法可以不同於所描述之次序的次序來執行，及/或可添加、省略及/或組合各種階段。又，關於特定組態所描述之特徵在各種其他組態中可組合。組態之不同態樣及元件可以類似方式組合。又，技術演進且因此 元件中之多者係實例且不限制本發明或申請專利範圍之範疇。
在描述中給出了特定細節以提供對實例組態(包括實施)之透徹理解。然而，在不具有此等特定細節之情況下，可實踐組態。舉例而言，已經以不具有非必要細節之方式展示熟知電路、程序、演算法、結構及技術，以避免使組態不清楚。此描述僅提供實例組態，且不限制申請專利範圍之範疇、適用性或組態。實情為，組態之先前描述將為熟習此項技術者提供用於實施例所述技術之可實現描述。在不脫離本發明之精神或範疇之情況下，可對元件之功能及配置作出各種改變。
又，組態可描述為經描繪為流程圖或方塊圖之程序。雖然流程圖或方塊圖可將操作描述為一順序程序，但該等操作中之多者可並行或同時地執行。另外，該等操作之次序可重新配置。程序可具有圖中未包括之額外步驟。此外，方法之實例可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合來實施。當以軟體、韌體、中間軟體或微碼實施時，用以執行必要任務之程式碼或碼段可儲存於諸如儲存媒體之非暫時性電腦可讀媒體中。處理器可執行所述任務。
由於已描述若干實例組態，在不脫離本發明之精神之情況下，可使用各種修改、替代構造及均等物。舉例而言，以上元件可為較大系統之組件，其中其他規則可優先於本發明之申請案或另外修改本發明之申請案。又，許多步驟可在考慮以上元件之前、期間或之後開始。因此，以上描述並為束縛申請專利範圍之範疇。
200‧‧‧在頭部安裝顯示器(HMD)上選擇擴充實境(AR)物件之方法

Claims (32)

  1. 一種用於在一頭部安裝裝置(HMD)上選擇一擴充實境(AR)物件之方法，其包含：基於由一使用者之至少一手之一形狀形成之一第一手勢而界定一感興趣區域(ROI)，該使用者提供該ROI之至少一部分輪廓；在該HMD上向該使用者顯示該形狀，其中該形狀描畫該ROI之輪廓；向該使用者顯示複數個AR物件，該複數個AR物件中之每一者與該ROI內之複數個目標之其中一者相關聯；基於一第二手勢減小該ROI之大小以形成一減小大小ROI，該第二手勢由該使用者之該至少一手之一第一移動執行；及自該複數個AR物件中選擇一特定AR物件，該特定AR物件與在該減小大小ROI中之一第一目標相關聯，該第一目標包含在該ROI中之複數個目標之其中一者。
  2. 如請求項1之方法，其中該第一手勢由該使用者之雙手之一形狀形成。
  3. 如請求項2之方法，其中用於減小該ROI之該大小之該第一移動包含使該使用者之雙手移動得更靠近彼此。
  4. 如請求項1之方法，其中多個擴充與該特定AR物件相關聯，該方法進一步包含：基於該使用者之該至少一手在該特定AR物件之方向上之一第二移動而向該使用者顯示來自與該特定AR物件相關聯之該多個擴充之一對應擴充。
  5. 如請求項1之方法，其進一步包含： 捕捉該減小大小ROI內之文字；及基於該捕捉文字而初始化翻譯。
  6. 如請求項1之方法，其進一步包含：在該減小大小ROI內執行一視覺辨識搜尋。
  7. 如請求項1之方法，該方法進一步包含：基於一放開事件而放開該減小大小ROI。
  8. 如請求項7之方法，其中該放開事件在該使用者之該至少一手遠離該ROI時、在該使用者之至少一手指及拇指靠攏時或在該使用者發出放開之一語音命令時發生。
  9. 一種用於選擇一擴充實境(AR)物件之頭部安裝裝置(HMD)，其包含：一或多個處理器；及儲存電腦可讀指令之記憶體，該等電腦可讀指令在由該一或多個處理器執行時使該HMD：基於由一使用者之至少一手之一形狀形成之一第一手勢而界定一感興趣區域(ROI)，該使用者提供該ROI之至少一部分輪廓；在該HMD上向該使用者顯示該形狀，其中該形狀描畫該ROI之輪廓；向該使用者顯示複數個AR物件，該複數個AR物件中之每一者與該ROI內之複數個目標之其中一者相關聯；基於一第二手勢減小該ROI之大小以形成一減小大小ROI，該第二手勢由該使用者之該至少一手之一第一移動執行；及自該複數個AR物件中選擇一特定AR物件，該特定AR物件與在該減小大小ROI中之一第一目標相關聯，該第一目標包含在該ROI中之複數個目標之其中一者。
  10. 如請求項9之HMD，其中該第一手勢由該使用者之雙手之一形狀形成。
  11. 如請求項10之HMD，其中用於減小該ROI之大小之該第一移動包含使該使用者之雙手移動得更靠近彼此。
  12. 如請求項9之HMD，其中多個擴充與該特定AR物件相關聯，且其中該等電腦可讀指令進一步使該HMD：基於該使用者之該至少一手在該特定AR物件之方向上之一第二移動而向該使用者顯示來自與該特定AR物件相關聯之該多個擴充的一對應擴充。
  13. 如請求項9之HMD，其中該等電腦可讀指令進一步使該HMD：捕捉該減小大小ROI內之文字；及基於該捕捉文字而初始化翻譯。
  14. 如請求項9之HMD，其中該等電腦可讀指令進一步使該HMD：在該減小大小ROI內執行一視覺辨識搜尋。
  15. 如請求項9之HMD，其中該等電腦可讀指令進一步使該HMD：基於一放開事件而放開該減小大小ROI。
  16. 如請求項15之HMD，其中該放開事件在該使用者之該至少一手遠離該ROI時、在該使用者之至少一手指及拇指靠攏時或在該使用者發出放開之一語音命令時發生。
  17. 一種電腦可讀媒體，該一或多個電腦可讀媒體儲存用於在一頭部安裝裝置(HMD)上選擇一擴充實境(AR)物件之電腦可執行指令，該等電腦可執行指令在執行時使包括於一HMD中之一或多個計算裝置：基於由一使用者之至少一手之一形狀形成之一第一手勢而界定一感興趣區域(ROI)，該使用者提供該ROI之至少一部分輪廓； 在該HMD上向該使用者顯示該形狀，其中該形狀描畫該ROI之輪廓；向該使用者顯示複數個AR物件，該複數個AR物件中之每一者與該ROI內之複數個目標之其中一者相關聯；基於一第二手勢減小該ROI之大小以形成一減小大小ROI，該第二手勢由該使用者之該至少一手之一第一移動執行；及自該複數個AR物件中選擇一特定AR物件，該特定AR物件與在該減小大小ROI中之一第一目標相關聯，該第一目標包含在該ROI中之複數個目標之其中一者。
  18. 如請求項17之一或多個電腦可讀媒體，其中該第一手勢由該使用者之雙手之一形狀形成。
  19. 如請求項18之一或多個電腦可讀媒體，其中用於減小該ROI之該大小之該第一移動包含使該使用者之雙手移動得更靠近彼此。
  20. 如請求項17之一或多個電腦可讀媒體，其中多個擴充與該特定AR物件相關聯，且其中該等電腦可執行指令進一步使該一或多個計算裝置：基於該使用者之該至少一手在該特定AR物件之方向上之一第二移動而向該使用者顯示來自與該特定AR物件相關聯之該多個擴充之一對應擴充。
  21. 如請求項17之一或多個電腦可讀媒體，其中該等電腦可執行指令進一步使該一或多個計算裝置：捕捉該減小大小ROI內之文字；及基於該捕捉文字而初始化翻譯。
  22. 如請求項17之一或多個電腦可讀媒體，其中該等電腦可執行指令進一步使該一或多個計算裝置：在該減小大小ROI內執行一視覺辨識搜尋。
  23. 如請求項17之一或多個電腦可讀媒體，該方法進一步包含：基於一放開事件而放開該減小大小ROI。
  24. 如請求項23之一或多個電腦可讀媒體，其中該放開事件在該使用者之該至少一手遠離該ROI時、在該使用者之至少一手指及拇指靠攏時或在該使用者發出放開之一語音命令時發生。
  25. 一種用於選擇一擴充實境(AR)物件之頭部安裝裝置(HMD)，其包含：用於基於由一使用者之至少一手之一形狀形成之一第一手勢而界定一感興趣區域(ROI)之構件，該使用者提供該ROI之至少一部分輪廓；用於在該HMD上向該使用者顯示該形狀之構件，其中該形狀描畫該ROI之輪廓；用於向該使用者顯示複數個AR物件之構件，該複數個AR物件中之每一者與該ROI內之複數個目標其中一者相關聯；用於基於一第二手勢減小該ROI之大小以形成一減小大小ROI之構件，該第二手勢由該使用者之該至少一手之一第一移動執行；自該複數個AR物件中選擇一特定AR物件，該特定AR物件與在該減小大小ROI中之一第一目標相關聯，該第一目標包含在該ROI中之複數個目標之其中一者。
  26. 如請求項25之HMD，其中該第一手勢由該使用者之雙手之一形狀形成。
  27. 如請求項26之HMD，其中用於減小該ROI之大小之該第一移動包含使該使用者之雙手移動得更靠近彼此。
  28. 如請求項25之HMD，其中多個擴充與該特定AR物件相關聯，該HMD進一步包含： 用於基於該使用者之該至少一手在該特定AR物件之方向上之一第二移動而向該使用者顯示來自與該特定AR物件相關聯之該多個擴充之一對應擴充之構件。
  29. 如請求項25之HMD，其進一步包含：用於捕捉該減小大小ROI內之文字之構件；及用於基於該捕捉文字而初始化翻譯之構件。
  30. 如請求項25之HMD，其進一步包含：用於在該減小大小ROI內執行一視覺辨識搜尋之構件。
  31. 如請求項25之HMD，其進一步包含：用於基於一放開事件而放開該減小大小ROI之構件。
  32. 如請求項31之HMD，其中該放開事件在該使用者之該至少一手遠離該ROI時、在該使用者之至少一手指及拇指靠攏時或在該使用者發出放開之一語音命令時發生。
TW103104784A 2013-02-14 2014-02-13 用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置 TWI534654B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/767,820 US10133342B2 (en) 2013-02-14 2013-02-14 Human-body-gesture-based region and volume selection for HMD

Publications (2)

Publication Number Publication Date
TW201502860A TW201502860A (zh) 2015-01-16
TWI534654B true TWI534654B (zh) 2016-05-21

Family

ID=50336489

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103104784A TWI534654B (zh) 2013-02-14 2014-02-13 用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置

Country Status (9)

Country Link
US (2) US10133342B2 (zh)
EP (2) EP3518080A1 (zh)
JP (1) JP6356157B2 (zh)
KR (1) KR102358983B1 (zh)
CN (1) CN105027033B (zh)
ES (1) ES2759054T3 (zh)
HU (1) HUE047027T2 (zh)
TW (1) TWI534654B (zh)
WO (1) WO2014126966A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI782332B (zh) * 2019-10-15 2022-11-01 中國商北京市商湯科技開發有限公司 一種擴增實境資料呈現方法、設備及儲存媒體

Families Citing this family (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
JP6250025B2 (ja) * 2013-02-19 2017-12-20 ミラマ サービス インク 入出力装置、入出力プログラム、および入出力方法
CN104246864B (zh) * 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
WO2014175919A1 (en) 2013-04-26 2014-10-30 Intel IP Corporation Shared spectrum reassignment in a spectrum sharing context
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
US9619939B2 (en) * 2013-07-31 2017-04-11 Microsoft Technology Licensing, Llc Mixed reality graduated information delivery
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US9448689B2 (en) * 2013-08-30 2016-09-20 Paypal, Inc. Wearable user device enhanced display system
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
CN105814516B (zh) 2013-10-11 2019-07-30 交互数字专利控股公司 注视驱动的增强现实
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9466150B2 (en) * 2013-11-06 2016-10-11 Google Inc. Composite image associated with a head-mountable device
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
WO2015131157A1 (en) * 2014-02-28 2015-09-03 Vikas Gupta Gesture operated wrist mounted camera system
EP3117290B1 (en) * 2014-03-10 2022-03-09 BAE Systems PLC Interactive information display
US10613642B2 (en) * 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US9552074B2 (en) * 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device
US20150346932A1 (en) * 2014-06-03 2015-12-03 Praveen Nuthulapati Methods and systems for snapshotting events with mobile devices
KR102303115B1 (ko) * 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9696551B2 (en) * 2014-08-13 2017-07-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
US10725533B2 (en) * 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
US9354711B2 (en) * 2014-09-30 2016-05-31 Xerox Corporation Dynamic hand-gesture-based region of interest localization
US20160092726A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Using gestures to train hand detection in ego-centric video
US9778750B2 (en) * 2014-09-30 2017-10-03 Xerox Corporation Hand-gesture-based region of interest localization
US10943395B1 (en) 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
JP2016110177A (ja) 2014-12-02 2016-06-20 株式会社トプコン ３次元入力装置及び入力システム
JP6516464B2 (ja) * 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
CN113050802A (zh) * 2014-12-18 2021-06-29 脸谱科技有限责任公司 用于在虚拟现实环境中导航的方法、系统及设备
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US20160178905A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Facilitating improved viewing capabitlies for glass displays
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10656720B1 (en) * 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
GB201504362D0 (en) * 2015-03-16 2015-04-29 Elliptic Laboratories As Touchless user interfaces for electronic devices
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
JP6439566B2 (ja) * 2015-04-23 2018-12-19 大日本印刷株式会社 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム
KR102357741B1 (ko) * 2015-05-06 2022-02-03 삼성전자주식회사 가스 처리 방법 빛 그 전자 장치
EP3096303B1 (en) * 2015-05-18 2020-04-08 Nokia Technologies Oy Sensor data conveyance
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
EP3101629B1 (en) * 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
WO2016209039A1 (ko) * 2015-06-24 2016-12-29 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20160378296A1 (en) * 2015-06-25 2016-12-29 Ashok Mishra Augmented Reality Electronic Book Mechanism
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
WO2017024181A1 (en) * 2015-08-06 2017-02-09 Pcms Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3d objects
JP2017041002A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10489981B2 (en) * 2015-12-10 2019-11-26 Sony Corporation Information processing device, information processing method, and program for controlling display of a virtual object
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
US10140507B2 (en) * 2015-12-29 2018-11-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand gestures in a virtual reality headset
CN105700684A (zh) * 2016-01-12 2016-06-22 深圳多哚新技术有限责任公司 一种头显设备传感器数据中断的处理方法和装置
US11308704B2 (en) 2016-01-18 2022-04-19 Lg Electronics Inc. Mobile terminal for controlling VR image and control method therefor
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10168768B1 (en) 2016-03-02 2019-01-01 Meta Company Systems and methods to facilitate interactions in an interactive space
US10133345B2 (en) 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10198861B2 (en) * 2016-03-31 2019-02-05 Intel Corporation User interactive controls for a priori path navigation in virtual environment
JP6275185B2 (ja) * 2016-04-06 2018-02-07 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
US10846932B2 (en) * 2016-04-22 2020-11-24 Interdigital Ce Patent Holdings Method and device for compositing an image
US9990779B2 (en) * 2016-05-13 2018-06-05 Meta Company System and method for modifying virtual objects in a virtual environment in response to user interactions
US10186088B2 (en) 2016-05-13 2019-01-22 Meta Company System and method for managing interactive virtual frames for virtual objects in a virtual environment
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
CN106249882B (zh) 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
US10529135B2 (en) * 2016-07-27 2020-01-07 Google Llc Low-power mode feature identification at a head mounted display
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
JP6694637B2 (ja) * 2016-08-30 2020-05-20 株式会社アルファコード 注目対象物に関する情報提供システムおよび情報提供方法
EP3291531A1 (en) * 2016-09-06 2018-03-07 Thomson Licensing Methods, devices and systems for automatic zoom when playing an augmented reality scene
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US20180122134A1 (en) * 2016-11-02 2018-05-03 Htc Corporation Three-dimensional model construction system and three-dimensional model construction method
US20180129254A1 (en) * 2016-11-07 2018-05-10 Toyota Motor Engineering & Manufacturing North Ame rica, Inc. Wearable device programmed to record messages and moments in time
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
KR20190093624A (ko) 2016-12-06 2019-08-09 돈 엠. 구룰 연대기-기반 검색 엔진을 위한 시스템 및 방법
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
JP2018142168A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10620779B2 (en) 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
EP3407296A1 (en) * 2017-05-23 2018-11-28 Thomson Licensing Method and device for determining a characteristic of a display device
EP3432204B1 (en) * 2017-07-20 2024-01-17 Tata Consultancy Services Limited Telepresence framework for region of interest marking using headmount devices
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
EP3672478A4 (en) 2017-08-23 2021-05-19 Neurable Inc. BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING
US20190079288A1 (en) * 2017-09-13 2019-03-14 Htc Corporation Head mounted display system and image display method thereof
US10621746B2 (en) * 2017-11-07 2020-04-14 Symbol Technologies, Llc Methods and apparatus for rapidly dimensioning an object
CN108304075B (zh) * 2018-02-11 2021-08-06 亮风台（上海）信息科技有限公司 一种在增强现实设备进行人机交互的方法与设备
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10948993B2 (en) * 2018-06-07 2021-03-16 Facebook, Inc. Picture-taking within virtual reality
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US10897577B2 (en) * 2018-06-26 2021-01-19 Canon Kabushiki Kaisha Image capturing system, image capturing apparatus, illumination apparatus, and control method
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
CN108882025B (zh) * 2018-08-07 2019-12-10 北京字节跳动网络技术有限公司 视频帧处理方法和装置
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US10740918B2 (en) * 2018-09-12 2020-08-11 Dell Products, L.P. Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
CN111771180A (zh) * 2018-10-08 2020-10-13 谷歌有限责任公司 增强现实环境中对象的混合放置
US11354787B2 (en) 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
CN110276251B (zh) * 2019-05-13 2023-07-25 联想（上海）信息技术有限公司 一种图像识别方法、装置、设备及存储介质
US10620713B1 (en) 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
US11043192B2 (en) * 2019-06-07 2021-06-22 Facebook Technologies, Llc Corner-identifiying gesture-driven user interface element gating for artificial reality systems
DE102019210383A1 (de) * 2019-07-15 2021-01-21 Audi Ag Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung
EP3792817A1 (en) * 2019-09-10 2021-03-17 XRSpace CO., LTD. Method and system for human behavior identification
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11348373B2 (en) * 2020-02-21 2022-05-31 Microsoft Technology Licensing, Llc Extended reality gesture recognition proximate tracked object
JP2021163287A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
US11333892B2 (en) * 2020-04-24 2022-05-17 Hitachi, Ltd. Display apparatus, display system, and display method
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11768535B1 (en) * 2020-05-18 2023-09-26 Apple Inc. Presenting computer-generated content based on extremity tracking
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
JP7057393B2 (ja) 2020-06-24 2022-04-19 株式会社電通 プログラム、ヘッドマウントディスプレイ及び情報処理装置
CN115997154A (zh) * 2020-06-29 2023-04-21 苹果公司 氛围驱动的用户体验
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
KR102305403B1 (ko) * 2020-09-02 2021-09-29 주식회사 피앤씨솔루션 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
KR102305404B1 (ko) * 2020-09-03 2021-09-29 주식회사 피앤씨솔루션 적외선 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 적외선 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US20220100265A1 (en) * 2020-09-30 2022-03-31 Qualcomm Incorporated Dynamic configuration of user interface layouts and inputs for extended reality systems
EP4272064A1 (en) * 2020-12-29 2023-11-08 Snap, Inc. Micro hand gestures for controlling virtual and graphical elements
US11740313B2 (en) * 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US11640700B2 (en) * 2021-02-26 2023-05-02 Huawei Technologies Co., Ltd. Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
US20220319125A1 (en) * 2021-03-31 2022-10-06 Snap Inc. User-aligned spatial volumes
WO2022212144A1 (en) * 2021-03-31 2022-10-06 Snap Inc. User-defined contextual spaces
WO2022216784A1 (en) * 2021-04-08 2022-10-13 Snap Inc. Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
EP4327185A1 (en) 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
US11861315B2 (en) 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US11874969B2 (en) * 2021-09-15 2024-01-16 Htc Corporation Method for determining two-handed gesture, host, and computer readable medium
WO2023147281A1 (en) * 2022-01-25 2023-08-03 Google Llc Fool-proofing product identification
WO2024050460A1 (en) * 2022-09-01 2024-03-07 Snap Inc. 3d space carving using hands for object capture
WO2024053405A1 (ja) * 2022-09-07 2024-03-14 ソニーグループ株式会社 情報処理装置および情報処理方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003032143A2 (en) 2001-10-12 2003-04-17 Hrl Laboratories, Llc Vision-based pointer tracking method and apparatus
US20030202683A1 (en) 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
GB2407635B (en) 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
JP4408794B2 (ja) * 2004-11-18 2010-02-03 ザイオソフト株式会社 画像処理プログラム
CN1304931C (zh) 2005-01-27 2007-03-14 北京理工大学 一种头戴式立体视觉手势识别装置
JP2010512693A (ja) 2006-12-07 2010-04-22 アダックス，インク． データの付加、記録および通信のためのシステムと方法
JP4203863B2 (ja) 2007-07-27 2009-01-07 富士フイルム株式会社 電子カメラ
US8073198B2 (en) 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
JP5104679B2 (ja) 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP5304329B2 (ja) 2009-03-05 2013-10-02 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
KR20110054256A (ko) * 2009-11-17 2011-05-25 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
KR101329882B1 (ko) * 2010-08-12 2013-11-15 주식회사 팬택 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US20120092329A1 (en) * 2010-10-13 2012-04-19 Qualcomm Incorporated Text-based 3d augmented reality
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120139907A1 (en) * 2010-12-06 2012-06-07 Samsung Electronics Co., Ltd. 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
WO2012093394A2 (en) 2011-01-06 2012-07-12 Pointgrab Ltd. Computer vision based two hand control of content
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8881051B2 (en) * 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) * 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
US20130088514A1 (en) * 2011-10-05 2013-04-11 Wikitude GmbH Mobile electronic device, method and webpage for visualizing location-based augmented reality content
EP2816456A1 (en) * 2012-02-17 2014-12-24 Sony Corporation Information processing device, information processing method, and computer program
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI782332B (zh) * 2019-10-15 2022-11-01 中國商北京市商湯科技開發有限公司 一種擴增實境資料呈現方法、設備及儲存媒體

Also Published As

Publication number Publication date
KR20150116871A (ko) 2015-10-16
EP2956843A1 (en) 2015-12-23
US20140225918A1 (en) 2014-08-14
KR102358983B1 (ko) 2022-02-04
EP3518080A1 (en) 2019-07-31
HUE047027T2 (hu) 2020-04-28
WO2014126966A1 (en) 2014-08-21
JP2016514298A (ja) 2016-05-19
US11262835B2 (en) 2022-03-01
ES2759054T3 (es) 2020-05-07
EP2956843B1 (en) 2019-08-28
JP6356157B2 (ja) 2018-07-11
TW201502860A (zh) 2015-01-16
US20190025909A1 (en) 2019-01-24
US10133342B2 (en) 2018-11-20
CN105027033B (zh) 2017-10-31
CN105027033A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
TWI534654B (zh) 用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置
JP7297216B2 (ja) 拡張現実システムのためのタッチフリーインターフェース
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11676349B2 (en) Wearable augmented reality devices with object detection and tracking
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
JP2015184838A (ja) 画像処理装置、方法、および、プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees