TWI728956B - 銜接系統、頭戴式裝置、銜接方法及電腦程式 - Google Patents

銜接系統、頭戴式裝置、銜接方法及電腦程式 Download PDF

Info

Publication number
TWI728956B
TWI728956B TW104132885A TW104132885A TWI728956B TW I728956 B TWI728956 B TW I728956B TW 104132885 A TW104132885 A TW 104132885A TW 104132885 A TW104132885 A TW 104132885A TW I728956 B TWI728956 B TW I728956B
Authority
TW
Taiwan
Prior art keywords
peripheral
host
adapter
head
peripheral device
Prior art date
Application number
TW104132885A
Other languages
English (en)
Other versions
TW201624304A (zh
Inventor
華特 迪斯
盧卡 提伯力
保羅 安東尼 蘇魯索爾
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW201624304A publication Critical patent/TW201624304A/zh
Application granted granted Critical
Publication of TWI728956B publication Critical patent/TWI728956B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/24Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H04B7/26Radio transmission systems, i.e. using radiation field for communication between two or more posts at least one of which is mobile
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一種銜接系統包括至少一主機(100)、多個周邊設備(110、111、112)及一頭戴式裝置(120)。該主機經配置以與作為一銜接器之該頭戴式裝置無線銜接。該頭戴式裝置具有:一相機(123),其用於攝取一操作環境中之該等周邊設備之一影像;及一銜接器處理器(122),其經配置以:經由該頭戴式裝置基於一穿戴者之一觀看方向偵測該操作環境中之一焦點位置;處理該影像以識別該等周邊設備;使用該焦點位置從該影像中之該等周邊設備選出一周邊設備;藉由判定提供對該選定周邊設備之存取的主機而判定一選定主機;及銜接至該選定主機且存取該選定周邊設備。該主機具有一主機處理器(101),其經配置以:接收指示該選定周邊設備之一選擇訊息;銜接作為該銜接器之該頭戴式裝置;及提供對該選定周邊設備之存取。

Description

銜接系統、頭戴式裝置、銜接方法及電腦程式
本發明係關於一種銜接系統,其包括:至少一主機,其經配置以與一銜接器無線銜接;及多個周邊設備,其等耦合至該至少一主機。主機可具有一或多個內建周邊設備,及/或可經配置以耦合至至少一外部周邊設備。在銜接之後,主機可提供對一各自周邊設備之存取給銜接器。
本發明進一步係關於一種銜接器、主機、主機方法、銜接器方法及一種用於在一主機與一銜接器之間銜接之電腦程式產品。
本發明係關於例如經由Wi-Fi之無線通信之領域,且更明確係關於將一頭戴式裝置銜接至一主機以存取一或多個周邊設備。在此內容背景中,周邊設備可為如一顯示器、鍵盤或滑鼠之外部裝置,或如一揚聲器或儲存單元之內建於一主機中之周邊設備。例如,一TV亦可為一主機,即主機內建於TV中且構成可提供對多個周邊設備之存取的一主機。存取及/或使用此等周邊設備及/或主機之任何其他內部或外部資源可稱為由主機提供之一服務。
無線銜接使一行動裝置(亦稱為一銜接器)能夠存取透過一電線本端附接或透過一組通用訊息交換協定經由一無線鏈路(例如,基於使用Wi-Fi,如IEEE 802.11中描述)無線連接至一主機裝置(亦稱為一無線銜接站)之一組周邊設備(諸如一滑鼠、顯示器、機器工具等)。與一 或多個有線或無線周邊設備耦合在一起之一主機可稱為一無線銜接環境。
例如自WO 2012/117306A1已知無線銜接。一無線銜接站可實現至少一銜接器與一主機之間之一無線安全通信。無線銜接主機可透過銜接器可使用以選擇且起始與一所選取主機之連接的一Wi-Fi信標來提供關於其之存在之資訊。
在各種複雜操作環境(例如,手術室、飛航管制、金融、軟體開發等)中,一使用者可存取各種周邊設備。在本文件中,字詞周邊設備包含耦合至一主機且提供諸如資訊之輸入或輸出、互動或控制之功能性給一使用者之任何實體裝置,例如,顯示器或互動工具。此功能性之實例包含:- 選擇在一給定時間顯示哪些資訊源;- 放大一顯示器之一特定區域;- 展示額外資訊;- 開啟/關閉一些周邊裝置;- 建立註解;- 發送/接收訊息;- 與其他人通信(例如,視訊聊天)。
使用者可想要與周邊設備之一選定子集互動。例如,可藉由多個不同裝置(例如,多個監視器、控制面板等)提供相關資訊給使用者。為執行一特定任務,使用者可需要對一或多個選定周邊設備進行某種形式的控制且與一或多個選定周邊設備互動。
使用者可具有一無線裝置且可自一可用周邊設備清單選擇一周邊設備或服務,且可試圖與其連接以與周邊設備互動。進行此一選擇及連接耗費時間及努力,且需要使用者行動。再者,使用者(例如, 手術室中之外科醫師)可忙於將佔用其手之其他任務。若使用者需要使用一滑鼠或鍵盤來進行對此等裝置之控制或互動,則此將為麻煩的。
此外,由於Wi-Fi信號之範圍可達到數十米,故在Wi-Fi範圍內可發現提供Wi-Fi服務之相當多的裝置。使用者可參與選擇正確的裝置/服務以連接至其。然而,自呈現給使用者之一裝置/服務清單,可並不十分明確哪一項目對應於哪一裝置。
本發明之一目標係提供一種用於無線銜接之系統,其使能夠選擇要使用之一周邊設備,同時減少所需之使用者互動及時間之量。
為此目的,根據本發明之一第一態樣,在如【技術領域】中描述之銜接系統中,主機包括一主機處理器,其經配置以:- 傳輸周邊訊息,各周邊訊息包括指示至少一周邊設備之服務的可用性之周邊資料,- 與銜接器銜接,- 接收指示一選定周邊設備之一選擇訊息,及- 提供對該選定周邊設備之存取給銜接器,該銜接器係經配置以用於無線銜接之一頭戴式裝置,且該頭戴式裝置包括:- 一相機,其用於攝取包括周邊設備之一操作環境之一影像,及- 一銜接器處理器,其經配置以- 接收該等周邊訊息,- 處理該影像以識別該等周邊設備,- 經由該頭戴式裝置基於一穿戴者之一觀看方向偵測該操作環境中之一焦點位置,- 使用該焦點位置從該等經識別周邊設備選出一周邊設備,- 藉由依據該等經接收周邊訊息判定提供對該選定周邊設備 之存取的主機而判定一選定主機,及- 銜接至該選定主機,- 發送指示該選定周邊設備之一選擇訊息,及- 存取該選定周邊設備且使用該選定周邊設備之服務。
為此目的,於上述系統中使用之一頭戴式裝置包括- 一相機,其用於攝取包括周邊設備之一操作環境之一影像,- 一銜接器處理器,其經配置以- 接收周邊訊息,- 處理該影像以識別該等周邊設備,- 經由該頭戴式裝置基於一穿戴者之一觀看方向偵測該操作環境中之一焦點位置,- 基於該焦點位置從該等經識別周邊設備選出一周邊設備,- 藉由依據該等經接收周邊訊息判定提供對該選定周邊設備之存取的主機而判定一選定主機,及- 銜接至該選定主機,- 發送指示該選定周邊設備之一選擇訊息,及- 存取該選定周邊設備且使用該選定周邊設備之服務。
為此目的,於上述系統中使用之一主機裝置經配置以與充當一銜接器之頭戴式裝置無線銜接,且提供對周邊設備之至少一者之存取給該頭戴式裝置,該主機包括一主機處理器,其經配置以- 傳輸周邊訊息,各周邊訊息包括指示至少一周邊設備之服務的可用性之周邊資料,- 銜接作為該銜接器之該頭戴式裝置,- 接收指示選定周邊設備之一選擇訊息,及- 提供對該選定周邊設備之存取給該銜接器。
為此目的,提供一種於上述系統中之作為銜接器之一頭戴式裝 置中使用之銜接器銜接方法,該方法包括- 接收周邊訊息,- 處理影像以識別周邊設備,- 經由該頭戴式裝置基於一穿戴者之一觀看方向偵測操作環境中之一焦點位置,- 基於該焦點位置從該等經識別周邊設備選出一周邊設備,- 藉由依據該等經接收周邊訊息判定提供對該選定周邊設備之存取的主機而判定一選定主機,及- 銜接至該選定主機,- 發送指示該選定周邊設備之一選擇訊息,及- 存取該選定周邊設備且使用該選定周邊設備之服務。
為此目的,提供一種於上述系統中之一主機中使用之主機銜接方法,該主機經配置以與作為一銜接器之頭戴式裝置無線銜接,且提供對周邊設備之至少一者之存取給該頭戴式裝置,該方法包括- 傳輸周邊訊息,各周邊訊息包括指示至少一周邊設備之服務的可用性之周邊資料,- 提供於周邊設備之一顯示器上顯示之一主動視覺標記,- 銜接作為該銜接器之該頭戴式裝置,- 接收指示選定周邊設備之一選擇訊息,及- 提供對該選定周邊設備之存取給該銜接器。
該等措施具有如下達成銜接之效應。提出一種在系統中使用以選擇待使用之一各自周邊設備之頭戴式裝置。一操作環境中存在多個周邊設備。銜接意謂實際上將選定周邊設備提供為額外I/O周邊設備以操作銜接器(在此情況中,頭戴式裝置或耦合至頭戴式裝置之一電話)。舉例而言,諸如滑鼠或鍵盤之一輸入周邊裝置實際上將操作為穿戴式裝置之輸入裝置。若操作環境中存在許多周邊裝置,則藉由觀 看裝置進行選擇,以使銜接器能夠智慧地且自動地連接至複數個可用周邊裝置當中的選定周邊設備。
在主機中,主機處理器經配置以:傳輸一周邊訊息,該周邊訊息識別該主機且包括指示至少一周邊設備的可用性之周邊資料;在接收該周邊訊息之後,使頭戴式裝置能夠判定提供對選定周邊設備之存取的選定主機。該周邊訊息將該周邊資料傳送至無線傳輸範圍內之任何銜接器,且將可用周邊設備通知給該頭戴式裝置。
頭戴式裝置具有:一相機,其用於攝取操作環境中之周邊設備之一影像;及一處理器,其稱為一銜接器處理器。通常以該頭戴式裝置(例如,智慧型護目鏡)之一穿戴者之觀看方向引導該相機。在操作中,該銜接器處理器經由該頭戴式裝置偵測一穿戴者相對於該操作環境之一焦點位置。該焦點位置可歸因於穿戴者之一眼睛呈一居中定向而對應於穿戴者直視前方之一視野中之一中心位置。
銜接器處理器經配置以處理影像以識別周邊設備。接著,使用焦點位置例如藉由使來自相機之在觀看方向上之一線與操作環境之影像相交而從影像中之周邊設備選出一周邊設備。如所選擇之該周邊設備進一步稱為選定周邊設備。對於一單一相機,此可並非經攝取影像之中間像素,但可藉由相機相對於頭及眼睛之實體位置校正。例如,相交線可用於一立體相機。選擇最接近交點之周邊設備。
接著,藉由判定提供對選定周邊設備之存取的主機而發現一選定主機,且銜接器處理器經配置以銜接至該選定主機且存取該選定周邊設備。當例如穿戴者已聚焦於一特定周邊設備上達確保該穿戴者正聚焦於一特定裝置上而非僅簡單地隨便看看之一最小時間量時,可產生一選擇訊息。該主機包括一主機處理器,該主機處理器在操作中接收指示該選定周邊設備之該選擇訊息,且隨後銜接作為銜接器之頭戴式裝置,且提供對該選定周邊設備之存取。有利地,藉由穿戴者觀看 待使用或控制之周邊設備而在一操作環境中之多個可用周邊設備當中選擇該周邊設備。
根據本發明之方法可於一電腦上實施為一電腦實施方法或實施於專用硬體中或兩者之一組合中。用於根據本發明之一方法之可執行程式碼可儲存於一電腦程式產品上。電腦程式產品之實例包含記憶體裝置、光學儲存裝置、積體電路、伺服器、線上軟體等。較佳地,電腦程式產品包括儲存於一電腦可讀媒體上之非暫時性程式碼構件,其用於當在一電腦上執行該程式產品時執行根據本發明之一方法。在一實施例中,電腦程式包括經調適以當在一電腦上運行該電腦程式時執行根據本發明之一方法之全部步驟之電腦程式碼構件。電腦程式可於一電腦可讀媒體上具體實施。
視情況,在上述銜接系統中,至少一周邊設備及/或主機處理器經配置以提供於周邊設備之一顯示器上顯示之一主動視覺標記,且銜接器處理器經配置以藉由偵測影像中之該視覺標記而識別該周邊設備。有利地,該周邊設備動態地展示該主動標記且使用該視覺標記予以識別,以區分該周邊設備與其之環境及/或影像中之其他類似裝置。
視情況,頭戴式裝置包括:一顯示單元,其用於顯示一覆疊於如由穿戴者經由該頭戴式裝置感知之操作環境上方;及銜接器處理器,其經配置以產生該覆疊且在其中視覺地標記周邊設備之至少一者。有利地,幫助該穿戴者聚焦於可用於銜接之一周邊設備上。再者,銜接器處理器可經配置以藉由基於該等周邊設備距該穿戴者之距離在視覺上排定該等周邊設備之優先級而進行該標記。排定優先級意謂例如藉由強調顯示或使用色彩或圖形符號而使更適合周邊設備在視覺上更突出。有利地,基於與穿戴者之接近性在視覺上區分且排序適合周邊設備。再者,銜接器處理器可經配置以藉由基於銜接器使用該 等周邊設備之一先前工作階段之工作階段資訊在視覺上排定該等周邊設備的優先級而進行該標記。有利地,考慮到先前工作階段中之先前使用,該穿戴者可選擇且繼續以該選定周邊設備來作業,例如使用與先前所使用相同的印表機。再者,銜接器處理器可經配置以藉由基於穿戴者之一當前狀態在視覺上排定該等周邊設備的優先級而進行該標記。有利地,系統判定一當前狀態(例如,就座或站立),且基於該狀態排定適合周邊設備的優先級。再者,銜接器處理器可經配置以藉由在視覺上指示可用但在如由穿戴者感知之操作環境中不可見之一周邊設備而進行該標記。例如,一適合周邊設備可隱藏在其他物體後面或恰在視野之外,且系統可藉由表示該周邊設備之一箭頭或一符號以圖形標記位置。
視情況,在頭戴式裝置中,銜接器處理器經配置以:經由相機藉由將影像中之一中心位置視為指示相對於操作環境之觀看方向而偵測焦點位置,該焦點位置歸因於穿戴者之一眼睛呈一居中定向而對應於穿戴者直視前方之一視野中之一中心位置;及選擇最接近該焦點位置之周邊設備。有利地,基於如在影像中偵測到的該焦點位置而選擇在該焦點位置處或附近之周邊設備。
視情況,在頭戴式裝置中,銜接器處理器經配置以:藉由偵測穿戴者之一眼睛之一實際定向且判定該實際定向從居中定向之一偏移而偵測一視線方向;及依據該偏移而使焦點位置移位。該焦點位置可歸因於穿戴者之一眼睛呈一居中定向而對應於穿戴者直視前方之一視野中之一中心位置,或可歸因於穿戴者之眼睛觀看與頭戴式裝置所指向之處不同的方向而對應於一偏離中心位置。此可由指向穿戴者之眼睛之一額外面向內相機偵測到。有利地,焦點位置藉由穿戴者之實際視線方向擴增,且基於影像中之擴增焦點位置而選擇周邊設備。
視情況,在頭戴式裝置中,銜接器處理器經配置以偵測自穿戴 者之眼睛至周邊設備之一觀看距離,且依據該觀看距離而使該焦點位置移位。有利地,該焦點位置按距周邊設備之實際觀看距離擴增,且基於影像中之擴增焦點位置而選擇周邊設備。
視情況,在頭戴式裝置中,銜接器處理器經配置以藉由參考一預組態設置而識別操作環境中之周邊設備,該預組態設置界定操作環境中之多個周邊設備之位置。例如,銜接主機可提供一帶註解影像,銜接器可比較其當前影像與該帶註解影像。有利地,基於相對於如在影像中攝取之操作環境之一已知預組態設置之一位置而選擇周邊設備。
視情況,在頭戴式裝置中,銜接器處理器經配置以藉由基於周邊設備之視覺性質辨識該周邊設備而識別操作環境中之該周邊設備。例如,該等性質可由銜接主機、周邊設備自身提供或可基於裝置發現資訊自網際網路提取。有利地,藉由使用如形狀、一特定色彩、品牌或類型之周邊設備之視覺性質而偵測該周邊設備。
視情況,在頭戴式裝置中,銜接器處理器經配置以藉由偵測影像中之一視覺標記而識別周邊設備。該視覺標記可為例如一QR碼或條碼。此等視覺標記經設計以由一影像處理器讀取,且可含有關於周邊設備之進一步資訊。視覺標記可為例如具有一圖形符號及/或文字之一標籤。有利地,此一符號或文字可由一影像處理器偵測,且明確標示各自周邊設備。
視情況,至少一周邊設備及/或主機處理器經配置以提供於周邊設備之一顯示器上顯示之一主動視覺標記。該視覺標記可為例如於由周邊設備自身控制之該周邊設備之一顯示器上顯示之一主動視覺標記。有利地,可藉由主機動態地建立/調適該標記,以表示該周邊設備處可用的實際服務或功能。
隨附申請專利範圍中給出根據本發明之裝置及方法之進一步較 佳實施例,隨附申請專利範圍之揭示內容以引用的方式併入本文中。
100:主機/主機裝置
101:主機處理器
102:主機通信單元
103:周邊控制單元
110:周邊設備/智慧板
111:周邊設備/顯示器
112:周邊設備/揚聲器系統
120:頭戴式裝置/銜接器
121:銜接器通信單元
122:銜接器處理器
123:相機
130:頭戴式裝置
132:隔室
133:相機
152:無線通信
250:操作環境
251:顯示器
252:顯示器
253:顯示器
261:主機裝置
262:主機裝置
263:主機裝置
501:開始
502:DT_FOC
503:ID_PRF
504:階段SEL
505:階段INIT_DCK
507:結束
601:開始
602:步驟TR_ID/階段TR_ID
603:階段R_SEL
604:階段PRF
605:階段DOCK
606:階段AC_PR
607:結束
自以下描述中舉實例描述之實施例且參考隨附圖式將明白本發明之此等及其他態樣,且將參考該等實施例進一步闡明本發明之此等及其他態樣,在隨附圖式中圖1展示包含一頭戴式裝置之一銜接系統,圖2展示具有多個周邊設備及一頭戴式裝置之一操作環境之一實例,圖3展示一銜接器處之用於選擇一周邊設備之一銜接方法,及圖4展示一主機處之一銜接方法。
該等圖僅為圖解的且未按比例繪製。在圖中,對應於已描述之元件之元件可具有相同元件符號。
在本文件中,無線銜接係關於使稱為一銜接器之一行動裝置能夠無線地連接至提供之一主機。藉由無線銜接,主機將內建於主機中或耦合至主機之可用周邊設備之服務提供給銜接器,使得行動裝置上之應用程式可使用周邊設備之服務以改良與此等應用程式一起運作/互動之體驗及生產力。可藉由主機執行服務之一發現/廣告及管理至周邊設備之連接,此使可透過一無線銜接協定使用服務之功能性。可能主機包含(但不限於)專用無線銜接站裝置、顯示裝置、音訊裝置、印表機、PC。無線銜接主機亦可為具有一顯示器、USB及音訊介面之一小(類PC)伺服器鑰(dongle)。可能周邊設備包含(但不限於)滑鼠、鍵盤、顯示裝置、音訊裝置、網路攝影機、印表機、儲存裝置、USB集線器、網路介面、機器工具、醫療設備、工業控制面板等。此等周邊設備可為無線的且可支援諸如Wi-Fi串列匯流排(Wi-Fi Serial Bus)及Wi-Fi Miracast之標準,以使其等之功能性對主機可透過無線網路使 用。有線周邊設備亦可連接至無線主機(例如,USB、HDMI、DVI、VGA、類比音訊、類比視訊等)。次於提供對周邊設備之存取的服務,其他服務可包含例如提供遠端桌面存取或對某些應用程式之存取、資料庫存取(例如,文件封存)、網路檔案系統存取、對網際網路及特定網際網路服務之存取、諸如DLNA或UPnP服務等之家庭網路服務。
市場上推出創新穿戴式行動裝置,例如智慧型穿戴式眼鏡。此等裝置具有由穿戴者穿戴而非攜帶且可由穿戴者免手持操作之優點。通常,頭戴式裝置具有各種內建感測器(例如,麥克風、加速度計等)及致動器(例如,揚聲器、顯示器等),且通常亦具有一相機。可使用自此等感測器(尤其自攝取一操作環境之一影像之相機)提取之資訊以導出關於穿戴者之位置及焦點之資訊,例如,視線方向。在操作環境中,例如在如一手術室或工業控制中心之一良好定義且結構化的環境中可存在各種周邊設備。現在可經由頭戴式裝置選擇待使用之一各自周邊設備。相機進一步可用以藉由處理影像而識別可見標記(例如,QR碼)或物體性質,此係因為智慧型護目鏡中之向外相機指向其中穿戴者所聚焦之相同方向。
通常,頭戴式裝置及主機裝置各自包括執行儲存於裝置處之適當軟體之一微處理器;例如,該軟體可已下載及/或儲存於一對應記憶體(例如,一揮發性記憶體,諸如RAM,或一非揮發性記憶體,諸如快閃(未展示))中。裝置亦可裝備有微處理器及記憶體(未展示)。或者,裝置可整體或部分以可程式化邏輯實施為例如場可程式化閘陣列(FPGA)。銜接器及主機裝置可整體或部分實施為一所謂的特定應用積體電路(ASIC),即針對其等特定使用客製化之一積體電路(IC)。
再者,如下文描述之功能及單元可至少部分實施於硬體電路中,該等硬體電路可包含一處理器電路及儲存電路,處理器電路執行 儲存電路中電子表示之指令。
圖1展示包含一頭戴式裝置之一銜接系統。該系統包含用於與一或多個銜接器120(例如一頭戴式裝置)無線通信之一主機裝置100。主機裝置耦合至若干周邊設備110、111、112以提供例如呈現音訊或視訊(AV)資料之服務。應注意,在本文件中,AV資料用於任何類型的視訊資料、音訊資料或視訊資料與音訊資料之一組合。周邊設備可包含:視訊輸出裝置,如一個人視訊機或一顯示器111;圖形輸入/輸出裝置,如一智慧板110或一觸控螢幕;音訊輸出裝置,如一揚聲器系統112或一耳機;使用者輸入裝置,如一滑鼠或一房間控制單元;資料處理裝置,如一資料儲存單元或一印表機。在一實務環境中,可存在耦合至進一步周邊設備之多個主機。
主機裝置100具有用於適應無線通信152之一主機通信單元102,例如本身熟知之一Wi-Fi單元。主機裝置進一步具有經配置以銜接至少一銜接器之一主機處理器101。將一無線裝置銜接至一無線銜接主機(WDH)之程序係經由諸如Wi-Fi或Bluetooth之可用無線電頻道建立一資料鏈路之一程序,且本身如上文參考WO 2012/117306A1論述般已知。在例如2007年7月26日發佈之Bluetooth Specification,Core Package version 2.1 + EDR中可發現Bluetooth之一描述。銜接程序涉及提供對一或多個周邊設備之存取給銜接器。主機可具有用於控制經由周邊設備可用之組態及服務之一周邊控制單元103。
銜接器120具有用於適應與主機之該無線通信之一銜接器通信單元121。實務上,可存在用於該目的之多個通信單元,例如Bluetooth、Wi-Fi及60GHz(例如,WiGig)。銜接器進一步具有經配置以與主機裝置銜接以作為一銜接器獲得對至少一服務之存取的一銜接器處理器122。
使無線連接能力對於使用者更簡單之方法之一者係無線銜接。 在無線銜接中,一所謂的無線銜接主機使若干服務對一行動裝置可用,用該等服務,行動裝置可一下子設置通信。藉由一無線銜接主機而變得可用之周邊設備裝置及/或服務之任何群組稱為一無線銜接環境。一無線銜接環境可含有一單一主機及多個周邊設備,或一無線銜接主機可適應若干(不同)無線銜接環境。一無線銜接主機亦可藉由個別地選擇各服務而使其服務可用。在一行動裝置之無線能力範圍內亦可存在與其銜接之若干無線銜接主機。
令使用者更方便使用一行動裝置之另一方法係一周邊裝置(例如,一監視器或一TV)使其功能、其螢幕對行動裝置無線可用。當然可常發生在一行動裝置之無線能力範圍內存在數個此等無線周邊裝置。由Wi-Fi聯盟(Wi-Fi Alliance)認證之Miracast係使此可行之一技術。在本文件中,與提供功能性之周邊設備組合以提供對周邊設備輸入及/或輸出功能之存取的任何裝置稱為一主機。
傳統上,上述裝置可採用Wi-Fi通信以例如藉由使用Wi-Fi直連(Wi-Fi Direct)而使其等無線銜接環境或其等功能無線可用。設置一Wi-Fi連接需要採取相當多的步驟且在兩個裝置經由Wi-Fi「相關聯」之前需要交換若干訊息。此可需要相當多的使用者涉入以確保將連接正確的裝置,且耗費使用者必須等待設置且開始連接之時間。當兩個裝置經由Wi-Fi相關聯時,其等Wi-Fi連接受密碼保護且建立一IP連接。
Wi-Fi裝置可使其等自身可無線發現。此可在使兩個裝置相關聯之前完成,因此此稱為關聯前發現。存在數種類型的關聯前發現。一類型係關聯前裝置發現,藉此可發現一裝置及裝置之一些性質,如其名稱、功能等。此可透過自IEEE 802.11熟知之信標訊框及探測請求訊框及探測回應訊框而完成。另一類型係關聯前服務發現,用此類型,可由其他者透過IEEE 802.11u通用廣告服務(GAS)訊框發現由一 Wi-Fi裝置提供之服務(例如,列印、顯示等)。此發現可包含關於針對無線銜接提供之無線銜接環境之資訊。
由於Wi-Fi信號之範圍可達到數十米,故在Wi-Fi範圍內可發現提供Wi-Fi服務之相當多的裝置。使用者需要參與選擇正確的裝置/服務以連接至其。然而,自呈現給使用者之裝置/服務清單,可能並不十分明確哪一名稱對應於哪一裝置。例如,一使用者對在一大顯示器上展示駐留在其行動MP4播放器中之內容感興趣。Miracast係顯示經由Wi-Fi接收之視訊的一服務之Wi-Fi聯盟之商業名稱。使用者附近可存在提供呈現經由Wi-Fi接收之視訊的服務之數個顯示器。在其中許多會議室及靈活工作場所裝備有具Miracast功能之顯示器之一現代辦公大樓中,可為此情況,但在其中一家庭裝備有提供此Wi-Fi服務之數個TV之一家庭情境中,亦可為此情況。在本文件中,具有多個周邊設備之此一環境進一步稱為一操作環境。
在圖1中,銜接系統具有至少一主機、多個周邊設備及作為銜接器之一頭戴式裝置。頭戴式裝置具有一相機123,例如具有一前視相機之一頭戴式顯示器。當頭戴式裝置由一穿戴者穿戴時,穿戴者可想要與周邊設備之一者互動,且將看向其中存在周邊設備之操作環境之方向。
主機100經配置以與作為一銜接器之頭戴式裝置無線銜接。在銜接之後,主機將向頭戴式裝置提供對周邊設備之至少一者之存取。頭戴式裝置120經配置以作為主機之一銜接器進行無線銜接,以存取周邊設備之至少一者。頭戴式裝置上之相機123經配置以在穿戴者看向周邊設備之方向時攝取操作環境之一影像。
頭戴式裝置120具有用於偵測一穿戴者相對於操作環境之一觀看方向之銜接器處理器122。因為用於攝取影像之相機以一已知方式耦合至頭戴式裝置,所以銜接器處理器經啟用以經由頭戴式裝置執行該 偵測。因為在實際穿戴頭戴式裝置期間已知頭戴式裝置及其相機之定向,所以銜接器處理器可假定穿戴者聚焦於經攝取影像之中心附近的一焦點上。稍後論述判定觀看方向及焦點之進一步實施例。
銜接器處理器進一步經配置以處理影像以識別周邊設備。因為周邊設備存在於穿戴者正觀看之操作環境中,所以可辨識且識別一或多個周邊設備。銜接器處理器進一步經配置以基於觀看方向從影像中之周邊設備選出一周邊設備。下文論述用於識別周邊設備且選擇其等之一者之各種選項。
銜接器處理器進一步經配置以藉由判定提供對選定周邊設備之存取的主機而判定一選定主機。無線通信之範圍內可存在數個主機裝置。例如,可使用關於一預組態操作環境之協定訊息或資訊之一交換來判定耦合至選定周邊設備之選定主機。最後,銜接器處理器進一步經配置以銜接至選定主機且存取選定周邊設備。
主機處理器101經配置以:接收指示選定周邊設備之一選擇訊息;銜接作為銜接器之頭戴式裝置;且提供對選定周邊設備之存取。
視情況,至少一周邊設備經配置以提供一視覺標記,例如一標籤或QR碼。銜接器處理器可進一步經配置以藉由偵測影像中之視覺標記而識別周邊設備。
圖2展示具有多個周邊設備及一頭戴式裝置之一操作環境之一實例。圖中之操作環境250展示連接至多個周邊設備(例如顯示器251、252、253)之數個主機裝置261、262、263。可存在進一步周邊設備,如一投影螢幕、機器工具、控制面板、醫療設備等。頭戴式裝置130係展示為智慧型眼鏡,其具有一相機133及用於如同一銜接器處理器及無線通信單元(類似於上文圖1)之電子電路之一隔室132。假定在使用中,頭戴式裝置由觀看其想要使用之周邊設備的一穿戴者(未展示)穿戴。
頭戴式裝置可具有用於顯示一覆疊於如由穿戴者經由頭戴式裝置感知之操作環境上方之一顯示單元。顯示單元本身未展示,但其可整合於隔室132中且經定位使得所顯示覆疊經由眼鏡感知為與真實世界視圖組合。穿戴者提供真實世界視圖上方之此一覆疊可稱為擴增實境。銜接器處理器可經配置以產生覆疊。例如,可藉由一箭頭、強調顯示視窗或圖形符號在覆疊中在視覺上指示實際焦點位置及/或選定周邊裝置。銜接器處理器可經配置以在覆疊中在視覺上標記周邊設備之至少一者。現描述各種實例。
視情況,銜接器處理器經配置以藉由基於周邊設備距穿戴者之距離在視覺上排定周邊設備的優先級(使用者之視野內的可銜接裝置之所謂的基於接近性之優先排序)而進行該標記。當穿戴擴增智慧型眼鏡之一使用者希望發現一可銜接裝置時,基於其等距穿戴者之當前距離在擴增覆疊中在視覺上排定可用裝置的優先級。例如,在伸臂範圍(arm’s reach)內之裝置可呈現為最具視覺注意力。在一開放辦公環境中,可存在可充當用於銜接器之一周邊設備之許多裝置,但僅少數可直接使用或適合於與穿戴者互動。距一周邊設備之距離或接近性偵測可例如經由智慧型眼鏡中之相機使用物體辨識及透視校正或使用相機影像及自可銜接周邊設備發射之一信號強度量測(諸如一RSSI值)執行。
視情況,銜接器處理器經配置以藉由基於銜接器使用周邊設備之一先前工作階段之工作階段資訊在視覺上排定周邊設備的優先級而進行該標記。此可稱為一使用者之視野內的可銜接裝置之工作階段導向優先排序。當一使用者先前已與一可銜接裝置互動時,先前與該裝置相關之工作階段資訊(諸如一呼叫清單)及/或自上一次銜接工作階段裝置/使用者之效能(例如,打字速度)可用作輸入參數以判定可能與該周邊設備銜接之一優先級。使用此資訊來排定擴增覆疊中之一可銜接 裝置的優先級,例如,使用大小、透明度、色彩、文字來表示優先級。工作階段資訊可儲存於可銜接裝置中以進行安全擷取(例如,在使用者離開之情況下繼續),或可儲存於另一裝置上,例如,主機中。來自先前工作階段之效能相關歷史資訊亦可儲存於頭戴式裝置、周邊裝置上或雲端上。
在排定優先級期間,當支援多工作階段互動之一可銜接周邊裝置可用時,視覺優先級可係基於該裝置上剩餘之可用資源,例如,剩餘記憶體、CPU週期、列印佇列等。
視情況,銜接器處理器經配置以藉由基於穿戴者之一當前狀態在視覺上排定周邊設備的優先級而進行該標記。此可稱為與使用者之當前狀態相關的可銜接裝置之優先排序。現基於裝置對於使用者之當前狀態的支援等級在擴增覆疊中在視覺上排定其等的優先級。例如,當一智慧型眼鏡穿戴者想要在就座時給出一會議中之一呈現時,系統將針對此工作階段搜尋可用且適於穿戴者之狀態之周邊裝置,以例如與穿戴者所就座之桌處的一輸入裝置及一本端顯示器銜接。然而,當穿戴者站立時,用一不同優先級展示擴增智慧型眼鏡覆疊內之輸入裝置選擇,且另一裝置(例如,用於手勢辨識之一相機)取得一較高優先級。實務上,穿戴者狀態偵測可藉由智慧型眼鏡裝置使用各種感測器來執行,該等感測器例如:一加速度計、壓力感測器(用於高度)、陀螺儀(用於頭定向)、相機(用於自眼鏡至所推斷就座之桌之距離)。若一潛在銜接器具有感測能力且當前未利用,則偵測亦可經由該潛在銜接器遠端地執行。例如,若銜接器具有一相機,則其可基於使用者之當前狀態/活動遠端地推斷使用者之狀態以判定其對於銜接之適當性。若智慧型眼鏡在發現模式中,則潛在銜接器可藉由臨時提供其等功能之一些者以判定內容背景而輔助優先級判定程序。
視情況,銜接器處理器經配置以藉由在視覺上指示可用但在如 由穿戴者感知之操作環境中不可見之一周邊設備而進行該標記。現使用者之注意力可留意其等視野之外的可銜接周邊裝置。例如,當使用者之視野之外的一高優先級可銜接周邊裝置可用且使用者正尋找此一裝置時,可在裝置之實際位置附近但在穿戴者之視野之內展示一符號。再者,可致動智慧型眼鏡之左側或右側上之一馬達以指示使用者進一步應看向左側或右側。替代地或額外地,擴增覆疊可指示一箭頭,其中箭頭之大小/色彩指示可銜接裝置之優先級。
頭戴式裝置130或其穿戴者未知一各自主機與個別周邊設備之間之連接。為解決此問題,頭戴式裝置中之銜接器處理器經配置以:偵測一穿戴者相對於操作環境之一觀看方向;處理影像以識別周邊設備;基於觀看方向從影像中之周邊設備選出一周邊設備;藉由判定提供對選定周邊設備之存取的主機而判定一選定主機。隨後可執行銜接至選定主機及存取選定周邊設備。
視情況,銜接器處理器經配置以經由相機藉由將影像中之一中心點視為指示相對於操作環境之觀看方向而偵測焦點位置。焦點位置歸因於穿戴者之一眼睛呈一居中定向而對應於穿戴者直視前方之一視野中之一中心位置。銜接器處理器進一步經配置以選擇最接近焦點位置之周邊設備。
視情況,銜接器處理器經配置以藉由偵測穿戴者之一眼睛之一實際定向且判定實際定向從居中定向之一偏移而偵測一視線方向。因而已知追蹤眼睛之實際定向以判定觀看方向。隨後,依據偏移使焦點位置移位。銜接器處理器可經配置以偵測自穿戴者之眼睛至周邊設備之一觀看距離,且依據觀看距離而使該焦點位置移位。例如,可使用具有穿戴者藉由與頭戴式裝置互動而調適自動焦點之能力之一自動聚焦相機判定距離。此外,可使用一距離範圍以僅選擇未超過距穿戴者之眼睛之一特定距離之周邊設備。或者,可藉由使用例如基於Wi-Fi 之距離量測使用例如IEEE精細時間量測(FTM)來偵測距離。
視情況,銜接器處理器經配置以藉由參考一預組態設置而識別操作環境中之周邊設備。預組態設置可界定操作環境中之多個周邊設備之位置,例如,多個顯示器或控制面板之相互距離及位置。頭戴式裝置可已知預組態設置(例如,在一組態工作階段期間經儲存)。或者,可藉由至少一主機(例如,在圖1中所示之周邊控制單元103中)儲存且維護預組態設置。可啟用主機以彼此通信以交換組態資訊,且在關聯前發現訊息中提供關於彼此之周邊設備之資訊。
視情況,銜接器處理器經配置以藉由基於周邊設備之視覺性質辨識周邊設備而識別操作環境中之周邊設備。例如,本身已知之影像辨識可用以藉由使用此一周邊設備之一已知影像或模型且使模型與影像匹配而識別周邊設備。
視情況,銜接器處理器經配置以藉由偵測影像中之一視覺標記而識別周邊設備。例如,視覺標記可為一QR碼或條碼,其使能夠藉由一銜接器處理器讀取儲存於此碼中之一資料量。視覺標記亦可為具有一圖形符號及/或文字之一標籤或於周邊設備之一顯示器上顯示之一主動視覺標記。
上述系統使能夠經由使用一智慧型穿戴式裝置(例如,智慧型護目鏡)從一豐富資訊內容背景中之複數個周邊設備選出一特定裝置,且經由耦合至周邊設備之一主機使頭戴式裝置自動銜接至選定周邊設備。銜接進一步可擴展為包含諸如與頭戴式裝置相關聯之智慧型電話或平板電腦之一相關聯裝置。可藉由觀看待由具有一相機之頭戴式裝置(例如,智慧型護目鏡)之穿戴者選擇之裝置而執行選擇。頭戴式裝置可處理一經攝取影像以識別穿戴者所觀看之焦點位置,且接著識別最接近該位置之裝置。例如,發現焦點位置可涉及經由頭戴式裝置上之一3D陀螺儀及加速度計之視線方向偵測。例如,識別可涉及以下 之一或多者:視覺標記偵測、形狀辨識、品牌或標籤偵測。
在一較佳實施例中,系統可包含由一穿戴者(例如,手術室中之一外科醫師)穿戴之一智慧型護目鏡或具有一外視相機之頭戴式顯示器。頭戴式裝置可為一獨立裝置或結合一相關聯之智慧型電話或平板電腦一起運作。吾人將獨立頭戴式裝置或與一智慧型電話/平板電腦之組合稱為銜接器。主機可為一獨立無線銜接站,其連接有複數個周邊裝置,例如,其上將顯示視覺資訊之多個顯示裝置,諸如生命徵象監視器、腹腔鏡相機顯示器等。
例如,若周邊裝置係顯示裝置且銜接已成功,則資訊可以例如Miracast輸出資料之形式顯示於如由銜接器提供之此等周邊裝置上,藉此銜接器係一Miracast源且周邊裝置係一Miracast接收端(Miracast sink)。亦可在銜接器之控制下藉由網路/網際網路上之一伺服器提供視覺資訊,例如,HTML頁面或所顯示之其他資訊源。
銜接器可銜接至連接至一主機之全部周邊裝置、該等周邊裝置之一子集或一個別周邊裝置。銜接程序可涉及:1)發現無線銜接主機,且針對各自主機,發現關於所連接周邊裝置之資訊,2)設置銜接器與無線銜接主機之間之一無線鏈路,3)使用一訊息集自連接至無線銜接主機之複數個周邊裝置選擇使用之周邊設備,4)為控制/互動目的使用一周邊特定訊息協定(諸如Miracast、Wi-Fi串列匯流排、WiGig顯示擴展)設置銜接器與選定周邊裝置之間之一工作階段。
在一可能實施例中,周邊裝置具有可由相機或頭戴式裝置之不同感測器解碼之用於單一識別(univocal identification)之一視覺標記(例如,QR碼貼紙、條碼、具有編碼光之LED等)。視覺標記可為靜態 的(例如,顯示一獨有識別符且可由穿戴式裝置之相機辨識之貼紙)或動態的(例如,顯示於一顯示裝置之隅角上之動態產生的QR碼,其中一獨有裝置識別符編碼為QR碼之部分)。
可以使得周邊裝置與視覺標記之間之關係已知的一方式組態主機及所連接周邊裝置。組態可儲存於例如主機中而作為例如一無線銜接環境資料結構之部分,或儲存於銜接器所連接之一網路中之一伺服器裝置上。主機或網路伺服器裝置可提供用於擷取經儲存組態資訊之一查詢介面。主機亦可使用一信標訊框、探測回應或GAS訊框在與無線銜接器之關聯前發現資訊交換期間提供經儲存組態資訊。或者,組態資料可分佈在所連接周邊設備之各者當中。若此周邊裝置支援Wi-Fi,則該周邊裝置可提供用於擷取經儲存組態資料之一查詢介面,或使用新增至P2P關聯前裝置發現之現有或新資訊元素在關聯前發現期間提供此資料或在GAS查詢回應訊息中提供此資料。
在頭戴式裝置之一實施例中,一旦在來自穿戴式裝置之向外相機之影像內偵測到一視覺標記,旋即使用關於該標記或自該標記提取之資訊以自先前儲存之組態資訊擷取關於周邊裝置之資訊。可藉由以下各者擷取組態:藉由連接至主機;藉由將一查詢發送至一網路中之一伺服器;藉由剖析由一無線銜接主機使用一信標訊框、探測回應或GAS訊框發送之關聯前發現資訊。接著,使用組態資訊來判定用於銜接之周邊裝置,且設置銜接器與選定周邊裝置之間之一工作階段。
在一實施例中,設置至穿戴者當前所聚焦之周邊裝置之工作階段。或者,可設置至當前在穿戴者之視野中之周邊裝置之工作階段。在另一實施例中,僅設置至自銜接工作階段之開始起穿戴者已觀看之周邊裝置之工作階段。在另一實施例中,周邊裝置之經擷取資訊(例如,易用裝置名稱、裝置類型、品牌、提供之服務)展示於穿戴式裝置之顯示器上,且可以使得經擷取資訊經顯示以與來自周邊裝置之光 線至吾人之眼睛中之反射重疊(即,擴增實境)的一方式定位。
在一實施例中,當由耦合至頭戴式裝置之相機之一銜接器處理器辨識裝置之形狀時發生可穿戴裝置至裝置之銜接。例如,可將經攝取影像串流傳輸至一各別處理器(例如,電腦)。主機及所連接周邊裝置可經組態使得關於周邊裝置之各者之形狀之資訊儲存於主機中,或儲存於無線銜接器所連接至之一網路中之一伺服器上。一旦在來自頭戴式裝置之向外相機之影像內偵測到一裝置之一已知形狀,旋即使形狀資訊與組態資料中之經儲存形狀資訊相關。在一正匹配之後,可自先前儲存之組態資訊擷取關於周邊裝置之詳細資訊。接著,使用此資訊來選擇用於銜接之周邊裝置,且設置無線銜接器與選定周邊裝置之間之一工作階段。
在一實施例中,亦組態且儲存周邊裝置之相對位置,以能夠幫助偵測具有相同或類似形狀之大量周邊裝置當中的一周邊裝置。例如,顯示器第一號放置於顯示器第二號上方,且在顯示器第三號之右側。結合透過頭戴式裝置之加速度計及陀螺儀偵測之一觀看方向判定選定顯示器以判定穿戴者之焦點。亦可組態且儲存相對於一特定已知參考點(例如,相對於周邊裝置所連接之主機)之位置。
在一實施例中,周邊設備之選擇涉及:在給定穿戴者之一固定位置(例如,在一手術室中站立在一手術床附近的一特定位置處或地板上之一經標記位置處)之情況下,藉由頭戴式裝置之加速度計及陀螺儀之偵測穿戴者之視線方向。此需要環境由可穿戴裝置或可穿戴裝置將加速度計及陀螺儀資料即時發送至其之一各別處理器(例如,電腦)知曉。當視線方向與一周邊裝置之位置相交時,可自先前儲存之組態資訊擷取關於該周邊裝置之詳細資訊。接著,使用此資訊來選擇用於銜接之周邊裝置,且設置銜接器與選定周邊裝置之間之一工作階段。
在一實施例中,當由智慧型護目鏡之相機辨識(例如,透過光學特性辨識)周邊設備之品牌/標籤時發生選擇及頭戴式裝置至周邊設備之銜接。可將經攝取影像串流傳輸至一各別處理器(例如,電腦)。為此目的,以使得關於周邊裝置之各者之品牌/類型之資訊儲存於例如主機中的一方式組態無線銜接主機及其所連接之周邊裝置。裝置之品牌/標籤與組態資料中之經儲存品牌/標籤資訊相關。在一正匹配之後,可擷取關於周邊裝置之詳細資訊。接著,使用此資訊來選擇用於銜接之周邊裝置,且設置無線銜接器與選定周邊裝置之間之一工作階段。
在一實施例中,當已針對銜接根據前述程序之一者選擇一特定周邊裝置時,使用者輸入控制事件可自動指向選定周邊裝置。若穿戴者看向別處達一時段或若已選擇另一周邊裝置,則可終止一銜接工作階段。此使穿戴者能夠基於此自動選擇機制控制特定周邊裝置,以例如選擇應在選定周邊裝置上展示哪一資訊。使用者輸入控制事件可呈語音控制命令或由穿戴式裝置或經由另一系統(例如,一穿戴式感測器、一通用使用者介面、鍵盤/滑鼠介面、觸控板或觸控螢幕)偵測到的手勢控制命令之形式。應注意,可依據使用者之偏好/組態而關閉當前未使用之周邊裝置。
在一實施例中,系統可保持銜接工作階段或以使用者命令結束銜接工作階段,例如,當穿戴者看向別處達一足夠長時間時,透過一特定眼睛移動、經由手勢或語音控制結束工作階段。
在一實施例中,在用主機組態周邊裝置(例如,使一視覺標記與一周邊設備相關,此等裝置具有哪一形狀,此等裝置在彼此當中具有之哪一相對位置,哪些裝置變為裝置之一或多個子集之部分)期間使用頭戴式裝置。例如,可藉由選擇性地觀看在將主機置於一組態模式中時穿戴者可以一循序方式使用之周邊裝置而設置操作環境及主機之 組態。
在一實施例中,穿戴式裝置具有用於無線通信(例如,使用60GHz IEEE 802.11標準之Wi-Fi P2P通信)之一波束整形天線。可以與相機相同的方向引導天線。頭戴式裝置記錄在經引導之Wi-Fi波束內發現之可用裝置。頭戴式裝置可使用可用性資訊以使用前述程序之一者限制對於一匹配裝置之搜尋。頭戴式裝置亦可使用可用性資訊以針對在經引導波束內發現之可用裝置設置一連接。
圖3展示一銜接器處之用於選擇一周邊設備之一銜接方法。銜接器方法實現一銜接器與一或多個主機之間之無線通信。已參考圖1及圖2闡明主機及銜接器。銜接器經配置以與主機無線銜接,以存取經由頭戴式裝置之相機選擇之一周邊設備。銜接器方法最初以開始(START)501開始,且係藉由使用者將頭戴式裝置放置於其頭上(即,變為穿戴者)且啟動相機以攝取影像而觸發。接著,在DT_FOC 502處,經由頭戴式裝置偵測一焦點位置。操作環境中之焦點位置係基於一穿戴者之一觀看方向且對應於操作環境中穿戴者所集中注意力之位置。例如,焦點位置可為頭戴式裝置之前視相機之影像之中心。在ID_PRF 503處,處理作為攝取之影像以識別周邊設備。接著,在階段SEL 504處,基於焦點位置從影像中之周邊設備選出一周邊設備。若頭戴式裝置已具有關於哪一主機耦合至經識別且選定周邊設備之組態資料,則直接選擇主機,且在階段INIT_DCK 505處程序藉由銜接而繼續。若尚未知組態(例如,當多個主機在範圍內時),則在階段SEL_H中擷取周邊資訊以判定提供對選定周邊設備之存取的主機。當因而已判定選定主機時,在階段INIT_DCK 505處,程序藉由銜接以銜接至選定主機且存取選定周邊設備而繼續。當終止周邊設備之使用時,方法在節點結束(END)507處結束。
視情況,在一銜接方法中,在周邊設備之實際偵測及選擇之前 發生可穿戴裝置與數個銜接主機銜接。此可更快速,此係因為接著穿戴式裝置可避免(再次)與主機相關聯。再者,銜接主機可已準備且保留全部周邊設備以與該特定銜接器銜接,但僅在使用無線銜接協定完成「選擇周邊設備」動作之後,周邊設備才被選擇且可根據使用周邊設備特定訊息協定操作。
圖4展示一主機處之一銜接方法。主機方法實現一主機與作為銜接器之一頭戴式裝置之間之無線通信。已參考圖1及圖2闡明主機及銜接器。主機經配置用於無線銜接以提供對一周邊設備之存取。主機方法最初以開始601開始,且係藉由接通主機及周邊設備之電源而觸發。在下一步驟TR_ID 602處,主機方法可涉及產生如同一QR碼、文字或條碼之主動識別符且在對應周邊設備上顯示識別符。再者,主機可傳輸周邊設備資料以宣告可用性及/或周邊設備之其他性質。接著,在一階段R_SEL 603中,主機可接收指示選定周邊設備之一選擇訊息。在階段PRF 604中,主機判定是否連接選定周邊設備。若未連接,則方法以階段TR_ID 602繼續。若周邊設備可用且耦合至主機,則在階段DOCK 605處,方法藉由銜接作為銜接器之頭戴式裝置而繼續。最後,在階段AC_PR 606處,主機提供對選定周邊設備之存取。若工作階段中斷,則方法在節點結束607處終止。
實務上,方法可以主機軟體(主機方法)及銜接器軟體(銜接器方法)實施,例如一所謂的應用程式。此等電腦程式產品係用於一主機與一銜接器之間之無線銜接,且包括可操作以引起一處理器執行主機或銜接器方法之一程式。因而本發明可使用可程式化組件實施於硬體及/或軟體中。
儘管已主要藉由使用無線銜接及各別周邊設備之實施例說明本發明,然本發明亦適合於其中一頭戴式裝置(具有銜接器角色)想要連接至一進一步無線裝置(具有主機角色)以獲得對一或多個周邊設備或 服務之存取或共用一或多個周邊設備或服務之任何無線系統。因而,主機可為執行主機角色之任何控制單元且可整合於某一其他裝置中且無需對穿戴者可見。周邊設備包含意欲由穿戴者實體使用以進行控制或互動之全部裝置。
周邊設備亦可為一實體銜接系統或銜接站(之部分)。周邊設備亦可含有進一步周邊設備。例如,一周邊設備可為具有一或多個LED或一LED帶之一裝置,且具有進一步連接器以附接一或多個進一步周邊設備。一銜接站可為其中可定位一或多個顯示器之一框架,各顯示器係一進一步各自周邊設備。該框架可(例如)容納2×2顯示器,而不同LED信號可用以指示可用或意欲銜接之位置。銜接站可啟動各自LED信號,且主機可將各自位置及對應LED信號通知給銜接器。在影像中,首先識別銜接站,而隨後基於由主機提供之額外資料進行至由主機提供之周邊設備之一或多者(例如,框架中之該等顯示器之一者)之一連接。
將瞭解,為明確起見,上文描述已關於不同功能單元及處理器描述本發明之實施例。然而,將明白,在未脫離本發明之情況下,可使用在不同功能單元或處理器之間之任何適合功能性分佈。例如,繪示為由各別單元、處理器或控制器執行之功能性可由相同處理器或控制器執行。因此,提及特定功能單元僅應視為提及用於提供所描述之功能性之適合構件,而非指示一嚴格邏輯或實體結構或組織。本發明可實施為包含硬體、軟體、韌體或此等之任何組合之任何適合形式。
應注意,在本文件中,字詞「包括」不排除存在所列舉之元件或步驟之外之其他元件或步驟,且在一元件前之字詞「一」或「一個」不排除存在複數個此等元件,任何元件符號不限制申請專利範圍之範疇,本發明可借助於硬體及軟體兩者實施,且數個「構件」或「單元」可由與硬體或軟體相同的品項表示,且一處理器可與硬體元 件協作而實行一或多個單元之功能。此外,本發明不限於實施例,且本發明位於上文所描述或相互不同的附屬請求項中所敘述之各及每一新穎特徵或特徵組合中。
100:主機/主機裝置
101:主機處理器
102:主機通信單元
103:周邊控制單元
110:周邊設備/智慧板
111:周邊設備/顯示器
112:周邊設備/揚聲器系統
120:頭戴式裝置/銜接器
121:銜接器通信單元
122:銜接器處理器
123:相機
152:無線通信

Claims (15)

  1. 一種銜接系統,其包括至少一主機、耦合至該至少一主機之多個周邊設備及一銜接器,該主機經配置以與該銜接器無線銜接且包括一主機處理器,該主機處理器經配置以傳輸周邊訊息,各周邊訊息包括指示至少一周邊設備之服務的可用性之周邊資料,與該銜接器銜接,接收指示一選定周邊設備之一選擇訊息,及提供對該選定周邊設備之存取給該銜接器,該銜接器係經配置以用於無線銜接之一頭戴式裝置,且該頭戴式裝置包括一相機,其用於攝取包括該等周邊設備之一操作環境之一影像,及一銜接器處理器,其經配置以接收該等周邊訊息,處理該等影像以識別該等周邊設備,經由該頭戴式裝置基於一穿戴者之一觀看方向偵測該操作環境中之一焦點位置,使用該焦點位置從該等經識別周邊設備選出一周邊設備,藉由依據該等經接收周邊訊息判定提供對該選定周邊設備之存取的主機而判定一選定主機,及銜接至該選定主機, 發送指示該選定周邊設備之一選擇訊息,及存取該選定周邊設備且使用該選定周邊設備之該等服務。
  2. 如請求項1之銜接系統,其中至少一周邊設備及/或該主機處理器經配置以提供於該周邊設備之一顯示器上顯示之一主動視覺標記,且該銜接器處理器經配置以藉由偵測該影像中之該視覺標記而識別該周邊設備。
  3. 一種於如請求項1之系統中使用之頭戴式裝置,該頭戴式裝置包括一相機,其用於攝取包括複數個周邊設備之一操作環境之一影像,一銜接器處理器,其經配置以接收該等周邊訊息,處理該影像以識別該等周邊設備,經由該頭戴式裝置基於一穿戴者之一觀看方向偵測該操作環境中之一焦點位置,基於該焦點位置從該等經識別周邊設備選出一周邊設備,藉由依據該等經接收周邊訊息判定提供對該選定周邊設備之存取的主機而判定一選定主機,及銜接至該選定主機,發送指示該選定周邊設備之一選擇訊息,及存取該選定周邊設備且使用該選定周邊設備之該等服務。
  4. 如請求項3之頭戴式裝置,其中該頭戴式裝置包括用於顯示一覆疊於如由該穿戴者經由該頭戴式裝置感知之該操作環境上方之一顯示單元,且該銜接器處 理器經配置以產生該覆疊且在其中視覺地標記該等周邊設備之至少一者。
  5. 如請求項4之頭戴式裝置,其中該銜接器處理器經配置以藉由以下之至少一者進行該標記基於該等周邊設備距該穿戴者之距離在視覺上排定該等周邊設備之優先級;基於使用該等周邊設備之該銜接器之一先前工作階段之工作階段資訊在視覺上排定該等周邊設備之優先級;基於該穿戴者之一當前狀態在視覺上排定該等周邊設備之優先級;在視覺上指示可用但在如由該穿戴者感知之該操作環境中不可見之一周邊設備。
  6. 如請求項3至5中任一項之頭戴式裝置,其中該銜接器處理器經配置以藉由將該影像中之一中心位置視為指示相對於該操作環境之該觀看方向而經由該相機偵測該焦點位置,該焦點位置歸因於該穿戴者之一眼睛呈一居中定向而對應於該穿戴者直視前方之一視野中之一中心位置,及選擇最接近該焦點位置之周邊設備。
  7. 如請求項6之頭戴式裝置,其中該銜接器處理器經配置以藉由偵測該穿戴者之一眼睛之一實際定向且判定該實際定向從該居中定向之一偏移而偵測一視線方向,且依據該偏移而使該焦點位置移位。
  8. 如請求項7之頭戴式裝置,其中該銜接器處理器經配置以偵測自該穿戴者之該眼睛至該等周邊設備之一觀看距離,且依據該觀看距離而使該焦點位置移位。
  9. 如請求項3至5中任一項之頭戴式裝置,其中該銜接器處理器經配置以藉由參考一預組態設置而識別該操作環境中之該周邊設備,該預組態設置界定該操作環境中之該多個周邊設備之位置。
  10. 如請求項3至5中任一項之頭戴式裝置,其中該銜接器處理器經配置以藉由基於該周邊設備之視覺性質辨識該周邊設備而識別該操作環境中之該周邊設備。
  11. 如請求項3至5中任一項之頭戴式裝置,其中該銜接器處理器經配置以藉由偵測該影像中之一視覺標記而識別該周邊設備。
  12. 如請求項11之頭戴式裝置,其中該視覺標記係一QR碼或條碼;具有一圖形符號及/或文字之一標籤;於該周邊設備之一顯示器上顯示之一主動視覺標記。
  13. 一種於如請求項1之系統中之作為銜接器之一頭戴式裝置中使用之銜接器銜接方法,該方法包括接收該等周邊訊息,處理該影像以識別該等周邊設備,經由該頭戴式裝置基於一穿戴者之一觀看方向偵測該操作環境中之一焦點位置,基於該焦點位置從該等經識別周邊設備選出一周邊設備,藉由依據該等經接收周邊訊息判定提供對該選定周邊設備之存取的主機而判定一選定主機,及銜接至該選定主機,發送指示該選定周邊設備之一選擇訊息,及存取該選定周邊設備且使用該選定周邊設備之該等服務。
  14. 一種於如請求項2之系統中之一主機中使用之主機銜接方法,該 主機經配置以與一銜接器無線銜接,且提供對該等周邊設備之至少一者之存取給該銜接器,該方法包括傳輸周邊訊息,各周邊訊息包括指示至少一周邊設備之服務的可用性之周邊資料,提供於該周邊設備之一顯示器上顯示之一主動視覺標記,銜接作為該銜接器之一頭戴式裝置,接收指示該選定周邊設備之一選擇訊息,及提供對該選定周邊設備之存取給該銜接器。
  15. 一種用於在一主機與一銜接器之間銜接之電腦程式,其包括可操作以引起一處理器執行如請求項13或14之方法之一程式。
TW104132885A 2014-10-06 2015-10-06 銜接系統、頭戴式裝置、銜接方法及電腦程式 TWI728956B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14187768 2014-10-06
EP14187768.8 2014-10-06

Publications (2)

Publication Number Publication Date
TW201624304A TW201624304A (zh) 2016-07-01
TWI728956B true TWI728956B (zh) 2021-06-01

Family

ID=51730341

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104132885A TWI728956B (zh) 2014-10-06 2015-10-06 銜接系統、頭戴式裝置、銜接方法及電腦程式

Country Status (9)

Country Link
US (1) US20170242480A1 (zh)
EP (1) EP3204837B1 (zh)
JP (1) JP6214828B1 (zh)
CN (1) CN107003739B (zh)
BR (1) BR112017006797A2 (zh)
RU (1) RU2017115844A (zh)
TR (1) TR201901086T4 (zh)
TW (1) TWI728956B (zh)
WO (1) WO2016055317A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812197B (zh) 2014-12-30 2020-07-14 华为技术有限公司 位转发入口路由器、位转发路由器及操作管理维护检测方法
WO2018075076A1 (en) 2016-10-21 2018-04-26 Hewlett-Packard Development Company, L.P. Wireless head-mounted device
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US10510161B2 (en) 2017-03-24 2019-12-17 Varian Medical Systems, Inc. Patient-mounted or patient support-mounted camera for position monitoring during medical procedures
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
TWI643167B (zh) * 2017-08-25 2018-12-01 湛雲國際股份有限公司 雙螢幕顯示器之管理系統
KR102441407B1 (ko) * 2017-12-14 2022-09-07 한국전자통신연구원 스마트 글라스를 이용한 발화자 선택 장치 및 방법
CN112074886A (zh) * 2018-05-08 2020-12-11 方正熊猫有限公司 外围装置识别系统和方法
US10896144B2 (en) 2018-05-08 2021-01-19 International Business Machines Corporation Automated configuring of computer system settings for peripheral device(s)
CN108810151B (zh) * 2018-06-15 2021-05-25 恒生电子股份有限公司 多系统间的对接适配方法、装置及存储介质和电子设备
EP3903168A4 (en) * 2018-12-24 2022-08-03 INTEL Corporation SYSTEMS AND METHODS FOR MATCHING DEVICES WITH VISUAL RECOGNITION
US10757561B2 (en) * 2019-03-29 2020-08-25 Intel Corporation Wi-Fi docking in dense environment
WO2022170223A1 (en) * 2021-02-08 2022-08-11 Multinarity Ltd User interactions in extended reality
CN112019756B (zh) * 2020-10-06 2021-05-18 盛夏 一种基于5g的智能可穿戴设备的控制方法及系统
CN117043709A (zh) * 2021-02-08 2023-11-10 视域电脑有限公司 用于生产力的扩展现实
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
BE1030488B1 (nl) * 2022-04-29 2023-12-04 Rods&Cones Holding Bv Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN103959135A (zh) * 2011-11-28 2014-07-30 谷歌公司 基于头部角度触发的动作
TW201437688A (zh) * 2013-03-26 2014-10-01 Seiko Epson Corp 頭部配戴型顯示裝置、頭部配戴型顯示裝置之控制方法及顯示系統
CN104076512A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4241724B2 (ja) * 2005-12-16 2009-03-18 ブラザー工業株式会社 通信システム、周辺機器、及び、プログラム
JP2008225991A (ja) * 2007-03-14 2008-09-25 Nec Computertechno Ltd 次動作予測準備マルチメディア装置
US7779193B2 (en) * 2007-08-03 2010-08-17 Intel Corporation Method and apparatus for external data transfer in a personal storage device
JP5685935B2 (ja) * 2010-12-28 2015-03-18 ブラザー工業株式会社 制御装置及びプログラム
WO2012117306A1 (en) * 2011-03-01 2012-09-07 Koninklijke Philips Electronics N.V. Method for enabling a wireless secured communication among devices
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9517776B2 (en) * 2011-12-29 2016-12-13 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
MY168121A (en) * 2012-04-13 2018-10-11 Sony Corp Wireless Communication Device, Information Processing Device, and Communication Method
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US20150193977A1 (en) * 2012-08-31 2015-07-09 Google Inc. Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
US9426184B2 (en) * 2012-11-27 2016-08-23 Qualcomm Incorporated Dockee-centric wireless docking
US20140152538A1 (en) * 2012-11-30 2014-06-05 Plantronics, Inc. View Detection Based Device Operation
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
EP2993943B1 (en) * 2013-05-01 2018-02-28 LG Electronics Inc. Method and apparatus for performing wireless docking service
CN105247839B (zh) * 2013-05-23 2019-04-19 三星电子株式会社 用于管理无线对接网络的方法和装置
CN103532982A (zh) * 2013-11-04 2014-01-22 祝贺 基于可穿戴设备授权的方法、装置和系统
CN103677631A (zh) * 2013-11-15 2014-03-26 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
CN103809751A (zh) * 2014-02-12 2014-05-21 北京智谷睿拓技术服务有限公司 信息共享方法及信息共享装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN103959135A (zh) * 2011-11-28 2014-07-30 谷歌公司 基于头部角度触发的动作
CN104076512A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
TW201437688A (zh) * 2013-03-26 2014-10-01 Seiko Epson Corp 頭部配戴型顯示裝置、頭部配戴型顯示裝置之控制方法及顯示系統

Also Published As

Publication number Publication date
RU2017115844A (ru) 2018-11-12
US20170242480A1 (en) 2017-08-24
TW201624304A (zh) 2016-07-01
JP6214828B1 (ja) 2017-10-18
JP2017534974A (ja) 2017-11-24
CN107003739A (zh) 2017-08-01
TR201901086T4 (tr) 2019-02-21
WO2016055317A1 (en) 2016-04-14
RU2017115844A3 (zh) 2019-05-08
BR112017006797A2 (pt) 2018-01-09
CN107003739B (zh) 2020-10-27
EP3204837B1 (en) 2018-11-28
EP3204837A1 (en) 2017-08-16

Similar Documents

Publication Publication Date Title
TWI728956B (zh) 銜接系統、頭戴式裝置、銜接方法及電腦程式
EP3138269B1 (en) Wireless communication system.
EP3237991B1 (en) Communication system comprising head wearable devices
US10928896B2 (en) Information processing apparatus and information processing method
JP6610546B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102354763B1 (ko) 주변 기기를 식별하는 전자 기기 및 이의 주변 기기 식별 방법
US10198083B2 (en) Hand gesture recognition method, device, system, and computer storage medium
US20160128124A1 (en) Method and apparatus for connecting peripheral devices
US10591999B2 (en) Hand gesture recognition method, device, system, and computer storage medium
US20170068500A1 (en) Dual Screen Head Mounted Display
WO2014151023A1 (en) Multimedia output and display device selection
RU2681378C1 (ru) Система беспроводной состыковки
WO2018005067A1 (en) Reality to virtual reality portal for dual presence of devices
JP2014002746A (ja) マッピングサーバー及びマッピング方法
KR20140091425A (ko) 이어폰을 이용한 데이터 송수신 디바이스 및 그 제어 방법
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
JP2016177097A5 (zh)
JP2016503993A (ja) モバイルデバイスおよびワイヤレスリンクを確立するための方法
EP3112991A1 (en) Method and apparatus for context based application grouping in virtual reality
US20150351144A1 (en) Wireless transmission apparatus and implementation method thereof
KR20170064417A (ko) 소스 디바이스의 컨텐츠 공유 방법 및 시스템
KR20210064952A (ko) Ar 기반 데이터 전송 장치 및 방법
WO2018179428A1 (ja) コンピュータシステム、設定方法及びプログラム