TW202201269A - 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體 - Google Patents

基於位置的交互方法、交互系統以及電腦可讀取記錄媒體 Download PDF

Info

Publication number
TW202201269A
TW202201269A TW109120472A TW109120472A TW202201269A TW 202201269 A TW202201269 A TW 202201269A TW 109120472 A TW109120472 A TW 109120472A TW 109120472 A TW109120472 A TW 109120472A TW 202201269 A TW202201269 A TW 202201269A
Authority
TW
Taiwan
Prior art keywords
information
control device
location
server
interaction method
Prior art date
Application number
TW109120472A
Other languages
English (en)
Inventor
發明人放棄姓名表示權
林翰霙
鄭朝瀚
Original Assignee
光時代科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 光時代科技有限公司 filed Critical 光時代科技有限公司
Priority to TW109120472A priority Critical patent/TW202201269A/zh
Publication of TW202201269A publication Critical patent/TW202201269A/zh

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供一種基於位置的交互方法包括:控制設備拍攝包括視覺標誌的圖像並通過分析該圖像來獲得在拍攝該圖像時其相對於視覺標誌的位置資訊;所述控制設備向伺服器發送資訊,以使得所述伺服器能夠獲得所述控制設備的位置資訊;所述伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備;所述控制設備將控制操作資訊發送到所述伺服器;以及所述伺服器基於所述控制操作資訊控制所選擇的一個或多個受控設備。

Description

基於位置的交互方法、交互系統以及電腦可讀取記錄媒體
本發明涉及資訊交互技術領域,尤其涉及一種基於設備的位置實現的交互方法、系統以及電腦可讀取記錄媒體。
本部分的陳述僅僅是為了提供與本發明相關的背景資訊,以説明理解本發明,這些背景資訊並不一定構成現有技術。
隨著移動網際網路、物聯網等技術的不斷發展,資訊產業迎來了快速發展,並湧現出了很多具備數位化、網路化、智慧化功能的設備,這些設備可以互相聯網,並且還可以通過網路來對這些設備進行控制。隨著手機等可攜式裝置的普及,越來越多的系統採用手機來説明使用者控制各個設備,這樣只要使用者的手機能夠連接網路,就能隨時隨地地通過網路來控制這些設備。然而,當設備很多時,使用者需要在手機的螢幕上進行流覽和不斷的選擇,這樣的操作非常繁瑣耗時,容易讓用戶產生排斥心理。如果使用物理開關對設備進行控制,則需要複雜的佈線以及額外的硬體,這會引起成本增加。
本發明提出了一種基於位置的交互方法和交互系統,其使得使用者能夠簡單、便捷地對設備執行控制操作。
本發明的一個方面涉及一種基於位置的交互方法,包括:控制設備拍攝包括視覺標誌的圖像並通過分析該圖像來獲得在拍攝該圖像時其相對於視覺標誌的位置資訊;所述控制設備向伺服器發送資訊,以使得所述伺服器能夠獲得所述控制設備的位置資訊;所述伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備;所述控制設備將控制操作資訊發送到所述伺服器;以及所述伺服器基於所述控制操作資訊控制所選擇的一個或多個受控設備。
進一步地,所述與受控設備相關聯的位置資訊包括:所述受控設備的位置資訊;和/或與所述受控設備相關聯的選擇區域的位置資訊。
本發明的一個方面涉及一種基於位置的交互方法,包括:控制設備拍攝包括視覺標誌的圖像並通過分析該圖像來獲得在拍攝該圖像時該控制設備相對於視覺標誌的位置資訊;所述控制設備向伺服器發送資訊,以使得所述伺服器能夠獲得所述控制設備的位置資訊並能夠基於該位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備;以及所述控制設備將控制操作資訊發送到所述伺服器,以控制所選擇的一個或多個受控設備。
進一步地,所述控制設備向所述伺服器發送的資訊包括所述控制設備通過掃描所述視覺標誌而識別的所述視覺標誌的標識資訊。
進一步地,上述交互方法還包括:所述控制設備從所述伺服器接收與待疊加的虛擬物件有關的資訊,該資訊包括所述虛擬物件的空間位置資訊;以及,所述控制設備基於該控制設備位置資訊和姿態資訊以及與待疊加的虛擬物件有關的資訊在該控制設備的顯示媒介上呈現所述虛擬物件。
進一步地,所述虛擬物件用於向所述控制設備的使用者呈現與受控設備有關的資訊。
進一步地,通過改變所述控制設備的位置和/或姿態來產生所述控制操作資訊,或者通過使用所述控制設備對使用者進行手勢識別來產生所述控制操作資訊。
本發明的一個方面涉及一種基於位置的交互方法,包括:伺服器從控制設備接收資訊,其中,所述資訊包括由所述控制設備至少部分地通過拍攝包括視覺標誌的圖像並分析該圖像而獲得的所述控制設備的位置資訊;伺服器基於從所述控制設備接收到的資訊獲得所述控制設備的位置資訊;伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備;以及伺服器從所述控制設備接收控制操作資訊,並基於該控制操作資訊控制所選擇的一個或多個受控設備。
進一步地,所述伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備包括:所述伺服器通過比較所述控制設備的位置和所述受控設備的位置來選擇一個或多個受控設備。
進一步地,所述受控設備具有相關聯的選擇區域,該選擇區域具有位置資訊,以及其中,所述伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備包括:當所述控制設備的位置處於任一選擇區域內時,所述伺服器選擇與該選擇區域相關聯的受控設備。
進一步地,所述受控設備具有相關聯的操作區域,所述操作區域用於限定所述控制設備能夠針對所述受控設備實現控制操作的區域。
進一步地,上述交互方法還包括:所述伺服器向所述控制設備發送與待疊加的虛擬物件有關的資訊,該資訊包括所述虛擬物件的空間位置資訊,所述控制設備能夠基於該控制設備位置資訊和姿態資訊以及與所述待疊加的虛擬物件有關的資訊在該控制設備的顯示媒介上呈現所述虛擬物件。
進一步地,所述伺服器基於從所述控制設備接收的所述視覺標誌的標識資訊和/或所述控制設備的位置資訊,確定所述與待疊加的虛擬物件有關的資訊。
進一步地,所述控制設備的位置資訊包括:所述控制設備相對於所述視覺標誌的位置資訊;和/或基於所述視覺標誌的位置資訊和姿態資訊以及所述控制設備相對於所述視覺標誌的位置資訊而得到的所述控制設備的位置資訊。
進一步地,其中,所述視覺標誌是光通信裝置。
本發明的方面涉及一種控制設備,其被配置用於執行上述的交互方法。
本發明的方面涉及一種伺服器,其被配置用於執行上述的交互方法。
本發明的方面涉及一種基於位置的交互系統,包括一個或多個視覺標誌、如上述所述的控制設備、以及一個或多個受控設備。
本發明的方面涉及一種基於位置的交互系統,如上述所述的伺服器。
本發明的一個方面涉及一種電腦可讀取記錄媒體,其中存儲有電腦程式,在所述電腦程式被處理器執行時,能夠用於實現上述交互方法。
本發明的一個方面涉及一種電子設備,包括處理器和記憶體,所述記憶體中存儲有電腦程式,在所述電腦程式被處理器執行時,能夠用於實現上述交互方法。
為了使本發明的目的、技術方案及優點更加清楚明白,以下結合附圖通過具體實施例對本發明進一步詳細說明。應當理解,此處所描述的具體實施例僅僅用以解釋本發明,並不用於限定本發明。
視覺標誌例如可以是二維碼、條碼等,可以通過成像器件採集視覺標誌的成像並分析該成像來確定成像器件相對於視覺標誌的位置或姿態資訊。一種示例性的視覺標誌是光通信裝置,並且在下文中以光通信裝置為例來描述本發明的實施例,但本領域技術人員可以理解,這並非限制,本申請的方案同樣可以適用於其他視覺標誌。
光通信裝置也稱為光標籤,這兩個術語在本文中可以互換使用。光標籤能夠通過不同的發光方式來傳遞資訊,其具有識別距離遠、可見光條件要求寬鬆的優勢,並且光標籤所傳遞的資訊可以隨時間變化,從而可以提供大的資訊容量和靈活的配置能力。
光標籤中通常可以包括控制器和至少一個光源,該控制器可以通過不同的驅動模式來驅動光源,以向外傳遞不同的資訊。圖1示出了一種示例性的光標籤100,其包括三個光源(分別是第一光源101、第二光源102、第三光源103)。光標籤100還包括控制器(在圖1中未示出),其用於根據要傳遞的資訊為每個光源選擇相應的驅動模式。例如,在不同的驅動模式下,控制器可以使用不同的驅動信號來控制光源的發光方式,從而使得當使用具有成像功能的設備拍攝光標籤100時,其中的光源的圖像可以呈現出不同的外觀(例如,不同的顏色、圖案、亮度、等等)。通過分析光標籤100中的光源的成像,可以解析出各個光源此刻的驅動模式,從而解析出光標籤100此刻傳遞的資訊。可以理解,圖1所示的光標籤僅僅用作示例,光標籤可以具有與圖1所示的示例不同的形狀,並且可以具有與圖1所示的示例不同數量和/或不同形狀的光源。
為了基於光標籤向使用者提供相應的服務,每個光標籤可以被分配一個標識資訊(ID),該標識資訊用於由光標籤的製造者、管理者或使用者等唯一地識別或標識光標籤。通常,可由光標籤中的控制器驅動光源以向外傳遞該標識資訊,而使用者可以使用設備對光標籤進行圖像採集來獲得該光標籤傳遞的標識資訊,從而可以基於該標識資訊來訪問相應的服務,例如,訪問與光標籤的標識資訊相關聯的網頁、獲取與標識資訊相關聯的其他資訊(例如,與該標識資訊對應的光標籤的位置資訊)、等等。設備可以通過其上的攝像頭對光標籤進行連續的圖像採集來獲得包含光標籤的多張圖像,並通過內置的應用程式來分析每張圖像中的光標籤(或光標籤中的各個光源)的成像以識別出光標籤傳遞的資訊。
光標籤可以安裝於固定的位置,並可以將光標籤的標識資訊(ID)以及任何其他資訊(例如位置資訊)存儲於伺服器中。在現實中,可以將大量的光標籤構建成一個光標籤網路。圖2示出了一種示例性的光標籤網路,該光標籤網路包括多個光標籤和至少一個伺服器,其中,與每個光標籤相關的資訊可保存在伺服器上。例如,可以在伺服器上保存每個光標籤的標識資訊(ID)或任何其他資訊,例如與該光標籤相關的服務資訊、與該光標籤相關的描述資訊或屬性,如光標籤的位置資訊、物理尺寸資訊、物理形狀資訊、姿態或朝向資訊等。設備可以使用識別出的光標籤的標識資訊來從伺服器查詢獲得與該光標籤有關的其他資訊。光標籤的位置資訊可以是指該光標籤在物理世界中的實際位置,其可以通過地理座標資訊來指示。伺服器可以是在計算裝置上運行的軟體程式、一台計算裝置或者由多台計算裝置構成的集群。光標籤可以是離線的,也即,光標籤不需要與伺服器進行通信。當然,可以理解,能夠與伺服器進行通信的線上光標籤也是可行的。
可以將光標籤作為錨點,來確定設備的位置,並基於設備的位置來實現與其他設備的交互操作。圖3示出了一個示例性的交互場景,其例如可以是在一個餐廳中。該場景中包括攜帶手機的用戶、安裝於餐廳中的光標籤、以及佈置於餐廳中的多個燈,每個燈主要用於給位於其下方的餐桌照明。當用戶就餐時,可能希望能夠自己調節其餐桌上方的燈的亮度、色溫等。通過採用本發明的方案,用戶可以通過光標籤來確定其所攜帶的設備(例如,手機)的位置,並基於該位置實現對其他設備(例如,餐廳中的燈)的控制。
下文將描述根據本發明的實施例的基於位置的交互方法。為便於說明,在本文中將用戶攜帶的能夠用於實現控制功能的設備(例如,手機、智慧眼鏡、平板電腦、智慧頭盔、智慧手錶等)稱為控制設備,該控制設備具有成像器件,並將使用者希望控制的設備(例如,燈、電視、空調、音樂播放設備等)稱為受控設備。
圖4示出了根據本申請的一個實施例的基於位置的交互方法,包括如下步驟:
步驟401:控制設備通過拍攝包括光標籤的圖像並分析該圖像來獲得在拍攝該圖像時其相對於光標籤的位置資訊。
控制設備相對於光標籤的位置資訊可以包括控制設備相對於光標籤的距離資訊和方向資訊。在一個實施例中,控制設備可以通過圖像中的光標籤成像大小和光標籤的實際物理尺寸資訊以及可選的其他資訊(例如,控制設備的成像器件的內參資訊)來確定光標籤與控制設備的相對距離(成像越大,距離越近;成像越小,距離越遠)。控制設備可以通過圖像中的光標籤成像的透視變形以及可選的其他資訊(例如,光標籤的成像位置)來確定控制設備相對於光標籤的方向資訊。
在一個實施例中,也可以以如下方式來確定控制設備相對於光標籤的位置資訊和姿態資訊(可以統稱為位姿資訊)。具體地,可以根據光標籤建立一個坐標系,該坐標系可以被稱為光標籤坐標系。可以將光標籤上的一些點確定為在光標籤坐標系中的一些空間點,並且可以根據光標籤的物理尺寸資訊和/或物理形狀資訊來確定這些空間點在光標籤坐標系中的座標。光標籤上的一些點例如可以是光標籤的外殼的角、光標籤中的光源的端部、光標籤中的一些標識點、等等。根據光標籤的物體結構特徵或幾何結構特徵,可以在控制設備拍攝的圖像中找到與這些空間點分別對應的像點,並確定各個像點在圖像中的位置。根據各個空間點在光標籤坐標系中的座標以及對應的各個像點在圖像中的位置,結合控制設備的成像器件的內參資訊,可以計算得到拍攝該圖像時控制設備在光標籤坐標系中的位姿資訊(R,t),其中R為旋轉矩陣,其可以用於表示控制設備在光標籤坐標系中的姿態資訊,t為位移向量,其可以用於表示控制設備在光標籤坐標系中的位置資訊。計算R、t的方法在現有技術中是已知的,例如,可以利用3D-2D的PnP(Perspective-n-Point)方法來計算R、t,為了不模糊本發明,在此不再詳細介紹。
控制設備可以以各種方式來獲得光標籤的實際物理尺寸資訊和/或物理形狀資訊。例如,在一些應用場景中,光標籤具有固定的規格或型號,如此,控制設備可以預先知悉光標籤的物理尺寸資訊和/或物理形狀資訊。在一些應用場景中,控制設備可以通過識別光標籤傳遞的資訊,來獲得光標籤的物理尺寸資訊和/或物理形狀資訊。控制設備可以直接獲得光標籤的物理尺寸資訊和/或物理形狀資訊,也可以獲得光標籤的其他資訊(例如,標識資訊、規格資訊或型號資訊),並使用該其他資訊通過查詢或分析來確定光標籤的物理尺寸資訊和/或物理形狀資訊。
步驟402:控制設備向伺服器發送資訊,以使得伺服器能夠獲得控制設備的位置資訊。
在一個實施例中,控制設備向伺服器發送的資訊中可以包括控制設備相對於光標籤的位置資訊。在一個實施例中,控制設備向伺服器發送的資訊中可以包括控制設備在某個物理坐標系下的位置資訊,該物理坐標系例如可以是場所坐標系(例如,針對某個房間、建築物、園區等建立的坐標系)或者世界坐標系。在這種情況下,光標籤可以具有在該物理坐標系下的位置資訊和姿態資訊,其可以被提前標定和存儲。通過控制設備相對於光標籤的位置資訊以及光標籤本身在某個物理坐標系下的位置資訊和姿態資訊,可以確定控制設備在該物理坐標系下的位置資訊。在一個實施例中,控制設備可以識別光標籤傳遞的資訊(例如標識資訊),並使用該資訊來獲得(例如通過查詢)光標籤在某個物理坐標系下的位置資訊和姿態資訊。
在一些實施例中,控制設備向伺服器發送的資訊可以包括通過分析光標籤的成像而獲得的相對於光標籤的位置資訊。在一些實施例中,控制設備向伺服器發送的資訊還可以包括使用控制設備內部的感測器(例如,加速度感測器、陀螺儀、視覺里程計等)通過跟蹤控制設備的位置變化而獲得的資訊。在一些實施例中,控制設備在通過分析光標籤的成像而獲得其相對於光標籤的位置資訊後,可以跟蹤其位置變化,並根據該位置變化更新其位置資訊。該更新的位置資訊可以定期地或即時地被發送給伺服器。
控制設備向伺服器發送的資訊還包括其通過掃描光標籤而識別的該光標籤的標識資訊,這在存在多個光標籤的情況下是非常有利的。
伺服器所獲得的控制設備的位置資訊可以是控制設備相對於光標籤的位置資訊,也可以是控制設備在某個物理坐標系下的位置資訊。
步驟403:伺服器基於控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備。
當伺服器獲得了控制設備的位置資訊之後,其可以使用該位置資訊以及與受控設備相關聯的位置資訊來選擇受控設備。與受控設備相關聯的位置資訊例如可以是受控設備本身的位置資訊,也可以是與受控設備相關聯的其他位置資訊(例如,與受控設備相關聯的一個選擇區域的位置資訊),這些位置資訊都可以是相對於光標籤的位置資訊,也可以是在某個物理坐標系下的位置資訊。在一些實施例中,在伺服器處可以預先存儲各個受控設備的位置資訊,並可以通過比較控制設備的位置和受控設備的位置來選擇受控設備。例如,伺服器可以選擇與控制設備最接近的一個受控設備,或者,伺服器可以選擇與控制設備的距離在預定閾值範圍內的一個或多個受控設備。在一些實施例中,伺服器可以為受控設備設置一個相關聯的選擇區域(例如,對於餐廳中的每個燈,伺服器可以將燈下的某個立體區域設置為選擇區域),該選擇區域具有相應的位置資訊,當控制設備的位置在該選擇區域內時,伺服器可以選擇與該選擇區域相關聯的受控設備,從而使得控制設備可以控制該受控設備。
步驟404:控制設備將控制操作資訊發送到伺服器。
控制設備可以使用各種方式來產生控制操作資訊。在一些實施例中,可以在控制設備的顯示媒介上呈現一個多個虛擬按鈕,控制設備的使用者可以通過操作這些虛擬按鈕來產生控制操作資訊。在一些實施例中,控制設備的使用者可以通過改變控制設備的位置和/或姿態來產生控制操作資訊,例如,向上移動控制設備表示調高燈的亮度,向下移動控制設備表示調低燈的亮度。可以通過使用控制設備拍攝並分析包括光標籤的圖像來確定控制設備的位置和/或姿態變化,也可以通過使用控制設備內部的感測器來跟蹤控制設備的位置和/或姿態變化。在一些實施例中,可以通過控制設備對使用者進行手勢識別來產生相應的控制操作資訊,這種方式特別適合於諸如智慧眼鏡或智慧頭盔之類的控制設備。
在一些實施例中,受控設備可以具有相關聯的操作區域,該操作區域用於限定控制設備能夠針對受控設備實現控制操作的區域。例如,當使用者使用控制設備在該操作區域中進行相應的操作時,或者使用者在該操作區域中做出相應的手勢時,才會產生針對受控設備的控制操作資訊。受控設備的選擇區域和操作區域可以相同或不同。
步驟405:伺服器基於所述控制操作資訊控制所選擇的一個或多個受控設備。
在伺服器接收到來自控制設備的控制操作資訊之後,可以基於該控制操作資訊對所選擇的一個或多個受控設備進行相應的控制。
根據本申請的一個實施例的在控制設備處執行的基於位置的交互方法包括:
控制設備通過拍攝包括光標籤的圖像並分析該圖像來獲得在拍攝該圖像時其相對於光標籤的位置資訊;
控制設備向伺服器發送資訊,以使得伺服器能夠獲得控制設備的位置資訊,並能夠基於控制設備的位置資訊以及與受控設備相關聯的位置資訊選擇一個或多個受控設備;以及
控制設備將控制操作資訊發送到伺服器,以控制所選擇的一個或多個受控設備。
根據本申請的一個實施例的在伺服器處執行的基於位置的交互方法包括:
伺服器從控制設備接收資訊,其中,所述資訊包括由控制設備至少部分地通過拍攝包括光標籤的圖像並分析該圖像而獲得的控制設備的位置資訊,該位置資訊可以是在拍攝該圖像時控制設備的位置資訊,也可以是在拍攝圖像之後進一步通過跟蹤控制設備的位置變化而獲得的新的位置資訊。
伺服器基於所述資訊獲得控制設備的位置資訊;
伺服器基於控制設備的位置資訊以及與受控設備相關聯的位置資訊選擇一個或多個受控設備;以及
伺服器從控制設備接收控制操作資訊,並基於其控制所選擇的一個或多個受控設備。
在一些實施例中,伺服器在選擇了一個或多個受控設備之後,可以通知控制設備,以便讓控制設備的使用者知悉其當前能夠對受控設備進行控制或者能夠對哪個或哪些受控設備進行控制。
在一些實施例中,為了使得控制設備的使用者能夠理解受控設備的操作方式或操作功能,可以在控制設備的顯示媒介上呈現一些與受控設備的操作有關的資訊(例如,文字、圖示或動畫形式的資訊),例如操作按鈕、操作提示資訊等。伺服器可以基於所選擇的受控設備來將與該受控設備有關的資訊發送給控制設備。例如,當控制設備是手機時,可以在手機的顯示媒介上顯示一些按鈕,使得使用者可以通過操作這些按鈕來對受控設備進行操作。當控制設備是智慧眼鏡時,可以在智慧眼鏡的顯示媒介上顯示一些按鈕,使得使用者可以例如通過手勢來對受控設備進行操作。圖5示出了根據一個實施例的在智慧眼鏡的顯示媒介上顯示的操作按鈕,該操作按鈕可以例如用於控制音樂播放設備,佩戴智慧眼鏡的用戶可以通過手勢來對這些操作按鈕進行操作。
在一些實施例中,控制設備還可以通過拍攝包括光標籤的圖像並分析該圖像來確定其相對於光標籤的姿態資訊,並可以根據控制設備的位置資訊和姿態資訊通過增強現實(AR)技術在控制設備的顯示媒介所呈現的現實場景中疊加虛擬物件,該虛擬物件可以用於向控制設備的使用者呈現與受控設備有關的資訊,例如操作按鈕、操作提示資訊等,以説明使用者進行對受控設備的操作。虛擬物件例如可以是圖示、圖片、文字、表情符號、虛擬的操作鍵、虛擬的三維物體、一段動畫、一段視頻、等等。
圖6示出了根據一個實施例的基於光標籤在現實場景中疊加虛擬物件的方法,該方法包括如下步驟:
步驟601:控制設備從伺服器接收與待疊加的虛擬物件有關的資訊,該資訊包括虛擬物件的空間位置資訊。
在一些實施例中,控制設備可以在識別出光標籤的標識資訊之後,使用該標識資訊以及可選的其他資訊(例如控制設備的位置資訊和/或姿態資訊)向伺服器發出查詢請求。在伺服器處可以預先存儲與該光標籤相關的資訊,其例如可以包括光標籤的標識資訊、與該光標籤相關聯的一個或多個虛擬物件的相關資訊等。虛擬物件可以具有相關聯的空間位置資訊,其例如可以是相對於光標籤的空間位置資訊,用於指示虛擬物件的疊加位置。設備通過向伺服器發出查詢請求,可以獲得要在控制設備當前呈現的現實場景中疊加的虛擬物件的相關資訊。
在一些實施例中,控制設備可以使用其位置資訊以及可選的其他資訊(例如,控制設備的姿態資訊、光標籤的標識資訊)向伺服器發出查詢請求,以查詢要疊加的虛擬物件的相關資訊。
步驟602:控制設備基於其位置資訊和姿態資訊以及與待疊加的虛擬物件有關的資訊在其顯示媒介上呈現所述虛擬物件。
控制設備可以通過分析其拍攝的包含光標籤的圖像來確定其相對於光標籤的姿態資訊,該姿態資訊可以用於確定控制設備拍攝的現實場景的範圍或邊界。例如,控制設備可以根據光標籤的成像來確定其相對於光標籤的姿態資訊,當光標籤的成像位置或成像區域位於控制設備成像視野的中心時,可以認為控制設備當前正對著光標籤。在確定控制設備的姿態時可以進一步考慮光標籤的成像的方向。隨著控制設備的姿態發生改變,光標籤在控制設備上的成像位置和/或成像方向會發生相應的改變,因此,可以根據光標籤在控制設備上的成像來獲得控制設備相對於光標籤的姿態資訊。在一些實施例中,也可以使用上文提到的確定控制設備在光標籤坐標系中的位姿資訊(R,t)的方法。
虛擬物件的空間位置資訊可以體現待疊加的虛擬物件相對於光標籤的位置資訊。由於控制設備和待疊加的虛擬物件均具有相對於光標籤的位置資訊,因此,可以基於虛擬物件的空間位置資訊和控制設備相對於光標籤的位置資訊來確定待疊加的虛擬物件相對於控制設備的位置資訊。在上述基礎上,可以基於控制設備的姿態資訊在現實場景中疊加該虛擬物件。例如,可以基於控制設備和待疊加的虛擬物件的相對距離來確定待疊加的虛擬物件的成像大小,可以基於控制設備和待疊加的虛擬物件的相對方向和控制設備的姿態資訊來確定待疊加的虛擬物件在設備上的成像位置。基於該成像位置和成像大小,可以在現實場景中實現虛擬物件的準確疊加。如此,光標籤實際上被用作了錨點,基於該錨點,實現了虛擬物件在現實場景中的精確疊加。
在疊加了虛擬物件之後,控制設備可能會發生平移和/或旋轉,在這種情況下,可以使用本領域已知的方法(例如,諸如手機之類的終端設備可使用其內置的加速度感測器、陀螺儀、視覺里程計等)來跟蹤其位置變化和姿態變化,從而對虛擬物件的顯示進行調整。
圖7示出了根據一個實施例的在使用者的控制設備的顯示媒介(例如手機的螢幕)所呈現的現實場景中疊加的虛擬物件。現實場景是通過控制設備的成像器件拍攝到的,其中包括一個燈。虛擬物件的空間位置資訊被設定為位於燈的下方,其中包括一個圓柱體、一個向上的箭頭、一個向下的箭頭、以及文字說明“調亮燈光”和“調暗燈光”,這些虛擬物件是通過增強現實技術呈現的,在現實場景中並不存在。圖7中示出的圓柱體用於向控制設備的使用者呈現燈的操作區域,其是一個立體的圓柱體區域,用於向使用者指示在該區域中可以對燈進行操作。圖7中的箭頭和文字說明一起向控制設備的使用者提示如何進行控制操作,例如,向上移動控制設備或向上的手勢表示調亮燈光,向下移動控制設備或者向下的手勢表示調暗燈光。如此,控制設備的使用者可以清楚地知道如何對燈進行控制,從而便於用戶操作,改善了用戶的使用體驗。
本文中提到的控制設備可以是使用者攜帶的設備(例如,手機、平板電腦、智慧眼鏡、智慧頭盔、智慧手錶、等等),其上可以安裝有圖像採集器件(例如攝像頭)和顯示媒介(例如顯示幕)。
在本發明的一個實施例中,可以以電腦程式的形式來實現本發明。電腦程式可以存儲於各種電腦可讀取記錄媒體(例如,硬碟、光碟、快閃記憶體等)中,當該電腦程式被處理器執行時,能夠用於實現本發明的方法。
在本發明的另一個實施例中,可以以電子設備的形式來實現本發明。該電子設備包括處理器和記憶體,在記憶體中存儲有電腦程式,當該電腦程式被處理器執行時,能夠用於實現本發明的方法。
本文中針對“各個實施例”、“一些實施例”、“一個實施例”、或“實施例”等的參考指代的是結合所述實施例所描述的特定特徵、結構、或性質包括在至少一個實施例中。因此,短語“在各個實施例中”、“在一些實施例中”、“在一個實施例中”、或“在實施例中”等在整個本文中各處的出現並非必須指代相同的實施例。此外,特定特徵、結構、或性質可以在一個或多個實施例中以任何合適方式組合。因此,結合一個實施例中所示出或描述的特定特徵、結構或性質可以整體地或部分地與一個或多個其他實施例的特徵、結構、或性質無限制地組合,只要該組合不是非邏輯性的或不能工作。本文中出現的類似於“根據A”、“基於A”、“通過A”或“使用A”的表述意指非排他性的,也即,“根據A”可以涵蓋“僅僅根據A”,也可以涵蓋“根據A和B”,除非特別聲明或者根據上下文明確可知其含義為“僅僅根據A”。在本申請中為了清楚說明,以一定的順序描述了一些示意性的操作步驟,但本領域技術人員可以理解,這些操作步驟中的每一個並非是必不可少的,其中的一些步驟可以被省略或者被其他步驟替代。這些操作步驟也並非必須以所示的方式依次執行,相反,這些操作步驟中的一些可以根據實際需要以不同的循序執行,或者並存執行,只要新的執行方式不是不符合邏輯的或不能工作。
由此描述了本發明的至少一個實施例的幾個方面,可以理解,對本領域技術人員來說容易地進行各種改變、修改和改進。這種改變、修改和改進意於在本發明的精神和範圍內。雖然本發明已經通過優選實施例進行了描述,然而本發明並非局限於這裡所描述的實施例,在不脫離本發明範圍的情況下還包括所作出的各種改變以及變化。
100:光標籤 101:第一光源 102:第二光源 103:第三光源 401-405:步驟 601-602:步驟
圖1,為本發明一種示例性的光標籤。
圖2,為本發明一種示例性的光標籤網路。
圖3,為本發明一個示例性的交互場景。
圖4,為本發明一個實施例的基於位置的交互方法。
圖5,為本發明一個實施例的在智慧眼鏡的顯示媒介上顯示的操作按鈕。
圖6,為本發明一個實施例的基於光標籤在現實場景中疊加虛擬物件的方法。
圖7,為本發明一個實施例的在使用者的控制設備的顯示媒介所呈現的現實場景中疊加的虛擬物件。
401-405:步驟

Claims (22)

  1. 一種基於位置的交互方法,包括: 控制設備拍攝包括視覺標誌的圖像並通過分析該圖像來獲得在拍攝該圖像時該控制設備相對於視覺標誌的位置資訊; 所述控制設備向伺服器發送資訊,以使得所述伺服器能夠獲得所述控制設備的位置資訊; 所述伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備; 所述控制設備將控制操作資訊發送到所述伺服器;以及 所述伺服器基於所述控制操作資訊控制所選擇的一個或多個受控設備。
  2. 如申請專利範圍第1項所述基於位置的交互方法,其中,所述與受控設備相關聯的位置資訊包括: 所述受控設備的位置資訊;和/或 與所述受控設備相關聯的選擇區域的位置資訊。
  3. 一種基於位置的交互方法,包括: 控制設備拍攝包括視覺標誌的圖像並通過分析該圖像來獲得在拍攝該圖像時該控制設備相對於視覺標誌的位置資訊; 所述控制設備向伺服器發送資訊,以使得所述伺服器能夠獲得所述控制設備的位置資訊並能夠基於該位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備;以及 所述控制設備將控制操作資訊發送到所述伺服器,以控制所選擇的一個或多個受控設備。
  4. 如申請專利範圍第3項所述的基於位置的交互方法,其中,所述控制設備向所述伺服器發送的資訊包括所述控制設備通過掃描所述視覺標誌而識別的所述視覺標誌的標識資訊。
  5. 如申請專利範圍第3項所述的基於位置的交互方法,還包括: 所述控制設備從所述伺服器接收與待疊加的虛擬物件有關的資訊,該資訊包括所述虛擬物件的空間位置資訊;以及 所述控制設備基於該控制設備位置資訊和姿態資訊以及與待疊加的虛擬物件有關的資訊在該控制設備的顯示媒介上呈現所述虛擬物件。
  6. 如申請專利範圍第5項所述的基於位置的交互方法,其中,所述虛擬物件用於向所述控制設備的使用者呈現與受控設備有關的資訊。
  7. 如申請專利範圍第3項所述的基於位置的交互方法,其中,通過改變所述控制設備的位置和/或姿態來產生所述控制操作資訊,或者通過使用所述控制設備對使用者進行手勢識別來產生所述控制操作資訊。
  8. 一種基於位置的交互方法,包括: 伺服器從控制設備接收資訊,其中,所述資訊包括由所述控制設備至少部分地通過拍攝包括視覺標誌的圖像並分析該圖像而獲得的所述控制設備的位置資訊; 伺服器基於從所述控制設備接收到的資訊獲得所述控制設備的位置資訊; 伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備;以及 伺服器從所述控制設備接收控制操作資訊,並基於該控制操作資訊控制所選擇的一個或多個受控設備。
  9. 如申請專利範圍第8項所述的基於位置的交互方法,其中,所述伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備包括: 所述伺服器通過比較所述控制設備的位置和所述受控設備的位置來選擇一個或多個受控設備。
  10. 如申請專利範圍第8項所述的基於位置的交互方法,其中,所述受控設備具有相關聯的選擇區域,該選擇區域具有位置資訊,以及其中,所述伺服器基於所述控制設備的位置資訊以及與受控設備相關聯的位置資訊來選擇一個或多個受控設備包括: 當所述控制設備的位置處於任一選擇區域內時,所述伺服器選擇與該選擇區域相關聯的受控設備。
  11. 如申請專利範圍第8項所述的基於位置的交互方法,其中,所述受控設備具有相關聯的操作區域,所述操作區域用於限定所述控制設備能夠針對所述受控設備實現控制操作的區域。
  12. 如申請專利範圍第8項所述的基於位置的交互方法,還包括:所述伺服器向所述控制設備發送與待疊加的虛擬物件有關的資訊,該資訊包括所述虛擬物件的空間位置資訊,其中,所述控制設備能夠基於該控制設備位置資訊和姿態資訊以及與所述待疊加的虛擬物件有關的資訊在該控制設備的顯示媒介上呈現所述虛擬物件。
  13. 如申請專利範圍第12項所述的基於位置的交互方法,其中,所述伺服器基於從所述控制設備接收的所述視覺標誌的標識資訊和/或所述控制設備的位置資訊,確定所述與待疊加的虛擬物件有關的資訊。
  14. 如申請專利範圍第12項所述的基於位置的交互方法,其中,所述伺服器基於從所述控制設備接收的所述控制設備的位置資訊和姿態資訊,確定所述與待疊加的虛擬物件有關的資訊。
  15. 如申請專利範圍第8項所述的基於位置的交互方法,其中,所述控制設備的位置資訊包括: 所述控制設備相對於所述視覺標誌的位置資訊;和/或 基於所述視覺標誌的位置資訊和姿態資訊以及所述控制設備相對於所述視覺標誌的位置資訊而得到的所述控制設備的位置資訊。
  16. 如申請專利範圍第8項所述的基於位置的交互方法,其中,所述視覺標誌是光通信裝置。
  17. 一種控制設備,其被配置用於執行如請求項3-7中任一項所述的交互方法。
  18. 一種伺服器,其被配置用於執行如請求項8-16中任一項所述的交互方法。
  19. 一種基於位置的交互系統,包括一個或多個視覺標誌、如申請專利範圍第17項所述的控制設備、以及一個或多個受控設備。
  20. 一種基於位置的交互系統,包括如申請專利範圍第18項所述的伺服器。
  21. 一種電腦可讀取記錄媒體,其中存儲有電腦程式,在所述電腦程式被處理器執行時,能夠用於實現如申請專利範圍第1-16項中任一項所述的交互方法。
  22. 一種電子設備,包括處理器和記憶體,所述記憶體中存儲有電腦程式,在所述電腦程式被處理器執行時,能夠用於實現如申請專利範圍第1-16項中任一項所述的交互方法。
TW109120472A 2020-06-17 2020-06-17 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體 TW202201269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109120472A TW202201269A (zh) 2020-06-17 2020-06-17 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109120472A TW202201269A (zh) 2020-06-17 2020-06-17 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體

Publications (1)

Publication Number Publication Date
TW202201269A true TW202201269A (zh) 2022-01-01

Family

ID=80787957

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109120472A TW202201269A (zh) 2020-06-17 2020-06-17 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體

Country Status (1)

Country Link
TW (1) TW202201269A (zh)

Similar Documents

Publication Publication Date Title
US11054918B2 (en) Position-based location indication and device control
US20210383551A1 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
JP4491495B2 (ja) ポインティングデバイスに基づくユーザインターフェイスシステム
US8890895B2 (en) User interface device, user interface method and information storage medium
US9870058B2 (en) Control of a real world object user interface
CN113728293B (zh) 用于基于位所的设备控制的系统和界面
US11082249B2 (en) Location determination for device control and configuration
JP2009134718A5 (zh)
US10868977B2 (en) Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information
US10701661B1 (en) Location determination for device control and configuration
WO2019214641A1 (zh) 基于光标签的信息设备交互方法及系统
WO2020244577A1 (zh) 一种基于位置的交互方法和交互系统
WO2021093703A1 (zh) 基于光通信装置的交互方法和系统
JP2012156836A (ja) リモコン装置及びプログラム
JP2012156834A (ja) リモコン装置及びプログラム
KR20200101865A (ko) 물리적 엔티티들의 가상 표현에 기초하여 물리적 엔티티들을 동작시키기 위한 시스템 및 방법
TW202201269A (zh) 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體
TWI766258B (zh) 用於選擇在設備的顯示媒介上的交互物件的方法
JP2012156835A (ja) リモコン装置及びプログラム
CN115997388A (zh) 信息处理终端、远程控制方法以及程序
US11556308B2 (en) Information processing system, information processing apparatus including circuitry to store position information of users present in a space and control environment effect production, information processing method, and room
TWI759764B (zh) 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體
WO2021044851A1 (ja) 情報処理装置、及び情報処理方法
WO2020244576A1 (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
JP2023089686A (ja) 情報表示システム、情報表示方法、情報処理装置、情報処理端末及びプログラム