TW202223749A - 用於獲得場景中的設備或其使用者的標識資訊的方法和系統 - Google Patents

Abstract

提供了一種用於獲得場景中的設備或其使用者的標識資訊的方法和系統，所述場景中部署有一個或多個感測器和一個或多個視覺標誌，所述感測器能夠用於感測或確定所述場景中的設備或使用者的位置資訊，所述方法包括：接收由設備發送的資訊，該資訊中包括所述設備或其使用者的標識資訊以及所述設備的空間位置資訊，其中，所述設備通過掃描所述視覺標誌來確定其空間位置資訊；基於所述設備的空間位置資訊識別出在所述感測器的感測範圍內的所述設備或其使用者；以及將所述設備或其使用者的標識資訊關聯到在所述感測器的感測範圍內的所述設備或其使用者，以便向所述設備或其使用者提供服務。

Description

用於獲得場景中的設備或其使用者的標識資訊的方法和系統

本發明涉及資訊交互領域，尤其涉及一種用於獲得場景中的設備或其使用者的標識資訊的方法和系統。

本部分的陳述僅僅是為了提供與本申請的技術方案有關的背景資訊，以説明理解，其對於本申請的技術方案而言並不一定構成現有技術。

在許多場景中，基於安全、監控、公共服務等需要，會在場景中部署攝像頭、雷達等感測器，以對場景中出現的人員或設備進行感測、定位、跟蹤等。然而，這些感測器雖然能夠感測到場景中存在的人員或設備的位置或移動，但並不能獲得這些人員或設備的標識資訊，因此，這使得難以為這些人員或設備提供服務。儘管可以使用人臉識別技術來識別人員資訊，但這會涉及侵犯用戶隱私，可能存在法律風險。另外，這些感測器通常僅能實現單向的資訊傳輸（也即，採集場景中的相關資訊），並不能基於這些資訊（例如，使用者的即時位置資訊）向場景中的使用者提供資訊，例如導航資訊、指示資訊、商業推廣資訊等。在現有技術中，為了向場景中的使用者提供服務，通常採用現場人工服務的方式，這需要在場所中以一定的密度設置一些諮詢台並安排服務人員，這種方式成本較高並且靈活度低。

本發明的一個方面涉及一種用於獲得場景中的設備或其使用者的標識資訊的方法，所述場景中部署有一個或多個感測器和一個或多個視覺標誌，所述感測器能夠用於感測或確定所述場景中的設備或使用者的位置資訊，所述方法包括：接收由設備發送的資訊，該資訊中包括所述設備或其使用者的標識資訊以及所述設備的空間位置資訊，其中，所述設備通過掃描所述視覺標誌來確定其空間位置資訊；基於所述設備的空間位置資訊識別出在所述感測器的感測範圍內的所述設備或其使用者；以及將所述設備或其使用者的標識資訊關聯到在所述感測器的感測範圍內的所述設備或其使用者，以便向所述設備或其使用者提供服務。

本發明的另一個方面涉及一種用於獲得場景中的設備或其使用者的標識資訊的系統，所述系統包括：部署於所述場景中的一個或多個感測器，所述感測器能夠用於感測或確定所述場景中的設備或使用者的位置資訊；部署於所述場景中的一個或多個視覺標誌；以及伺服器，其被配置用於實現本申請的實施例所描述的方法。

本發明的另一個方面涉及一種儲存介質，其中儲存有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現本申請的實施例所描述的方法。

本發明的另一個方面涉及一種電子設備，包括處理器和記憶體，所述記憶體中儲存有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現本申請的實施例所描述的方法。

通過本發明的方案，不僅能夠感測場景中存在的人員或設備的位置或移動，還可以獲得這些人員或設備的標識資訊，並通過該標識資訊為相應的人員或設備提供服務。另外，在一些實施例中，不僅能夠採集或監視場景中使用者的位置資訊，而且可以基於使用者的即時位置資訊向使用者提供資訊，例如導航資訊、指示資訊、商業推廣資訊等。

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖通過具體實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。

視覺標誌是指能夠被人眼或者電子設備識別的標誌，其可以具有各種各樣的形式。在一些實施例中，視覺標誌可以用於傳遞資訊，該資訊能夠被智慧設備（例如手機、智慧眼鏡等）獲得。例如，視覺標誌可以是能夠發出編碼的光資訊的光通信裝置，或者視覺標誌可以是帶編碼資訊的圖形，例如二維碼（例如QR碼、小程式碼）、條碼等。圖1示出了一種示例性的視覺標誌，其具有特定的黑白圖案。圖2示出了一種可以作為視覺標誌的光通信裝置100，其包括三個光源（分別是第一光源101、第二光源102、第三光源103）。光通信裝置100還包括控制器（在圖2中未示出），其用於根據要傳遞的資訊為每個光源選擇相應的驅動模式。例如，在不同的驅動模式下，控制器可以使用不同的驅動信號來控制光源的發光方式，從而使得當使用具有成像功能的設備拍攝光通信裝置100時，其中的光源的成像可以呈現出不同的外觀（例如，不同的顏色、圖案、亮度、等等）。通過分析光通信裝置100中的光源的成像，可以解析出各個光源此刻的驅動模式，從而解析出光通信裝置100此刻傳遞的資訊。

為了基於視覺標誌向使用者提供相應的服務，每個視覺標誌可以被分配一個標識資訊（ID），該標識資訊用於由視覺標誌的製造者、管理者或使用者等唯一地識別或標識視覺標誌。使用者可以使用設備對視覺標誌進行圖像採集來獲得該視覺標誌傳遞的標識資訊，從而可以基於該標識資訊來訪問相應的服務，例如，訪問與標識資訊相關聯的網頁、獲取與標識資訊相關聯的其他資訊（例如，與該標識資訊對應的視覺標誌的位置或姿態資訊）等等。本文提到的設備例如可以是使用者攜帶或控制的設備（例如，手機、平板電腦、智慧眼鏡、AR眼鏡、智慧頭盔、智慧手錶、汽車等等），也可以是能夠自主移動的機器（例如，無人機、無人駕駛汽車、機器人等等）。設備可以通過其上的圖像採集器件對視覺標誌進行圖像採集來獲得包含視覺標誌的圖像，並可以通過分析圖像中的視覺標誌的成像來識別出視覺標誌傳遞的資訊以及確定設備相對於視覺標誌的位置或姿態資訊。

能夠感測目標位置的感測器可以是各種能夠用於感測或確定場景中的目標的位置資訊的感測器，例如攝像頭、雷達（例如雷射雷達、毫米波雷達）、無線信號收發器、等等。場景中的目標可以是場景中的人或物體。在下文的實施例中，以攝像頭作為感測器的示例進行描述。

圖3示出了根據一個實施例的用於獲得場景中的設備或其使用者的標識資訊的系統，該系統可以用於通過設備向場景中的使用者提供服務或資訊。該系統包括視覺標誌301、攝像頭302以及伺服器（圖3中未示出）。使用者303位於場景中，並且攜帶有設備304。設備304上具有圖像採集器件並能夠通過圖像採集器件識別視覺標誌301。在一個實施例中，設備304可以是使用者攜帶的手機。在一個實施例中，設備304可以是使用者佩戴的眼鏡。眼鏡本身可以具備直接接入網路的能力，其例如可以通過wifi、電信網路等方式來接入網路。眼鏡也可以不具備直接接入網路的能力，而是可以通過其與使用者的其他設備（例如手機、手錶等）之間的連接（例如藍牙連接或有線連接）來間接地接入網路。

視覺標誌301和攝像頭302各自以特定的位置和姿態（下文中可以統稱為“位姿”）安裝於現實場景中。在一個實施例中，伺服器可以獲得攝像頭和視覺標誌各自的位姿資訊，並且可以基於攝像頭和視覺標誌各自的位姿資訊得到攝像頭和視覺標誌之間的相對位姿資訊。在一個實施例中，伺服器也可以直接得到攝像頭和視覺標誌之間的相對位姿資訊。如此，伺服器可以獲得攝像頭座標系和視覺標誌座標系之間的變換矩陣，該變換矩陣例如可以包括兩個座標系之間的旋轉矩陣R和位移向量t。通過攝像頭座標系和視覺標誌座標系之間的變換矩陣，可以將一個座標系中的座標轉換為另一個座標系中的座標。攝像頭可以是安裝於固定位置並且具有固定朝向的攝像頭，但可以理解，攝像頭也可以是可移動（例如，可以改變位置或調整方向）的攝像頭，只要能夠確定其當前位姿資訊即可。可以由伺服器設置攝像頭的當前位姿資訊，並基於該位姿資訊控制攝像頭的移動，也可以由攝像頭本身或者其他裝置來控制攝像頭的移動，並將攝像頭的當前位姿資訊發送給伺服器。在一些實施例中，系統中可以包括不止一個攝像頭，也可以包括不止一個視覺標誌。

在一個實施例中，可以為現實場景建立一個場景座標系（其也可稱為現實世界座標系），並且可以基於攝像頭在現實場景中的位姿資訊來確定攝像頭座標系與場景座標系之間的變換矩陣，以及基於視覺標誌在現實場景中的位姿資訊來確定視覺標誌座標系與場景座標系之間的變換矩陣。在這種情況下，可以將攝像頭座標系或視覺標誌座標系中的座標轉換為場景座標系中的座標，而不在攝像頭座標系和視覺標誌座標系之間進行變換，但是可以理解，攝像頭和視覺標誌之間的相對位姿資訊或變換矩陣仍然能夠被伺服器知悉。因此，在本申請中，在攝像頭和視覺標誌之間具有相對位姿是指客觀上在兩者之間存在相對位姿，而並不要求系統預先儲存上述兩者之間的相對位姿資訊或者使用該相對位姿資訊。例如，一個實施例中，在系統中可以僅儲存攝像頭和視覺標誌各自在場景座標系中的位姿資訊，並且可以不計算或者使用兩者的相對位姿。

攝像頭可以用於跟蹤現實場景中的目標，該目標可以是靜止的或移動的，其例如可以是場景中的人員、靜止物體、可移動的物體、等等。可以使用攝像頭通過現有技術中的各種方法來跟蹤現實場景中的人或物體的位置。例如，對於使用單個單眼攝像頭的情況，可以結合場景資訊（例如，場景中的人或物體所處的平面的資訊）來確定場景中的目標的位置資訊。對於使用雙眼攝像頭的情況，可以根據目標在攝像頭視野中的位置以及目標的深度資訊，來確定目標的位置資訊。對於使用多個攝像頭的情況，可以根據目標在各個攝像頭視野中的位置，來確定目標的位置資訊。

可以理解，系統中可以具有多個視覺標誌或多個攝像頭，多個攝像頭的視野可以連續，也可以不連續。

圖4示出了根據一個實施例的用於獲得場景中的設備或其使用者的標識資訊的方法，該方法可以使用圖3所示的系統來實現，並可以包括如下步驟：

步驟401：接收由設備發送的資訊，該資訊中包括設備或其使用者的標識資訊以及設備的空間位置資訊。

設備發送的資訊可以是各種資訊，例如報警資訊、求助資訊、服務請求資訊、等等。設備或其使用者的標識資訊可以是任何能夠用於標識或識別設備或其使用者的資訊，例如設備ID資訊、設備的電話號碼、設備上某個應用程式的帳戶資訊、使用者的姓名或暱稱、使用者的身份資訊、使用者的帳戶資訊、等等。

在一個實施例中，使用者303可以使用設備304通過掃描場景中部署的視覺標誌301來確定設備304的空間位置資訊。使用者303可以通過設備304向伺服器發送資訊，該資訊中可以包括設備304的空間位置資訊，該空間位置資訊可以是設備304相對於視覺標誌301的空間位置資訊或者設備304在場景中的空間位置資訊。在一個實施例中，可以使用設備304採集視覺標誌301的圖像；通過分析所採集的視覺標誌301的圖像確定視覺標誌301的標識資訊以及設備304相對於視覺標誌301的空間位置資訊；通過視覺標誌301的標識資訊確定視覺標誌301在空間中的位置和姿態資訊；以及基於視覺標誌301在空間中的位置和姿態資訊以及設備304相對於視覺標誌301的空間位置資訊，確定設備304在場景中的空間位置資訊。在一個實施例中，設備304可以向伺服器發送視覺標誌301的標識資訊以及設備304相對於視覺標誌301的空間位置資訊，從而伺服器可以確定設備304在場景中的空間位置資訊。

在一個實施例中，還可以使用設備304通過掃描視覺標誌301來確定設備304相對於視覺標誌301的姿態資訊或者設備304在場景中的姿態資訊，並可以將該姿態資訊發送給伺服器。

在一個實施例中，設備的空間位置資訊和姿態資訊可以是設備在掃描視覺標誌時的空間位置資訊和姿態資訊，也可以是在掃描視覺標誌之後的任一時刻的即時位置資訊和姿態資訊。例如，設備可以在掃描視覺標誌時確定其初始的空間位置資訊和姿態資訊，並繼而使用設備內置的各種感測器（例如，加速度感測器、磁力感測器、方向感測器、重力感測器、陀螺儀、攝像頭等）通過本領域已知的方法（例如，慣性導航、視覺里程計、SLAM、VSLAM、SFM等）來測量或跟蹤其位置變化和/或姿態變化，從而確定設備的即時位置和/或姿態。

伺服器所接收的設備的空間位置資訊可以是座標資訊，但並不局限於此，任何能夠用於推導出設備空間位置的資訊都屬於空間位置資訊。在一個實施例中，伺服器所接收的設備的空間位置資訊可以是由設備拍攝的視覺標誌的圖像，伺服器可以根據該圖像確定設備的空間位置。類似地，任何能夠用於推導出設備姿態的資訊都屬於姿態資訊，其在一個實施例中可以是由設備拍攝的視覺標誌的圖像。

步驟402：基於設備的空間位置資訊識別出在攝像頭所拍攝圖像中的所述設備或其使用者。

可以使用各種可行的方式通過設備的空間位置資訊來在攝像頭所拍攝圖像中識別出所述設備或其使用者。

在一個實施例中，可以基於設備的空間位置資訊確定設備或其使用者在攝像頭所拍攝圖像中的成像位置，並根據所述成像位置識別出在攝像頭所拍攝圖像中的所述設備或其使用者。

對於通常由使用者持有或攜帶的設備，例如手機、智慧眼鏡、智慧手錶、平板電腦等，可以基於設備的空間位置資訊確定其使用者在攝像頭所拍攝圖像中的成像位置。由於使用者通常是在手持設備或佩戴設備的狀態下掃描視覺標誌，因此，可以根據設備的空間位置來推斷用戶的空間位置，然後根據使用者的空間位置確定其在攝像頭所拍攝圖像中的成像位置。也可以根據設備的空間位置確定其在攝像頭所拍攝圖像中的成像位置，然後根據設備的成像位置來推斷用戶的成像位置。

對於通常並非由使用者持有或攜帶的設備，例如汽車、機器人、無人駕駛汽車、無人機等，可以基於設備的空間位置資訊來確定其在攝像頭所拍攝圖像中的成像位置。

在一個實施例中，可以使用預先建立的場景中的一個或多個空間位置（不一定是全部）與攝像頭所拍攝圖像中的一個或多個成像位置之間的映射關係以及所述設備的空間位置資訊，來確定設備或其使用者在攝像頭所拍攝圖像中的成像位置。例如，對於一個大廳場景，可以選擇大廳地面上的若干個空間位置，並確定這些位置在攝像頭所拍攝圖像中的成像位置，之後，可以建立這些空間位置與成像位置之間的映射關係，並可以基於該映射關係推斷出與某個空間位置對應的成像位置。

在一個實施例中，可以基於設備的空間位置資訊以及攝像頭的位姿資訊來確定設備或其使用者在攝像頭所拍攝圖像中的成像位置，其中，攝像頭的位姿資訊可以是其在場景中的位姿資訊或者其相對於視覺標誌的位姿資訊。

在確定了設備或其使用者在攝像頭所拍攝圖像中的成像位置之後，可以根據該成像位置在所述圖像中識別出所述設備或其使用者。例如，可以選擇與所述成像位置最接近的設備或使用者，或者選擇與所述成像位置的距離滿足預定條件的設備或使用者。

在一個實施例中，為了識別出在攝像頭所拍攝圖像中的所述設備或其使用者，可以將設備的空間位置資訊與根據攝像頭的跟蹤結果確定的一個或多個設備或使用者的空間位置資訊進行比較。可以使用攝像頭通過現有技術中的各種方法來確定現實場景中的人或物體的空間位置。例如，對於使用單個單眼攝像頭的情況，可以結合場景資訊（例如，場景中的人或物體所處的平面的資訊）來確定場景中的目標的位置資訊。對於使用雙眼攝像頭的情況，可以根據目標在攝像頭視野中的位置以及目標的深度資訊，來確定目標的位置資訊。對於使用多個攝像頭的情況，可以根據目標在各個攝像頭視野中的位置，來確定目標的位置資訊。在一個實施例中，還可以使用攝像頭拍攝的圖像並結合雷射雷達等來確定一個或多個使用者的空間位置資訊。

在一個實施例中，如果在設備的空間位置附近有多個使用者或設備，則可以從所述設備接收其實時的空間位置資訊（例如衛星定位資訊或者通過設備的感測器獲得的位置資訊），通過攝像頭跟蹤所述多個使用者或設備的位置，並通過比較從所述設備接收的即時空間位置資訊與通過攝像頭跟蹤的所述多個使用者或設備的位置，來識別所述設備或其使用者。

在一個實施例中，如果在設備的空間位置附近有多個使用者，則可以基於設備發送的資訊確定設備使用者的特徵資訊（例如，用於人臉識別的特徵資訊），通過攝像頭採集所述多個使用者的特徵資訊，並通過比較所述多個使用者的特徵資訊與設備使用者的特徵資訊，來識別設備使用者。

在一個實施例中，可以基於設備的空間位置資訊首先確定視野能夠覆蓋設備或其使用者的一個或多個攝像頭，並繼而確定設備或其使用者在該一個或多個攝像頭所拍攝圖像中的成像位置。

步驟403：將所述設備或其使用者的標識資訊關聯到在攝像頭所拍攝圖像中的所述設備或其使用者，以便使用所述標識資訊向所述設備或其使用者提供服務。

在識別出在攝像頭所拍攝圖像中的所述設備或其使用者之後，可以將所接收的設備或其使用者的標識資訊關聯到圖像中的所述設備或其使用者。如此，例如可以知悉攝像頭視野中的設備的ID資訊、電話號碼、設備上某個應用程式的帳戶資訊，或者可以知悉攝像頭視野中的用戶的姓名或暱稱、使用者的身份資訊、使用者的帳戶資訊、等等。在知悉了攝像頭視野中的設備或使用者的標識資訊之後，可以使用該標識資訊向所述設備或其使用者提供各種服務，例如，導航服務、講解服務、資訊展示服務、等等。在一個實施例中，可以以視覺、聲音等方式來提供上述資訊。在一個實施例中，可以在設備（例如手機或眼鏡）的顯示媒介上疊加虛擬物件，該虛擬物件例如可以是圖示（例如導航圖示）、圖片、文字等。

圖4所示的方法中的步驟可以由圖3所示的系統中的伺服器來實現，但可以理解，這些步驟中的一個或多個也可以由其他裝置來實現。

在一個實施例中，還可以通過攝像頭跟蹤場景中所述設備或其使用者以獲得其實時的位置資訊和/或姿態資訊，或者可以使用所述設備來獲得其實時的位置資訊和/或姿態資訊。在獲得了設備或其使用者的位置和/或姿態資訊之後，可以基於該位置和/或姿態資訊向設備或其使用者提供服務。

在一個實施例中，在將所述設備或其使用者的標識資訊關聯到在攝像頭所拍攝圖像中的所述設備或其使用者後，可以通過該標識資訊向攝像頭視野中的相應設備或使用者發送資訊，該資訊例如是導航資訊、講解資訊、指示資訊、廣告資訊、等等。

下文描述本文的一個具體應用場景。

在一個使用機器人運送貨物的智慧化工廠場景中部署了一個或多個視覺標誌以及一個或多個攝像頭。在機器人行進過程中，使用攝像頭對機器人的位置進行跟蹤，並根據所跟蹤的位置向機器人發送導航指示。為了確定攝像頭視野中的每個機器人的標識資訊（例如，機器人的ID），可以使得每個機器人例如在進入場景或者攝像頭視野範圍時掃描視覺標誌，並發送其位置資訊和標識資訊。如此，可以容易地確定攝像頭視野範圍內的每個機器人的標識資訊，從而基於每個機器人的當前位置以及其要完成的工作任務向其發送行進指示或導航指示。

在一個實施例中，可以向設備發送與虛擬物件有關的資訊，該虛擬物件例如可以是圖片、文字、數位、圖示、視頻、三維模型等，與虛擬物件有關的資訊可以包括虛擬物件的空間位置資訊。在設備接收到虛擬物件後，可以在設備的顯示媒介上呈現該虛擬物件。在一個實施例中，設備可以基於設備或使用者的空間位置資訊和/或姿態資訊，在其顯示媒介上的適當位置處呈現該虛擬物件。該虛擬物件例如可以以增強現實或混合現實的方式呈現在使用者設備的顯示媒介上。在一個實施例中，所述虛擬物件是通過對直播人物進行視頻採集而生成的視頻影像或動態三維模型。例如，該虛擬物件可以是對服務人員進行即時視頻採集而生成的視頻影像，該視頻影像可以呈現於使用者設備的顯示媒介上，從而向使用者提供服務。在一個實施例中，可以設置上述視頻影像的空間位置，使得其可以以增強現實或混合現實的方式呈現在使用者設備的顯示媒介上。

在一個實施例中，在將所述設備或其使用者的標識資訊關聯到在攝像頭所拍攝圖像中的所述設備或其使用者後，可以基於該標識資訊識別由攝像頭視野內的設備或使用者發送的資訊，該資訊例如是服務請求資訊、報警資訊、求助資訊、評論資訊等。在一個實施例中，在接收到所述設備或使用者發送的資訊之後，可以根據該資訊設置與所述設備或使用者相關聯的虛擬物件，其中，該虛擬物件的空間位置資訊可以根據設備或使用者的位置資訊確定，並且可以隨著設備或使用者的位置變化而相應地改變虛擬物件的空間位置。如此，其他使用者可以通過一些設備（例如，手機、智慧眼鏡等）通過增強現實或混合現實的方式觀察到上述虛擬物件。在一個實施例中，可以根據從所述設備或使用者接收到的新的資訊（例如，使用者的新的評論）更新虛擬物件的內容（例如，更新虛擬物件的文字內容）。

圖5示出了根據一個實施例的用於向場景中的設備或使用者提供服務的方法，該方法可以使用圖3所示的系統來實現，並可以包括如下步驟：

步驟501：接收由設備發送的資訊，該資訊中包括設備或其使用者的標識資訊以及設備的空間位置資訊。

步驟502：基於設備的空間位置資訊識別出在攝像頭所拍攝圖像中的所述設備或其使用者。

步驟503：在攝像頭所拍攝圖像中標示出所述設備或其使用者。

可以使用多種方法來標示設備或使用者，例如，可以框出設備或使用者的成像，可以將特定的圖示呈現於設備或使用者的成像附近，或者可以高亮顯示裝置或用戶的成像。在一個實施例中，可以放大所標示的設備或使用者的成像區域，或者使攝像頭針對所標示的設備或使用者進行拍攝。在一個實施例中，可以通過攝像頭持續跟蹤所述設備或使用者，並且可以確定設備或使用者的即時空間位置資訊和/或姿態資訊。

步驟504：將所述設備或其使用者的標識資訊關聯到在攝像頭所拍攝圖像中的所述設備或其使用者，以便使用所述標識資訊向所述設備或其使用者提供服務。

在攝像頭所拍攝圖像中標示出設備或使用者之後，能夠觀察攝像頭所拍攝圖像的人員（例如，機場、車站、商場的管理人員或服務人員）可以知道該設備或使用者當前需要服務，並可以知道該設備或使用者目前所處的位置，從而可以方便地向該設備或使用者提供各種需要的服務，例如講解服務、導航服務、諮詢服務、説明服務等。通過這種方式，可以替代場景中部署的諮詢台，並可以以便捷、低成本的方式向場景中的任意使用者提供其需要的服務。

在一個實施例中，可以通過使用者攜帶或控制的設備來向使用者提供服務，該設備例如可以是手機、智慧眼鏡、車輛等。在一個實施例中，可以通過設備上的電話功能、應用程式（APP）等以視覺、聲音等方式來提供服務。

圖5所示的方法中的步驟可以由圖3所示的系統中的伺服器來實現，但可以理解，這些步驟中的一個或多個也可以由其他裝置來實現。

圖6示出了根據一個實施例的用於通過設備（在此以眼鏡為例）向場景中的使用者提供資訊的方法，該方法可以使用圖3所示的系統來實現，並可以包括如下步驟：

步驟601：接收由眼鏡發送的資訊，該資訊中包括眼鏡的空間位置資訊。

在一個實施例中，使用者可以使用眼鏡通過掃描場景中部署的視覺標誌來確定眼鏡的空間位置資訊。使用者可以通過眼鏡向伺服器發送資訊。在一個實施例中，還可以使用眼鏡通過掃描視覺標誌來確定眼鏡相對於視覺標誌的姿態資訊或者眼鏡在場景中的姿態資訊，並可以將該姿態資訊發送給伺服器。

在一個實施例中，眼鏡發送的資訊中除了包括眼鏡的空間位置資訊之外，還可以包括眼鏡或其使用者的相關資訊，例如服務請求資訊、求助資訊、報警資訊、標識資訊（例如電話號碼、APP帳戶資訊）等。

在一個實施例中，眼鏡本身可以具備直接接入網路的能力。在另一個實施例中，眼鏡可以不具備直接接入網路的能力，而是通過其與例如用戶手機之間的連接來間接地接入網路，在這種情況下，伺服器可以通過手機等中繼裝置接收由眼鏡發送的資訊。

步驟602：基於眼鏡的空間位置資訊識別出在攝像頭所拍攝圖像中的所述眼鏡的用戶。

如上文所述，可以使用各種可行的方式通過眼鏡的空間位置資訊來在攝像頭所拍攝圖像中識別出眼鏡的用戶。

在識別出使用者之後，可以將使用者的標識資訊關聯到使用者，以便使用所述標識資訊向所述使用者提供服務。

步驟603：通過攝像頭跟蹤使用者並更新使用者的空間位置資訊。

在一個實施例中，可以通過攝像頭跟蹤用戶並更新所述用戶的成像位置，並基於所述更新的成像位置確定使用者的空間位置資訊。可以使用本領域已知的各種視覺跟蹤方法來跟蹤攝像頭視野中的用戶並更新所述用戶的成像位置。在跟蹤用戶的過程中，攝像頭可以保持固定不動或者可移動。在一個實施例中，在跟蹤用戶的過程中，可以使用多個攝像頭，這些攝像頭可以具有連續的視野範圍或者不連續的視野範圍。在視野範圍不連續的情況下，可以記錄使用者的特徵，並當使用者再次進入一個或多個攝像頭的視野範圍時重新識別用戶並跟蹤。

在一個實施例中，可以使用預先建立的場景中的一個或多個空間位置（不一定是全部）與攝像頭所拍攝圖像中的一個或多個成像位置之間的映射關係以及所述成像位置，來確定使用者的空間位置資訊。在一個實施例中，可以基於攝像頭的位姿資訊和所述成像位置來確定使用者的空間位置資訊。例如，在使用深度攝像頭或者多眼攝像頭的情況下，可以基於所述成像位置確定用戶相對於攝像頭的方向，可以使用深度資訊確定使用者相對於攝像頭的距離，從而確定用戶相對於攝像頭的位置，繼而，可以進一步基於攝像頭的位姿資訊確定使用者的空間位置資訊。在一個實施例中，可以基於用戶的成像大小來估計用戶相對於攝像頭的距離，並基於攝像頭的位姿資訊和所述成像位置來確定使用者的空間位置資訊。在一個實施例中，可以使用攝像頭上安裝的雷射雷達等來確定用戶相對於攝像頭的距離，並基於攝像頭的位姿資訊和所述成像位置來確定使用者的空間位置資訊。在一個實施例中，如果多個攝像頭的視野同時覆蓋用戶，可以使用該多個攝像頭來共同確定使用者的空間位置資訊。在一個實施例中，可以基於攝像頭的位姿資訊、所述成像位置以及可選的其他資訊（例如場景內地面的座標資訊）來確定使用者的空間位置資訊。

在一個實施例中，還可以基於攝像頭對用戶的跟蹤結果來確定使用者的姿態資訊。

步驟604：基於使用者的空間位置資訊通過使用者的眼鏡向使用者提供資訊。

在知悉使用者的空間位置資訊的情況下，可以向使用者提供各種需要的資訊，例如，導航資訊、指示資訊、講解資訊、廣告資訊、與基於位置的服務有關的其他資訊、等等。在一個實施例中，可以以視覺、聲音等方式來提供上述資訊。在一個實施例中，可以在眼鏡的顯示媒介上疊加虛擬物件，該虛擬物件例如可以是圖示（例如導航圖示）、圖片、文字等。

在一個實施例中，眼鏡本身可以具備直接接入網路的能力，從而眼鏡可以直接從伺服器接收指示資訊。在另一個實施例中，眼鏡可以不具備直接接入網路的能力，而是通過其與例如用戶手機之間的連接來間接地接入網路，在這種情況下，眼鏡可以通過手機等中繼裝置從伺服器接收指示資訊。

在一個實施例中，可以進一步結合眼鏡或其使用者的姿態資訊來向使用者提供資訊。可以通過眼鏡確定眼鏡或其使用者的姿態資訊，或者通過攝像頭所拍攝的使用者圖像來確定使用者的姿態資訊，該姿態資訊可以包括使用者的朝向資訊。在一個實施例中，眼鏡的姿態資訊可以通過其內置的感測器來獲得，例如，通過對初始姿態進行跟蹤的方式或者直接由眼鏡的內置感測器（例如，重力感測器、磁力感測器、方向感測器等）確定。伺服器可以直接從眼鏡接收所述姿態資訊，或者通過手機等中繼裝置接收所述姿態資訊。

圖6所示的方法中的步驟可以由圖3所示的系統中的伺服器來實現，但可以理解，這些步驟中的一個或多個也可以由其他裝置來實現。

圖7示出了根據一個實施例的通過眼鏡向場景中的使用者提供資訊的系統，該系統包括視覺標誌701、攝像頭702以及伺服器（圖7中未示出）。用戶703位於場景中，並且攜帶有眼鏡704和手機705。手機705可以通過其上的圖像採集器件來識別視覺標誌701，如此，眼鏡704上可以不具有圖像採集器件，或者其上雖然具有圖像採集器件該該圖像採集器件可以不具有識別視覺標誌701的能力。

圖8示出了根據一個實施例的通過眼鏡向場景中的使用者提供資訊的方法，該方法可以使用圖7所示的系統來實現。該方法包括如下步驟（部分步驟與圖6中的步驟類似，在此不再贅述，但可以理解，針對圖6中各個步驟描述的內容同樣可以適用於圖8中的相應步驟）：

步驟801：接收由使用者的手機發送的資訊，該資訊中包括手機的空間位置資訊。

使用者可以使用手機通過掃描場景中部署的視覺標誌來確定手機的空間位置資訊。在一個實施例中，還可以通過掃描視覺標誌來確定手機的姿態資訊，並可以將該姿態資訊發送給伺服器。

步驟802：基於手機的空間位置資訊識別出在攝像頭所拍攝圖像中的所述手機的用戶。

在識別出使用者之後，可以將使用者的標識資訊關聯到使用者，以便使用所述標識資訊向所述使用者提供服務。

步驟803：通過攝像頭跟蹤使用者並更新使用者的空間位置資訊。

在一個實施例中，還可以確定使用者的姿態資訊。

步驟804：基於使用者的空間位置資訊通過使用者的眼鏡向使用者提供資訊。

在一個實施例中，眼鏡本身可以具備直接接入網路的能力，從而眼鏡可以直接從伺服器接收指示資訊。在另一個實施例中，眼鏡可以不具備直接接入網路的能力，而是通過其與例如用戶手機之間的連接來間接地接入網路，在這種情況下，眼鏡可以通過手機等中繼裝置從伺服器接收指示資訊。例如，伺服器可以首先向用戶的手機發送第一資訊，之後手機可以基於所述第一資訊向眼鏡發送第二資訊（第二資訊可以與第一資訊相同或不同），以通過眼鏡向使用者提供基於位置的服務。

在一個實施例中，可以進一步結合眼鏡或其使用者的姿態資訊來向使用者提供資訊。

在一個實施例中，用戶也可以不使用眼鏡，而是僅使用手機。如此，在上述步驟804中，可以基於使用者的空間位置資訊通過使用者的手機向使用者提供資訊。在一個實施例中，可以進一步結合手機或其使用者的姿態資訊來向使用者提供資訊。可以通過手機確定其姿態資訊，或者通過攝像頭所拍攝的使用者圖像來確定使用者的姿態資訊。在一個實施例中，手機的姿態資訊可以通過其內置感測器來獲得。

在本申請中，用於掃描視覺標誌來確定其空間位置資訊的設備可以被稱為“位置獲得設備”，用於向使用者提供資訊的設備可以被稱為“資訊接收設備”。根據本申請上文的描述可以理解，位置獲得設備和資訊接收設備可以是同一設備，例如使用者的手機或者用戶的眼鏡；位置獲得設備和資訊接收設備也可以是不同的設備，例如分別是手機和眼鏡。

圖9示出了根據一個實施例的使用者交互系統，該系統包括視覺標誌901、攝像頭902以及伺服器（圖9中未示出）。攝像頭和視覺標誌各自以特定的位置和姿態（下文中可以統稱為“位姿”）部署於現實場景中，場景中還具有第一用戶903和第二用戶905，其分別攜帶有第一設備904和第二設備906。第一設備904和第二設備906上具有圖像採集器件並能夠通過圖像採集器件識別視覺標誌901。第一設備904和第二設備906例如可以是手機、眼鏡等設備。

圖10示出了根據一個實施例的使用者交互方法，其可以使用上述系統來實現，並且可以包括如下步驟：

步驟1001：接收由第一使用者的第一設備發送的資訊，該資訊中包括第一設備的空間位置資訊以及第一使用者或第一設備的標識資訊。

在一個實施例中，第一使用者可以使用第一設備通過掃描場景中部署的視覺標誌來確定第一設備的空間位置資訊。在一個實施例中，還可以使用第一設備通過掃描視覺標誌來確定第一設備相對於視覺標誌的姿態資訊或者第一設備在場景中的姿態資訊，並可以將該姿態資訊發送給伺服器。

步驟1002：基於第一設備的空間位置資訊識別出在攝像頭所拍攝圖像中的所述第一使用者。

步驟1003：將第一使用者或第一設備的標識資訊關聯到在攝像頭所拍攝圖像中的所述第一使用者。

步驟1004：通過攝像頭跟蹤第一用戶並更新第一使用者的空間位置資訊。

在一個實施例中，還可以基於攝像頭對使用者或設備的跟蹤結果來確定使用者或設備的姿態資訊。

步驟1005：設置與所述第一使用者關聯的第一虛擬物件的相關資訊，所述相關資訊包括內容資訊和空間位置資訊，其中，根據所述第一使用者的空間位置資訊設置第一虛擬物件的空間位置資訊。

例如，可以將第一虛擬物件的空間位置配置為位於第一使用者上方的預定距離處。第一虛擬物件的內容資訊是用於描述該虛擬物件的內容的相關資訊，其例如可以包括虛擬物件中包含的圖片、文字、數位、圖示、動畫、視頻、三維模型等，也可以包括虛擬物件的形狀資訊、顏色資訊、尺寸資訊、姿態資訊等。在一個實施例中，可以根據通過第一使用者或第一設備的標識資訊識別的來自所述第一使用者或第一設備的資訊設置第一虛擬物件的內容資訊。在一個實施例中，第一虛擬物件的內容資訊例如可以是第一使用者的職業、身份、性別、年齡、姓名、暱稱等。

第一虛擬物件的空間位置資訊可以隨著第一使用者的位置變化而相應地變化，並且可以根據從第一使用者或第一設備接收到的新的資訊（例如，使用者的新的評論）更新虛擬物件的內容資訊（例如，更新虛擬物件的文字內容）。

在一個實施例中，還可以設置虛擬物件的姿態資訊，虛擬物件的姿態資訊可以基於與其關聯的設備或使用者的姿態資訊來設置，但也可以通過其他方式來設置。

步驟1006：將所述第一虛擬物件的相關資訊發送給第二使用者的第二設備。

所述第一虛擬物件的相關資訊能夠被所述第二設備使用以基於其位置資訊和/或姿態資訊在其顯示媒介上呈現所述第一虛擬物件（例如以增強現實或混合現實的方式）。

可以以各種可行的方式來確定第二設備的位置資訊和姿態資訊。在一個實施例中，第二設備可以通過掃描視覺標誌來確定其位置資訊和/或姿態資訊。在一個實施例中，可以通過攝像頭對第二設備或其使用者的跟蹤結果來確定第二設備的位置資訊和/或姿態資訊。在一個實施例中，第二設備也可以使用其內置的各種感測器來確定其位置資訊和/或姿態資訊。在一個實施例中，第二設備可以使用場景的點雲資訊來確定其位置資訊和/或姿態資訊。

在一個實施例中，在獲得了第一虛擬物件的空間位置資訊以及第二設備的位置和姿態資訊之後，便可以在通過第二設備的顯示媒介呈現的現實場景中的合適位置處疊加第一虛擬物件。在第一虛擬物件具有姿態資訊的情況下，可以進一步確定所疊加的第一虛擬物件的姿態。

在一個實施例中，在疊加了第一虛擬物件之後，第二設備的使用者可以對第一虛擬物件執行各種交交互操作。

在一個實施例中，也可以以類似的方式為第二設備的第二使用者設置第二虛擬物件，並將該第二虛擬物件的內容資訊和空間位置資訊發送給第一使用者的第一設備或其他設備（該第一設備和其他設備例如可以分別是手機和眼鏡），其中，所述第二虛擬物件的內容資訊和空間位置資訊能夠被所述第一設備或其他設備使用以基於其位置資訊和/或姿態資訊在其顯示媒介上呈現所述第二虛擬對象。

圖10所示的方法中的步驟可以由圖9所示的系統中的伺服器來實現，但可以理解，這些步驟中的一個或多個也可以由其他裝置來實現。

圖11示出了根據一個實施例的由第二使用者通過其設備（例如眼鏡或手機）觀察到的第一用戶以及與該第一使用者關聯的虛擬物件。該虛擬物件例如可以是一個包含文字的圖示，其中的文字為“接機，XX公司的XXX”。虛擬物件的空間位置與第一用戶的空間位置關聯，並能夠隨著第一用戶移動而移動。

雖然在上文的一些實施例中以兩個用戶為例進行了說明，但這並非限制，本申請的方案同樣可以適用於更多個用戶。圖12示出了根據一個實施例的由一個使用者通過其手機螢幕觀察到的實際圖像，該圖像中包括多個使用者，每個使用者具有關聯的虛擬物件。

在上文的實施例中，以攝像頭作為感測器的示例進行描述，但可以理解，本文的實施例同樣可以適用於其他任何能夠感測或確定目標位置的感測器，例如雷射雷達、毫米波雷達、無線信號收發器等。

可以理解，本申請的實施例中涉及的設備可以是任何由使用者攜帶或控制的設備（例如，手機、平板電腦、智慧眼鏡、AR眼鏡、智慧頭盔、智慧手錶、車輛、等等），並且也可以是各種能夠自主移動的機器，例如，無人機、無人駕駛汽車、機器人等，該設備上安裝有圖像採集器件。需要說明的是，本申請中的眼鏡可以是AR眼鏡、智慧眼鏡、或者任何其他能夠用於向使用者呈現資訊的眼鏡。本申請中的眼鏡也包括對普通光學眼鏡附加構件或外掛程式後而形成的眼鏡，例如，通過在普通光學眼鏡上附加顯示器件而形成的眼鏡。

在本發明的一個實施例中，可以以電腦程式的形式來實現本發明。電腦程式可以儲存於各種儲存介質（例如，硬碟、光碟、快閃記憶體等）中，當該電腦程式被處理器執行時，能夠用於實現本發明的方法。

在本發明的另一個實施例中，可以以電子設備的形式來實現本發明。該電子設備包括處理器和記憶體，在記憶體中儲存有電腦程式，當該電腦程式被處理器執行時，能夠用於實現本發明的方法。

本文中針對“各個實施例”、“一些實施例”、“一個實施例”、或“實施例”等的參考指代的是結合所述實施例所描述的特定特徵、結構、或性質包括在至少一個實施例中。因此，短語“在各個實施例中”、“在一些實施例中”、“在一個實施例中”、或“在實施例中”等在整個本文中各處的出現並非必須指代相同的實施例。此外，特定特徵、結構、或性質可以在一個或多個實施例中以任何合適方式組合。因此，結合一個實施例中所示出或描述的特定特徵、結構或性質可以整體地或部分地與一個或多個其他實施例的特徵、結構、或性質無限制地組合，只要該組合不是不符合邏輯的或不能工作。本文中出現的類似於“根據A”、“基於A”、“通過A”或“使用A”的表述意指非排他性的，也即，“根據A”可以涵蓋“僅僅根據A”，也可以涵蓋“根據A和B”，除非特別聲明其含義為“僅僅根據A”。在本申請中為了清楚說明，以一定的順序描述了一些示意性的操作步驟，但本領域技術人員可以理解，這些操作步驟中的每一個並非是必不可少的，其中的一些步驟可以被省略或者被其他步驟替代。這些操作步驟也並非必須以所示的方式依次執行，相反，這些操作步驟中的一些可以根據實際需要以不同的循序執行，或者並存執行，只要新的執行方式不是不符合邏輯的或不能工作。

由此描述了本發明的至少一個實施例的幾個方面，可以理解，對本領域技術人員來說容易地進行各種改變、修改和改進。這種改變、修改和改進意於在本發明的精神和範圍內。雖然本發明已經通過一些實施例進行了描述，然而本發明並非侷限於這裡所描述的實施例，在不脫離本發明範圍的情況下還包括所作出的各種改變以及變化。

100:光通信裝置 101:第一光源 102:第二光源 103:第三光源 401, 402, 403, 501, 502, 503, 504, 601, 602, 603, 604, 801, 802, 803, 804, 1001, 1002, 1003, 1004, 1005, 1006:步驟

以下參照附圖對本發明的實施例作進一步說明，其中： 圖1示出了一種示例性的視覺標誌； 圖2示出了一種可以作為視覺標誌的光通信裝置； 圖3示出了根據一個實施例的用於獲得場景中的設備或其使用者的標識資訊的系統； 圖4示出了根據一個實施例的用於獲得場景中的設備或其使用者的標識資訊的方法； 圖5示出了根據一個實施例的用於向場景中的設備或其使用者提供服務的方法。 圖6示出了根據一個實施例的用於通過設備（在此以眼鏡為例）向場景中的使用者提供資訊的方法； 圖7示出了根據一個實施例的用於通過眼鏡向場景中的使用者提供資訊的系統； 圖8示出了根據一個實施例的用於通過眼鏡向場景中的使用者提供資訊的方法； 圖9示出了根據一個實施例的使用者交互系統； 圖10示出了根據一個實施例的使用者交互方法； 圖11示出了根據一個實施例的由第二使用者通過其設備觀察到的第一使用者以及與該第一使用者關聯的虛擬物件； 圖12示出了根據一個實施例的由一個使用者通過其手機螢幕觀察到的實際圖像。

401,402,403:步驟

Claims (15)

1. 一種用於獲得場景中的設備或其使用者的標識資訊的方法，所述場景中部署有一個或多個感測器和一個或多個視覺標誌，所述感測器能夠用於感測或確定所述場景中的設備或使用者的位置資訊，所述方法包括： 接收由設備發送的資訊，該資訊中包括所述設備或其使用者的標識資訊以及所述設備的空間位置資訊，其中，所述設備通過掃描所述視覺標誌來確定其空間位置資訊； 基於所述設備的空間位置資訊識別出在所述感測器的感測範圍內的所述設備或其使用者；以及 將所述設備或其使用者的標識資訊關聯到在所述感測器的感測範圍內的所述設備或其使用者，以便向所述設備或其使用者提供服務。
2. 如請求項1所述的方法，還包括： 通過所述感測器跟蹤所述設備或其使用者並更新所述設備或其使用者的空間位置資訊；以及 基於所述設備或其使用者的空間位置資訊，向所述設備或其使用者提供服務。
3. 如請求項1所述的方法，還包括： 通過所述感測器跟蹤所述設備或其使用者並更新所述設備或其使用者的空間位置資訊；以及 設置與所述設備或其使用者關聯的虛擬物件的相關資訊，所述相關資訊包括內容資訊和空間位置資訊，其中，所述虛擬物件的空間位置資訊與所述設備或其使用者的空間位置資訊相關。
4. 如請求項3所述的方法，還包括： 將所述虛擬物件的相關資訊發送給其他設備，其中，所述虛擬物件的相關資訊能夠被所述其他設備使用以基於其位置資訊和/或姿態資訊在其顯示媒介上呈現所述虛擬物件。
5. 如請求項1所述的方法，其中所述感測器包括下列一項或多項： 攝像頭； 雷達； 無線信號收發器。
6. 如請求項1所述的方法，還包括：基於所述設備或其使用者的位置資訊和/或姿態資訊向所述設備或其使用者提供服務。
7. 如請求項6所述的方法，還包括：向所述設備發送與虛擬物件有關的資訊，所述資訊包括所述虛擬物件的空間位置資訊，其中，所述虛擬物件能夠被呈現於所述設備的顯示媒介上。
8. 如請求項1所述的方法，還包括： 通過所述感測器跟蹤所述設備或其使用者以獲得所述設備或其使用者的位置資訊和/或姿態資訊；或者 通過所述設備獲得其位置資訊和/或姿態資訊。
9. 如請求項1所述的方法，其中，所述感測器包括攝像頭，以及其中，所述基於所述設備的空間位置資訊識別出在所述感測器的感測範圍內的所述設備或其使用者包括： 基於所述設備的空間位置資訊確定所述設備或其使用者在所述攝像頭所拍攝圖像中的成像位置；以及 根據所述成像位置識別出在所述攝像頭所拍攝圖像中的所述設備或其使用者。
10. 如請求項9所述的方法，其中，所述基於所述設備的空間位置資訊確定所述設備或其使用者在所述攝像頭所拍攝圖像中的成像位置包括： 基於預先建立的所述場景中的一個或多個空間位置與所述攝像頭所拍攝圖像中的一個或多個成像位置之間的映射關係以及所述設備的空間位置資訊，來確定所述設備或其使用者在所述攝像頭所拍攝圖像中的成像位置；或者 基於所述設備的空間位置資訊以及所述攝像頭的位姿資訊來確定所述設備或其使用者在所述攝像頭所拍攝圖像中的成像位置。
11. 如請求項1所述的方法，其中，所述基於所述設備的空間位置資訊識別出在所述感測器的感測範圍內的所述設備或其使用者包括： 將所述設備的空間位置資訊與根據所述感測器的感測結果確定的一個或多個設備或使用者的空間位置資訊進行比較，以識別出在所述感測器的感測範圍內的所述設備或其使用者。
12. 如請求項1所述的方法，其中，所述設備通過掃描所述視覺標誌來確定其空間位置資訊包括： 使用所述設備採集所述視覺標誌的圖像； 通過分析所述圖像來確定所述視覺標誌的標識資訊以及所述設備相對於所述視覺標誌的位置； 通過所述視覺標誌的標識資訊獲得所述視覺標誌在空間中的位置和姿態資訊； 基於所述視覺標誌在空間中的位置和姿態資訊以及所述設備相對於所述視覺標誌的位置，確定所述設備的空間位置資訊。
13. 一種用於獲得場景中的設備或其使用者的標識資訊的系統，所述系統包括： 部署於所述場景中的一個或多個感測器，所述感測器能夠用於感測或確定所述場景中的設備或使用者的位置資訊； 部署於所述場景中的一個或多個視覺標誌；以及 伺服器，其被配置用於實現如請求項1-12中任一項所述的方法。
14. 如請求項13所述的系統，其中所述感測器包括下列一項或多項： 攝像頭； 雷達； 無線信號收發器。
15. 一種儲存介質，其中儲存有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現如請求項1-12中任一項所述的方法。

Images