TWI696960B - 基於光標籤的資訊設備交互方法及系統 - Google Patents

基於光標籤的資訊設備交互方法及系統 Download PDF

Info

Publication number
TWI696960B
TWI696960B TW108116063A TW108116063A TWI696960B TW I696960 B TWI696960 B TW I696960B TW 108116063 A TW108116063 A TW 108116063A TW 108116063 A TW108116063 A TW 108116063A TW I696960 B TWI696960 B TW I696960B
Authority
TW
Taiwan
Prior art keywords
information
terminal device
optical
optical tag
equipment
Prior art date
Application number
TW108116063A
Other languages
English (en)
Other versions
TW201947457A (zh
Inventor
牛旭恒
方俊
李江亮
Original Assignee
大陸商北京外號信息技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京外號信息技術有限公司 filed Critical 大陸商北京外號信息技術有限公司
Publication of TW201947457A publication Critical patent/TW201947457A/zh
Application granted granted Critical
Publication of TWI696960B publication Critical patent/TWI696960B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G06K19/0728—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs the arrangement being an optical or sound-based communication interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/1141—One-way transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Communication System (AREA)

Abstract

本發明提供一種基於光標籤的資訊設備交互方法及系統，通過終端設備對處於資訊設備相對固定位置處的光標籤進行圖像採集來確定終端設備相對於光標籤的初始位置和姿態；接著再結合預先標定好的各個資訊設備相對於光標籤的位置來確定終端設備與各個資訊設備之間的相對位置；進而獲取各資訊設備在所述終端設備的顯示幕幕上的成像位置，然後將各資訊設備的交互介面分別呈現於其在顯示幕幕上的成像位置處，以用於與各個資訊設備進行交交互操作。這使得使用者能隨時隨地操控視野中的資訊設備，並且對於設備的交交互操作所見即所得。

Description

基於光標籤的資訊設備交互方法及系統
本發明涉及光資訊技術和位置服務領域，更具體地涉及利用光標籤進行設備交互的方法和系統。在本文中，光標籤也稱為光通信裝置。
隨著移動互聯網、物聯網技術、大資料等技術的不斷發展，智慧家居產業迎來了快速的發展，湧現了很多具備數位化、網路化、智慧化功能的資訊家電設備，這些資訊家電設備可以互相聯網，並且還可以通過網路來進行交互控制。隨著手機等智慧可攜式裝置的普及，越來越多的智慧家居系統採用手機來説明使用者控制家電設備，這樣只要使用者的手機能夠連接網路，就能隨時隨地地通過網路進行控制家裡的用電設備。然而當電器很多時，使用者需要在手機上進行流覽和不斷的選擇，這樣的操作繁瑣，容易讓用戶產生排斥心理。
針對上述問題，本發明提供了一種新的基於光標籤的資訊設備交互方法及系統，使得使用者能隨時隨地操控視野中的設備，並且對於設備的交交互操作所見即所得。
本發明的目的是通過以下技術方案實現的：
一方面，本發明提供了一種基於光標籤的資訊設備交互的方法，該方法包括： S1）通過使用者攜帶的終端設備對處於資訊設備相對固定位置處的光標籤進行圖像採集來確定終端設備相對於光標籤的初始位置和姿態； S2）基於所確定的終端設備的位置和預先標定好的各個資訊設備相對於光標籤的位置來確定終端設備與各個資訊設備之間的相對位置； S3）根據所確定的終端設備的姿態及其與各個資訊設備之間的相對位置計算各資訊設備在所述終端設備的顯示幕幕上的成像位置； S4）將各資訊設備的交互介面分別呈現於其在顯示幕幕上的成像位置處，以用於與各個資訊設備進行交交互操作。
在上述方法中，還可包括：回應於終端設備的位置和/或姿態的變化，調整各資訊設備在所述終端設備的顯示幕幕上的成像位置。
在上述方法中，還可包括： 識別使用者對於資訊設備的交互介面的操作；以及 將所識別的操作轉換為相應的操作指令，並通過網路將其發送給該資訊設備。
在上述方法中，使用者對於資訊設備的交互介面的操作可以為下列中的至少一個：螢幕輸入、鍵盤輸入、語音輸入或手勢輸入。
又一方面，本發明還提供了一種基於光標籤的資訊設備交互的系統，該系統包括一個或多個資訊設備、處於資訊設備相對固定位置處的光標籤、用於儲存與資訊設備和光標籤有關資訊的伺服器、帶有成像裝置的終端設備； 其中終端設備被配置為： 對處於要訪問的資訊設備相對固定位置處的光標籤進行圖像採集來確定終端設備相對於光標籤的初始位置和姿態； 基於所確定的終端設備的位置和從伺服器獲取的預先標定好的各個資訊設備相對於光標籤的位置來確定終端設備與各個資訊設備之間的相對位置； 根據所確定的終端設備的姿態及其與各個資訊設備之間的相對位置計算各資訊設備在所述終端設備的顯示幕幕上的成像位置； 將各資訊設備的交互介面分別呈現於其在顯示幕幕上的成像位置處，以用於與各個資訊設備進行交交互操作。
在上述系統中，所述終端設備還可被配置為：回應於終端設備的位置和/或姿態的變化，調整各資訊設備在所述終端設備的顯示幕幕上的成像位置。
在上述系統中，所述終端設備還可被配置為： 識別使用者對於資訊設備的交互介面的操作；以及 將所識別的操作轉換為相應的操作指令，並通過網路將其發送給該資訊設備。
在上述系統中，使用者對於資訊設備的交互介面的操作可以為下列中的至少一個：螢幕輸入、鍵盤輸入、語音輸入或手勢輸入。
本發明還涉及一種計算設備，包括處理器和記憶體，所述記憶體中儲存有電腦程式，所述電腦程式在被所述處理器執行時能夠用於實現上述方法。本發明還涉及一種儲存介質，其中儲存有電腦程式，所述電腦程式在被執行時能夠用於實現上述方法。
為了使本發明的目的，技術方案及優點更加清楚明白，以下結合附圖通過具體實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，並不用於限定本發明。
條碼和二維碼已經被廣泛採用來對資訊進行編碼。當用特定設備或軟體掃描這些條碼和二維碼時，相應的資訊就會被識別出來。然而，條碼和二維碼的識別距離很受限制。例如，對於二維碼而言，當用手機攝像頭對其進行掃描時，該手機通常必須置於一個比較近的距離內，該距離通常只是二維碼的寬度的15倍左右。因此，對於遠距離識別（例如相當於二維碼寬度的200倍的距離），條碼和二維碼通常不能實現，或者必須定制非常大的條碼和二維碼，但這會帶來成本的提升，並且在許多情形下由於其他各種限制是不可能實現的。
而光標籤通過發出不同的光來傳遞資訊，其具有遠距、可見光條件要求寬鬆、指向性強、可定位的優勢，並且光標籤所傳遞的資訊可以隨時間迅速變化，從而可以提供更大的資訊容量（例如在中國專利公開CN104168060A、CN105740936A等中所描述的光通信裝置）。相比於傳統的二維碼，光標籤具有更強的資訊交互能力，從而可以為用戶和商家提供巨大的便利性。
在本發明的實施例中，光標籤可以是能夠通過發出不同的光來傳輸不同的資訊的任一光通信裝置。在一個實施例中，光標籤可包括至少一個光源和控制器，控制器用於控制所述光源發出的不同的光來傳遞不同的資訊。例如，控制器可以通過改變光源發出的光的屬性來使得光源發出不同的光。光的屬性可以是光學成像器件（例如CMOS成像器件）能夠感知的任何屬性；例如其可以是光的強度、顏色、波長等人眼可感知的屬性，也可以是人眼不可感知的其他屬性，例如在人眼可見範圍外的電磁波長的強度、顏色或波長改變，或者是上述屬性的任一組合。因此，光的屬性變化可以是單個屬性發生變化，也可以是兩個或更多個屬性的組合發生變化。當選擇光的強度作為屬性時，可以簡單地通過選擇開啟或關閉光源來實現。在下文中為了簡單起見，以開啟或關閉光源來改變光的屬性，但本領域技術人員可以理解，用於改變光的屬性的其他方式也是可行的。
在該光標籤中可以使用各種形式的光源，只要其某一可被光學成像器件感知的屬性能夠以不同頻率進行變化即可。光源中可以包括各種常見的光學器件，例如導光板、柔光板、漫射器等。例如，光源可以是一個LED燈、由多個LED燈構成的陣列、顯示幕幕或者其中的一部分，甚至光的照射區域（例如光在牆壁上的照射區域）也可以作為光源。該光源的形狀可以是各種形狀，例如圓形、正方形、矩形、條狀、L狀等。
在一個實施例中，該光標籤的控制器可以控制每個光源發出的光的屬性，以便傳遞資訊。例如，可以通過控制每個光源的開啟和關閉來表示二進位數字字資訊的“0”或“1”，從而該光標籤中多個光源可以用於表示一個二進位數字字資訊序列。如本領域技術人員可以理解的，每個光源不僅可以用於表示一個二進位數字，還可以用於表示三進制或更大進制的資料。例如，可以通過將光源所發出的光的強度設置為從三種或更多種水準中進行選擇，或者通過將光源所發出的光的顏色設置為從三種或更多種顏色中進行選擇，甚至通過採用強度與顏色的組合，來使得每個光源能表示三進制或更大進制的資料。因此，相比於傳統二維碼，本發明的光標籤可以顯著提高資料編碼密度。
在又一實施例中，該光標籤的控制器可以控制光源以一定頻率改變其所發出的光的屬性，因此，本發明的光標籤可以在不同的時間表示不同的資料資訊，例如，不同的二進位數字字資訊序列。如此，當使用光學成像設備對本發明的光標籤進行連續拍攝時（例如，以30幀/秒的速率），其每一幀圖像都可以用於表示一組資訊序列，從而相比於傳統的靜態二維碼，可以進一步顯著地提高其資料編碼密度。
在本申請的實施例中，可以使用本領域常見的光學成像設備或圖像採集設備對光標籤進行成像，從每幀圖像確定所傳遞的資訊，例如二進位資料1或資料0資訊序列，從而實現光標籤向光學成像器件的資訊傳遞。光學成像設備或圖像採集設備可以包括圖像採集元件、處理器和記憶體等。光學成像設備或圖像採集設備例如可以是具有拍攝功能的移動終端，包括手機、平板電腦、智慧眼鏡等，其可以包括圖像採集裝置和影像處理模組。用戶在距離光標籤視距範圍內通過肉眼發現光標籤，通過使移動終端成像感測器朝向光標籤，掃描該光標籤並進行資訊捕獲與判讀處理。當光標籤的控制器控制光源以一定頻率改變其所發出的光的屬性時，移動終端的圖像採集頻率可以被設置為大於或等於光源的屬性變換頻率的2倍。通過對所採集的圖像幀進行解碼操作，可以完成識別解碼的過程。在一個實施例中，為了避免圖像幀的重複、遺漏等，可以在光標籤所傳遞的資訊中包括序號、校驗位、時間戳記等。根據需要，可以在多個圖像幀中給出起始幀或結束幀，或者二者兼有，用於指示多個圖像幀的一個完整週期的開始或結束位置，該起始幀或結束幀可以被設定為顯示某個特殊的資料組合，例如：全0或全1，或者任何不會與實際可能顯示的資訊相同的特殊組合。
以CMOS成像器件為例，當通過CMOS成像器件拍攝光源的連續的多幀圖像時，可以通過控制器進行控制，使得光源的工作模式之間的切換時間間隔等於CMOS成像器件一個完整幀成像的時間長度，從而實現光源與成像器件的幀同步。假定每個光源每幀傳輸１比特的資訊，那麼對於30幀/每秒的拍攝速度，每個光源每秒鐘可以傳遞30比特的資訊，編碼空間達到230 ，該資訊可以包括例如，起始幀標記（幀頭）、光標籤的ID、口令、驗證碼、網址資訊、位址資訊、時間戳記或其不同的組合等等。可以按照結構化方法，設定上述各種資訊的順序關係，形成資料包結構。每接收到一個完整的該資料包結構，視為獲得一組完整資料（一個資料包），進而可以對其進行資料讀取和校驗分析。表1給出根據本發明的一個實施例的示例資料包結構： 表1
Figure 108116063-A0304-0001
相比於傳統的二維碼，上述光標籤通過發出不同的光來傳遞資訊，其具有遠距、可見光條件要求寬鬆、指向性強、可定位的優勢，並且光標籤所傳遞的資訊可以隨時間迅速變化，從而可以提供大的資訊容量。因此，光標籤具有更強的信息交互能力，從而可以為用戶和商家提供巨大的便利性。為了基於光標籤向用戶和商家提供對應的服務，每個光標籤都分配有唯一識別碼（ID），該識別字用以由光標籤的製造者、管理者及使用者等唯一地識別或標識光標籤。通常，可由光標籤發佈其識別字，而使用者可以使用例如手機上內置的圖像採集設備或成像裝置對光標籤進行圖像採集來獲得該光標籤傳遞的資訊（例如識別字），從而可以訪問基於該光標籤提供的服務。
在本發明的實施例中還可以基於前述光標籤對於掃描該光標籤的成像設備進行精確定位（也可以稱為反向定位或相對定位）。例如，可以預先在例如伺服器上註冊光標籤的地理位置資訊。光標籤在工作過程中可以傳遞其標識資訊（例如ID資訊），成像設備可以通過對光標籤進行掃描來獲得該ID資訊，當成像設備獲得了光標籤的ID資訊後，使用ID資訊查詢伺服器，就可以獲得光標籤所對應的地理位置，從而進行反向定位以確定成像設備的具體位置。可選地，還可以預先在伺服器上註冊光標籤的其他相關資訊，例如物理尺寸資訊、物理形狀資訊和/或朝向資訊。在一個實施例中，光標籤可以具有統一或預設的物理尺寸或形狀並且使用者設備可以知悉該物理尺寸或形狀。
可以使用各種可行的反向定位方法來確定用戶（實際是使用者的成像設備）與光標籤之間的相對位置關係。例如，可以通過確定成像設備與光標籤的相對距離（例如通過光標籤的成像大小，或者通過手機上任何具有測距功能的應用），並使用兩個或更多個光標籤通過三角定位來確定成像設備與任一光標籤之間的相對位置關係。也可以通過確定成像設備與光標籤的相對距離並通過分析光標籤在成像設備上成像的透視變形來確定成像設備與光標籤之間的相對位置關係。在確定成像設備與光標籤之間的相對位置關係時，可以進一步使用光標籤的物理尺寸資訊和/或朝向資訊等。該物理尺寸資訊和/或朝向資訊可以與光標籤的標識資訊相關聯地儲存於伺服器。
例如，在一個實施例中，可使用至少兩個光標籤來進行定位。可針對每一個光標籤執行如下步驟：
步驟一：使用成像設備採集光標籤的ID資訊。
步驟二：通過該ID資訊查詢獲得光標籤的物理尺寸資訊和地理位置資訊。
步驟三：採用成像設備的預設焦距對光標籤進行拍照，以獲得光標籤的圖像。由於採用的是成像設備的預設焦距，因此拍攝到的光標籤圖像可能會比較模糊。
步驟四：調節並優化成像設備的焦距，以獲得光標籤的清晰圖像。例如，可以基於默認焦距，首先嘗試增大焦距，如果光標籤圖像變清晰，就繼續增大焦距，如果光標籤圖像變得模糊，就反方向調節，即減小焦距；反之亦然。在焦距調節過程中，為了確定光標籤圖像的清晰度，可以對光標籤圖像進行紋理特徵提取，光標籤圖像越清晰，所對應的紋理資訊越簡單，紋理的密度越小，因此，可以根據光標籤圖像的紋理的密度來確定最優的焦距參數，當經過多次反覆運算後不能獲得更小的紋理密度時，可以認為具有最小的紋理密度的圖像是清晰的圖像，並將與所獲得的最小的紋理密度對應的焦距參數作為最優的焦距參數。
步驟五：基於最優的焦距參數，拍攝光標籤的清晰圖像，然後，利用簡單的透鏡物象公式和物像關係，根據光標籤的清晰圖像的尺寸、光標籤的物理尺寸和最優的焦距參數計算成像設備與光標籤的相對距離。
在獲得了成像設備與至少兩個光標籤中的每一個的相對距離後，可以利用三角定位法確定成像設備的具體位置資訊，也即成像設備在物理世界坐標系中的具體座標。圖1為三角定位方法的示意圖，其中使用了兩個光標籤（光標籤1和光標籤2）進行三角定位。
另外，當使用兩個光標籤進行三角定位時，通常會獲得兩個候選位置。在這種情況下，可能需要從這兩個候選位置中進行選擇。在一個實施方式中，可以結合成像設備（例如，手機）本身的定位資訊（例如，GPS資訊）來選擇其中一個候選位置。例如，可以選擇與GPS資訊更為接近的一個候選位置。在另一個實施方式中，可以進一步考慮各個光標籤的朝向資訊，該朝向資訊實際上限定了可以觀察到光標籤的區域，因此，可以基於該朝向資訊來選擇其中一個候選位置。光標籤的朝向資訊同樣可以儲存於伺服器，並可以通過光標籤的ID資訊來查詢獲得。在上述實施例中以兩個光標籤為例進行了說明，但本領域技術人員可以理解，上述基於三角定位的方法同樣可以適用於三個或更多個光標籤的情形。實際上，使用三個或更多個光標籤可以實現更為精確的定位，並且通常不會出現多個候選點。
在又一個實施例中，還可以採用下面的反向定位方法，該實施例並不需要使用至少兩個光標籤，而是可以使用一個光標籤進行反向定位。該實施例的方法包括如下步驟：
步驟一：使用成像設備採集光標籤的ID資訊。
步驟二：通過該ID資訊查詢獲得光標籤的地理位置資訊以及其上的多個點的相關資訊。該相關資訊例如是這些點在光標籤上的位置資訊以及它們的座標資訊。
步驟三：採用成像設備的預設焦距對光標籤進行拍照，以獲得光標籤的圖像。例如上文介紹的可以根據光標籤圖像的紋理的密度來確定最優的焦距參數，當經過多次反覆運算後不能獲得更小的紋理密度時，可以認為具有最小的紋理密度的圖像是清晰的圖像，並將與所獲得的最小的紋理密度對應的焦距參數作為最優的焦距參數。
步驟五：基於最優的焦距參數，拍攝光標籤的清晰圖像，實現如下文所介紹的反向定位：
參見圖2，圖2為光標籤在成像設備上的成像過程示意圖。以光標籤的質心為原點建立物坐標系（X ，Y ，Z ），以成像設備所在的位置Fc 為原點建立像坐標系（x ，y ，z ），物坐標系也稱物理世界坐標系，像坐標系也稱為相機坐標系。另外，以成像設備所採集的光標籤的圖像左上角的點為座標原點，在光標籤的像平面內建立二維坐標系（u ，v ），稱為像平面坐標系，該像平面與光軸（即Z軸）的交點為主點，（cx ，cy ）為主點在像平面坐標系中的座標。光標籤上的任意一點P在物坐標系中的座標為（X ,Y ,Z ），所對應的像點為q，其在像坐標系中的座標為（x ，y ，z ），在像平面坐標系中的座標為（u ，v ）。在成像過程中，像坐標系相對於物坐標系不只有位移的改變，還有角度的旋轉，物坐標系（X ，Y ，Z ）和像坐標系（x ，y ，z ）之間的關係可以表示為：
Figure 02_image001
(1) 定義變數：
Figure 02_image003
，
Figure 02_image004
； 那麼，像平面坐標系中的座標：
Figure 02_image005
且
Figure 02_image006
（2）； 其中，fx 和fy 分別為成像設備在x 軸和y 軸方向的焦距，cx ，cy 為主點在像平面坐標系中的座標，fx 、 fy 、 cx 、 cy 都為成像設備內部的參數，可以提前測知。旋轉矩陣R 和位移向量t 分別表示物坐標系相對於像坐標系的姿態資訊（即成像設備相對於光標籤的姿態，就是成像設備的中軸線相比光標籤的偏向，也稱為成像設備相對於光標籤的朝向，例如，當成像設備正對光標籤時，R=0 ）和位移資訊（即成像設備與光標籤之間的位移）。在三維空間中，旋轉可以分解為繞各自坐標軸的二維旋轉，如果依次繞x,y,z軸旋轉角度ψ，φ和θ，那麼總的旋轉矩陣R 是三個矩陣Rx (ψ)，Ry (φ)，Rz (θ)的乘積，即：R = Rx (ψ)*Ry (φ)*Rz (θ)，其中，
Figure 02_image007
， 為了簡單起見，並因為是本領域公知的，在此不再展開計算，僅簡單地將旋轉矩陣寫成如下形式：
Figure 02_image009
； 而位移向量t 可以簡單地寫成如下形式，即
Figure 02_image011
， 於是得到如下關係式：
Figure 02_image013
(3) 其中，s為物像轉換因數，等於像平面的大小與成像設備解析度的比值，也是已知的。
根據在步驟二獲得的在光標籤上的多個點（例如至少四個點A、B、C和D）的相關資訊（例如，這些點在光標籤上的位置資訊）確定這些點在光標籤圖像中的像點，例如A’、B’、C’和D’。這四個點A、B、C和D例如可以分別光標籤的左右兩側，或者可以是位於光標籤的四個角的四個單獨的點光源等等。該四個點的座標信息（XA ，YA ，ZA ）、（XB ，YB ，ZB ）、（XC ，YC ，ZC ）和（XD ，YD ，ZD ）也在上述步驟二中被獲得。通過測量對應的四個像點A’、B’、C’和D’在像平面坐標系中的座標（u A’ ，v A’ ）、（u B’ ，v B’ ）、（u C’ ，v C’ ）和（u D’ ，v D’ ），代入上述關係式（3），求解得到旋轉矩陣R 和位移向量t ，於是就得到了物坐標系（X ，Y ，Z ）和像坐標系（x ，y ，z ）之間的關係。基於該關係，就可以得到成像設備相對於光標籤的姿態資訊和位移資訊，從而實現對成像設備的定位。圖3簡化示出了物坐標系與像坐標系之間的關係。然後，根據在上述步驟二中獲得的光標籤的地理位置資訊，借由旋轉矩陣R 和位移向量t ，就可以計算出成像設備的實際具體位置和姿態，通過位移向量t 確定成像設備的具體位置，旋轉矩陣R確定成像設備相對於光標籤的姿態。
在本發明的一個實施例中，還提供了基於光標籤的資訊設備交互控制系統。在該系統中的資訊設備是指能通過網路對其進行交互控制的任意計算裝置，包括但不限於資訊家電設備或家居設備。每個資訊設備可以關聯有一個或多個光標籤，而每個光標籤可以關聯一個或多個資訊設備。光標籤可以設置在該資訊設備上，或者可以處於與該資訊設備相對固定位置處。光標籤的物理位置以及資訊設備相對於光標籤的位置等都預先進行了標定。光標籤及其關聯的資訊設備的有關資訊可以保存在伺服器上以供查詢。與光標籤相關的資訊例如可包括光標籤的ID資訊、光標籤的物理世界座標、物理尺寸、朝向、該光標籤關聯的資訊設備識別字、在光標籤上的多個點在光標籤上的位置資訊及其物座標等資訊。與資訊設備相關的資訊例如可包括該資訊設備的識別字、該資訊設備在以與其關聯的光標籤的質心為原點所建立的物坐標系中的座標、該資訊設備與其所關聯的光標籤的相對位置資訊、該資訊設備的操作介面、該資訊設備的描述資訊、尺寸、朝向等等。
當使用者希望與其視野中的某個資訊設備交互時，可以使用其隨身攜帶的終端設備（例如手機等）的成像裝置對與該資訊設備關聯的光標籤進行圖像採集來獲取該光標籤的ID資訊。接著終端設備可根據該光標籤ID資訊從伺服器獲取與光標籤關聯的資訊設備有關的資訊，並可以將該資訊設備的交互介面呈現於該資訊設備在終端設備的顯示幕幕中所處的位置處。這樣，使用者就可以通過疊加在該資訊設備上或其附近的交互介面來對該資訊設備進行相關交互控制操作。優選地，可以在將資訊設備的交互介面呈現於該資訊設備在終端設備螢幕上當前顯示的位置處之前，先當判斷任一與該光標籤關聯的資訊設備是否會出現於終端設備的顯示幕幕上，並在判斷結果為出現的情況下再進一步確定該資訊設備在顯示幕幕上的成像位置，例如確定其螢幕成像時的二維的像平面座標。
為了實現上述目的，首先可以使用上文提及的反向定位方法來確定用戶攜帶的終端設備與光標籤之間的初始相對位置關係，從而確定用戶的終端設備的初始位置和初始朝向。進一步地，由於已經預先對光標籤的物理位置以及各個資訊設備相對於光標籤的位置進行了標定，因此，可以基於終端設備的初始位置以及預先儲存的標定資訊，來確定使用者的終端設備與各個資訊設備之間的初始相對位置關係。基於使用者的終端設備與各個資訊設備之間的初始相對位置關係以及終端設備的初始朝向，可以確定出當前任一與該光標籤關聯的資訊設備是否會出現於終端設備的顯示幕幕上，並在判斷結果為出現的情況下進一步確定該資訊設備在顯示幕幕上的成像位置。如果使用者希望控制的資訊設備不會出現在當前的顯示幕幕中，用戶可以從所述初始位置移動終端設備以使得該資訊設備能夠出現在顯示幕幕中，例如，用戶可以平移或旋轉終端設備以使得其攝像頭最終朝向該資訊設備。當終端設備從所述初始位置發生移動時，可以通過現有的多種方式來檢測終端設備位置和姿態的變化（例如通過終端設備上內置的加速度感測器、陀螺儀等感測器來監測），從而確定移動後的終端設備的位置資訊和朝向資訊，基於該位置資訊和朝向資訊，可以確定當前哪些資訊設備會出現於終端設備的顯示幕幕上以及它們各自的呈現位置。進而，可以將這些資訊設備的交互介面分別疊加到它們在顯示幕幕上的成像位置處，以實現對於各個資訊設備的所見即所得的交交互操作。
在一個實施例中，如上文介紹的，當使用成像設備對光標籤進行圖像採集時，以光標籤的質心為原點建立的物理世界物坐標系（X ，Y ，Z ）和以成像設備所在的位置為原點建立相機坐標系（x ，y ，z ）之間存在一定的變換關係（例如公式（1）），可以旋轉矩陣R 和位移向量t 來描述。而相機坐標系與在相機螢幕上所採集的光標籤的圖像左上角的點為座標原點的二維像平面坐標系（u ，v ）之間也存在一定的變換關係（例如公式（2）），其由成像設備內部的參數來決定。由此，在確定了旋轉矩陣R 和位移向量t以及成像設備內部參數之後，物理世界座標與像平面座標之間的變換關係（例如公式（3））也會隨之確定，該變換關係也稱為投影關係，可以用來確定處於物理世界坐標系某個位置處的實際物體在成像平面中的投影位置。
如上文結合反向定位方法及公式（1）-（3）所介紹的，在根據成像裝置採集的光標籤圖像以及從伺服器獲取的與光標籤有關的資訊來確定成像設備相對於光標籤的具體位置和朝向的過程中，公式（3）中旋轉矩陣R 和位移向量t以及成像設備內部參數已經確定，由此可以通過來該公式確定每個資訊設備的像平面座標。由於光標籤的物理位置以及光標籤與資訊設備之間的相對位置是提前設定的，因此可以通過光標籤與資訊設備之間的相對位置確定每個資訊設備在物理世界坐標系中的物座標，將其代入公式（3）就可以得到該資訊設備在成像平面中的像平面座標，接著可基於資訊設備的像平面座標在終端設備螢幕上呈現該資訊設備的交互介面以供使用者使用。在又一個實施例中，也可以在終端設備螢幕上將該資訊設備的圖示疊加資訊設備之上以供使用者進行選擇，當使用者點擊圖示來選中要操作的資訊設備時將該資訊設備的交互介面呈現在終端設備螢幕上以供使用者操作和控制該資訊設備。如果圖示之間出現互相遮擋的情況，可以將前方圖示半透明化，或者在最前面圖示附近使用數位提示的方式來指示該位置處重疊有多個圖示。
在該系統中，隨著使用者攜帶終端設備的移動，終端設備的成像位置在物理世界中相對於光標籤和資訊設備的位置和朝向都會發生變化，在終端設備成像平面上出現的資訊設備的位置也會發生變化。因此需要即時檢測終端設備的位置和姿態，以及時調整對上述的旋轉矩陣R 和位移向量t來確保獲取資訊設備準確的像平面座標。終端設備可以通過多種方式來監測自身位置和姿態的變化。例如，終端設備可以光標籤為參照點，將當前成像裝置捕獲的圖像與之前的圖像進行對比，識別計算圖像中的差異，從而形成特徵點，並使用這些特徵點計算自身位置和姿態的改變。又例如，諸如手機之類的終端設備可通過內置的加速度感測器、陀螺儀等慣性測量感測器測量的值來估算其攝像頭隨著時間推移，在現實世界中位置和朝向的變化。接著，基於終端設備當前的位置和朝向對旋轉矩陣R 和位移向量t進行調整，然後重新獲取資訊設備當前的像平面座標以在螢幕上呈現相關圖示或介面。
當使用者選中了需要進行操作的資訊設備之後，可以通過多種方式來與資訊設備進行交互。例如，使用者可以通過終端設備的螢幕顯示的交互介面進行配置和操作資訊設備。又例如，可以預先定義資訊設備的操作方式，例如語音控制或手勢控制。在資訊設備的操作方式被配置為語音控制的情況下，當使用者選擇該資訊設備後，終端設備檢測語音輸入並進行語音辨識，將收到的語音轉換為操作指令，通過網路將控制指令發送給資訊設備以對其進行操作。在資訊設備的操作方式被配置為手持控制時，可以通過終端設備的成像裝置或者安裝在使用者周圍環境中的攝像裝置來捕獲使用者的手勢，在終端設備上進行手勢識別以將其轉換為相應的操作指令，並通過網路發送該操作指令以控制相關資訊設備。與每個資訊設備操作相關的手勢可預先定義，例如與操作燈相關的手勢可包括手掌開為開燈，握拳為關燈，手指上劃為增強亮度，手指下劃為減弱亮度。
圖4給出了在本發明的一個實施例的基於光標籤的資訊設備交互方法的流程示意圖。在步驟S1）通過使用者攜帶的終端設備對處於資訊設備相對固定位置處的光標籤進行圖像採集來確定終端設備相對於光標籤的初始位置和姿態。例如，採用上文介紹的多種反向定位方法，通過對光標籤進行圖像採集可獲取進行圖像採集的成像裝置與光標籤之間的初始相對位置關係，從而確定該終端設備的初始位置和初始朝向。在步驟S2）基於該終端設備的初始位置以及如上文提及的預先標定的各個資訊設備相對於光標籤的位置，確定終端設備與各個資訊設備之間的相對位置，並接著在步驟S3）確定各資訊設備在顯示幕幕上的成像位置。在如上文結合反向定位方法及公式（1）-（3）所介紹的，光標籤的物理位置以及光標籤與資訊設備之間的相對位置是提前設定的，在根據成像裝置採集的光標籤圖像以及從伺服器獲取的與光標籤有關的資訊來確定成像設備相對於光標籤的具體位置和姿態的過程中，公式（3）中旋轉矩陣R 和位移向量t以及成像設備內部參數已經確定，由此可以通過來該公式確定每個資訊設備的像平面座標。因此可以通過光標籤與資訊設備之間的相對位置確定每個資訊設備在物理世界坐標系中的物座標，將其代入公式（3）就可以得到該資訊設備在成像平面中的像平面座標。然後在步驟S4）可以將各資訊設備的交互介面分別疊加到其在顯示幕幕上的成像位置處，以用於與各個資訊設備進行交交互操作。
在又一個實施例中，如果使用者希望控制的資訊設備不在當前的顯示幕幕中，用戶可以從所述初始位置移動終端設備以使得該資訊設備能夠出現在顯示幕幕中，例如，用戶可以平移或旋轉終端設備以使得其攝像頭最終朝向該資訊設備。當終端設備從所述初始位置發生移動時，檢測終端設備位置和姿態的變化，從而確定移動後的終端設備的位置資訊和姿態資訊，基於該位置資訊和姿態資訊，可以確定當前哪些資訊設備會出現於終端設備的顯示幕幕上以及它們各自的呈現位置。進而，可以將這些資訊設備的交互介面分別疊加到它們在顯示幕幕上的呈現位置處，以實現對於各個資訊設備的所見即所得的交交互操作。其中終端設備可以通過多種方式來監測自身位置和姿態的變化。例如，終端設備可以光標籤為參照點，將當前成像裝置捕獲的圖像與之前的圖像進行對比，識別計算圖像中的差異，從而形成特徵點，並使用這些特徵點計算自身位置和姿態的改變。又例如，諸如手機之類的終端設備可通過內置的加速度感測器、陀螺儀等慣性測量感測器測量的值來估算其攝像頭隨著時間推移，在現實世界中位置和朝向的變化。接著，基於終端設備當前的位置和朝向對旋轉矩陣R 和位移向量t進行調整，然後重新獲取資訊設備當前的像平面座標以在螢幕上呈現相關圖示或介面。
在又一個實施例中，該方法還可包括識別使用者對於資訊設備的交互介面的操作，將該操作轉換為相應的操作指令，並通過網路將其發送給資訊設備。資訊設備可回應於收到的相關操作指令來執行相應的操作。使用者可以通過多種方式來與資訊設備進行交互。例如，使用者可以通過終端設備的螢幕顯示的交互介面進行配置和操作資訊設備，例如可利用觸控式螢幕輸入或者利用鍵盤輸入。又例如，可以預先定義資訊設備的操作方式，例如語音控制或手勢控制。在資訊設備的操作方式被配置為語音控制的情況下，當使用者選擇該資訊設備後，終端設備檢測語音輸入並進行語音辨識，將收到的語音轉換為操作指令，通過網路將控制指令發送給資訊設備以對其進行操作。在資訊設備的操作方式被配置為手持控制時，可以通過終端設備的成像裝置或者安裝在使用者周圍環境中的攝像裝置來捕獲使用者的手勢，在終端設備上進行手勢識別以將其轉換為相應的操作指令，並通過網路發送該操作指令以控制相關資訊設備。與每個資訊設備操作相關的手勢可預先定義，例如與操作燈相關的手勢可包括手掌開為開燈，握拳為關燈，手指上劃為增強亮度，手指下劃為減弱亮度。
在本發明的實施例中，可以使用任何能夠用於傳遞資訊的光標籤（或光源）。例如，本發明的方法可以適用於基於CMOS的滾動快門效應而通過不同的條紋來傳遞資訊的光源（例如在中國專利公開CN104168060A中所描述的光通信裝置），也可以使用於如專利CN105740936A中所描述的光標籤，也可以適用於各種能通過CCD感光器件來識別所傳遞的資訊的光標籤，或者也可以適用於光標籤（或光源）的陣列。
本文中針對“各個實施例”、“一些實施例”、“一個實施例”、或“實施例”等的參考指代的是結合所述實施例所描述的特定特徵、結構、或性質包括在至少一個實施例中。因此，短語“在各個實施例中”、“在一些實施例中”、“在一個實施例中”、或“在實施例中”等在整個本文中各處的出現並非必須指代相同的實施例。此外，特定特徵、結構、或性質可以在一個或多個實施例中以任何合適方式組合。因此，結合一個實施例中所示出或描述的特定特徵、結構或性質可以整體地或部分地與一個或多個其他實施例的特徵、結構、或性質無限制地組合，只要該組合不是非邏輯性的或不能工作。本文中出現的類似於“根據A”或“基於A”的表述意指非排他性的，也即，“根據A”可以涵蓋“僅僅根據A”，也可以涵蓋“根據A和B”，除非特別聲明或者根據上下文明確可知其含義為“僅僅根據A”。在本申請中為了清楚說明，以一定的順序描述了一些示意性的操作步驟，但本領域技術人員可以理解，這些操作步驟中的每一個並非是必不可少的，其中的一些步驟可以被省略或者被其他步驟替代。這些操作步驟也並非必須以所示的方式依次執行，相反，這些操作步驟中的一些可以根據實際需要以不同的循序執行，或者並存執行，只要新的執行方式不是非邏輯性的或不能工作。
雖然本發明已經通過優選實施例進行了描述，然而本發明並非侷限於這裡所描述的實施例，在不脫離本發明範圍的情況下還包括所做出的各種改變以及變化。
無
以下參照附圖對本發明實施例作進一步說明，其中： 圖1為三角定位方法的基本原理示意圖； 圖2為採集光標籤時成像設備的成像過程的原理示意圖；以及 圖3為物坐標系與像坐標系之間的簡化關係示意圖； 圖4為根據本發明實施例的基於光標籤的資訊設備交互方法的流程示意圖。

Claims (10)

  1. 一種基於光標籤的資訊設備交互的方法，該方法包括： S1）通過用戶攜帶的終端設備對光標籤進行圖像採集來確定終端設備相對於光標籤的初始位置和姿態； S2）基於所確定的終端設備的位置和預先標定好的各個資訊設備相對於光標籤的位置來確定終端設備與各個資訊設備之間的相對位置； S3）根據所確定的終端設備的姿態及其與各個資訊設備之間的相對位置計算各資訊設備在所述終端設備的顯示幕幕上的成像位置； S4）將各資訊設備的交互介面分別呈現於其在顯示幕幕上的成像位置處，以用於與各個資訊設備進行交交互操作。
  2. 如請求項1所述的方法，還包括：回應於終端設備的位置和/或姿態的變化，調整各資訊設備在所述終端設備的顯示幕幕上的成像位置。
  3. 如請求項1所述的方法，還包括： 識別使用者對於資訊設備的交互介面的操作；以及 將所識別的操作轉換為相應的操作指令，並通過網路將其發送給該資訊設備。
  4. 如請求項3所述的方法，其中使用者對於資訊設備的交互介面的操作為下列中的至少一個：螢幕輸入、鍵盤輸入、語音輸入或手勢輸入。
  5. 一種基於光標籤的資訊設備交互的系統，該系統包括一個或多個資訊設備、處於資訊設備相對固定位置處的光標籤、用於儲存與資訊設備和光標籤有關資訊的伺服器、帶有成像裝置的終端設備； 其中終端設備被配置為： 對光標籤進行圖像採集來確定終端設備相對於光標籤的初始位置和姿態； 基於所確定的終端設備的位置和從伺服器獲取的預先標定好的各個資訊設備相對於光標籤的位置來確定終端設備與各個資訊設備之間的相對位置； 根據所確定的終端設備的姿態及其與各個資訊設備之間的相對位置計算各資訊設備在所述終端設備的顯示幕幕上的成像位置； 將各資訊設備的交互介面分別呈現於其在顯示幕幕上的成像位置處，以用於與各個資訊設備進行交交互操作。
  6. 如請求項5所述的系統，其中所述終端設備還被配置為：回應於終端設備的位置和/或姿態的變化，調整各資訊設備在所述終端設備的顯示幕幕上的成像位置。
  7. 如請求項5所述的系統，其中所述終端設備還被配置為： 識別使用者對於資訊設備的交互介面的操作；以及 將所識別的操作轉換為相應的操作指令，並通過網路將其發送給該資訊設備。
  8. 如請求項7所述的系統，其中使用者對於資訊設備的交互介面的操作為下列中的至少一個：螢幕輸入、鍵盤輸入、語音輸入或手勢輸入。
  9. 一種計算設備，包括處理器和記憶體，所述記憶體中儲存有電腦程式，所述電腦程式在被所述處理器執行時能夠用於實現如請求項1-4中任一項所述的方法。
  10. 一種儲存介質，其中儲存有電腦程式，所述電腦程式在被執行時能夠用於實現如請求項1-4中任一項所述的方法。
TW108116063A 2018-05-09 2019-05-09 基於光標籤的資訊設備交互方法及系統 TWI696960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810435183.8 2018-05-09
CN201810435183.8A CN110471580B (zh) 2018-05-09 2018-05-09 基于光标签的信息设备交互方法及系统

Publications (2)

Publication Number Publication Date
TW201947457A TW201947457A (zh) 2019-12-16
TWI696960B true TWI696960B (zh) 2020-06-21

Family

ID=68468452

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108116063A TWI696960B (zh) 2018-05-09 2019-05-09 基於光標籤的資訊設備交互方法及系統

Country Status (7)

Country Link
US (1) US11694055B2 (zh)
EP (1) EP3792711A4 (zh)
JP (1) JP7150980B2 (zh)
KR (1) KR20210008403A (zh)
CN (1) CN110471580B (zh)
TW (1) TWI696960B (zh)
WO (1) WO2019214641A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051919B (zh) * 2019-06-05 2022-10-18 北京外号信息技术有限公司 一种基于位置的交互方法和交互系统
CN111162840B (zh) * 2020-04-02 2020-09-29 北京外号信息技术有限公司 用于设置光通信装置周围的虚拟对象的方法和系统
TWI738318B (zh) * 2020-05-05 2021-09-01 光時代科技有限公司 用於確定光通信裝置的成像區域的系統
TWI756963B (zh) * 2020-12-03 2022-03-01 禾聯碩股份有限公司 目標物件之區域定義辨識系統及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339488A (zh) * 2016-08-30 2017-01-18 西安小光子网络科技有限公司 一种基于光标签的虚拟设施插入定制实现方法
CN106408667A (zh) * 2016-08-30 2017-02-15 西安小光子网络科技有限公司 基于光标签的定制现实方法
TWI606402B (zh) * 2016-01-27 2017-11-21 Information push system and method based on multiple light labels
CN107703872A (zh) * 2017-10-31 2018-02-16 美的智慧家居科技有限公司 家电设备的终端控制方法、装置及终端
CN107734449A (zh) * 2017-11-09 2018-02-23 陕西外号信息技术有限公司 一种基于光标签的室外辅助定位方法、系统及设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3904036B2 (ja) * 1996-05-17 2007-04-11 株式会社安川電機 多指多関節ハンドの制御装置
US20110001651A1 (en) * 2009-07-02 2011-01-06 Candelore Brant L Zero standby power laser controlled device
US8413881B2 (en) * 2010-02-22 2013-04-09 Into Great Companies, Inc. System of receiving prerecorded media discs from users
US8447070B1 (en) 2010-04-19 2013-05-21 Amazon Technologies, Inc. Approaches for device location and communication
JP2012037919A (ja) 2010-08-03 2012-02-23 Doshisha 拡張現実感技術を利用した情報家電操作システム
JP5257437B2 (ja) 2010-10-20 2013-08-07 コニカミノルタビジネステクノロジーズ株式会社 携帯端末及び処理装置の操作方法
JP2012156836A (ja) 2011-01-27 2012-08-16 Seiko Epson Corp リモコン装置及びプログラム
US20150025838A1 (en) * 2011-11-15 2015-01-22 Panasonic Corporation Position estimation device, position estimation method, and integrated circuit
JP6066037B2 (ja) 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
JP5603523B1 (ja) 2012-12-27 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
JP2014139745A (ja) 2013-01-21 2014-07-31 Shimizu Corp 機器管理システム、機器管理装置、機器管理方法及びプログラム
US9696703B2 (en) * 2013-05-18 2017-07-04 Fipak Research And Development Company Method and apparatus for ensuring air quality in a building, including method and apparatus for controlling a working device using a handheld unit having scanning, networking, display and input capability
WO2015008102A1 (en) * 2013-07-19 2015-01-22 Niss Group Sa System and method for indentifying and authenticating a tag
CN103823204B (zh) * 2014-03-10 2015-03-11 北京理工大学 一种基于可见光标签的室内定位方法
CN104168060B (zh) 2014-07-09 2017-12-01 珠海横琴华策光通信科技有限公司 一种利用可见光信号传输信息/获取信息的方法和装置
CN105740936B (zh) * 2014-12-12 2019-03-08 方俊 一种光标签和识别光标签的方法及设备
US20210203994A1 (en) * 2015-06-12 2021-07-01 Shaoher Pan Encoding data in a source image with watermark image codes
US9838844B2 (en) * 2015-09-25 2017-12-05 Ca, Inc. Using augmented reality to assist data center operators
JP2017130047A (ja) 2016-01-20 2017-07-27 沖電気工業株式会社 情報処理装置、情報処理システム、及びプログラム
CN105718840B (zh) * 2016-01-27 2018-07-24 西安小光子网络科技有限公司 一种基于光标签的信息交互系统及方法
CN106372556B (zh) * 2016-08-30 2019-02-01 西安小光子网络科技有限公司 一种光标签的识别方法
CN106446737B (zh) * 2016-08-30 2019-07-09 西安小光子网络科技有限公司 一种多个光标签的快速识别方法
CN106446883B (zh) * 2016-08-30 2019-06-18 西安小光子网络科技有限公司 基于光标签的场景重构方法
CN107784414B (zh) * 2016-08-31 2021-06-04 湖南中冶长天节能环保技术有限公司 一种生产过程参数管理系统
US10284293B2 (en) * 2016-09-23 2019-05-07 Qualcomm Incorporated Selective pixel activation for light-based communication processing
JP6546705B2 (ja) 2016-10-11 2019-07-17 株式会社オプティム 遠隔制御システム、遠隔制御方法、およびプログラム
CN107368805A (zh) * 2017-07-17 2017-11-21 深圳森阳环保材料科技有限公司 一种基于智能家居系统电器识别的遥控器
US10841174B1 (en) * 2018-08-06 2020-11-17 Apple Inc. Electronic device with intuitive control interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI606402B (zh) * 2016-01-27 2017-11-21 Information push system and method based on multiple light labels
CN106339488A (zh) * 2016-08-30 2017-01-18 西安小光子网络科技有限公司 一种基于光标签的虚拟设施插入定制实现方法
CN106408667A (zh) * 2016-08-30 2017-02-15 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN107703872A (zh) * 2017-10-31 2018-02-16 美的智慧家居科技有限公司 家电设备的终端控制方法、装置及终端
CN107734449A (zh) * 2017-11-09 2018-02-23 陕西外号信息技术有限公司 一种基于光标签的室外辅助定位方法、系统及设备

Also Published As

Publication number Publication date
CN110471580B (zh) 2021-06-15
TW201947457A (zh) 2019-12-16
US11694055B2 (en) 2023-07-04
EP3792711A1 (en) 2021-03-17
CN110471580A (zh) 2019-11-19
WO2019214641A1 (zh) 2019-11-14
US20210056370A1 (en) 2021-02-25
JP2021524119A (ja) 2021-09-09
EP3792711A4 (en) 2022-01-26
JP7150980B2 (ja) 2022-10-11
KR20210008403A (ko) 2021-01-21

Similar Documents

Publication Publication Date Title
TWI696960B (zh) 基於光標籤的資訊設備交互方法及系統
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
DK2988210T3 (en) Process, device and system for gesture management
US9257035B2 (en) Remote control device, remote control system, and storage medium storing control program, and medium to be attached to electrical device
US8537231B2 (en) User interface system based on pointing device
CN102783041B (zh) 通信装置以及通信方法
JP4584246B2 (ja) 物体上に出力画像を表示する方法
US9900500B2 (en) Method and apparatus for auto-focusing of an photographing device
US9207779B2 (en) Method of recognizing contactless user interface motion and system there-of
WO2019102825A1 (ja) レンダリング装置及びレンダリング方法
US20110254813A1 (en) Pointing device, graphic interface and process implementing the said device
KR20190035373A (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
JP2018018308A (ja) 情報処理装置、及びその制御方法ならびにコンピュータプログラム
JP2009134677A (ja) ジェスチャインターフェースシステム、ジェスチャ入力用ワンド、アプリケーション制御方法、カメラ校正方法、及び制御プログラム
WO2020244577A1 (zh) 一种基于位置的交互方法和交互系统
CN105302310B (zh) 一种手势识别装置、系统及方法
CN112529770A (zh) 图像处理方法、装置、电子设备和可读存储介质
JP2016139396A (ja) ユーザーインターフェイス装置、方法およびプログラム
WO2019214644A1 (zh) 基于光标签网络的辅助识别方法
US9413950B2 (en) Determining a device identifier from a light signal emitted by a device
WO2019214645A1 (zh) 用于构建光标签网络的方法及相应的光标签网络
TW202201269A (zh) 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體
TWM508035U (zh) 用於測量光學元件之測量設備及電子裝置
Molyneaux Smart Object, not Smart Environment: Cooperative Augmentation of Smart Objects Using Projector-Camera Systems
TW201640087A (zh) 用於測量光學元件之測量設備、電子裝置及其方法