TWI615776B - 移動物件的虛擬訊息建立方法、搜尋方法與應用系統 - Google Patents

移動物件的虛擬訊息建立方法、搜尋方法與應用系統 Download PDF

Info

Publication number
TWI615776B
TWI615776B TW105143001A TW105143001A TWI615776B TW I615776 B TWI615776 B TW I615776B TW 105143001 A TW105143001 A TW 105143001A TW 105143001 A TW105143001 A TW 105143001A TW I615776 B TWI615776 B TW I615776B
Authority
TW
Taiwan
Prior art keywords
virtual message
information
mobile device
moving object
search
Prior art date
Application number
TW105143001A
Other languages
English (en)
Other versions
TW201823983A (zh
Inventor
李雨暹
Original Assignee
李雨暹
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 李雨暹 filed Critical 李雨暹
Priority to TW105143001A priority Critical patent/TWI615776B/zh
Priority to US15/581,851 priority patent/US10264207B2/en
Priority to CN201710590365.8A priority patent/CN108616563B/zh
Priority to EP17189202.9A priority patent/EP3340177B1/en
Priority to JP2017218043A priority patent/JP2018106696A/ja
Application granted granted Critical
Publication of TWI615776B publication Critical patent/TWI615776B/zh
Publication of TW201823983A publication Critical patent/TW201823983A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明關於一種移動物件的虛擬訊息建立方法、搜尋方法與應用系統，於資料建立模式下，使用者操作行動裝置選定虛擬訊息，接著使用行動裝置拍攝一移動物件，以取得此移動物件的影像訊號，於是可以設定虛擬訊息在移動物件的位置，此時，系統將可取得虛擬訊息，以及解析移動物件產生的影像資訊，並取得設定顯示此虛擬訊息的可視範圍。在此方法中，即以移動物件的影像資訊作為定位虛擬訊息的定位資訊，當於搜尋模式下，系統將可根據移動物件的影像資訊，再比對行動裝置的位置是否落於可視範圍內，以此搜尋移動物件上的虛擬訊息。

Description

移動物件的虛擬訊息建立方法、搜尋方法與應用系統
本發明關於一種有關空間中虛擬訊息建立與搜尋方法與系統，特別是指在一移動物件上建立讓使用者透過行動裝置可以搜尋而顯示的虛擬訊息的方法，以及實現這個方法的應用系統。
在習知應用中，使用者可以操作行動裝置，執行一特定軟體程式，開啟其中照相模組，在行動裝置上顯示實景的情況下，可以搭配使用擴增實境(augmented reality)技術，呈現出在此實景前的特定影像物件。
根據習知技術，利用行動裝置顯示擴增實境影像的技術常是設定軟體程式可以辨識出某個場景內的標記(marker)，因而觸發某個影像物件，其中標記與此影像物件的關聯已經預設在軟體程式中。
另有方式是根據行動裝置的位置，觸發其中軟體程式產生對應某個位置的影像物件，讓行動裝置顯示出對應某個位置範圍的影像。其中全球定位系統產生的全球定位訊號，或可搭配方位角(azimuth angle)的訊號，即為觸發軟體程式經聯繫某個伺服器產生特定影像物件的依據。
常見習知使用擴增實境或是依照地點顯示影像的技術多用於 體驗或娛樂的用途。
本發明揭露書提出一種移動物件的虛擬訊息建立方法、搜尋方法與應用系統，應用系統提供使用者操作行動裝置下載一軟體程式，經執行此軟體程式後，可選擇進入一資料建立模式或是一搜尋模式。在資料建立模式下，系統提供使用者可以透過每個執行此軟體程式的行動裝置在特定移動物件上建立虛擬訊息，因此在系統端可以建立一個移動物件、可視範圍與虛擬訊息對應的搜尋引擎。於是，在搜尋模式下，使用者仍然操作著行動裝置，系統端伺服器取得行動裝置的位置資訊後，可配合移動物件的影像資訊，進而能搜尋對應的虛擬訊息，達到搜尋與顯示虛擬訊息的目的。
根據實施例，在發明所提出的移動物件的虛擬訊息建立方法中，於資料建立模式下，運作於行動裝置內的軟體程式取得行動裝置選定的虛擬訊息，並接收行動裝置所選定的移動物件的影像訊號，產生對應虛擬訊息的定位資訊，定位資訊即為移動物件的影像訊號。接著，上傳此虛擬訊息的資料以及對應虛擬訊息的定位資訊至一伺服器，同時設定一可視範圍，建立提供搜尋虛擬訊息的資料庫。虛擬訊息為一文字、一圖片、一影片與一聲音其中之一，或其組合。
在一實施例中，其中對應虛擬訊息的定位資訊主要為置放虛擬訊息的移動物件的影像資訊。而移動物件的影像資訊則可為經影像處理後產生的色塊資訊與線條資訊。之後與設定虛擬訊息的可視範圍檢視行動裝置的位置資訊，與影像資訊形成定位虛擬訊息的依據。
根據發明的再一實施方案，移動物件的虛擬訊息搜尋方法包括於搜尋模式下，運作於行動裝置內的軟體程式接收行動裝置取 得一移動物件的影像訊號，並運算取得影像資訊，同時行動裝置產生與此移動物件相關之位置資訊，主要為地面位置資訊。有關虛擬訊息的定位資訊包括位置資訊與影像資訊，接著上傳至一系統提供的伺服器，經伺服器中運算程序比對當中資料庫後，可以接收符合搜尋條件，且對應此定位資訊的搜尋結果，並顯示搜尋結果表示的虛擬訊息。
若經比對產生對應這個定位資訊的虛擬訊息，將可直接於行動裝置顯示上述移動物件時，同時顯示疊加與移動物件有關連的位置的虛擬訊息，完成搜尋有關此移動物件上虛擬訊息的目的。
根據發明提出的應用系統實施例，應用系統包括設於雲端的伺服器與資料庫，並包括載於行動裝置的電腦可讀取媒體的程式集，經處理器執行後可以執行以上移動物件的虛擬訊息建立與搜尋的程序，程式集包括：一影像擷取指令，用以取得移動物件的影像，並顯示於行動裝置上；一虛擬訊息處理指令，用以處理建立於行動裝置上與移動物件有關連的位置的一虛擬訊息，以及形成傳送到伺服器的虛擬訊息的資料；一位置資訊產生指令，用以取得行動裝置之一地面定位單元產生的位置資訊；一影像資訊產生指令，用以處理移動物件的影像，產生對應虛擬訊息置放位置的影像資訊；一搜尋處理指令，用以取得行動裝置於一搜尋模式下產生的位置資訊與影像資訊，將位置資訊與影像資訊傳送到伺服器，接收伺服器產生符合一搜尋條件的搜尋結果；一資料傳送與接收指令，建立行動裝置與伺服器之間的連線，用以傳送與接收訊號；以及一虛擬訊息顯示指令，用以根據搜尋結果顯示虛擬訊息。
為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制 者。
10‧‧‧行動裝置
101,102‧‧‧移動物件
103,105‧‧‧虛擬訊息
φ‧‧‧方位角
θ‧‧‧俯仰角
201‧‧‧定位衛星
20‧‧‧行動裝置
203‧‧‧虛擬訊息
205‧‧‧背景影像
221,222,223,224,225,226‧‧‧線條
211,212,213,214,215,216,217‧‧‧區塊
A‧‧‧方向
301‧‧‧伺服器
302‧‧‧資料庫
303,304‧‧‧建立者裝置
306,307,308‧‧‧搜尋者裝置
30‧‧‧網路
40‧‧‧網路
41‧‧‧伺服器
43‧‧‧搜尋資料庫
400‧‧‧行動裝置
401‧‧‧數據處理單元
402‧‧‧通訊單元
403‧‧‧地面定位單元
404‧‧‧空間定位單元
405‧‧‧攝影單元
406‧‧‧觸控顯示單元
407‧‧‧記憶單元
471‧‧‧影像擷取指令
474‧‧‧影像資訊產生指令
475‧‧‧搜尋處理指令
476‧‧‧資料傳送與接收指令
45‧‧‧虛擬訊息資料庫
472‧‧‧虛擬訊息處理指令
473‧‧‧位置資訊產生指令
477‧‧‧虛擬訊息顯示指令
411‧‧‧資料擷取單元
412‧‧‧使用者管理單元
413‧‧‧資料比對單元
414‧‧‧搜尋條件過濾單元
415‧‧‧排序單元
416‧‧‧資料傳送單元
80‧‧‧移動物件
801‧‧‧虛擬訊息一
802‧‧‧虛擬訊息二
90‧‧‧移動物件
901‧‧‧虛擬訊息三
902‧‧‧虛擬訊息四
100‧‧‧行動裝置
106‧‧‧移動物件
107‧‧‧虛擬訊息
111,112‧‧‧滑動切換標示
108‧‧‧虛擬訊息預覽區
110‧‧‧行動裝置
106’‧‧‧移動物件
117‧‧‧虛擬訊息
118,119‧‧‧手勢切換標示
120‧‧‧虛擬訊息預覽區
步驟S501~S515‧‧‧移動物件上建立虛擬訊息的流程
步驟S601~S607‧‧‧建立虛擬訊息的資料庫流程
步驟S701~S715‧‧‧顯示移動物件上虛擬訊息的流程
圖1A至圖1B顯示使用者操作行動裝置在移動物件上建立虛擬訊息的情境示意圖；圖2A顯示取得位置資訊的示意圖；圖2B顯示取得虛擬訊息的背景影像資訊的示意圖；圖3顯示實現本發明移動物件的虛擬訊息建立與搜尋系統的網路架構實施例圖；圖4A顯示本發明應用系統中終端行動裝置中軟體模組的實施例圖；圖4B顯示本發明系統中伺服器中功能模組的實施例圖；圖5顯示為描述本發明移動物件的虛擬訊息建立方法的實施例流程之一；圖6顯示為描述本發明移動物件的虛擬訊息建立方法的實施例流程之二；圖7顯示為描述本發明移動物件的虛擬訊息搜尋方法的實施例流程；圖8顯示本發明移動物件的虛擬訊息顯示時的情境示意圖；圖9顯示本發明移動物件的虛擬訊息顯示時的情境示意圖；圖10顯示應用系統提供終端行動裝置顯示搜尋結果的實施例示意圖之一；圖11顯示應用系統提供終端行動裝置顯示搜尋結果的實施例示意圖之二。
本發明揭露書揭示一種移動物件的虛擬訊息建立方法、搜尋方法與應用系統，所提出的應用系統包括一雲端系統，以及載於 行動裝置的電腦可讀取媒體中的軟體程式，雲端系統設有伺服器以及資料庫，提供使用者管理介面，讓使用者使用行動裝置上傳位置資訊，以及拍攝到的移動物件有關的影像資訊，使得應用系統記載了各端使用者上傳的與移動物件關聯的虛擬訊息的資料，形成一提供搜尋服務的資料庫，進而建立搜尋引擎，能提供使用者依照拍攝到的移動物件有關虛擬訊息。
透過以下情境示意圖描述使用者操作行動裝置在移動物件上建立虛擬訊息的方法。
如圖1A所示，示意顯示使用者操作一行動裝置10，行動裝置10可涵蓋任何可以取得實景影像、產生位置資訊與具有運算能力的可攜式裝置，例如智慧型手機、平板電腦與智慧眼鏡等。
開始時，使用者操作行動裝置10下載並安裝應用系統提供的軟體程式，如智慧型裝置內的APP，經執行此軟體程式後，可進入一資料建立模式，開啟行動裝置10的照相模組，操作行動裝置10朝向欲加註虛擬訊息103的移動物件101進行拍攝，如此例的人，移動物件更可為車輛或航空器等。在移動物件101上加註虛擬訊息103時，先透過行動裝置10的顯示螢幕看到這些移動物件101，之後，透過如擴增實境(Augmented Reality,AR)的技術，提供使用者利用行動裝置10的觸控顯示器，或是智慧眼鏡的浮空手勢(air gesture)等其他輸入方式，在移動物件101的某個部位上新增一個訊息，不排除可為文字、圖片、影片、聲音等訊息。
此例顯示移動物件101為一人，當一個人的裝扮成為一種識別標記時，將可能吸引使用者將虛擬訊息103安置在此人的身上或是附近，比如成為擺設廣告的位置，此歷險式使用者操作行動裝置10朝向此移動物件101，在顯示的移動物件101上加註虛擬訊息103，可能是一個廣告內容、優惠方案，或是針對個人或特定群組的訊息。
之後，當使用者確認在移動物件101某個位置上加註的虛擬 訊息103後，行動裝置10內的軟體程式可以透過程式將產生此虛擬訊息103對應在背景的移動物件101的影像資訊傳送到應用系統的伺服器，例如傳送到應用系統的某個伺服主機上。上述移動物件101的影像資訊包括色塊與線條，成為定位虛擬訊息103的依據，而虛擬訊息103的內容可為文字、圖片、影片或聲音，或其組合，上傳到伺服器的資訊更可包括建立此虛擬訊息103當下的行動裝置10的地面位置資訊，或可加上空間角度資訊。其中地面位置資訊如行動裝置10內全球定位系統感測到的位置，而空間角度資訊則陀螺儀所感測到行動裝置10的方位角(azimuth angle)與仰角(elevation angle)的組合。值得一提的是，行動裝置10當下的位置資訊則可以衍生成為可以看到虛擬訊息103的一個可視範圍。
在搜尋模式下，此例中移動物件101的影像資訊如虛擬訊息103所安置的人身上的衣飾花紋的組成色塊，以及色塊之間的線條。因此，行動裝置10的位置資訊與移動物件101的色塊資訊與線條資訊即為呈現虛擬訊息103的參數，一併儲存在應用系統中的雲端伺服器上。當有使用者操作行動裝置10產生以上參數，雲端伺服器即可比對而取得並呈現出虛擬訊息103，虛擬訊息103坐落的位置將由移動物件101的影像資訊所決定。在一般運作下，雲端伺服器至少需要地面位置資訊與影像資訊(色塊、線條)來比對得出虛擬訊息103。最後產生傳送到行動裝置10的搜尋結果。
以上設定虛擬訊息103的可視範圍的參數之一為操作行動裝置10的使用者與移動物件101之間的距離，如何取得行動裝置10與移動物件101的距離，其一方式可以由行動裝置10上的接近感測器，或透過影像資訊判斷距離，另一方式則是根據移動物件101的定位資訊與使用者的位置資訊運算得到兩者之間的距離。舉例來說，當移動物件101為在應用系統登錄有帳號的另一人，持有行動裝置，使用者在移動物件101上建立虛擬訊息時，應用系統 可以同時取得上傳虛擬訊息的使用者的帳號資訊，以及移動物件101的帳號資訊，因此，系統可以根據移動物件101的位置判斷是否使用者落於可視範圍內，也就是移動物件101與使用者之間的距離為可運算得到的參數，成為系統判斷是否可以看到虛擬訊息103的依據。
在一實施例中，如果移動物件101如圖中所示為一個人，除了上述由移動物件101的色塊資訊與線條資訊定位的方式外，人臉亦可成為辨識此人的重要資訊之一，為登錄於系統的人臉辨識資訊。在資料建立模式下，當使用者設定某個訊息(如虛擬訊息103)在某個人(如移動物件101)身上的某個位置時，此時，使用行動裝置10拍攝人臉，人臉在軟體程式中運算解析產生影像資訊，並同樣傳送到應用系統的伺服器登錄資訊，人臉識別資訊成為其他使用者在搜尋模式下取得虛擬訊息103的參考之一。
前述移動物件的色塊資訊、線條資訊，或是直接用來識別人臉的影像資訊等，係提供伺服器執行穎辨識而得到對應特定虛擬訊息的移動物件。根據一實施例，於伺服器中，可以一人工智慧(Artificial Intelligence)深度學習(Deep Learning)的影像辨識程序處理自行動裝置10傳送的移動物件的影像資訊，在伺服器中的運算程序識別出移動物件。
更進一步地，當使用者透過行動裝置10顯示虛擬訊息103時，可以透過軟體程式提供的介面，如一個連結圖案，或是虛擬訊息103顯示時也成為一個連結按鈕，讓使用者點入後繼續得到有關此虛擬訊息103的更多資訊，這些資訊係為系統提供，或是在建立此虛擬訊息已經加入的訊息。舉例來說，當虛擬訊息表示一個廣告內容，點入後可以得到某個產品的介紹、店面交通資訊，或有促銷與優惠活動等；當虛擬訊息為一個私人訊息，將有特定使用者或是某群組內的使用者才能搜尋得到。
圖1B顯示另一建立移動物件的虛擬訊息的情境示意圖。此例 顯示使用者操作行動裝置10啟動軟體程式，在資料建立模式下，開啟照相模組，朝向一個移動物件102(此例為車)，可以準確地對著移動物件102的某個位置以擴增實境的技術疊加虛擬訊息105，此例為圖片訊息，此圖片訊息可以傳達某個廣告行銷的內容，虛擬訊息105可以為介紹某產品的文字、影音內容、圖片等。之後，除了上傳虛擬訊息105的資料外，更將此加註的虛擬訊息105相關位置的影像資訊傳送到系統的伺服器。此例中的移動物件102的影像資訊如作為虛擬訊息105背景的車輛塗裝組成的色塊資訊以及色塊之間形成的線條資訊。當完成建立此虛擬訊息105後，行動裝置10的位置資訊也可形成可以搜尋到此虛擬訊息105的依據，不過這是輔助性的資訊，實際實施時可以忽略。
舉例來說，當移動物件102位於室內而無法取得衛星定位的訊息時，除了可以利用室內各種無線訊號輔助定位外，應用系統仍可以僅根據行動裝置10上傳的影像資訊判斷對應的虛擬訊息105，並不受限無法能夠取得行動裝置10的位置資訊的情況。
更進一步地，此虛擬訊息105建立時，使用者可以賦予虛擬訊息105更多功能，例如建立一個連結，如URL，讓其他使用者搜尋得到此虛擬訊息105時，可以獲取進一步資訊，如連結到另一個網頁，提供使用者進一步的互動服務，如提供影音通訊、訊息交談、購買交易的介面。
在本發明中，除了主要取得行動裝置產生的地面位置資訊外，亦可以採用空間角度資訊，例如移動物件具有一個高度，當虛擬訊息置放於移動物件上的某個高度的部分，虛擬訊息的可視範圍可以包括空間角度。空間角度資訊的取得可參考圖2A所示之示意圖，所示的空間座標系係以一個水平方位角(Azimuthal angle)φ與俯仰角(vertical angle)θ定義位置，根據本發明的實施概念，行動裝置20發展這個空間座標系，中間原點即為使用者所持的行動裝置20，水平表示一個東西南北的方位座標，根據一個基準軸 (此例為朝北的軸)可以取得行動裝置20的朝向(如行動裝置20背面鏡頭所指的方向A)，此方向A形成一個水平方位角φ以及一個垂直方向的俯仰角θ，方位角φ與俯仰角θ可由行動裝置20內的空間定位單元決定，兩者的組合即形成方向A的空間角度資訊。當配合定位衛星201在行動裝置20內形成的水平位置資訊，即可適當地定位行動裝置20所指的位置與方向，這個空間資訊將提供給應用系統的伺服器，由伺服器中的運算程序比對判斷得出顯示在行動裝置20上的虛擬訊息。
圖2B顯示取得虛擬訊息背景的影像資訊的示意圖。此例圖中顯示有一虛擬訊息203，以一虛線外框表示，座落在一個背景影像205上，本發明係指一移動物件，當建立此虛擬訊息203時，伺服器可自使用者端的行動裝置上取得虛擬訊息203的資料，以及所處的地面位置資訊，或包括空間角度資訊，更包括此背景影像205的影像資訊，這些空間資訊即形成定位此虛擬訊息203的參數。更進一步地，使用者建立此虛擬訊息203時，可以加註更多資訊，建立一個連結，讓後續使用者搜尋到此虛擬訊息203時，可以取得進一步資訊、連結到另一網頁或購買介面，提供更多互動服務。
此例顯示背景影像205的影像資訊包括了經過影像前置處理形成的色塊資訊與線條資訊。根據實施例之一，影像前置處理可於行動裝置上執行軟體程式運算，亦不排除由雲端伺服器運算，影像的色塊之間形成邊緣線條，線條之間就是色塊，都是成為辨識虛擬訊息所處位置的參數。
前置處理可先辨識將背景影像205中的線條(如圖示上的線條221,222,223,224,225,226)，線條之間形成區塊，計算區塊(211,212,213,214,215,216,217)中的影像畫素的平均值，形成對應的色塊資訊。在另一實施例中，可對各區塊(211,212,213,214,215,216,217)中的影像畫素執行一正規化運算(normalization)，計算每個區塊的特徵值，作為該區塊的色塊資訊。影像前置處理方法 並不限於以上列舉方法，且影像所處色度空間亦不受限於特定色度空間，可如RGB(紅、綠、藍)、HSV(色相(Hue)、飽和度(Saturation)、明度(Value))、CMYK(青(Cyan)、洋紅(Magenta)、黃(Yellow)、黑)等。
值得一提的是，當經影像處理後，得出上述背景影像205上的線條221,222,223,224,225,226的資訊，線條資訊可以提供顯示的虛擬訊息203的依據，能經影像處理後讓虛擬訊息203確實地座落在應該呈現的平面上，如移動物件的某個部位。
圖3顯示實現本發明移動物件的虛擬訊息建立與搜尋的系統網路架構實施例圖。
揭露書所揭示的移動物件的虛擬訊息建立與搜尋服務係建構在網路上，此例顯示系統端設有伺服器301與資料庫302，形成一個雲端系統，資料庫302記載虛擬訊息與對應定位資訊，主要為置放虛擬訊息的移動物件的影像資訊，亦可包括應用系統自行建制的資料。資料庫302作為搜尋虛擬訊息的資料來源。在一實施例中，資料庫302包括記載虛擬訊息的資料的一虛擬訊息資料庫，以及記載虛擬訊息的定位資訊以及對應各虛擬訊息的搜尋條件的一搜尋資料庫。
伺服器301主要是處理使用者端行動裝置所傳送的訊號，例如搜尋虛擬訊息的參數，並進行資料庫302內資料比對，提供搜尋結果。應用系統透過網路30提供搜尋服務，雲端系統的資料庫302的資料來源主要來自終端使用者建立的虛擬訊息資料，透過軟體介面提供使用者端搜尋當中資料庫302的虛擬訊息。
終端使用者如所示建立者裝置303,304，使用者操作行動裝置，可以此用行動裝置的觸控顯示器，以手勢操做的方式，或是其他輸入方式，例如使用智慧眼鏡，再以揮動手勢的輸入方式，以決定在某移動物件上置放虛擬訊息，虛擬訊息如文字、圖片、影片或聲音等，或其組合，與所置放虛擬訊息的移動物件兩者的 結合形成定位此虛擬訊息的定位資訊，特別的是，而移動物件形成了定位此虛擬訊息的影像資訊，如前述經影像處理產生的色塊資訊與線條資訊。
當利用建立者裝置303,304建立虛擬訊息與相關定位資訊後，透過網路30上傳到應用系統的伺服器301，伺服器301將資料儲存在資料庫302中。應用系統經網路30提供搜尋者裝置306,307,308透過操作行動裝置與其中軟體程式搜尋資料庫302中的虛擬訊息。舉例來說，使用者操作行動裝置，啟動軟體程式，啟動照相模組拍攝某移動物件，並擷取當中影像資訊，軟體程式取得行動裝置中相關定位電路產生的地面位置資訊，或包括空間角度資訊，這些資訊可先傳送到伺服器301，經比對後，傳回搜尋結果，搜尋結果為對應移動物件的影像資訊(色塊資訊、線條資訊與/或人臉辨識資訊)，以及行動裝置的位置資訊的虛擬訊息，最後可顯示在行動裝置的顯示器上。
值得一提的是，應用系統取得到建立者裝置303,304等使用者端透過軟體程式產生的虛擬訊息與對應的定位資訊，主要為移動物件的影像資訊，並可以設定搜尋條件，或可由使用者提供，或可由系統根據建立者裝置303,304與移動物件之間的空間關係設定此搜尋條件，例如可以看到這個虛擬訊息的一時間範圍、一可視範圍與一使用者範圍其中之一，或其組合。
例如，當初建立此虛擬訊息時的建立者裝置303,304與虛擬訊息所關聯的移動物件(兩者之間有一距離關係，或是俯仰角關係)的位置差異形成一個可視範圍，設定一個可以看到虛擬訊息的距離範圍，應用系統即能設一個搜尋者裝置306,307,308與虛擬訊息顯示的移動物件之間可以看到虛擬訊息的距離門檻，在此距離門檻之外，不論太近或太遠都不能看到虛擬訊息。
再如圖4A顯示本發明應用系統與終端行動裝置中軟體模組的實施例圖。
應用系統包括設於雲端的伺服器41，以一電腦系統實現，不排除由執行不同工作的電腦系統所組成，主要工作在於接收使用者端行動裝置400所上傳的虛擬訊息資料，以及虛擬訊息對應的定位資訊，以建立資料庫(搜尋資料庫43、虛擬訊息資料庫45)，資料庫(搜尋資料庫43、虛擬訊息資料庫45)用以記載經伺服器41取得使用者端的行動裝置產生的資料，特別是包括行動裝置400產生對應特定虛擬訊息的位置資訊。
資料庫為一個資料儲存媒體，可以根據功能區分為搜尋資料庫43與虛擬訊息資料庫45，兩者可以設於同一伺服器內，或是設於不同的位置。其中虛擬訊息資料庫45主要為記載行動裝置400上傳的虛擬訊息的資料，虛擬訊息可以為使用者透過行動裝置400建立的文字、圖片、影片與聲音其中之一，或其組合，其中影片更廣泛地包括平面、立體動畫；虛擬訊息資料庫45同時也成為使用者透過操作行動裝置400選擇虛擬訊息的資料來源。搜尋資料庫43主要為記載行動裝置400上傳的資料中對應虛擬訊息的其他資訊，如虛擬訊息的定位資訊，主要為影像資訊，其中主要為對應虛擬訊息的色塊資訊與線條資訊，色塊資訊與線條資訊主要是取自虛擬訊息的背景影像，成為定位虛擬訊息的主要依據。當伺服器41中運行運算程序，比對搜尋資料庫43記載的虛擬訊息，可以得到一或多個虛擬訊息，每個虛擬訊息各有識別資訊(ID)，透過虛擬訊息資料庫45提供給使用者端裝置。
根據一實施例，於伺服器41執行的運算程序為一以人工智慧深度學習的影像辨識程序，並經過多次處理與學習後，對移動物件的辨識度愈高。
根據再一實施例，當使用者操作行動裝置400形成虛擬訊息的定位資訊同時，可以設定一搜尋條件，也是上傳至搜尋資料庫43中，搜尋條件如一時間範圍、一可視範圍與一使用者範圍其中之一，或其組合，成為搜尋比對的依據。
舉例來說，使用者在某個移動物件上建立虛擬訊息時，可以設定一時間範圍，也就是設定使用者在本發明應用系統中執行資訊搜尋時，除了需要符合用來定位虛擬訊息的影像資訊外，在此時間範圍內才能搜尋到此虛擬訊息。可視範圍則是規範一個可視某虛擬訊息的距離範圍，讓使用者操作行動裝置400時要在這個可視範圍內才能看到符合移動物件的影像資訊的虛擬訊息。使用者範圍則是讓使用者可以設定可以看到虛擬訊息的對象，可以為一或多個人，每個人操作行動裝置400搜尋虛擬訊息時，同時也會傳送每個人的使用者識別資料(user ID)，伺服器同樣將此納入搜尋條件之一。
因此，應用系統藉著大量使用者上傳的資料建立資料庫(搜尋資料庫43、虛擬訊息資料庫45)，可以建立一搜尋引擎，提供使用者操作行動裝置搜尋虛擬訊息的服務。
運作本發明移動物件上虛擬訊息建立方法與搜尋方法的行動裝置400透過網路40連線於伺服器41，行動裝置400主要電路元件如處理各電路元件產生的訊號的數據處理單元401，以及與數據處理單元401電性連接的電路元件，如建立與外部裝置連線的通訊單元402、感測行動裝置400位置的地面定位單元403、感測行動裝置400在空間位置的空間定位單元404、取得實景(移動物件)影像的攝影單元405以及提供使用者操作手勢輸入指令的觸控顯示單元406。
其中地面定位單元403如全球定位系統的相關電路，透過接收定位衛星訊號產生地面位置資訊，而定位的技術仍可輔以其他無線基地台訊號執行定位；空間定位單元404則如載於行動裝置400內的陀螺儀，利用陀螺儀感測到行動裝置在空間的位置，形成空間角度資訊，主要由方位角φ與俯仰角θ組成。
應用系統更包括載於行動裝置400的記憶單元407(一種電腦可讀取媒體)的程式集，程式集經行動裝置400之處理器(一或 多個)執行後，可以執行移動物件的虛擬訊息建立與搜尋的程序。程式集執行主要功能的指令如下描述。
影像擷取指令471，運作行動裝置400的攝影單元405取得移動物件的影像，可包括人臉，並顯示於行動裝置400上；虛擬訊息處理指令472，用以處理使用者操作行動裝置400上的觸控顯示單元406建立與某個移動物件上的虛擬訊息，虛擬訊息可由使用者自行建立，或是選自系統提供的虛擬訊息資料庫45，並形成傳送到伺服器41的虛擬訊息的資料，虛擬訊息為文字、圖片、影片與聲音其中之一，或其組合；位置資訊產生指令473，能夠取得行動裝置400中定位電路產生的訊號，如取得行動裝置400中地面定位單元403與空間定位單元404產生的定位資訊，而本發明主要取得行動裝置400的GPS位置資訊即可；影像資訊產生指令474，用以處理移動物件影像，產生對應虛擬訊息的影像資訊，如上述實施例揭示的影像處理方法，可以產生可用以定位虛擬訊息的色塊資訊與線條資訊，或可包括人臉辨識資訊；搜尋處理指令475，用以取得行動裝置400於一搜尋模式下產生的位置資訊與影像資訊，並於位置資訊與影像資訊傳送到伺服器41後接收伺服器41產生符合一搜尋條件的搜尋結果；資料傳送與接收指令476則是建立行動裝置400與伺服器41之間的連線，用以傳送與接收訊號，特別是傳送使用者端產生的位置資訊，或包括影像資訊，再接收伺服器41產生的搜尋結果；以及虛擬訊息顯示指令477，當行動裝置400接收到伺服器41產生的搜尋結果後，如有一虛擬訊息被搜尋到，可以根據此搜尋結果顯示虛擬訊息，根據實施例之一，將在行動裝置400上顯示的移動物件疊加此虛擬訊息。
以上所述的虛擬訊息除了可由系統提供外，更可以由使用者自行透過其他軟體工具產生，包括拍攝的照片，亦可自所提供的系統取得，系統可以提供圖庫、影片庫、聲音庫等讓使用者選擇使用。
接著，如圖4B所示的本發明系統中伺服器中功能模組的實施例圖，其中以電路或是搭配軟體的功能模組描述雲端系統，雲端系統主要包括一搜尋資料庫43，其中記載多個虛擬訊息中個別虛擬訊息對應的一定位資訊(主要為色塊資訊與線條資訊等影像資訊)，每個虛擬訊息將設有一識別資料(ID)，作為搜尋索引，各虛擬訊息更對應有個別的搜尋條件，如設定有可以觀看此虛擬訊息的一時間範圍、一可視範圍(主要為距離範圍)與使用者範圍(指定可觀看的使用者)其中之一，或其組合，成為搜尋比對的依據。
另設有虛擬訊息資料庫45，用以儲存虛擬訊息的資料，依照虛擬訊息的形式儲存在資料庫中，虛擬訊息可為文字、圖片、影片或聲音，或是各種形式的組合，可以依照各虛擬訊息的識別資料連結搜尋資料庫43中對應各虛擬訊息的定位資訊以及搜尋條件。
伺服器41則是具有一或多個處理器的電腦系統，用以執行虛擬訊息搜尋排序方法，透過網路40提供各端使用者操作行動裝置搜尋虛擬訊息，伺服器41則是根據行動裝置所上傳的影像資訊提供搜尋與排序的結果。伺服器41可以硬體或搭配軟體方式實現此方法。
伺服器41設有資料擷取單元411，可以電路實現資料擷取的目的，係透過伺服器41主機上的網路介面連線至網路40，能以接收各端使用者操作行動裝置所產生的位置資訊與影像資訊等搜尋虛擬訊息所需的數據。
使用者管理單元412，可以一記憶體配合相關程式實現使用者管理的目的，用以記載每個使用者的使用者識別資料、密碼管理等安全性資料，更能據此將從使用者端行動裝置持續傳送的搜尋數據記錄起來，形成使用者的歷史記錄，作為日後提供使用者資訊的參考，例如作為搜尋結果排序的依據之一。特別的是，使用 者識別資料是系統對搜尋結果進行排序的重要依據之一，可以將與使用者個人相關的搜尋結果列於最高排序優先順序。
資料比對單元413則是能夠根據行動裝置上傳的移動物件的影像資訊與位置資訊比對搜尋資料庫43中的資料，並由虛擬訊息資料庫45取得虛擬訊息的檔案，回傳給行動裝置上。經資料比對單元413比對得出的結果視為一初步搜尋結果，系統進一步對此排序，以提供使用者相對有興趣的結果。
初步搜尋結果將經搜尋條件過濾單元414處理後，提供經排序的搜尋結果，排序時包括引入一些過濾條件，使得搜尋結果可以收斂至一定數量內的虛擬訊息，且能使得結果是對使用者有意義的內容。
舉例來說，排序係可依據一使用者關聯資訊，使用者關聯資訊係為伺服器41取得一伴隨虛擬訊息的使用者的使用者識別資料，可以此取得儲存於資料庫中的使用者關聯資訊。當系統取得使用者識別資料，可以先提供與使用者個人有關的虛擬訊息，如有人建立此虛擬訊息是指定要給某個(或某個使用者範圍)使用者看，此為一種個人虛擬訊息，經使用者識別資料過濾後，個人虛擬訊息對於所指定的使用者(一或多個)可設為最高的排序優先順序；反之，無關而不屬於使用者範圍的其他人將不會看到此虛擬訊息，此能排除不提供某些使用者觀看的虛擬訊息。
更者，使用者關聯資訊可為使用者設定的一喜好設定與一歷史數據，資料庫中各虛擬訊息可以設定關聯一或多個內容分類，使用者可以在使用此系統時設定其喜好設定，此為使用者主動設定一或多個有興趣的內容分類。歷史資訊包括系統收集每個使用者對各種虛擬訊息所關聯的內容的停留時間與訪問次數，系統可以將相對停留時間較久的內容(與其分類)視為該使用者較為喜好的內容分類，同理，訪問次數也可以作為判斷使用者喜好的依據，因此，雲端系統將可根據歷史數據判斷得出關於該使用者的 一或多個有興趣的內容分類。
於是，系統可將關聯性較高的虛擬訊息設較高優先順序，將關聯性較低的虛擬訊息設較低優先順序，提供給使用者的搜尋結果可據此排序。
在一實施例中，虛擬訊息可具有一時間特性，建立虛擬訊息的虛擬訊息提供者可以對所建立的虛擬訊息設一時間參數，包括可以顯示的時間(可設定時間範圍、早上、中午或晚上等)，或是設定虛擬訊息被搜尋的有效顯示時間，因此依照伺服器的系統時間，系統可以時間作為參數過濾初步搜尋結果，排除時間參數不符合的虛擬訊息，包括排除顯示時間不符的虛擬訊息，以及排序時排除有效顯示期限超出系統時間的虛擬訊息。
搜尋條件過濾單元414更可依據客觀數據排序虛擬訊息，客觀數據如各虛擬訊息建立的時間、更新時間、有效時間、點閱率與/或評價等參數，系統可根據這些參數決定排序時的優先順序。例如，虛擬訊息的建立時間愈新者，可以具有較高的優先順序；或是更新率愈高者，可以具有較高的優先順序；或是某個虛擬訊息所關聯的內容被訪問率愈高，也可具有較高的優先順序；或可參考其他人對虛擬訊息所關聯的內容的評價，評價愈高者，也可具有較高的優先順序。
另外，除了以上時間、使用者關聯資訊與客觀數據作為排序的依據外，系統可對資料庫中的虛擬訊息賦予一系統權重，系統權重主要是由一虛擬訊息提供者於雲端系統對所提供的個別虛擬訊息設定一權重，由雲端系統對所接收的多個虛擬訊息個別所接收的權重運算所述的系統權重，系統權重愈大者，具有較高優先順序。
舉例來說，系統權重可以為廣告，虛擬訊息提供者如廣告業主，可以一價格要求系統提供較高的排序，成為設定系統權重的依據。其他不排除政府政令宣導、對大眾有關的資訊等，可以透 過設定系統權重而改變排序優先順序。
之後，雲端系統透過排序單元415對以上各種排序的依據作出一排序決定，其中不外乎是系統設定的排序策略(scenario)，並可以依據實際需要調整。
最後，資料傳送單元416對各產生搜尋請求的行動裝置傳送搜尋與排序的結果，當行動裝置接收自伺服器41傳送經排序後輸出的一或多個虛擬訊息時，以顯示螢幕顯示具有最高優先順序的虛擬訊息，或根據一選擇指令顯示經選擇的虛擬訊息，顯示各虛擬訊息，係與取得的移動物件的影像結合。
圖5接著顯示為描述本發明移動物件的虛擬訊息建立方法的實施例流程。
在此流程中，使用者操作行動裝置啟動建議虛擬訊息的軟體程式，如步驟S501，藉此可以同時啟動攝影單元，如步驟S503。於一資料建立模式下，使用者可以自行製作如圖片、文字、影像、聲音等多媒體虛擬訊息，亦可透過軟體程式連線伺服器選取資料庫中的虛擬訊息，如步驟S505。因此，應用系統中的伺服器將接收行動裝置所選定的虛擬訊息。
在此實施例中，使用者操作行動裝置，以攝影單元拍攝一移動物件，選定移動物件，如步驟S507，同時可以取得移動物件的影像訊號，並能以軟體程式中的解析程序將影像訊號解析得出其中影像資訊，移動物件的影像資訊為經影像處理後產生定位虛擬訊息的一色塊資訊與一線條資訊，如以上實施例描述，此影像資訊為可以辨識出移動物件的影像特徵。
再如步驟S509，當使用用者操作行動裝置決定虛擬訊息在移動物件上的位置，關聯此虛擬訊息的移動物件的影像資訊即為虛擬訊息的定位資訊，並由伺服器接收此由行動裝置產生置放虛擬訊息在移動物件上的影像資訊，如步驟S511。
接著，如步驟S513，使用者可以透過軟體程式提供的介面設 定讓其他人搜尋到此虛擬訊息的可視範圍，此可視範圍主要包括與移動物件的一距離範圍，不排除可以加上一個視角範圍，或是一個俯仰角的範圍。再如步驟S515，使用行動裝置上傳虛擬訊息與對應的可視範圍與影像資訊至伺服器。同時，系統更可讓使用者設定其他使用者搜尋與顯示虛擬訊息的一時間範圍與/或一使用者範圍。
圖6顯示之流程為移動物件的虛擬訊息建立方法的另一實施例。在此流程中，如步驟S601，當應用系統接收使用者端上傳的虛擬訊息與對應的可視範圍與影像資訊時，可以同時取得使用者識別資料，包括可以識別使用者的各種資訊，如啟動軟體程式與使用系統服務的使用者帳號、行動裝置識別序號等，除了可以管理使用者外，更藉此可以設定與使用者有關的搜尋條件，如步驟S605，建立虛擬訊息的搜尋條件，搜尋條件可以設定搜尋與觀看此虛擬訊息的使用者範圍。
之後，如步驟S607，應用系統接收到終端所上傳的虛擬訊息、可視範圍、影像資訊、使用者識別資料與搜尋條件等，建議提供搜尋虛擬訊息服務的資料庫。
根據再一實施例，亦參考圖6顯示的實施例流程，使用者在移動物件上建立虛擬訊息時，應用系統除了接收到上傳虛擬訊息的使用者的帳號外，若移動物件為另一系統的用戶，亦具有登錄於應用系統的服務帳號，應用系統可以在得到使用者帳號與位置時，同時得知作為移動物件的用戶的服務帳號與位置(軟體程式要求取得行動裝置的位置資訊)。之後，系統除了如之前實施例所述透過影像資訊辨識移動物件與所關聯的虛擬訊息外，仍可以根據用戶帳號確認移動物件身份，以及關聯的虛擬訊息，進一步取得移動物件的位置，如此，成為建立此移動物件上虛擬訊息的可視範圍，系統可以得到搜尋虛擬訊息的使用者與此移動物件兩個人彼此之間的距離。於是，此距離資訊成為系統判斷是否可以看 到虛擬訊息的依據之一，或者成為設定虛擬訊息可視範圍的依據。
圖7所示為顯示搜尋得到的虛擬訊息的方法流程。
上述應用系統提供使用者搜尋虛擬實境的服務，當使用者在終端操作執行使用此服務的軟體程式時(步驟S701)，在一搜尋模式下，軟體程式啟動攝影單元，並取得由行動裝置攝影單元拍攝取得的物件影像(步驟S703)，特別是置放虛擬訊息的物體，如本發明所應用的移動物件。運作中，軟體程式持續地得到行動裝置的位置資訊(步驟S705)，主要為GPS模組產生的地面位置資料，但也不排除取得陀螺儀得到的空間角度資料。
軟體程式除了得到移動物件的影像訊號外(步驟S707)，更可以影像運算手段解析得到移動物件的影像資訊(步驟S709)，上述實施例所述，取得移動物件的色塊資訊與線條資訊，這些影像資訊，或加上行動裝置的位置資訊，足以判斷得出置放虛擬訊息的位置，以作為搜尋虛擬訊息的依據，當資料庫中虛擬訊息中有符合移動物件的影像資訊與上述各種搜尋條件時，即可顯示在移動物件上的虛擬訊息。在另一實施例中，若移動物件為登錄服務帳號的另一人，所持有的行動裝置產生的定位資訊為定位移動物件的重要依據之一，可以藉此取得移動物件與搜尋虛擬訊息的行動裝置之間的距離。
值得一提的是，所述移動物件的影像資訊包括色塊資訊與線條資訊之外，若移動物件為人，透過影像處理取得的人臉辨識資訊亦成為辨識移動物件與定位虛擬訊息的重要依據之一，可藉以以得出搜尋結果。
當在終端行動裝置上形成位置資訊與移動物件的影像資訊，即時上傳伺服器(步驟S711)，伺服器中有資料庫，係記載由多個使用者操作各自的行動裝置所上傳的虛擬訊息與對應的可視範圍與影像資訊，提供伺服器執行一運算程序比對資料庫，以得出符合對應虛擬訊息的可視範圍與影像資訊的搜尋結果，並傳回行動 裝置(步驟S713)，搜尋結果若顯示有至少一虛擬訊息，即在行動裝置上顯示在一可視範圍內符合影像資訊的虛擬訊息(步驟S715)。
圖8顯示本發明移動物件的虛擬訊息顯示時的情境示意圖。
在此情境示意圖中，移動物件80如一部車，車上顯示不只一個虛擬訊息，當使用者操作行動裝置拍攝此移動車輛時，同時擷取當中的影像訊號，並解析取得影像特徵，成為定位各種虛擬訊息的資訊，上傳伺服器，伺服器中的軟體程序將比對資料庫，得到如圖顯示在移動物件80上的虛擬訊息一801，其中示意顯示「歡迎光臨XX餐廳」的訊息，以及虛擬訊息二802，其中示意顯示「XX商品」與可播放內容的訊息。
圖9則是表示另一顯示虛擬訊息的情境示意圖，此圖顯示移動物件90為一個人，人本身有些特徵，經取得影像資訊後，上傳伺服器可以得到符合這個影像資訊以及可視範圍的虛擬訊息，如圖中虛擬訊息三901顯示的「促銷價XXX」，有文字與圖形，以及胸前的虛擬訊息四902，此訊息可能為針對某個搜尋使用者的個人訊息。
圖10顯示當應用系統提供終端行動裝置有多筆虛擬訊息時的顯示搜尋結果的實施例示意圖。
其中顯示有一行動裝置100，當中呈現一個即時得到的移動物件106的影像，當伺服器比對資料庫中符合此移動物件106影像資訊的虛擬訊息有多筆時，或者已經經過搜尋條件過濾後，仍有多筆虛擬訊息時，可以此圖例方式顯示，包括先顯示一個主要排序第一的虛擬訊息107，使用者介面提供滑動切換標示111,112讓使用者可以在此例的觸控顯示器上以左右滑動的手勢切換虛擬訊息，下方的虛擬訊息預覽區108則提供其他訊息以供選擇。
圖11接著顯示可利用如智慧眼鏡的載體呈現搜尋結果的實施例示意圖。
圖例中的行動裝置110如一智慧眼鏡，當中同樣以攝影機取得移動物件106’的影像，同樣以影像處理手段取得移動物件106’的影像資訊，上傳伺服氣候，立即可顯示排序第一的虛擬訊息117，同樣也包括提示使用者可以切換訊息的手勢切換標示118,119，此例顯示使用者在此應用的載體上可以揮動手勢切換虛擬訊息，下方同樣提示有虛擬訊息預覽區120。
是以，根據揭露書所載實施例，本發明提出一種移動物件的虛擬訊息建立方法、空間物件搜尋方法與應用系統，在此系統架構下，可以根據多個使用者上傳在不同或相同移動物件的虛擬訊息建立提供搜尋服務的資料庫，所依據的定位資訊主要為移動物件的影像資訊，當有使用者欲搜尋此移動物件下的虛擬訊息時，伺服器同樣依照行動裝置上傳的影像資訊與行動裝置的位置資訊進行搜尋虛擬訊息，達到在移動物件上搜尋與顯示虛擬訊息的目的。
惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。
80‧‧‧移動物件
801‧‧‧虛擬訊息一
802‧‧‧虛擬訊息二

Claims (19)

  1. 一種移動物件的虛擬訊息建立方法，應用於一應用系統中，該應用系統設有一伺服器，該方法包括：於一資料建立模式下，該伺服器接收使用者操作一行動裝置選定之一虛擬訊息；該伺服器接收以該行動裝置設定該虛擬訊息在一移動物件的位置時產生的影像資訊，該影像資訊係由該移動物件的影像訊號解析得到的；以及該伺服器接收該虛擬訊息的資料與該虛擬訊息的定位資訊，於該應用系統中建立一提供搜尋該虛擬訊息的資料庫；其中，於完成設定該虛擬訊息在該移動物件的位置後，更包括設定顯示該虛擬訊息的一可視範圍，該可視範圍包括與該移動物件的一距離範圍，於上傳該虛擬訊息的資料時，更上傳該可視範圍至該伺服器。
  2. 如請求項1所述的移動物件的虛擬訊息建立方法，其中該移動物件的影像資訊為經影像處理後產生定位該虛擬訊息的一色塊資訊與一線條資訊。
  3. 如請求項1所述的移動物件的虛擬訊息建立方法，其中該移動物件的影像資訊為一人臉辨識資訊。
  4. 如請求項1所述的移動物件的虛擬訊息建立方法，其中於該伺服器中，係以一人工智慧深度學習的影像辨識程序處理該移動物件的影像資訊。
  5. 如請求項1所述的移動物件的虛擬訊息建立方法，其中，於上傳該虛擬訊息的資料的步驟中，更設定顯示該虛擬訊息的一時間範圍與/或一使用者範圍。
  6. 如請求項1所述的移動物件的虛擬訊息建立方法，其中該移動物件為持有另一行動裝置的另一人，該伺服器取得該移動物件 的行動裝置產生的定位資訊，用以取得與建立該虛擬訊息的該行動裝置之間的一距離。
  7. 一種移動物件的虛擬訊息搜尋方法，應用於一應用系統中，該應用系統設有一伺服器，該方法包括：於一搜尋模式下，取得一行動裝置的位置資訊，以及該行動裝置取得一移動物件的影像訊號；運算取得該移動物件的影像資訊；上傳該移動物件的影像資訊與該位置資訊至該伺服器；以及自該伺服器接收於相對該移動物件的一可視範圍內並符合該影像資訊的一搜尋結果，其中該可視範圍為與該移動物件的一距離範圍；其中，該伺服器設有一資料庫，係記載由多個使用者操作各自的行動裝置所上傳虛擬訊息與對應的可視範圍與影像資訊，提供該伺服器執行一運算程序比對該資料庫，以得出符合對應該虛擬訊息的該可視範圍與該影像資訊的搜尋結果。
  8. 如請求項7所述的移動物件的虛擬訊息搜尋方法，其中該行動裝置產生的該位置資訊係為一地面位置資訊，該地面位置資訊係由該行動裝置內一地面定位單元產生。
  9. 如請求項7所述的移動物件的虛擬訊息搜尋方法，其中該移動物件的影像資訊為經影像處理後產生的一色塊資訊與一線條資訊。
  10. 如請求項7所述的移動物件的虛擬訊息搜尋方法，其中該移動物件的影像資訊為一人臉辨識資訊。
  11. 如請求項7所述的移動物件的虛擬訊息搜尋方法，其中該伺服器執行的該運算程序為一以人工智慧深度學習的影像辨識程序。
  12. 如請求項7至11其中之一所述的移動物件的虛擬訊息搜尋方法，其中，於該伺服器接收到該位置資訊與該影像資訊後，判斷該位置資訊是否落於相對該移動物件的該可視範圍內。
  13. 如請求項12所述的移動物件的虛擬訊息搜尋方法，其中，於該伺服器比對該資料庫時，更比對顯示該虛擬訊息的一時間範圍與/或一使用者範圍。
  14. 如請求項12所述的移動物件的虛擬訊息搜尋方法，其中該移動物件為持有另一行動裝置的另一人，該伺服器取得該移動物件的行動裝置產生的定位資訊，用以取得與搜尋該虛擬訊息的該行動裝置之間的一距離，以判斷該位置資訊是否落於相對該移動物件的該可視範圍內。
  15. 一種應用系統，包括：一伺服器，包括一資料庫；載於一行動裝置的電腦可讀取媒體的一程式集，該程式集經該行動裝置之一處理器執行後，執行移動物件的虛擬訊息建立與搜尋的程序，該程式集包括：一影像擷取指令，用以取得一移動物件的影像，並顯示於該行動裝置上；一虛擬訊息處理指令，用以處理建立於該行動裝置上與該移動物件有關連的一虛擬訊息，以及形成傳送到該伺服器的虛擬訊息的資料；一位置資訊產生指令，用以取得該行動裝置之一地面定位單元產生的一位置資訊；一影像資訊產生指令，用以處理該移動物件的影像，產生定位該虛擬訊息的影像資訊；一搜尋處理指令，用以取得該行動裝置於一搜尋模式下產生的該位置資訊與該影像資訊，並於將該位置資訊與該影像資訊傳送到該伺服器後，接收該伺服 器產生符合一搜尋條件的搜尋結果；一資料傳送與接收指令，建立該行動裝置與該伺服器之間的連線，用以傳送與接收訊號；以及一虛擬訊息顯示指令，用以根據該搜尋結果顯示該虛擬訊息。
  16. 如請求項15所述的應用系統，其中該資料庫包括記載該虛擬訊息的資料的一虛擬訊息資料庫，以及記載顯示該虛擬訊息的影像資訊，以及對應各虛擬訊息的搜尋條件的一搜尋資料庫。
  17. 如請求項15所述的應用系統，其中該移動物件的影像經影像處理後，形成對應該虛擬訊息或執行搜尋的一色塊資訊與一線條資訊。
  18. 如請求項15所述的應用系統，其中該移動物件的影像為一人臉，該影像資訊更包括一人臉辨識資訊。
  19. 如請求項15至18其中之一所述的應用系統，其中該搜尋條件係為搜尋該虛擬訊息的一可視範圍，並包括一時間範圍與/或一使用者範圍。
TW105143001A 2016-12-23 2016-12-23 移動物件的虛擬訊息建立方法、搜尋方法與應用系統 TWI615776B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW105143001A TWI615776B (zh) 2016-12-23 2016-12-23 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
US15/581,851 US10264207B2 (en) 2016-12-23 2017-04-28 Method and system for creating virtual message onto a moving object and searching the same
CN201710590365.8A CN108616563B (zh) 2016-12-23 2017-07-19 移动物件的虚拟信息建立方法、搜寻方法与应用系统
EP17189202.9A EP3340177B1 (en) 2016-12-23 2017-09-04 Method and system for creating virtual message onto a moving object and searching the same
JP2017218043A JP2018106696A (ja) 2016-12-23 2017-11-13 移動オブジェクトの仮想情報構築方法、移動オブジェクトの仮想情報検索方法及びアプリケーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105143001A TWI615776B (zh) 2016-12-23 2016-12-23 移動物件的虛擬訊息建立方法、搜尋方法與應用系統

Publications (2)

Publication Number Publication Date
TWI615776B true TWI615776B (zh) 2018-02-21
TW201823983A TW201823983A (zh) 2018-07-01

Family

ID=59982226

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105143001A TWI615776B (zh) 2016-12-23 2016-12-23 移動物件的虛擬訊息建立方法、搜尋方法與應用系統

Country Status (5)

Country Link
US (1) US10264207B2 (zh)
EP (1) EP3340177B1 (zh)
JP (1) JP2018106696A (zh)
CN (1) CN108616563B (zh)
TW (1) TWI615776B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690826B (zh) * 2018-05-23 2020-04-11 國立臺灣師範大學 擴增內容的產生方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338117B (zh) * 2015-11-27 2018-05-29 亮风台（上海）信息科技有限公司 用于生成ar应用和呈现ar实例的方法、设备与系统
EP3780575B1 (en) 2018-05-23 2022-11-16 Huawei Technologies Co., Ltd. Photographing method and terminal device
JP7056500B2 (ja) * 2018-10-04 2022-04-19 トヨタ自動車株式会社 画像生成装置、画像生成方法、およびプログラム
JP6754815B2 (ja) * 2018-11-07 2020-09-16 スカパーＪｓａｔ株式会社 拡張現実システム、拡張現実端末および方法
WO2020181517A1 (zh) * 2019-03-13 2020-09-17 桂林理工大学 基于多媒体数字化技术的传统古村落传播系统及方法
JP2020166555A (ja) * 2019-03-29 2020-10-08 株式会社三井住友銀行 Ａｒプラットフォームシステム、方法およびプログラム
EP4104002A4 (en) * 2020-02-14 2023-08-09 Magic Leap, Inc. 3D OBJECT ANNOTATION
JP6889304B1 (ja) * 2020-03-31 2021-06-18 株式会社博報堂Ｄｙホールディングス 拡張現実表示システム、拡張現実表示方法、及びコンピュータプログラム
TWI791261B (zh) * 2020-08-14 2023-02-01 宏達國際電子股份有限公司 在移動中提供虛擬環境的方法與系統以及非暫態電腦可讀取儲存媒體
US11341728B2 (en) 2020-09-30 2022-05-24 Snap Inc. Online transaction based on currency scan
US11620829B2 (en) 2020-09-30 2023-04-04 Snap Inc. Visual matching with a messaging application
US11386625B2 (en) * 2020-09-30 2022-07-12 Snap Inc. 3D graphic interaction based on scan
US20220358176A1 (en) * 2021-05-08 2022-11-10 Greenburger Noah System and method of merging online search and consolidation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法
CN102326185A (zh) * 2009-11-16 2012-01-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
CN102792338A (zh) * 2009-12-07 2012-11-21 索尼公司 信息处理设备、信息处理方法和程序
US20140111547A1 (en) * 2010-01-05 2014-04-24 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
TW201447233A (zh) * 2013-03-15 2014-12-16 蘋果公司 具有用於輸出至車上顯示器的逐一路口導航模式之地圖應用程式
CN104616190A (zh) * 2015-03-05 2015-05-13 广州新节奏智能科技有限公司 基于互联网和移动互联网的多终端3d体感购物方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4207256B2 (ja) * 1998-08-24 2009-01-14 コニカミノルタビジネステクノロジーズ株式会社 カラー画像の領域分割方法およびプログラム記憶媒体
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP4770178B2 (ja) * 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
JP2008124309A (ja) * 2006-11-14 2008-05-29 Toyota Motor Corp 半導体装置とその製造方法
US8098881B2 (en) * 2008-03-11 2012-01-17 Sony Ericsson Mobile Communications Ab Advertisement insertion systems and methods for digital cameras based on object recognition
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
CN106101115B (zh) * 2009-07-30 2019-09-20 Sk普兰尼特有限公司 用于提供增强现实的方法、服务器和便携终端
US9286624B2 (en) 2009-09-10 2016-03-15 Google Inc. System and method of displaying annotations on geographic object surfaces
JP5616622B2 (ja) 2009-12-18 2014-10-29 アプリックスＩｐホールディングス株式会社 拡張現実感提供方法及び拡張現実感提供システム
JP5271965B2 (ja) 2010-05-21 2013-08-21 株式会社エヌ・ティ・ティ・ドコモ オブジェクト配信範囲設定装置及びオブジェクト配信範囲設定方法
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
JP5885480B2 (ja) 2011-12-01 2016-03-15 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラム
US9066200B1 (en) 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
JP6286123B2 (ja) 2012-12-27 2018-02-28 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置、コンテンツ提供方法及びコンピュータプログラム
CN103107938A (zh) * 2013-01-25 2013-05-15 腾讯科技（深圳）有限公司 信息交互方法、服务器及终端
CN104580299A (zh) * 2013-10-17 2015-04-29 拓景科技股份有限公司 信息产生与分享方法及其相关装置
US9953446B2 (en) * 2014-12-24 2018-04-24 Sony Corporation Method and system for presenting information via a user interface
JP6492673B2 (ja) 2015-01-15 2019-04-03 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
CN106203292A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种图像的增强现实处理的方法、装置及移动终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326185A (zh) * 2009-11-16 2012-01-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
CN102792338A (zh) * 2009-12-07 2012-11-21 索尼公司 信息处理设备、信息处理方法和程序
US20140111547A1 (en) * 2010-01-05 2014-04-24 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法
TW201447233A (zh) * 2013-03-15 2014-12-16 蘋果公司 具有用於輸出至車上顯示器的逐一路口導航模式之地圖應用程式
CN104616190A (zh) * 2015-03-05 2015-05-13 广州新节奏智能科技有限公司 基于互联网和移动互联网的多终端3d体感购物方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690826B (zh) * 2018-05-23 2020-04-11 國立臺灣師範大學 擴增內容的產生方法

Also Published As

Publication number Publication date
EP3340177A1 (en) 2018-06-27
EP3340177B1 (en) 2020-04-29
CN108616563A (zh) 2018-10-02
US20180184038A1 (en) 2018-06-28
CN108616563B (zh) 2021-05-14
US10264207B2 (en) 2019-04-16
TW201823983A (zh) 2018-07-01
JP2018106696A (ja) 2018-07-05

Similar Documents

Publication Publication Date Title
TWI615776B (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
CN107870961B (zh) 空间物件搜寻排序方法、系统与计算机可读取存储装置
CN107870962B (zh) 适地性空间物件远距管理方法与系统
US9542778B1 (en) Systems and methods related to an interactive representative reality
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US20150220777A1 (en) Self-initiated change of appearance for subjects in video and images
CN108733272B (zh) 适地性空间物件可视范围管理方法与系统
CN108241726B (zh) 移动物件的虚拟信息远距管理方法与应用系统
CN108896035B (zh) 通过影像信息实现导航的方法、设备以及导航机器人
WO2019127320A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品
CN107016351A (zh) 拍摄指导信息的获取方法以及装置
TWI611307B (zh) 適地性空間物件資料建立方法、顯示方法與應用系統
US12094032B2 (en) Pose recommendation and real-time guidance for user-generated content
KR102074621B1 (ko) 개인의 신체와 성향을 고려한 홈웨어 추천 방법 및 장치
WO2021152834A1 (ja) ライフログ管理装置、制御方法及び記憶媒体