WO2015024465A1 - 一种筛选增强现实内容的方法、装置及系统 - Google Patents

一种筛选增强现实内容的方法、装置及系统 Download PDF

Info

Publication number
WO2015024465A1
WO2015024465A1 PCT/CN2014/084060 CN2014084060W WO2015024465A1 WO 2015024465 A1 WO2015024465 A1 WO 2015024465A1 CN 2014084060 W CN2014084060 W CN 2014084060W WO 2015024465 A1 WO2015024465 A1 WO 2015024465A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
target
server
behavior
location information
Prior art date
Application number
PCT/CN2014/084060
Other languages
English (en)
French (fr)
Inventor
李国庆
常新苗
金志皓
Original Assignee
华为终端有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为终端有限公司 filed Critical 华为终端有限公司
Priority to EP14838385.4A priority Critical patent/EP2988473B1/en
Priority to JP2016520271A priority patent/JP6478286B2/ja
Priority to KR1020157035813A priority patent/KR101738443B1/ko
Publication of WO2015024465A1 publication Critical patent/WO2015024465A1/zh
Priority to US14/955,534 priority patent/US9788166B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications

Definitions

  • the present invention relates to the field of communications, and in particular, to a method, apparatus and system for selecting augmented reality content.
  • Augmented Reality is a technique used to help people get relevant information about objects in the real world in a more intuitive and visual way.
  • the workflow of the AR system is divided into four steps: sensing, identification, matching, and rendering.
  • the existing map application provides users with a location-based interest point (English: Point of Interest, abbreviated: POI) query service.
  • the terminal on which the map application is installed first uses the Global Position System (GPS) or the cell ID of the cellular network (English: Cell ID) to determine the current location (latitude and longitude) of the user, and then queries according to the current location.
  • GPS Global Position System
  • the database and then obtains the P0I of the registered restaurant, bank, shopping mall and station near the current location from the database; the user can also input a location of interest in the map application, and the map application searches the database and maps The location is located up to search for the POI near the location.
  • the existing question answering system receives the user input question and corresponding data, and after the natural language processing of the question, transmits the question to the query subsystem, and the query subsystem infers the answer to the question, and from the knowledge base Take out the relevant answer and output it to the user.
  • the above map application requires the user to have a clear understanding of the P0I requested by the user, that is, the user needs to analyze the P0I that he wants to reach according to his own needs; the above question and answer system can only process a single type of text data, and cannot handle complex types. Data, and if the problem entered by the user is not accurate enough, the question and answer system cannot meet the user's information needs.
  • Embodiments of the present invention provide a method, apparatus, and system for screening augmented reality content, which can dynamically and dynamically enhance the real-life content that meets the user's needs according to the behavior selected by the user in real time, thereby satisfying the information needs of the user.
  • an embodiment of the present invention provides a method for screening an augmented reality AR content, including: When the application for acquiring location information in the terminal is triggered, the terminal captures a panoramic photo of the location of the terminal, and determines location information of the terminal and related information of the first target according to the panoramic photo;
  • the terminal sends a first request message to the server, where the first request message carries the identifier of the terminal and the location information of the terminal;
  • the terminal When the terminal determines that the first behavior in the at least one behavior is selected, the terminal sends a second request message to the server, where the second request message carries the information of the first behavior;
  • the terminal combines the first target and the AR content according to the related information of the first target.
  • the terminal when the application for acquiring location information in the terminal is triggered, the terminal captures a panoramic photo of the location of the terminal, and determines the location according to the panoramic photo.
  • the method further includes:
  • the terminal reads tag information of the second target
  • the terminal sends a first recording event to the server, and the first recording event triggers the server to classify the first recording event according to the identifier of the terminal and the location information of the terminal, and determine the first A probability of recording an event, the first recorded event including an act of the terminal reading tag information of the second target.
  • the terminal sends, when determining that the first behavior in the at least one behavior is selected
  • the second request message is sent to the server, where the second request message carries the information of the first behavior, and then the method further includes:
  • the terminal Sending, by the terminal, a second recording event to the server, where the second recording event triggers the server to classify the second recording event according to the identifier of the terminal and the location information of the terminal, and determine the first Two notes: the probability of the event and the bar of the second recorded event a probability that the second recorded event includes an action in which the first behavior is selected in the at least one behavior.
  • the related information of the first target includes location information of the first target, and the second recorded event further includes location information of the first target.
  • the label information of the second target is read by the terminal Afterwards, the method further includes:
  • the terminal acquires the identifier of the second target according to the label information of the second target; the terminal sends a third request message that carries the identifier of the second target to the server;
  • the terminal receives a third response message that is returned by the server and carries location information of the second target.
  • the first recorded event further includes location information of the second target.
  • the embodiment of the present invention provides a method for filtering an AR content, including: receiving, by a server, a first request message from a terminal, where the first request message carries an identifier of the terminal and location information of the terminal;
  • the AR content is combined, and the location information of the terminal and the related information of the first target are triggered when an application that acquires location information in the terminal is triggered.
  • the terminal photographs the panoramic photo of the location of the terminal, it is determined according to the panoramic photo.
  • the method before the server receives the first request message from the terminal, the method further includes:
  • the server classifies the first recorded event according to the identifier of the terminal and the location information of the terminal, and determines a probability of the first recorded event.
  • the method further includes:
  • the server receives a second recorded event from the terminal, the second recorded event including an act of the first action being selected in the at least one behavior;
  • the server classifies the second recorded event according to the identifier of the terminal and the location information of the terminal, and determines a probability of the second recorded event and a conditional probability of the second recorded event.
  • the related information of the first target includes location information of the first target, and the second recorded event further includes location information of the first target.
  • the server receives the first one from the terminal Before the event is recorded, the method further includes:
  • the server receives a third request message from the terminal that carries the identifier of the second target, where the identifier of the second target is obtained by the terminal according to the label information of the second target;
  • the server sends a third response message carrying location information of the second target to the terminal.
  • the first recorded event further includes location information of the second target.
  • an embodiment of the present invention provides a terminal, including:
  • a determining unit configured to: when the application for acquiring the location information in the terminal is triggered, take a panoramic photo of the location of the terminal, and determine location information of the terminal and related information of the first target according to the panoramic photo;
  • a sending unit configured to send a first request message to the server, where the first request message carries an identifier of the terminal and location information of the terminal determined by the determining unit;
  • a receiving unit configured to receive a first response message that carries at least one behavior from the server, where the at least one behavior is determined by the server according to the identifier of the terminal, location information of the terminal, and conditional probability of different behaviors of;
  • the sending unit is further configured to: when the terminal determines that the first behavior in the at least one behavior is selected, send a second request message to the server, where the second request message carries the first Behavioral information;
  • the receiving unit is further configured to receive a second response message from the server that carries the AR content corresponding to the first behavior
  • a display unit configured to combine the first target and the AR content received by the receiving unit according to the related information of the first target determined by the determining unit.
  • the determining unit acquires an application that acquires location information in the terminal
  • the panoramic photo of the location where the terminal is located is captured, and determined according to the panoramic photo.
  • the determining unit is further configured to read tag information of the second target
  • the sending unit is further configured to send a first recording event to the server, where the first recording event triggers the server to classify the first recorded event according to the identifier of the terminal and the location information of the terminal. And determining a probability of the first recorded event, where the first recorded event includes an act of the determining unit reading tag information of the second target.
  • the sending unit is further configured to send a second recording event to the server, where the second Recording an event triggers the server to classify the second recorded event according to the identifier of the terminal and the location information of the terminal, and determine a probability of the second recorded event and a conditional probability of the second recorded event.
  • the second recorded event includes an act of the first action being selected in the at least one behavior.
  • the related information of the first target determined by the determining unit includes location information of the first target, and the second recorded event sent by the sending unit further includes location information of the first target.
  • the determining unit reads the label of the second target After the information, the determining unit is further configured to acquire the identifier of the second target according to the label information of the second target;
  • the sending unit is further configured to send a third request message that carries the identifier of the second target to the server;
  • the receiving unit is further configured to receive a third response message that is returned by the server and that carries the location information of the second target.
  • the first recorded event sent by the sending unit further includes location information of the second target.
  • an embodiment of the present invention provides a server, including:
  • a receiving unit configured to receive a first request message from the terminal, where the first request message carries an identifier of the terminal and location information of the terminal;
  • a determining unit configured to determine at least one behavior according to the identifier of the terminal, the location information of the terminal, and the conditional probability of different behaviors received by the receiving unit;
  • a sending unit configured to send a first response message carrying the at least one behavior determined by the determining unit to the terminal;
  • the receiving unit is further configured to receive a second request message from the terminal, where the The second request message carries information of the first behavior, where the first behavior is a selected behavior of the at least one behavior;
  • the sending unit is further configured to send a second response message that carries the AR content corresponding to the first behavior to the terminal, where the second response message triggers the terminal to use the related information of the first target to
  • the first target and the AR content are combined, and the location information of the terminal and the related information of the first target are that when the application for acquiring location information in the terminal is triggered, the terminal captures the After the panoramic photo of the location of the terminal, it is determined according to the panoramic photo.
  • the receiving unit is further configured to receive a first recording event from the terminal, where the first recording event includes an act of the terminal reading the tag information of the second target;
  • the determining unit is further configured to classify the first recorded event according to the identifier of the terminal and the location information of the terminal, and determine a probability of the first recorded event.
  • the receiving unit is further configured to receive a second recording event from the terminal, where the second recording event includes an action that the first behavior is selected in the at least one behavior;
  • the determining unit is further configured to classify the second recorded event according to the identifier of the terminal and location information of the terminal, and determine a probability of the second recorded event and a conditional probability of the second recorded event .
  • the related information of the first target includes location information of the first target, and the second recorded event received by the receiving unit further includes location information of the first target.
  • the receiving unit receives the location from the terminal Before the first recorded event
  • the receiving unit is further configured to receive a third request message from the terminal that carries the identifier of the second target, where the identifier of the second target is that the terminal is according to the second target Obtained by the label information;
  • the sending unit is further configured to send a third response message carrying the location information of the second target to the terminal.
  • the first recorded event received by the receiving unit further includes location information of the second target.
  • the fifth aspect provides a system for screening AR content, including: the terminal according to the third aspect, and the server of the fourth aspect.
  • the embodiment of the invention provides a method, a device and a system for screening AR content, which can dynamically and dynamically filter the augmented reality content that satisfies the user's needs according to the behavior selected by the user, thereby satisfying the information requirement of the user.
  • FIG. 1 is a flowchart 1 of a method for screening AR content according to an embodiment of the present invention
  • FIG. 2 is a flowchart 2 of a method for screening AR content according to an embodiment of the present invention
  • FIG. 4 is a schematic structural diagram 1 of a terminal according to an embodiment of the present invention
  • FIG. 5 is a schematic structural diagram 1 of a server according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram 2 of a terminal according to an embodiment of the present disclosure.
  • FIG. 7 is a schematic structural diagram 2 of a server according to an embodiment of the present disclosure.
  • FIG. 8 is a system block diagram of screening AR content according to an embodiment of the present invention.
  • GSM Global System for Mobile communications
  • CDMA Code Division Multiple Access
  • TDMA Time Division Multiple Access
  • WCDMA Wideband Code Division Multiple Access Wireless
  • FDMA Frequency Division Multiple Addressing
  • OFDMA Orthogonal Frequency-Division Multiple Access
  • SC-FDMA Single carrier frequency division multiple access
  • General Packet Radio Service English: General Packet Radio Service, Abbreviation: GPRS
  • LTE Long Term Evolution
  • LTE Long Term Evolution
  • the terminal can be a wireless terminal, and the wireless terminal can be a camera, a gyroscope, an electronic compass, a Near Field Communication (NFC) module (optional), a central processing unit (English: Central Processing Unit, abbreviation) : CPU), random access memory, non-volatile memory and communication module electronics.
  • the wireless terminal can communicate with one or more core networks via a radio access network (English: Radio Access Network, RAN), which can be a mobile terminal, such as a mobile phone (or "cellular" phone) and has
  • RAN Radio Access Network
  • the computers of the mobile terminal for example, may be portable, pocket-sized, handheld, and mobile devices built into the computer that exchange language and/or data with the wireless access network.
  • a wireless terminal may also be called a system, a subscriber unit (English: Subscriber Unit), a subscriber station (English: Subscriber Station), a mobile station (English: Mobile Station), a mobile station (English: Mobile), a remote station (English: Remote Station) ), access point (English: Access Point), remote terminal (English: Remote Terminal), access terminal (English: Access Terminal ), User Agent (English Agent) or User Equipment.
  • PCS Personal Communication Service
  • SIP Session Initiation Protocol
  • WLL Wireless Local Loop
  • PDA Personal Digital Assistant
  • a wireless terminal may also be called a system, a subscriber unit (English: Subscriber Unit), a subscriber station (English: Subscriber Station), a mobile station (English: Mobile Station), a mobile station (English: Mobile), a remote station (English: Remote Station) ), access point (English: Access Point), remote terminal (English: Remote Terminal), access terminal (English: Access Terminal ), User Agent (English Agent) or User Equipment.
  • an embodiment of the present invention provides a method for screening AR content, which is related to a terminal side, and the method may include:
  • the terminal captures a panoramic photo of the location where the terminal is located, and determines location information of the terminal and related information of the first target according to the panoramic photo.
  • a method for screening AR content when a user is lost in an indoor environment or cannot determine his own behavior, the user may trigger an application for acquiring location information in the terminal. That is, when the application for acquiring location information in the terminal is triggered by the user, the terminal may take a panoramic photo of the location of the terminal, and determine location information of the terminal and related information of the first target according to the panoramic photo.
  • the technology for determining, by the terminal, the related information of the first target according to the panoramic photo taken by the terminal may include: an optical character recognition technology, an image recognition technology, and the like.
  • the first target refers to an object that exists in the indoor environment where the terminal is located and can be identified by using an image processing method, that is, an AR target.
  • a preset target library is stored in the server, and the target library is stored in the target library.
  • a plurality of targets in the environment, the target library may also be downloaded from the server to the terminal in advance and saved by the terminal.
  • the first target may be one of an object such as a direction indication arrow, a shop identification, a fire sign, or an elevator in the indoor environment in which the terminal is located.
  • the related information of the first target may include an image feature value of the first target, position information of the first target, and the like.
  • the related information of the first target may be data pre-collected by the terminal before S101.
  • the terminal may determine the location information of the terminal and the related information of the first target by means of other manners capable of displaying the environment of the terminal, which is not limited by the present invention.
  • the terminal sends a first request message to the server, where the first request message carries the identifier of the terminal and the location information of the terminal.
  • the terminal After the terminal determines the location information of the terminal, the terminal sends a first request message to the server, where the first request message carries the identifier of the terminal and the location information of the terminal.
  • the identifier of the terminal may be a user identification card on the terminal (English: Subscriber Identity Module, abbreviated: SIM) number, an international mobile equipment may be bad Sequence No. 1 terminal J (English: International Mobile Equipment Identity, Abbreviations: IME I) and other identifiers that meet the requirements, the invention is not limited.
  • SIM Subscriber Identity Module
  • IME I International Mobile Equipment Identity
  • the terminal receives a first response message from the server that carries at least one behavior, where the at least one behavior is determined by the server according to the identifier of the terminal, the location information of the terminal, and the conditional probability of different behaviors.
  • the first request message triggers the server according to the identifier of the terminal carried in the first request message, the location information of the terminal, and the conditional probability of different behaviors calculated and calculated by the server before, according to these different behaviors.
  • the size of the conditional probability and the preset probability threshold determine at least one behavior, and the at least one behavior is carried in the first response message and sent to the terminal, that is, the terminal receives the first response message from the server that carries the at least one behavior.
  • At least one behavior obtained by the above server may be a collection of events, which may be initialized by the program developer according to some behaviors that most users routinely perform (for example, the user searches for a bank, a restaurant, a supermarket, etc.).
  • the server may also collect and analyze the needs of the user who uses the terminal to augment the event set.
  • S104 The terminal sends a second request message to the server when determining that the first behavior in the at least one behavior is selected, where the second request message carries the information of the first behavior.
  • the terminal After receiving the at least one behavior sent by the server, the terminal presents the at least one behavior to the user, and the user may select an behavior that satisfies one's own needs, that is, the first behavior, according to the needs of the user.
  • the terminal may send the second request message to the server, where the second request message carries the information of the first behavior.
  • the terminal receives a second response message from the server that carries the AR content corresponding to the first behavior.
  • the server may filter the AR content corresponding to the first behavior from the AR content pre-saved by the server according to the information of the first behavior carried in the second request message, and The AR content is carried in the second response message and sent to the terminal, that is, the terminal receives the second response message from the server that carries the AR content corresponding to the first behavior.
  • the AR content may include graphic information, audiovisual information, 3D images, and the like.
  • the AR content in the embodiment of the present invention may include a classification information (the classification information may be represented as graphic information, audiovisual information, 3D image, etc.), and the classification information is used to indicate which behavior of the AR content is related to the user.
  • the classification of a set of AR content is a navigation class that can be used to indicate that the first behavior selected is that the user is traveling to a particular destination.
  • the terminal presents the first target and the AR content corresponding to the first behavior according to the related information of the first target.
  • the terminal may combine the first target and the AR content according to the related information of the first target. For example, the terminal combines a certain significant identifier determined in the panoramic photo taken by the terminal with the AR content of the prominent marker pre-stored in the server, so that the user can obtain the arrival result according to the display result presented by the terminal. The route of the significant marker, and then to the location where the significant marker is located.
  • the manner in which the terminal presents the first target and the AR content corresponding to the first behavior may be a registration display or an unregistered display.
  • the registration display means that the computer generated content is aligned with an object in the physical world and merged into a unified scene for presentation to the user; the unregistered display refers to the computer generated content and an object in the physical world. Misaligned, but simply superimposed and presented to the user.
  • an embodiment of the present invention further provides a method for screening AR content, which is related to a server side, and the method may include:
  • the S20 server receives the first request message from the terminal, where the first request message carries the identifier of the terminal and the location information of the terminal.
  • the user may trigger an application for acquiring location information in the terminal.
  • the terminal may take a panoramic photo of the location of the terminal, and determine the terminal according to the panoramic photo.
  • the first request message is sent to the server, that is, the server receives the first request message sent by the terminal, the first request; the % information carries the identifier of the terminal and the location information of the terminal.
  • the server determines at least one behavior according to the identifier of the terminal, the location information of the terminal, and the conditional probability of different behaviors.
  • the server may perform statistics according to the identifier of the terminal carried in the first request message, the location information of the terminal, and the server.
  • the conditional probability of different behaviors determines at least one behavior according to the magnitude of the conditional probability of these different behaviors and the preset probability threshold.
  • the server sends a first response message carrying at least one behavior to the terminal.
  • the server After the server obtains at least one of the foregoing behaviors, the server carries the at least one behavior in the first response message and sends the message to the terminal.
  • the server receives a second request message from the terminal, where the second request message carries information of the first behavior, where the first behavior is a selected behavior of the at least one behavior.
  • the terminal may present at least one behavior carried in the first response message to the user, so that the user may select the first behavior in the at least one behavior according to the needs of the user, when the terminal determines the at least one
  • the terminal sends a second request message to the server, that is, the server receives the second request message sent by the terminal, and the second request message carries the information of the first behavior.
  • the server sends a second response message carrying the AR content corresponding to the first behavior to the terminal, where the second response message triggers the terminal to use the first target and the AR content corresponding to the first behavior according to the related information of the first target.
  • the location information of the terminal and the related information of the first target are determined by the terminal after the panoramic photo of the location of the terminal is captured by the terminal when the application for acquiring the location information is triggered by the terminal.
  • the server may filter the AR content corresponding to the first behavior in the AR content pre-stored in the server according to the information of the first behavior carried in the second request message, and the The AR content is carried in the second response message and sent to the terminal, so that the second response message may trigger the terminal to combine the first target and the AR content corresponding to the first behavior to be presented to the user according to the related information of the first target, thereby
  • the user can reach the destination of the user's demand according to the indication of the display result of the terminal, where the location information of the terminal and the related information of the first target are when the application for acquiring the location information in the terminal is triggered, and the location of the terminal is photographed by the terminal.
  • the panoramic photo it is determined based on the panoramic photo.
  • the embodiment of the invention provides a method for screening AR content, which can dynamically and dynamically filter the augmented reality content that satisfies the user's needs according to the behavior selected by the user, thereby satisfying the information requirement of the user.
  • an embodiment of the present invention provides a method for filtering AR content, where the method may include: 5301.
  • the terminal reads the label information of the second target, and acquires the identifier of the second target according to the label information of the second target.
  • the user can first read the label information of the second target by means of photographing, scanning or reading the label, and obtain the identifier of the second target according to the label information of the second target.
  • the second target is an object in which the readable label is set in the environment where the terminal is located.
  • the terminal sends a third request message carrying the identifier of the second target to the server. After the terminal obtains the identifier of the second target, the terminal may carry the identifier of the second target in the third request message and send the identifier to the server.
  • the identifier of the second target may include at least one of a name of the second target, a type of the second target, or a brand of the second target.
  • the server searches for location information of the second target according to the identifier of the second target. After the server receives the identifier of the second target from the terminal, the server may find the location information of the second target in the information pre-stored in the server according to the identifier of the second target. Specifically, the location information of the second target may include coordinate values of the second target.
  • the location information of the second target can be obtained by the pre-collected indoor map and the data of the second target. Since there are a large number of objects with readable labels in public places such as shopping centers, supermarkets, libraries, museums, airports, stations, etc., and as the cost of NFC tags declines, NFC smart posters will also be widely used. Therefore, readable labels will become more and more abundant in public places. In order to facilitate the management of goods, books, etc., staff in shopping malls, libraries, etc., need to record the area or location where these items are located when sorting these items. Currently, indoor maps are generally uploaded to the map application service provider by staff at these locations. Therefore, when organizing and arranging the indoor environment, the staff can record the position information of the object with the readable label, that is, the second target on the indoor map, and save it to the server, which is to collect the indoor map and the second target. An implementation of data.
  • the user can read the second target readable using his mobile phone, head mounted device or other mobile device.
  • a tag such as a barcode, a QR code, or an NFC tag, obtains the number of the second target and requests information related to the second target from the server; at the same time, an application including an indoor map of the environment of the user may be provided.
  • an application including an indoor map of the environment of the user may be provided.
  • the location information of the second target may also correct the location information of the second target that has been collected.
  • the server may further search for the description information of the second target in the information pre-stored in the server according to the identifier of the second target, to provide the second target material, the second target, and the second Relevant information such as the price of the target and other users' comments on the second target.
  • the description information of the second target may be used to help the user to obtain information about the product that he views.
  • the indoor environment in which the terminal is provided in the embodiment of the present invention stores a large number of readable tags or information devices that can interact with the terminal, and the locations of the readable tags and information devices are already identified on the indoor map and stored in the In the server.
  • the server returns a third response message carrying the location information of the second target to the terminal. After the server finds the location information of the second target, the server may send the location information of the second target to the terminal in the third response message, that is, the terminal acquires the location information of the second target.
  • the terminal sends the first record event to the server, where the first record event includes an act of the terminal reading the tag information of the second target.
  • the terminal After the terminal reads the tag information of the second target, the terminal sends the first record event to the server, where the first record event may include the behavior of the terminal reading the tag information of the second target.
  • the terminal when the terminal reads the tag information of the second target or interacts with the second target occurrence information, the terminal automatically records the event (ie, the first recorded event), and sends the first recorded event to the server, where the A record event triggering server saves and analyzes the first record event, wherein the first record event may include the behavior of the terminal (eg, the terminal reads the tag information of the second target, the terminal interacts with the second target, and the like).
  • the first recording event may further include location information of the second target, after the terminal receives the location information of the second target from the server, the terminal reads the behavior of the label information of the second target and the second target
  • the location information is sent to the served location as the first recorded event, that is, the location information of the second target.
  • the location information of the second target is the same as the location information of the terminal at this time. It can be understood that, when the terminal sends the first recording event to the server, the server may obtain the location information of the terminal according to the identifier of the terminal.
  • the present invention does not limit the execution order of S302-S304 and S305, that is, the present invention may first execute S302-S304, and then execute S305; or may perform S305 first, then S302-S304; or S302- S304 and S305.
  • the server classifies the first recorded event according to the identifier of the terminal and the location information of the terminal, and determines a probability of the first recorded event.
  • the server may classify the first recorded event according to the identifier of the terminal and the location information of the terminal, and calculate each class according to the law of large numbers.
  • the identifier of the terminal may be a user identification card on the terminal (English:
  • the location information of the terminal may include coordinate values of the terminal.
  • a user can use a QR code to redeem a movie ticket from a ticket vending machine in a movie theater, a user uses a mobile payment to purchase a movie ticket at a ticket office, or a user purchases popcorn at a member service center and uses NFC mobile payment function.
  • Payment, etc. the terminal records these events as the first recorded event and sends it to the server.
  • the server After receiving the first recorded events sent by the terminal, the server follows the identification of the ticket vending machine/sales office/member service center, or automatically sells the ticket.
  • the location information of the machine/ticket office/member service center, or the identification of the ticket vending machine/ticket office/member service center, and the location information of the ticket vending machine/ticket office/member service center classify these first recorded events.
  • the movie ticket exchange terminal or the official ticket vending machine of the movie theater can be used for redemption, and the first recorded event of using this type of different exchange terminal to redeem the movie ticket is used. Both can be divided into the same class of first recorded events by the server.
  • the server After the server records a large number of first recorded events, the server can calculate the probability of occurrence of each type of first recorded event according to the law of large numbers.
  • the server can calculate the probability that the user uses the mobile payment site to purchase the movie ticket at the ticket office after the user enters the cinema, and redeem the ticket from the ticket vending machine using the two-dimensional code. The probability of a movie ticket.
  • the probability of occurrence of the first recorded event may be expressed as a probability that the first recorded event occurs at the location of the second target.
  • the terminal and the service 3 ⁇ 4 can repeatedly execute S301 to S306 to record More events and saving a large amount of data, such as when the user is shopping in the mall, the terminal can use the terminal to read the tag information of the plurality of second targets, and record the behavior of reading the tag information of the second target as the first record event. To the server.
  • the terminal captures a panoramic photo of the location where the terminal is located, and determines location information of the terminal and related information of the first target according to the panoramic photo.
  • the user can trigger an application in the terminal to obtain location information. That is, when the application for acquiring the location information in the terminal is triggered by the user, the terminal may take a panoramic photo of the location of the terminal, and the terminal determines the location information of the terminal and the related information of the first target according to the panoramic photo.
  • the technology for determining, by the terminal, the related information of the first target according to the panoramic photo taken by the terminal may include: an optical character recognition technology, an image recognition technology, and the like.
  • the first target refers to an object that exists in the indoor environment where the terminal is located and can be identified by using an image processing method, that is, an AR target.
  • a preset target library is stored in the server, and the target library is stored in the target library.
  • a plurality of targets in the environment, the target library may also be downloaded from the server to the terminal in advance and saved by the terminal.
  • the first target may be one of a direction indication arrow, a shop identification, a fire sign, and an elevator object of the indoor environment in which the terminal is located.
  • the AR content may include graphic information, audiovisual information, 3D images, and the like.
  • the AR content in the embodiment of the present invention may include a classification information (the classification information may be represented as graphic information, audiovisual information, 3D image, etc.), and the classification information is used to indicate which behavior of the AR content is related to the user.
  • the classification of a set of AR content is a navigation class that can be used to indicate that the first behavior selected is that the user is traveling to a particular destination.
  • the related information of the first target may include an image feature value of the first target, position information of the first target, and the like.
  • the related information of the first target may be data collected by the terminal before S 1 01; the location information of the first target may include coordinate values of the first target.
  • the method for determining, by the terminal, the location information of the first target may be one of the following:
  • the terminal After the terminal photographs the panoramic photo of the location of the terminal, the terminal performs image processing on the panoramic photo, and compares the feature value of the object extracted in the panoramic photo with the preset first target library saved in the terminal. a feature value of a target, if there is an object in the first target library that has the same feature value as the object extracted in the panoramic photo, the terminal may determine that the first target is found in the panoramic photo, and then the first target may be determined. Location information, because the location information of the first target is associated with the image features of the first target.
  • the terminal captures the panoramic photo, and determines the location of the terminal according to the vision-based indoor positioning algorithm, so that the terminal searches for the identifiable first target that may exist near the location of the terminal, and then obtains the first target according to the first target.
  • the location information of a target because the location information of these first targets is preset to be saved in the terminal in advance.
  • a preset first target library is stored in the server, and the first target library may also be pre-downloaded to the terminal; the first target and its related Image feature values, location information, etc. are consciously pre-collected and can be collected prior to deployment of the application.
  • the terminal may determine the location information of the terminal and the related information of the first target by means of other manners capable of displaying the environment of the terminal, which is not limited by the present invention.
  • the terminal sends a first request message to the server, where the first request message carries the identifier of the terminal and the location information of the terminal.
  • the terminal After the terminal determines the location information of the terminal, the terminal sends a first request message to the server, where the first request message carries the identifier of the terminal and the location information of the terminal.
  • the server determines at least one behavior according to the identifier of the terminal, the location information of the terminal, and the conditional probability of different behaviors.
  • the server may according to the identifier of the terminal carried in the first request message, the location information of the terminal, and the conditional probability of different behaviors calculated and calculated by the server before, according to the conditional probability of the different behaviors.
  • the size and the preset probability threshold determine at least one behavior.
  • At least one behavior obtained by the above server may be a collection of events, which may be initialized by the program developer according to some behaviors that most users routinely perform (for example, the user searches for a bank, a restaurant, a supermarket, etc.).
  • the server may also collect and analyze the description of the user who uses the terminal.
  • the server sends a first response message carrying at least one behavior to the terminal.
  • the server After the server obtains at least one of the foregoing behaviors, the server carries the at least one behavior in the first response message and sends the message to the terminal.
  • the terminal when determining that the first behavior in the at least one behavior is selected, sending the second request message to the server, where the second request message carries the information of the first behavior.
  • the terminal After the terminal receives the at least one behavior sent by the server, the terminal presents the at least one behavior to the user, and the user may select, according to his own needs, an behavior that satisfies his own needs, that is, the first behavior.
  • the terminal may send the second request message to the server, where the second request message carries the information of the first behavior.
  • a person of ordinary skill in the art can understand that at least one behavior or first behavior is displayed on the terminal as an archor text, and the anchor text is a uniform resource locator (English: Uniform Resource Locator, Abbreviation: )
  • the text of the link that is, when the user clicks or touches a piece of text, it can trigger access to a URL link.
  • the terminal sends a second recorded event to the server, where the second recorded event includes an act of selecting the first behavior in the at least one behavior.
  • the terminal When the terminal determines that the first behavior in the at least one behavior is selected, the terminal sends a second recording event to the server, wherein the second recording event includes an action in which the first behavior of the at least one behavior is selected.
  • the related information of the first target includes location information of the first target
  • the second recording event further includes location information of the first target.
  • the terminal After the terminal acquires the location information of the first target, the terminal sends the first behavior of the at least one behavior and the location information of the first target to the server as the second recording event.
  • the second recorded event may include the behavior of the first behavior selected in the at least one behavior and the location information of the first target determined by the terminal from the panoramic photo.
  • the present invention does not limit the execution order of S311 and S312. That is, the present invention may perform S312 after executing S311, or S311 after executing S312, and S311 and S312 may be simultaneously performed.
  • the server classifies the second recorded event according to the identifier of the terminal and the location information of the terminal, and determines a probability of the second recorded event and a conditional probability of the second recorded event.
  • the server may classify the second record event according to the identifier of the terminal and the location information of the terminal, and calculate the probability of each type of second record event according to the law of large numbers, and according to The probability of the first recorded event and the probability of the second recorded event determine the conditional probability of the second recorded event, ie the probability that the second recorded event occurs under the condition that the first recorded event occurred.
  • the frequency of occurrence of the first recorded event may be recorded as the probability of the first recorded event;
  • the frequency at which the second recorded event occurs is recorded as the probability of the second recorded event.
  • the conditional probability of the second recorded event may be a probability that the second recorded event occurs under the condition that the first recorded event occurs.
  • the server may re-calculate the probability of occurrence of the first recorded event under the condition, that is, the conditional probability of the first recorded event, and according to the conditional probability of the first recorded event, under the condition that the second recorded event has been known to occur.
  • the probability of recording the event, and the probability of the second recorded event, the conditional probability of the second recorded event is calculated by the Bayesian formula, that is, the probability of occurrence of the second recorded event under the condition that the first recorded event occurs.
  • the probability of occurrence of each type of second recorded event that may occur under the condition that each type of first recorded event occurs may be calculated. That is, the conditional probability of the above different behaviors.
  • Bayes' theorem is an important theorem in probability theory.
  • the relationship between posterior probability I and prior probability ⁇ ⁇ ) can be expressed as:
  • the event S is an observed event, and the event is an event that may cause the event S to occur.
  • the known event 4 the probability of occurrence of the event s, and the probability of occurrence of the event 4 when the event s occurs, can calculate the condition under which the event S occurs under the condition that the event 4 occurs. Probability.
  • the server performs statistics according to the terminal identifier, and can obtain a sample of the second recording event after the first recording event 4 is performed by a certain terminal, so that the second recording event is generated under the condition that the second recording event occurs from a sufficient sample.
  • the probability of occurrence is P(A,
  • the conditional probability of the second recorded event is:
  • the first record event reported by the server is 4 and 4 respectively, and the user selects a piece of help information through the terminal, that is, the second record event. Recorded as an event, the user's behavior of not selecting a piece of help information is recorded as event £ 2 , as shown in Table 1:
  • the probability that the user desires to obtain a certain help information that is, the conditional probability of different behaviors, so that the server can be based on the different behavior
  • the largest conditional probability of the conditional probability yields at least one behavior that is most likely to occur by the user.
  • the server sends the at least one behavior obtained by the server to the terminal, so that the terminal can present the at least one behavior to the user, so that the user selects a certain behavior that is required by the user, and then obtains the help information according to the behavior.
  • the server sends a second response message carrying the AR content corresponding to the first behavior to the terminal.
  • the server may filter the AR content corresponding to the first behavior in the AR content pre-stored in the server according to the information of the first behavior carried in the second request message, and the The AR content is carried in the second response message and sent to the terminal.
  • the terminal combines the first target with the AR content corresponding to the first behavior according to the related information of the first target.
  • the terminal may combine the first target and the AR content according to the related information of the first target. For example, the terminal combines a certain significant identifier determined in the panoramic photo taken by the terminal with the AR content of the prominent marker pre-stored in the server, so that the user can obtain the arrival result according to the display result presented by the terminal. The route of the significant marker, and then to the location where the significant marker is located.
  • the manner in which the terminal combines the first target and the AR content corresponding to the first behavior may be a registration display or an unregistered display.
  • the registration display means that the computer generated content is aligned with an object in the physical world and merged into a unified scene for presentation to the user; the unregistered display refers to the computer generated content and an object in the physical world. Misaligned, but simply superimposed and presented to the user.
  • the terminal displays the AR content corresponding to the first behavior and the first target in a registration display manner;
  • the terminal displays the AR content and the first target corresponding to the first behavior in a manner of unregistered display.
  • the embodiment of the invention provides a method for screening AR content, which can dynamically filter the augmented reality content that best meets the user's needs according to the behavior selected by the user in real time, thereby satisfying the information requirement of the user.
  • an embodiment of the present invention provides a terminal 1 including:
  • a determining unit 10 configured to: when an application that acquires location information in the terminal is triggered, take a panoramic photo of a location where the terminal is located, and determine location information of the terminal and related information of the first target according to the panoramic photo.
  • the sending unit 11 is configured to send a first request message to the server, where the first request message carries an identifier of the terminal and location information of the terminal determined by the determining unit 10.
  • the receiving unit 12 is configured to receive a first response message that carries at least one behavior from the server, where the at least one behavior is a conditional probability of the server according to the identifier of the terminal, the location information of the terminal, and different behaviors. definite.
  • the sending unit 11 is further configured to: when the terminal determines that the first behavior in the at least one behavior is selected, send a second request message to the server, where the second request message carries the A behavioral message.
  • the receiving unit 12 is further configured to receive a second response message from the server that carries AR content corresponding to the first behavior.
  • the display unit 1 3 is configured to combine the first target and the AR content received by the receiving unit 12 according to the related information of the first target determined by the determining unit 10.
  • the determining unit 10 when the determining unit 10 triggers an application for acquiring location information in the terminal, capturing a panoramic photo of the location of the terminal, and determining location information of the terminal according to the panoramic photo and the first The information about the target, the determining unit 10 is further configured to read the label information of the second target, and the sending unit 11 is further configured to send the first recording event to the server, where the first record The event triggering the server to classify the first recorded event according to the identifier of the terminal and the location information of the terminal, and determine a probability of the first recorded event, where the first recorded event includes the determining unit 10 The behavior of reading the tag information of the second target.
  • the sending unit 11 is further configured to send a second recording event to the server, where the second recording event triggers the server And classifying the second recorded event according to the identifier of the terminal and the location information of the terminal, and determining a probability of the second recorded event and a conditional probability of the second recorded event, the second worry event Including the first of the at least one behavior An act of being selected.
  • the related information of the first target determined by the determining unit 10 includes location information of the first target
  • the second recording event sent by the sending unit 11 further includes the first The location information of the target.
  • the determining unit 10 is further configured to acquire the identifier of the second target according to the label information of the second target, where The sending unit 1 1 is further configured to send a third request message that carries the identifier of the second target to the server, and the receiving unit 1 2 is further configured to receive the second The third response message of the location information of the target.
  • the first record event sent by the sending unit 1 1 further includes location information of the second target.
  • the embodiment of the invention provides a terminal, which can dynamically and dynamically filter the augmented reality content that satisfies the user's needs according to the behavior selected by the user in real time, thereby satisfying the information requirement of the user.
  • an embodiment of the present invention provides a server 2, including:
  • the receiving unit 20 is configured to receive a first request message from the terminal, where the first request message carries an identifier of the terminal and location information of the terminal.
  • the determining unit 2 1 is configured to determine at least one behavior according to the identifier of the terminal, the location information of the terminal, and the conditional probability of different behaviors received by the receiving unit 20.
  • the sending unit 22 is configured to send a first response message carrying the at least one behavior determined by the determining unit 21 to the terminal.
  • the receiving unit 20 is further configured to receive a second request message from the terminal, where the second request message carries information of a first behavior, where the first behavior is selected in the at least one behavior behavior.
  • the sending unit 22 is further configured to send a second response message carrying the AR content corresponding to the first behavior to the terminal, where the second response message triggers the terminal to use the related information of the first target,
  • the first target and the AR content are combined, and the location information of the terminal and the related information of the first target are when the application for acquiring location information in the terminal is triggered, and the terminal captures the location. After the panoramic photo of the location of the terminal is determined, it is determined according to the panoramic photo.
  • the receiving unit 20 is further configured to receive a first recording event from the terminal, where the first recording event includes an action of the terminal to read tag information of a second target, where the determining unit 21 is further configured to: And classifying the first recorded event according to the identifier of the terminal and the location information of the terminal, and determining a probability of the first recorded event.
  • the receiving unit 20 receives the second request message from the terminal.
  • the receiving unit 20 is further configured to receive a second recording event from the terminal, where the second recording event includes an action that the first behavior is selected in the at least one behavior, and the determining unit 2 1 And the method is further configured to classify the second recorded event according to the identifier of the terminal and the location information of the terminal, and determine a probability of the second recorded event and a conditional probability of the second recorded event.
  • the related information of the first target includes location information of the first target
  • the second recorded event received by the receiving unit 20 further includes location information of the first target
  • the receiving unit 20 receives the first recorded event from the terminal.
  • the receiving unit 20 is further configured to receive, by the terminal, a third request message that carries the identifier of the second target, where the identifier of the second target is obtained by the terminal according to the label information of the second target.
  • the sending unit 22 is further configured to send a third response message carrying the location information of the second target to the terminal.
  • the first record event received by the receiving unit 20 further includes location information of the second target.
  • the embodiment of the invention provides a server, which enables the terminal to dynamically and dynamically filter the augmented reality content that best meets the user's needs according to the behavior selected by the user, thereby satisfying the information requirement of the user.
  • an embodiment of the present invention provides a terminal, including a CPU 1 7 , a memory 1 8 , and a camera 1 9 .
  • the CPU 1 7 is the terminal's control and processing center, and controls the terminal by running the software program stored in the memory 18 and calling and processing the data in the storage A memory 18. Send and receive signals, and implement other functions of the terminal.
  • the memory 18 can be used to store software programs and data so that the CPU 17 can transmit and receive signals and other functions of the terminal by running a software program stored in the memory 18.
  • the camera 19 can be used to take a picture under the trigger of the CPU 17.
  • the CPU 17 can at least perform the following steps:
  • the CPU 17 is configured to trigger the camera 19 to capture a panoramic photo of the location of the terminal when the application for acquiring the location information in the terminal is triggered, and determine the location of the terminal according to the panoramic photo. Information and information about the first target.
  • the CPU 17 is further configured to send a first request message to the server, where the first request message carries the identifier of the terminal and the location information of the terminal determined by the CPU 17.
  • the CPU 17 is further configured to receive a first response message that carries at least one behavior from the server, where the at least one behavior is that the server is different according to the identifier of the terminal, the location information of the terminal, The conditional probability of the behavior is determined.
  • the CPU 17 may be further configured to: when the terminal determines that the first behavior in the at least one behavior is selected, send a second request message to the server, where the second request message carries the The first act of information.
  • the CPU 17 is further configured to receive a second response message from the server that carries the AR content corresponding to the first behavior.
  • the CPU 17 is further configured to combine the first target and the AR content according to the related information of the first target.
  • the memory 18 can be used to store a software code of an application for acquiring the location information by the CPU 17, a software code for capturing a panoramic photo, a software code for determining location information of the terminal, and determining a correlation of the first target.
  • the software program of the above process thereby causing the CPU 17 to complete the above process by executing the above software program and calling the above software code.
  • the memory 18 may be a double rate synchronous dynamic random access memory (English: Double Data Rate Synchronous Dynamic Random Access) Memory, abbreviation: DDR SDRAM), static random access memory (English: Static Random Access Memory, abbreviation: SRAM), flash memory (English: FLASH), solid state drive (English: Solid State Disk, abbreviation: SSD), random access memory (English: Random Access Memory (abbreviation: RAM), read-only memory (English: Read- Only Memory, abbreviation: ROM), etc., which mainly includes a program storage area and a data storage area, wherein the program storage area can store an operating system, and at least one An application required for the function (for example, each software code described above) or the like; the data storage area may store data finally generated according to the execution of the CPU 17, and the intermediate data generated during the execution of the above steps by the CPU 17 is stored in In memory. It should be noted that the CPU 17 and the memory 18 can be integrated in the same chip or can be two independent devices.
  • the CPU 17 when the CPU 17 triggers an application that acquires location information in the terminal, the panoramic photo of the location of the terminal is captured, and the location information and the first target of the terminal are determined according to the panoramic photo.
  • the CPU 17, is further configured to read the label information of the second target, and send the first recording event to the server, where the first recording event triggers the server to identify according to the terminal And the location information of the terminal classifying the first record event and determining a probability of the first record event, the first record event including behavior of the CPU 17 reading tag information of the second target .
  • the CPU 17 is further configured to send a second recording event to the server, where the second recording event triggers the server according to the Determining, by the identifier of the terminal, location information of the terminal, the second recording event, and determining a probability of the second recording event and a condition probability of the second recording event, where the second recording event includes the At least one behavior in which the first behavior is selected.
  • the related information of the first target determined by the CPU 17 includes location information of the first target, and the second recording event sent by the CPU 17 further includes location information of the first target. .
  • the CPU 17 is further configured to acquire the identifier of the second target according to the label information of the second target, and send a third request message carrying the identifier of the second target to the server, and receive the The third response message returned by the server carrying the location information of the second target.
  • the first recorded event sent by the CPU 17 further includes the second target The location of Xin En.
  • the embodiment of the invention provides a terminal, which can dynamically and dynamically filter the augmented reality content that satisfies the user's needs according to the behavior selected by the user in real time, thereby satisfying the information requirement of the user.
  • an embodiment of the present invention provides a server, including a CPU 25 and a memory 26, where
  • the CPU 25 is a control and processing center of the server, controls the server to transmit and receive signals, and implements other functions of the server by running a software program stored in the memory 26 and calling and processing the data stored in the memory 26.
  • the memory 26 can be used to store software programs and data so that the CPU 25 can implement the server's transceiving signals and other functions by running a software program stored in the memory 26.
  • the CPU 25 can perform at least the following steps:
  • the CPU 25 is configured to receive a first request message from the terminal, where the first request message carries an identifier of the terminal and location information of the terminal.
  • the CPU 25 is further configured to determine at least one behavior according to the identifier of the terminal, the location information of the terminal, and the conditional probability of different behaviors.
  • the CPU 25 is further configured to send a first response message carrying the at least one behavior to the terminal.
  • the CPU 25 is further configured to receive a second request message from the terminal, where the second request message carries information of a first behavior, where the first behavior is that the at least one behavior is selected the behavior of.
  • the CPU 25 is further configured to send a second response message that carries the AR content corresponding to the first behavior to the terminal, where the second response message triggers the terminal according to the related information of the first target, After the first target and the AR content are combined, the location information of the terminal and the related information of the first target are taken by the terminal when an application for acquiring location information in the terminal is triggered. After the panoramic photo of the location of the terminal, it is determined according to the panoramic photo.
  • the memory 26 can be used to store the software code of the identifier of the terminal, the software code for transmitting the location information of the terminal, the conditional probability of sending different behaviors, the software code for receiving at least one behavior, and the information for sending the first behavior.
  • Software code, software code for transmitting AR content corresponding to the first behavior, and software for controlling the server to complete the above process The program, so that the CPU 25 can complete the above process by executing the above software program and calling the above software code.
  • the memory 26 may be a DDR SDRAM, an SRAM, a FLASH, an SSD, a RAM, a ROM, etc., and the program storage area and the data storage area, wherein the program storage area can store the operating system, and at least An application required for a function (for example, each software code described above) or the like; the data storage area can store data finally generated according to the execution of the CPU 25, and the intermediate data generated in the process of the CPU 25 performing the above steps is stored.
  • the CPU 25 and the memory 26 can be integrated in the same chip, or can be two independent devices.
  • the CPU 25 before the CPU 25 receives the first request message from the terminal, the CPU 25 is further configured to receive a first recording event from the terminal, and according to the identifier of the terminal and the terminal The location information classifies the first recorded event and determines a probability of the first recorded event, and the first recorded event includes an act of the terminal reading the tag information of the second target.
  • the CPU 25 is further configured to receive a second recording event from the terminal, and according to the identifier of the terminal and the The location information of the terminal classifies the second recorded event and determines a probability of the second recorded event and a conditional probability of the second recorded event, the second recorded event including the at least one of the at least one behavior An act of being selected.
  • the related information of the first target includes location information of the first target
  • the second recording event received by the CPU 25 further includes location information of the first target
  • the CPU 25 before the CPU 25 receives the first recording event from the terminal, the CPU 25 is further configured to receive a third request message from the terminal that carries the identifier of the second target, and Returning, to the terminal, a third response message that carries the location information of the second target, where the identifier of the second target is obtained by the terminal according to the label information of the second target.
  • the first recorded event received by the CPU 25 further includes location information of the second target.
  • the embodiment of the invention provides a server, which can enable the terminal to dynamically filter the augmented reality content that best meets the user's needs according to the behavior selected by the user in real time, thereby satisfying the information requirement of the user.
  • Embodiment 5
  • the embodiment of the present invention provides a system for screening AR content, including the terminal and server described in Embodiments 1 through 4.
  • the method for screening the AR content provided by the embodiment of the present invention is described by using a shopping mall and a museum as an example.
  • the implementation scenario is the process of screening AR content that needs to be enhanced in shopping malls and museums.
  • a shopping mall collects the indoor map of the shopping mall and the data of the P0 I in the shopping mall according to the method provided in the above embodiment when decorating, arranging and placing the articles.
  • the user After the user comes to the shopping center, the user first enters the women's clothing store X to purchase the clothes, and the application for acquiring the location information provided by the technical solution of the present invention is installed in the terminal carried by the user, and the application can read the application. Bar code or QR code of any product in the shopping mall, and push the description information of the product related to the read product, such as the brand of the product, the material of the product, the number of the product, the price of the product, the inventory of the product, etc. To the terminal, the user then uses the terminal to query the description information of the clothes in the women's brand store X while walking.
  • the user selects a certain piece of clothing and asks the clerk to invoice, the clerk registers the clothes selected by the user, and writes the corresponding transaction information to the terminal carried by the user.
  • the terminal carried by the user obtains the transaction information, the terminal records the event that the user selects the clothes and uploads the event to the server.
  • the user photographs a panoramic photo of the location of the terminal using the above-mentioned application for acquiring the location information installed in the terminal, and the terminal determines the identity of the cosmetics store Z, the identifier of the cashier station, and several other according to the panoramic photo taken by the user.
  • An identifiable identifier and inferring the location of the terminal, that is, the location information of the terminal, according to the identifiers, and the terminal sends a first request message including the identifier of the terminal and the location information of the terminal to the server, when the server receives the identifier
  • the server obtains the above three events related to the terminal and the corresponding conditional probability (where the conditional probability is calculated by the server according to the collected large amount of data collected by the terminal), and the server obtains the most
  • the conditional probability is calculated by the server according to the collected large amount of data collected by the terminal
  • the server selects the navigation class AR content from the pre-saved AR content according to the behavior of "returning the visited store", and the navigation class AR content includes the user's past. a significant mark near the store, so that the server can generate a copy from the location of the user to the women's brand store X according to the recorded event related to the user, the indoor map of the shopping mall, and the data of the P0 I in the shopping mall.
  • the server then sends this information to the terminal, and the terminal will display the prominent markers and turn information on the road map. It is displayed in the form of AR and presented to the user.
  • the terminal records the event that the user selects to return to the visited store, and sends the event to the server, so that the server classifies and statistically analyzes the event.
  • a museum has deployed a self-help system to provide self-help assistance to tourists in accordance with the technical solution provided by the present invention.
  • the system can include an application for obtaining location information installed on the terminal and a server running in the background -
  • the tourist After the foreign tourists come to the museum, since the terminal carried by the tourist is installed with the application for obtaining the location information provided by the technical solution of the present invention, the tourist first obtains the ticket of the museum reserved in advance at the service station using the terminal. At the same time, the terminal records the event of taking the ticket for the visitor, and sends the event to the server, so that the server can classify and statistically analyze the event.
  • the visitor uses the terminal to read an NFC poster at the entrance of the first floor lobby.
  • the terminal obtains the latest exhibition information and lecture information of the museum according to the read poster, and displays the exhibition information and lecture information to the user.
  • the terminal records the event that the visitor reads the NFC poster, and sends the event to the server, so that the server can classify and statistically analyze the event.
  • the visitor After the visitor entered the lobby on the first floor, it was shocked by the grandeur of the museum. Therefore, the tourist was confused and did not know where to start the tour. Therefore, the visitor used the application for obtaining location information installed in the terminal.
  • the panoramic photo of the location of the terminal the terminal extracts enough features from the panoramic photos taken by the tourists, thereby judging that the terminal is located in the lobby of the first floor, and the terminal sends an identifier including the terminal and the location of the terminal, that is, the location information of the terminal.
  • a first request message to the server, after the server receives the first request message, the server according to the two events and corresponding conditional probabilities related to the terminal that have been saved
  • the tourist is interested in the antique identification and feels that the opportunity is rare. Therefore, the tourist selected "d. Participate in the free lecture held by the museum: Introduction to porcelain identification.”
  • the server sends according to the behavior selected by the visitor.
  • Information related to the behavior such as the relevant introduction of the expert about the lecture, the content of the lecture, the place where the lecture is held, and the specific location of the lecture held at the top floor open-air cafe, etc., and the terminal associates the above with the lecture
  • the information and the road map to the location of the lecture are displayed in the form of AR. Give the visitor.
  • the terminal records the event that the visitor chooses to participate in the free lecture being held in the museum, and sends the event to the server, so that the server classifies and statistically analyzes the event.
  • the system for screening AR content provided by the embodiment of the present invention can dynamically and dynamically filter the augmented reality content that satisfies the user's needs according to the behavior selected by the user, thereby satisfying the information requirement of the user.
  • the disclosed systems, apparatus, and methods may be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the modules or units is only a logical function division.
  • there may be another division manner for example, multiple units or components may be used. Combined or can be integrated into another system, or some features can be ignored, or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be electrical, mechanical or other form.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit, if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium. Based on such understanding, the technical solution of the present invention may contribute to the prior art or all or part of the technical solution may be embodied in the form of a software product stored in a storage medium. , including a number of instructions to make a computer device
  • the foregoing storage medium includes: a medium such as a USB flash drive, a removable hard disk, a read only memory, a random access memory, a magnetic disk, or an optical disk that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)

Abstract

本发明提供一种筛选AR内容的方法、装置及系统，该方法包括：当终端中获取位置信息的应用被触发时，终端拍摄其所在位置的全景照片，并根据全景照片确定终端的位置信息及第一目标的相关信息；终端发送携带终端的标识及终端的位置信息的第一请求消息至服务器；终端接收来自服务器的携带至少一个行为的第一响应消息；终端在确定至少一个行为中的第一行为被选定时，发送第二请求消息至服务器；终端接收来自服务器的携带与第一行为对应的AR内容的第二响应消息；终端根据第一目标的相关信息，将第一目标和AR内容结合后呈现。

Description

说明书
一种筛选增强现实内容的方法、 装置及系统
技术领域
本发明涉及通信领域， 尤其涉及一种 选增强现实内容的方法、 装 置及系统。
背景技术
增强现实 （英文： Augmented Reality, 缩写： AR) 是一种用于帮助 人们以更直观、 更形象的方式获取关于现实世界中物体的相关信息的技 术。 AR系统的工作流程分为感知、 识别、 匹配及渲染四个步骤。
现有的地图应用可为用户提供基于位置的兴趣点 （英文： Point of Interest, 缩写： POI ) 的查询服务。 安装了该地图应用的终端首先使用 全球定位系统 （英文： Global Position System, 缩写： GPS) 或者蜂窝 网的小区标识 （英文： Cell ID) 确定用户的当前位置 （经纬度） ， 然后 根据该当前位置查询数据库， 再从数据库中获取该当前位置附近已经注 册的餐厅、 银行、 商场及车站等 P0I; 用户也可在地图应用中输入一个 其感兴趣的位置， 而该地图应用通过搜索数据库， 并在地图上定位该位 置， 从而搜索到该位置附近的 P0I。 现有的问答系统在接收到用户输入 的问题和相应的数据， 并对该问题进行自然语言处理后， 将该问题传送 至查询子系统， 查询子系统推断该问题的答案， 并从知识库中取出相关 的答案输出给用户。
然而， 上述地图应用要求用户对自己请求的 P0I 具有明确的认识， 即用户需要根据自己的需求分析出自己想要到达的 P0I; 上述问答系统 只能处理单一类型的文本数据， 不能处理复杂类型的数据， 且若用户输 入的问题不够精确， 该问答系统则无法满足用户的信息需求。
发明内容
本发明的实施例提供一种筛选增强现实内容的方法、 装置及系统， 能够实时动态地根据用户选定的行为筛选出最能满足用户需求的增强现 实内容， 从而满足用户的信息需求。
为达到上述目的， 本发明的实施例釆用如下技术方案：
第一方面， 本发明实施例提供一种筛选增强现实 AR内容的方法， 包 括： 当终端中获取位置信息的应用被触发时， 所述终端拍摄所述终端所 在位置的全景照片， 并根据所述全景照片确定所述终端的位置信息及第 一目标的相关信息；
所述终端发送第一请求消息至服务器， 所述第一请求消息中携带所 述终端的标识及所述终端的位置信息；
所述终端接收来自所述服务器的携带至少一个行为的第一响应消 息， 所述至少一个行为是所述服务器根据所述终端的标识、 所述终端的 位置信息及不同行为的条件概率确定的；
所述终端在确定所述至少一个行为中的第一行为被选定时， 发送第 二请求消息至所述服务器， 所述第二请求消息中携带所述第一行为的信 息；
所述终端接收来自所述服务器的携带与所述第一行为对应的 AR 内 容的第二响应消息；
所述终端根据所述第一目标的相关信息， 将所述第一目标和所述 AR 内容结合后呈现。
在第一方面的第一种可能的实现方式中， 所述当终端中获取位置信 息的应用被触发时， 所述终端拍摄所述终端所在位置的全景照片， 并根 据所述全景照片确定所述终端的位置信息及第一目标的相关信息，之前， 所述方法还包括：
所述终端读取第二目标的标签信息；
所述终端发送第一记录事件至所述服务器， 所述第一记录事件触发 所述服务器根据所述终端的标识和所述终端的位置信息对所述第一记录 事件进行分类并确定所述第一记录事件的概率， 所述第一记录事件包含 所述终端读取所述第二目标的标签信息的行为。
结合前述的第一方面或第一方面的第一种可能的实现方式， 在第二 种可能的实现方式中， 所述终端在确定所述至少一个行为中的第一行为 被选定时， 发送第二请求消息至所述服务器， 所述第二请求消息中携带 所述第一行为的信息， 之后， 所述方法还包括：
所述终端发送第二记录事件至所述服务器， 所述第二记录事件触发 所述服务器根据所述终端的标识和所述终端的位置信息对所述第二记录 事件进行分类并确定所述第二记: ¾事件的概率及所述第二记录事件的条 件概率， 所述第二记录事件包含所述至少一个行为中所述第一行为被选 中的行为。
结合第一方面的第二种可能的实现方式， 在第三种可能的实现方式 中，
所述第一目标的相关信息包括所述第一目标的位置信息， 所述第二 记录事件还包含所述第一目标的位置信息。
结合第一方面的第一种可能的实现方式至第三种可能的实现方式中 的任一种实现方式， 在第四种可能的实现方式中， 在所述终端读取第二 目标的标签信息之后， 所述方法还包括：
所述终端根据所述第二目标的标签信息获取所述第二目标的标识； 所述终端发送携带所述第二目标的标识的第三请求消息至所述服务 器；
所述终端接收所述服务器返回的携带所述第二目标的位置信息的第 三响应消息。
结合第一方面的第四种可能的实现方式， 在第五种可能的实现方式 中，
所述第一记录事件还包含所述第二目标的位置信息。
第二方面， 本发明实施例提供一种筛选 AR内容的方法， 包括： 服务器接收来自终端的第一请求消息， 所述第一请求消息中携带所 述终端的标识及所述终端的位置信息；
所述服务器根据所述终端的标识、 所述终端的位置信息及不同行为 的条件概率确定至少一个行为；
所述服务器发送携带所述至少一个行为的第一响应消息至所述终 端；
所述服务器接收来自所述终端的第二请求消息， 所述第二请求消息 中携带第一行为的信息， 所述第一行为是所述至少一个行为中被选定的 行为；
所述服务器发送携带与所述第一行为对应的 AR 内容的第二响应消 息至所述终端， 所述第二响应消息触发所述终端根据第一目标的相关信 息， 将所述第一目标和所述 AR内容结合后呈现， 所述终端的位置信息及 所述第一目标的相关信息为当所述终端中获取位置信息的应用被触发 时， 由所述终端拍摄所述终端所在位置的全景照片后， 根据所述全景照 片确定的。
在第二方面的第一种可能的实现方式中， 在所述服务器接收来自终 端的第一请求消息之前， 所述方法还包括：
所述服务器接收来自所述终端的第一记录事件， 所述第一记录事件 包含所述终端读取第二目标的标签信息的行为；
所述服务器根据所述终端的标识和所述终端的位置信息对所述第一 记录事件进行分类并确定所述第一记录事件的概率。
结合前述的第二方面或第二方面的第一种可能的实现方式， 在第二 种可能的实现方式中， 所述服务器接收来自所述终端的第二请求消息之 后， 所述方法还包括：
所述服务器接收来自所述终端的第二记录事件， 所述第二记录事件 包含所述至少一个行为中所述第一行为被选定的行为；
所述服务器根据所述终端的标识和所述终端的位置信息对所述第二 记录事件进行分类并确定所述第二记录事件的概率及所述第二记录事件 的条件概率。
结合第二方面的第二种可能的实现方式， 在第三种可能的实现方式 中，
所述第一目标的相关信息包括所述第一目标的位置信息， 所述第二 记录事件还包含所述第一目标的位置信息。
结合第二方面的第一种可能的实现方式至第三种可能的实现方式中 的任一种实现方式， 在第四种可能的实现方式中， 在所述服务器接收来 自所述终端的第一记录事件之前， 所述方法还包括：
所述服务器接收来自所述终端的携带所述第二目标的标识的第三请 求消息， 所述第二目标的标识为所述终端根据所述第二目标的标签信息 获取的；
所述服务器发送携带所述第二目标的位置信息的第三响应消息至所 述终端。
结合第二方面的第四种可能的实现方式， 在第五种可能的实现方式 中， 所述第一记录事件还包含所述第二目标的位置信息。
第三方面， 本发明实施例提供一种终端， 包括：
确定单元， 用于当所述终端中获取位置信息的应用被触发时， 拍摄 所述终端所在位置的全景照片， 并根据所述全景照片确定所述终端的位 置信息及第一目标的相关信息；
发送单元， 用于发送第一请求消息至服务器， 所述第一请求消息中 携带所述终端的标识及所述确定单元确定的所述终端的位置信息；
接收单元， 用于接收来自所述服务器的携带至少一个行为的第一响 应消息， 所述至少一个行为是所述服务器根据所述终端的标识、 所述终 端的位置信息及不同行为的条件概率确定的；
所述发送单元， 还用于在所述终端确定所述至少一个行为中的第一 行为被选定时， 发送第二请求消息至所述服务器， 所述第二请求消息中 携带所述第一行为的信息；
所述接收单元， 还用于接收来自所述服务器的携带与所述第一行为 对应的 AR内容的第二响应消息；
显示单元，用于根据所述确定单元确定的所述第一目标的相关信息， 将所述第一目标和所述接收单元接收的所述 AR内容结合后呈现。
在第三方面的第一种可能的实现方式中， 在所述确定单元当所述终 端中获取位置信息的应用被触发时， 拍摄所述终端所在位置的全景照片， 并根据所述全景照片确定所述终端的位置信息及第一目标的相关信息， 之前，
所述确定单元， 还用于读取第二目标的标签信息；
所述发送单元， 还用于发送第一记录事件至所述服务器， 所述第一 记录事件触发所述服务器根据所述终端的标识和所述终端的位置信息对 所述第一记录事件进行分类并确定所述第一记录事件的概率， 所述第一 记录事件包含所述确定单元读取所述第二目标的标签信息的行为。
结合前述的第三方面或第三方面的第一种可能的实现方式， 在第二 种可能的实现方式中， 在所述发送单元发送第二请求消息至所述服务器 之后，
所述发送单元， 还用于发送第二记录事件至所述服务器， 所述第二 记录事件触发所述服务器根据所述终端的标识和所述终端的位置信息对 所述第二记录事件进行分类并确定所述第二记录事件的概率及所述第二 记录事件的条件概率， 所述第二记录事件包含所述至少一个行为中所述 第一行为被选中的行为。
结合第三方面的第二种可能的实现方式， 在第三种可能的实现方式 中，
所述确定单元确定的所述第一目标的相关信息包括所述第一目标的 位置信息， 所述发送单元发送的所述第二记录事件还包含所述第一目标 的位置信息。
结合第三方面的第一种可能的实现方式至第三种可能的实现方式中 的任一种实现方式， 在第四种可能的实现方式中， 在所述确定单元读取 第二目标的标签信息之后， 所述确定单元， 还用于根据所述第二目标的标签信息获取所述第二 目标的标识；
所述发送单元， 还用于发送携带所述第二目标的标识的第三请求消 息至所述服务器；
所述接收单元， 还用于接收所述服务器返回的携带所述第二目标的 位置信息的第三响应消息。
结合第三方面的第四种可能的实现方式， 在第五种可能的实现方式 中，
所述发送单元发送的所述第一记录事件还包含所述第二目标的位置 信息。
第四方面， 本发明实施例提供一种服务器， 包括：
接收单元， 用于接收来自终端的第一请求消息， 所述第一请求消息 中携带所述终端的标识及所述终端的位置信息；
确定单元， 用于根据所述接收单元接收的所述终端的标识、 所述终 端的位置信息及不同行为的条件概率确定至少一个行为；
发送单元， 用于发送携带所述确定单元确定的所述至少一个行为的 第一响应消息至所述终端；
所述接收单元， 还用于接收来自所述终端的第二请求消息， 所述第 二请求消息中携带第一行为的信息， 所述第一行为是所述至少一个行为 中被选定的行为；
所述发送单元，还用于发送携带与所述第一行为对应的 AR内容的第 二响应消息至所述终端， 所述第二响应消息触发所述终端根据第一目标 的相关信息， 将所述第一目标和所述 AR内容结合后呈现， 所述终端的位 置信息及所述第一目标的相关信息为当所述终端中获取位置信息的应用 被触发时， 由所述终端拍摄所述终端所在位置的全景照片后， 根据所述 全景照片确定的。
在第四方面的第一种可能的实现方式中， 在所述接收单元接收来自 所述终端的所述第一请求消息之前，
所述接收单元， 还用于接收来自所述终端的第一记录事件， 所述第 一记录事件包含所述终端读取第二目标的标签信息的行为；
所述确定单元， 还用于根据所述终端的标识和所述终端的位置信息 对所述第一记录事件进行分类并确定所述第一记录事件的概率。
结合前述的第四方面或第四方面的第一种可能的实现方式， 在第二 种可能的实现方式中， 在所述接收单元接收来自所述终端的所述第二请 求消息之后，
所述接收单元， 还用于接收来自所述终端的第二记录事件， 所述第 二记录事件包含所述至少一个行为中所述第一行为被选定的行为；
所述确定单元， 还用于根据所述终端的标识和所述终端的位置信息 对所述第二记录事件进行分类并确定所述第二记录事件的概率及所述第 二记录事件的条件概率。
结合第四方面的第二种可能的实现方式， 在第三种可能的实现方式 中，
所述第一目标的相关信息包括所述第一目标的位置信息， 所述接收 单元接收的所述第二记录事件还包含所述第一目标的位置信息。
结合第四方面的第一种可能的实现方式至第三种可能的实现方式中 的任一种实现方式， 在第四种可能的实现方式中， 在所述接收单元接收 来自所述终端的所述第一记录事件之前，
所述接收单元， 还用于接收来自所述终端的携带所述第二目标的标 识的第三请求消息， 所述第二目标的标识为所述终端根据所述第二目标 的标签信息获取的；
所述发送单元， 还用于发送携带所述第二目标的位置信息的第三响 应消息至所述终端。
结合第四方面的第四种可能的实现方式， 在第五种可能的实现方式 中，
所述接收单元接收的所述第一记录事件还包含所述第二目标的位置 信息。
第五方面， 本发明实施例提供一种筛选 AR内容的系统， 包括： 上述第三方面所述的终端， 及第四方面所述的服务器。
本发明实施例提供一种筛选 AR内容的方法、 装置及系统， 能够实时 动态地根据用户选定的行为筛选出最能满足用户需求的增强现实内容， 进而满足用户的信息需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例描 述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图 仅仅是本发明的一些实施例。
图 1为本发明实施例提供的一种筛选 AR内容的方法流程图一； 图 2为本发明实施例提供的一种筛选 AR内容的方法流程图二； 图 3为本发明实施例提供的一种筛选 AR内容的方法流程图三； 图 4为本发明实施例提供的终端的结构示意图一；
图 5为本发明实施例提供的服务器的结构示意图一；
图 6为本发明实施例提供的终端的结构示意图二；
图 7为本发明实施例提供的服务器的结构示意图二；
图 8为本发明实施例提供的筛选 AR内容的系统框图。
具体实施方式
下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案 进行清楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实 施例， 而不是全部的实施例。
本文中术语 "和 /或" ， 仅仅是一种描述关联对象的关联关系， 表示 可以存在三种关系， 例如， A 和 /或 B, 可以表示： 单独存在 A, 同时存 在 A和 B, 单独存在 B这三种情况。 另外， 本文中字符 "/" , 一般表示 前后关联对象是一种 "或" 的关系。
本文中描述的各种技术可用于各种无线通信系统， 例如当前 2G, 3G 通信系统和下一代通信系统， 例如全球移动通信系统 （英文： Global System for Mobile communications , 缩写： GSM ) , 码分多址 （英文： Code Division Multiple Access, 缩写： CDMA ) 系统， 时分多址 （英 文： Time Division Multiple Access, 缩写： TDMA ) 系统， 宽带码分多 址 (英文： Wideband Code Division Multiple Ac cess Wireless , 缩写： WCDMA ) 系统， 频分多 址 （ 英文： Frequency Division Multiple Addressing , 缩写： FDMA ) 系统， 正交频分多址 （英文： Orthogonal Frequency-Division Multiple Access, 缩写： OFDMA ) 系统， 单载波频 分多 址 ( 英文： Single Carrier Frequency Division Multiple Addressing, 缩写： SC-FDMA ) 系统， 通用分组无线业务（英文： General Packet Radio Service, 缩写： GPRS ) 系统， 长期演进（英文： Long Term Evolution, 缩写： LTE) 系统， 以及其他此类通信系统。
终端可以是无线终端， 无线终端可以是具有摄像头、 陀螺仪、 电子 罗盘、 近场通信 （英文： Near Field Communication, 缩写： NFC ) 模块 (可选）、 中央处理器（英文： Central Processing Unit, 缩写： CPU) 、 随机存储存储器、 非易失性存储器及通信模块的电子设备。 无线终端可 以经无线接入网 （英文： Radio Access Network, 缩写： RAN) 与一个或 多个核心网进行通信， 无线终端可以是移动终端， 如移动电话 （或称为 "蜂窝" 电话） 和具有移动终端的计算机， 例如， 可以是便携式、 袖珍 式、 手持式和计算机内置的移动装置， 它们与无线接入网交换语言和 / 或数据。 例如, 个人通信业务 (英文： Personal Communication Service, 缩写： PCS ) 电话、 无绳电话、 会话发起协议 （SIP) 话机、 无线本地环 路 （英文： Wireless Local Loop, 缩写： WLL ) 站、 个人数字助理 （英 文： Personal Digital Assistant, 缩写： PDA ) 等设备。 无线终端也可 以称为系统、 订户单元 （英文： Subscriber Unit ) 、 订户站 （英文： Subscriber Station ) , 移动站 （英文： Mobile Station ) 、 移动台 （英 文： Mobile )、 远程站 (英文： Remote Station )、 接入点 (英文： Access Point )、 远程终端 (英文： Remote Terminal )、接入终端 (英文： Access Terminal ) 、 用户代理 （英文： User Agent ) 或用户设备。
实施例一
如图 1所示， 本发明实施例提供一种筛选 AR内容的方法， 涉及终端 侧， 该方法可以包括：
S101、 当终端中获取位置信息的应用被触发时， 终端拍摄终端所在 位置的全景照片， 并根据该全景照片确定终端的位置信息及第一目标的 相关信息。
本发明实施例提供的一种筛选 AR内容的方法， 当用户在室内环境迷 路或者不能确定自己的行为时， 用户可触发终端中的获取位置信息的应 用。 即当终端中获取位置信息的应用被用户触发时， 终端可拍摄终端所 在位置的全景照片， 并根据该全景照片确定终端的位置信息及第一目标 的相关信息。 其中， 终端根据终端拍摄的全景照片确定第一目标的相关 信息的技术可以包括： 光学文字识别技术、 图像识别技术等。
示例性的， 第一目标是指终端所在室内环境中存在的、 可以使用图 像处理方法识别的对象， 也就是 AR 目标； 同时， 在服务器中保存有一个 预设的目标库， 该目标库中存储了该环境中的多个目标， 该目标库也可 以预先从服务器下载至终端， 由终端保存。 例如， 第一目标可以为终端 所在室内环境的方向指示箭头、 店铺标识、 消防标志或电梯等对象中的 一种。
特别的， 第一目标的相关信息可以包括第一目标的图像特征值、 第 一目标的位置信息等。 其中， 第一目标的相关信息可以是由终端在 S101 之前预先收集的数据。
进一步地， 终端还可以通过其他能够显示终端所在环境的方式确定 该终端的位置信息及第一目标的相关信息， 本发明不做限制。
S102、 终端发送第一请求消息至服务器， 第一请求消息中携带终端 的标识及终端的位置信息。
终端确定终端的位置信息后， 终端发送第一请求消息至服务器， 其 中， 第一请求消息中携带终端的标识及终端的位置信息。
具体的， 终端的标识可以是终端上的用户身份识别卡 （英文： Subscriber Identity Module, 缩写： SIM) 号码， 也可以是终端的国际 移动设备序歹1 J号 (英文： International Mobile Equipment Identity, 缩写： IME I ) 等其他满足要求的标识， 本发明不做限制。
5103、 终端接收来自服务器的携带至少一个行为的第一响应消息， 至少一个行为是服务器根据终端的标识、 终端的位置信息及不同行为的 条件概率确定的。
行为发生的条件下发生的概率。
终端发送第一请求消息至服务器后， 第一请求消息触发服务器根据 第一请求消息中携带的终端的标识、 终端的位置信息及服务器之前统计 并计算的不同行为的条件概率， 按照这些不同行为的条件概率的大小以 及预设的概率门限值确定至少一个行为， 并将该至少一个行为携带在第 一响应消息中发送至终端， 即终端接收来自服务器的携带至少一个行为 的第一响应消息。
可以理解的是， 上述服务器得到的至少一个行为可以为一个事件集 合， 该事件集合可以由程序开发者根据大多数用户日常发生的一些行为 (例如用户寻找银行、 餐馆、 超市等） 初始化所得。 在本发明实施例提 供的筛选 AR内容的方法中，服务器还可以收集并分析使用该终端的用户 的需求以扩充该事件集合。
5104、 终端在确定至少一个行为中的第一行为被选定时， 发送第二 请求消息至服务器， 第二请求消息中携带第一行为的信息。
终端接收到服务器发送的至少一个行为后， 终端将该至少一个行为 呈现给用户， 用户可根据自己的需求在该至少一个行为中选择一个满足 自己需求的行为， 即第一行为。 当终端确定至少一个行为中的第一行为 被选定时， 终端可发送第二请求消息至服务器， 其中， 第二请求消息中 携带第一行为的信息。
S 105、终端接收来自服务器的携带与第一行为对应的 AR内容的第二 响应消息。
服务器接收到终端发送的第二请求消息后， 服务器可根据第二请求 消息中携带的第一行为的信息，从服务器预先保存的 AR内容中筛选出与 该第一行为对应的 AR 内容， 并将该 AR内容携带在第二响应消息中发送 至终端， 即终端接收来自服务器的携带与第一行为对应的 AR内容的第二 响应消息。 示例性的， AR内容可以包括图文信息、 视听信息、 3D图像等。 本发 明实施例中的 AR内容中可以包括一个分类信息（该分类信息可以表示为 图文信息、 视听信息、 3D 图像等） ， 该分类信息用于表示该 AR 内容与 用户的哪一种行为相关， 例如， 一组 AR 内容的分类是导航类， 该组 AR 内容可用于指示被选定的第一行为是用户前往某个特定的目的地。
S 106、 终端根据第一目标的相关信息， 将第一目标和与第一行为对 应的 AR内容结合后呈现。
终端接收到服务器发送的与第一行为对应的 AR内容后，终端可根据 第一目标的相关信息， 将第一目标和该 AR内容结合后呈现。 例如， 终端 将从终端拍摄的全景照片中确定的某个显著标志物与服务器中预先保存 的该显著标志物的 AR内容结合后呈现出来，从而以使得用户可根据终端 呈现的显示结果获取到达该显著标志物的路线， 进而到达该显著标志物 所处的位置。
需要说明的是，终端呈现第一目标和与第一行为对应的 AR内容的方 式可以为配准显示或未配准显示。 其中， 配准显示是指计算机生成的内 容与物理世界中的某个对象对准且合并为统一的场景呈现给用户； 未配 准显示则是指计算机生成的内容与物理世界中的某个对象未对准， 而只 是简单的叠加后呈现给用户。
如图 2所示， 本发明实施例还提供一种筛选 AR内容的方法， 涉及服 务器侧， 该方法可以包括：
S20 服务器接收来自终端的第一请求消息， 第一请求消息中携带 终端的标识及终端的位置信息。
当用户需要从服务器获取帮助信息时， 用户可触发终端中获取位置 信息的应用， 当该获取位置信息的应用被触发时， 终端可拍摄终端所在 位置的全景照片， 并在根据该全景照片确定终端的位置信息及第一目标 的相关信息后， 发送第一请求消息至服务器， 即服务器接收终端发送的 第一请求消息， 第一请求; %息中携带终端的标识及终端的位置信息。
S202、 服务器根据终端的标识、 终端的位置信息及不同行为的条件 概率确定至少一个行为。
服务器接收到终端发送的第一请求消息后， 服务器可根据第一请求 消息中携带的终端的标识、 终端的位置信息及服务器之前统计并计算的 不同行为的条件概率， 按照这些不同行为的条件概率的大小以及预设的 概率门限值确定至少一个行为。
52 03、 服务器发送携带至少一个行为的第一响应消息至终端。
服务器得到上述的至少一个行为后， 服务器将该至少一个行为携带 在第一响应消息中发送至终端。
52 04、 服务器接收来自终端的第二请求消息， 第二请求消息中携带 第一行为的信息， 该第一行为是该至少一个行为中被选定的行为。
服务器发送第一响应消息至终端后， 终端可将第一响应消息中携带 的至少一个行为呈现给用户， 从而用户可根据自己的需求在该至少一个 行为中选择第一行为， 当终端确定该至少一个行为中的第一行为被选定 时， 终端发送第二请求消息至服务器， 即服务器接收终端发送的第二请 求消息， 第二请求消息中携带第一行为的信息。
52 05、服务器发送携带与第一行为对应的 AR内容的第二响应消息至 终端， 该第二响应消息触发终端根据第一目标的相关信息， 将第一目标 和与第一行为对应的 AR内容结合后呈现， 其中， 终端的位置信息及第一 目标的相关信息为当终端中获取位置信息的应用被触发时， 由终端拍摄 终端所在位置的全景照片后， 根据该全景照片确定的。
服务器接收到终端发送的第二请求消息后， 服务器可根据第二请求 消息中携带的第一行为的信息在服务器中预先保存的 AR 内容中筛选出 与第一行为对应的 AR 内容， 并将该 AR内容携带在第二响应消息中发送 至终端， 从而该第二响应消息可触发终端根据第一目标的相关信息， 将 第一目标和与第一行为对应的 AR内容结合后呈现给用户，从而使得用户 可根据终端的显示结果的指示到达用户需求的目的地， 其中， 终端的位 置信息及第一目标的相关信息为当终端中获取位置信息的应用被触发 时， 由终端拍摄终端所在位置的全景照片后， 根据该全景照片确定的。
本发明实施例提供一种筛选 AR内容的方法， 能够实时动态地根据用 户选定的行为筛选出最能满足用户需求的增强现实内容， 进而满足用户 的信息需求。
实施例二
如图 3所示， 本发明实施例提供一种筛选 AR内容的方法， 该方法可 以包括： 5301、 终端读取第二目标的标签信息， 并根据第二目标的标签信息 获取第二目标的标识。 当用户需要获知某个物体或产品的信息时， 用户首先可通过终端按 照拍照、 扫描或读标签等方式读取第二目标的标签信息， 并根据第二目 标的标签信息获取第二目标的标识， 其中， 第二目标为终端所在环境中 设置了可读标签的物体。
5302、 终端发送携带第二目标的标识的第三请求消息至服务器。 终端获取第二目标的标识后， 终端可将该第二目标的标识携带在第 三请求消息中发送至服务器。 其中， 第二目标的标识可以包括第二目标 的名称、 第二目标的类型或第二目标的品牌中的至少一种。
5303、 服务器根据第二目标的标识查找到第二目标的位置信息。 服务器接收到来自终端的第二目标的标识后， 服务器可根据第二目 标的标识在服务器中预先保存的信息中查找到第二目标的位置信息。 具 体的， 第二目标的位置信息可以包括第二目标的坐标值。
需要说明的是， 第二目标的位置信息可通过预先收集的室内地图及 第二目标的数据所得。 由于在购物中心、 超市、 图书馆、 博物馆、 机场、 车站等公共场所内， 存在着大量贴有可读标签的物体， 并且随着 NFC标 签成本的下降， NFC 智能海报也将得到广泛的应用， 因此， 可读标签在 公共场所会越来越丰富。 为了便于对商品、 图书等物品的管理， 商场、 图书馆等场所的工作人员在整理这些物品时需记录这些物品所在的区域 或位置。 目前， 室内地图一般也是由这些场所的工作人员上传到地图应 用服务提供商的。 因此， 在整理和布置室内环境时， 工作人员可以把带 有可读标签的物体， 即第二目标在室内地图上的位置信息记录下来并保 存到服务器， 这是收集室内地图和第二目标的数据的一种实现方式。
收集第二目标的位置信息还有另外一种方法， 在室内环境中， 例如 购物中心、 图书馆等， 用户可以使用自己的手机、 头戴式设备或者其他 移动设备读取第二目标的可读标签， 如条形码、 二维码或 NFC标签等， 获取该第二目标的编号并向服务器请求该第二目标的相关信息； 与此同 时， 可以提供一种包含用户所在环境的室内地图的应用， 以某种奖励的 方式鼓励用户把扫描到的第二目标的位置信息标识在室内地图上， 从而 第二目标的位置信息将被保存到服务器上， 通过这种方式不仅可以收集 第二目标的位置信息， 还可以修正已经收集到的第二目标的位置信息。 可选的， 服务器还可根据第二目标的标识在服务器中预先保存的信 息中查找到第二目标的描述信息， 以用于为用户提供第二目标的材料、 第二目标的产地、 第二目标的价格及其他用户对第二目标的评论等相关 信息。 其中， 第二目标的描述信息可用于帮助用户获知其查看的产品的 相关信息。
本发明实施例提供的终端所在的室内环境中存有大量的可读标签或 者可以与终端进行交互的信息设备， 且这些可读标签及信息设备的位置 都已经在室内地图上标识出来并保存在了服务器中。
S 304、服务器返回携带第二目标的位置信息的第三响应消息至终端。 服务器查找到第二目标的位置信息后， 服务器可将该第二目标的位 置信息携带在第三响应消息中发送至终端， 即终端获取到第二目标的位 置信息。
S 305、 终端发送第一记录事件至服务器， 其中， 第一记录事件包含 终端读取第二目标的标签信息的行为。
终端读取第二目标的标签信息之后， 终端发送第一记录事件至服务 器， 其中， 第一记录事件可以包含终端读取第二目标的标签信息的行为。
具体的， 当终端读取第二目标的标签信息或者与第二目标发生信息 交互时， 终端会自动记录该事件 （即第一记录事件） ， 并会发送该第一 记录事件至服务器， 该第一记录事件触发服务器保存并分析该第一记录 事件， 其中， 该第一记录事件可以包含终端的行为 （如终端读取第二目 标的标签信息、 终端与第二目标发生信息交互等） 。
进一步地， 第一记录事件还可以包含第二目标的位置信息， 在终端 接收到来自服务器的第二目标的位置信息后， 终端将终端读取第二目标 的标签信息的行为和第二目标的位置信息作为第一记录事件同时发给服 生的位置， 即第二目标的位置信息， 这里由于是终端读取第二目标， 因 此第二目标的位置信息与此时终端的位置信息相同。 可以理解的是， 终端向服务器发送第一记录事件时， 服务器可根据 该终端的标识获取到该终端的位置信息。
需要说明的是， 若终端向服务器发送的第一记录事件不包含第二目 标的位置信息， 则本发明不限制 S302-S304和 S305的执行顺序， 即本发 明可以先执行 S302-S304, 后执行 S305; 也可以先执行 S305, 后执行 S302-S304; 还可以同时执行 S302-S304和 S305。
S306、 服务器根据终端的标识和终端的位置信息对第一记录事件进 行分类并确定第一记录事件的概率。
服务器接收到终端发送的终端的标识、 终端的位置信息及第一记录 事件后， 服务器可根据终端的标识和终端的位置信息对第一记录事件进 行分类， 并根据大数定律计算出每一类第一记录事件发生的概率， 其中， 大数定律是一种描述当试验次数很大时所呈现的概率性质的定律。
具体的， 终端的标识可以是终端上的用户身份识别卡 （英文：
Subscriber Identity Module, 缩写： SIM) 号码， 也可以是终端的国 际移动设备序歹 ij号 (英文： International Mobile Equipment Identity, 缩写： IMEI ) 等其他满足要求的标识， 本发明不做限制。 终端的位置信 息可以包括终端的坐标值。
举例来说， 用户在某个电影院内使用二维码从自动售票机上兌换电 影票、 用户在售票处使用移动支付现场购买电影票， 或者用户在会员服 务中心购买爆米花并使用 NFC移动支付功能付款等， 终端会将这些事件 记录为第一记录事件并发送至服务器， 服务器在接收到终端发送的这些 第一记录事件后， 按照自动售票机 /售票处 /会员服务中心的标识， 或自 动售票机 /售票处 /会员服务中心的位置信息， 或自动售票机 /售票处 /会 员服务中心的标识， 及自动售票机 /售票处 /会员服务中心的位置信息对 这些第一记录事件进行分类。 又如， 用户使用二维码兌换电影票时， 可 使用电影票兌换终端或电影院官方的自动售票机进行兌换， 而这一类使 用不同兌换终端兌换电影票的第一记录事件都可以被服务器分为同一类 第一记录事件。 当服务器记录了大量第一记录事件后， 服务器可根据大 数定律计算出每一类第一记录事件发生的概率。 上述兌换电影票的例子 中， 服务器可根据终端已发生过的行为， 计算出用户在进入电影院后， 在售票处使用移动支付现场购买电影票的概率及使用二维码从自动售票 机上兌换电影票的概率。
本发明实施例中， 第一记录事件发生的概率可以表示为第一记录事 件在第二目标的位置发生的概率。
需要说明的是， 终端及服务 ¾可以重复执行 S301 至 S306, 以记录 更多的事件及保存大量的数据， 如用户逛商场时， 可以使用终端读取多 个第二目标的标签信息， 并将读取该第二目标的标签信息的行为记录为 第一记录事件发送至服务器。
S 307、 当终端中获取位置信息的应用被触发时， 终端拍摄终端所在 位置的全景照片， 并根据该全景照片确定终端的位置信息及第一目标的 相关信息。
当用户在室内环境迷路或者不能确定自己的行为时， 用户可触发终 端中的获取位置信息的应用。 即当终端中获取位置信息的应用被用户触 发时， 终端可拍摄终端所在位置的全景照片， 终端根据该全景照片确定 终端的位置信息及第一目标的相关信息。 其中， 终端根据终端拍摄的全 景照片确定第一目标的相关信息的技术可以包括： 光学文字识别技术、 图像识别技术等。
示例性的， 第一目标是指终端所在室内环境中存在的、 可以使用图 像处理方法识别的对象， 也就是 AR 目标； 同时， 在服务器中保存有一个 预设的目标库， 该目标库中存储了该环境中的多个目标， 该目标库也可 以预先从服务器下载至终端， 由终端保存。 例如， 第一目标可以为终端 所在室内环境的方向指示箭头、 店铺标识、 消防标志、 电梯对象中的一 种。 AR内容可以包括图文信息、 视听信息、 3D图像等。 本发明实施例中 的 AR内容中可以包括一个分类信息 （该分类信息可以表示为图文信息、 视听信息、 3D 图像等） ， 该分类信息用以表示该 AR 内容与用户的哪一 种行为相关， 例如， 一组 AR内容的分类是导航类， 该组 AR内容可用于 指示被选定的第一行为是用户前往某个特定的目的地。
特别的， 第一目标的相关信息可以包括第一目标的图像特征值、 第 一目标的位置信息等。 其中， 第一目标的相关信息可以是由终端在 S 1 01 之前预先收集的数据； 第一目标的位置信息可以包括第一目标的坐标值。
具体的， 终端确定第一目标的位置信息的方法可以为下述的一种：
( 1 )终端拍摄终端所在位置的全景照片后， 终端对该全景照片进行 图像处理， 并对比该全景照片中提取到的对象的特征值与终端中保存的 预设的第一目标库中的第一目标的特征值， 若第一目标库中存在与该全 景照片中提取到的对象的特征值相同的对象， 那么终端可确定在该全景 照片中发现了第一目标， 进而可以确定第一目标的位置信息， 这是由于 第一目标的位置信息与第一目标的图像特征是关联在一起的。 ( 2 )终端拍摄全景照片， 并根据基于视觉的室内定位算法确定终端 所在的位置， 从而终端搜索此终端所在位置附近可能存在的可识别的第 一目标， 进而根据这些第一目标获取到这些第一目标的位置信息， 这是 由于这些第一目标的位置信息是提前预设保存在终端中的。
需要说明的是， 本发明实施例提供的筛选 AR内容的方法中， 在服务 器中保存有一个预设的第一目标库， 此第一目标库也可以预先下载到终 端； 第一目标及其相关的图像特征值、 位置信息等是有意识的预先收集 的， 在部署应用之前就可以收集这些数据。
进一步地， 终端还可以通过其他能够显示终端所在环境的方式确定 该终端的位置信息及第一目标的相关信息， 本发明不做限制。
S 308、 终端发送第一请求消息至服务器， 第一请求消息中携带终端 的标识及终端的位置信息。
终端确定终端的位置信息后， 终端发送第一请求消息至服务器， 其 中， 第一请求消息中携带终端的标识及终端的位置信息。
S 309、 服务器根据终端的标识、 终端的位置信息及不同行为的条件 概率确定至少一个行为。
服务器接收到终端发送的第一请求消息后， 服务器可根据第一请求 消息中携带的终端的标识、 终端的位置信息及服务器之前统计并计算的 不同行为的条件概率， 按照这些不同行为的条件概率的大小以及预设的 概率门限值确定至少一个行为。
可以理解的是， 上述服务器得到的至少一个行为可以为一个事件集 合， 该事件集合可以由程序开发者根据大多数用户日常发生的一些行为 (例如用户寻找银行、 餐馆、 超市等） 初始化所得。 在本发明实施例提 供的筛选 AR内容的方法中，服务器还可以收集并分析使用该终端的用户 的说明。
S 31 0、 服务器发送携带至少一个行为的第一响应消息至终端。
服务器得到上述的至少一个行为后， 服务器将该至少一个行为携带 在第一响应消息中发送至终端。
S 31 终端在确定至少一个行为中的第一行为被选定时， 发送第二 请求消息至服务器， 第二请求消息中携带第一行为的信息。 终端接收到服务器发送的至少一个行为后， 终端将该至少一个行为 呈现给用户， 用户可根据自己的需求在该至少一个行为中选择一个满足 自己需求的行为， 即第一行为。 当终端确定至少一个行为中的第一行为 被选定时， 终端可发送第二请求消息至服务器， 其中， 第二请求消息中 携带第一行为的信息。
本领域普通技术人员可以理解， 至少一个行为或第一行为呈现在终 端上显示为锚链文本（英文： archor text)形式， 锚链文本是指带有统一 资源定位符 （英文： Uniform Resource Locator, 缩写： ） 链接的文 本， 即当用户点击或触摸某一段文本时， 可以触发访问一个 URL链接。
S312、 终端发送第二记录事件至服务器， 第二记录事件包含至少一 个行为中第一行为被选中的行为。
终端确定至少一个行为中的第一行为被选定时， 终端发送第二记录 事件至服务器， 其中， 第二记录事件包含至少一个行为中第一行为被选 中的行为。
可选的， 第一目标的相关信息包括第一目标的位置信息， 其中， 第 二记录事件还包含第一目标的位置信息。 终端获取到第一目标的位置信 息后， 终端将至少一个行为中第一行为被选中的行为和第一目标的位置 信息作为第二记录事件同时发给服务器。 其中， 此时第二记录事件可以 包含至少一个行为中第一行为被选中的行为以及终端从全景照片中确定 的第一目标的位置信息。
需要说明的是， 本发明不限制 S311和 S312的执行顺序， 即本发明 可以先执行 S311后执行 S312, 也可以先执行 S312后执行 S311, 还可以 同时执行 S311和 S312。
S313、 服务器根据终端的标识和终端的位置信息对第二记录事件进 行分类并确定第二记录事件的概率及第二记录事件的条件概率。
服务器接收到终端发送的第二记录事件后， 服务器可根据终端的标 识和终端的位置信息对第二记录事件进行分类， 并根据大数定律计算出 每一类第二记录事件的概率， 以及根据第一记录事件的概率、 第二记录 事件的概率确定第二记录事件的条件概率， 即第一记录事件发生的条件 下， 第二记录事件发生的概率。 其中， 本发明实施例提供的筛选 AR内容 的方法中， 可将第一记录事件发生的频率记为第一记录事件的概率； 将 第二记录事件发生的频率记为第二记录事件的概率。
本发明实施例中， 第二记录事件的条件概率可以为第二记录事件在 第一记录事件发生的条件下发生的概率。 具体的， 服务器在已获知第二 记录事件发生的条件下， 可再统计该条件下第一记录事件发生的概率， 即第一记录事件的条件概率， 并根据第一记录事件的条件概率， 第一记 录事件的概率， 及第二记录事件的概率， 通过贝叶斯公式计算得到第二 记录事件的条件概率， 即第一记录事件发生的条件下， 第二记录事件发 生的概率。
可以理解的是， 对于多类第一记录事件和多类第二记录事件， 可以 计算出每一类第一记录事件发生的条件下， 有可能发生的每一类第二记 录事件发生的概率， 即上述的不同行为的条件概率。
特别的， 下面对计算不同行为的条件概率的方法及过程进行详细地 说明。
贝叶斯定理是概率论中一条重要的定理， 后验概率 I 和先验概 率 ρ μ )的关系可以表示为：
Ρ{Α\Β)=Ρ{Α) Ρ(Β ] Α)
； 、 ' Ρ(Β)
其中，事件 S是观测到的事件，事件 是可能导致事件 S发生的事件。 在事件 ^已经发生的条件下， 假设可能发生的后续事件 S = f/^^. , 事件集 B} ( =1, 2, .. ) 中每一个 的概率为 根据贝叶斯定理可以得 到在给定事件 4已经发生的条件下，任何事件 发生的概率， 即事件 的 条件概率为：
Ρ(Β] \Α) = Ρ(Β]) ^
Ρ(Α)
由上述公式可以看出， 根据贝叶斯定理， 已知事件 4、 事件 s发生的 概率和事件 s发生时事件 4发生的概率， 则可以计算出事件 4发生的条件 下， 事件 S发生的条件概率。
假设服务器保存的第一记录事件的集合为（4 , = 1, 2, ... , Ν、 其 中， 4表示第 ζ·类第一记录事件， 类第一记录事件的并集 ί^4. = , 则 服务器可以计算出第 类第一记录事件发生的概率 又假设服务器保 存的第二记录事件的集合为 { ， = 1, 2, ... , M) , 表示第 ·类第二记 录事件， M类第二记录事件的并集 ^/^„Ω, 则服务器可以计算出第 _/类 第二记录事件发生的概率 P(^); 当服务器接收到第二记录事件的数量不 够多时， 可假设第二记录事件 为等概率事件。
服务器根据终端标识进行统计， 可以得到某个终端做过第一记录事 件 4之后执行第二记录事件 的样本， 从而从足够的样本中计算得到第 二记录事件 发生的条件下， 第一记录事件 4发生的概率为 P(A, | .）。
根据贝叶斯公式， 可以计算得到第一记录事件 4发生的条件下， 第 二记录事件 发生的条件概率为：
Ρ(ΒΛΡ(Α \ΒΛ
Ρ(Β, \ Α)= 'J ' ' JJ
P(At)
进一步地， 如果同一个终端在向服务器发送请求消息之前， 服务器 保存的该终端上报的第一记录事件分别为 4和 4,假设用户通过该终端选 择某条帮助信息的行为， 即第二记录事件 记为事件 ， 该用户未选择 某条帮助信息的行为记为事件 £2, 则如表 1所示：
表 1
Figure imgf000023_0001
由表 1可 口， 表示 4、 4发生之后， 发生； £2表示 4
后， 未发生。 假设 4、 4是独立事件， 则可得表 2:
表 1
Figure imgf000023_0002
综上， 在 4、 4发生之后， 发生的概率可以通过如下公式计算得 p=. Ρ(ΕΛ)
Ρ(ΕΛ) + Ρ(Ε2)
Ρ(Β} I ΑΛ )Ρ(Β} I Α2 )Ρ(Β} ) + (1 - Ρ(Β} | ΑΛ ))(1 - Ρ(Β} | Α2 ))(1 - Ρ(Β} )) 由此可以计算出当某个用户通过终端连续被记录做了 4、 4两件事 之后， 该用户希望获得某条帮助信息的行为 的概率 即不同行为的 条件概率， 从而服务器可根据该不同行为的条件概率中最大的条件概率 得到用户最有可能发生的至少一个行为。 且服务器将服务器得到的该至 少一个行为发送至终端， 从而终端可将该至少一个行为呈现给用户， 以 便于用户选择自己所需的某个行为， 进而根据该行为获取帮助信息。
5 31 4、服务器发送携带与第一行为对应的 AR内容的第二响应消息至 终端。
服务器接收到终端发送的第二请求消息后， 服务器可根据第二请求 消息中携带的第一行为的信息在服务器中预先保存的 AR 内容中筛选出 与第一行为对应的 AR 内容， 并将该 AR内容携带在第二响应消息中发送 至终端。
5 31 5、 终端根据第一目标的相关信息， 将第一目标和与第一行为对 应的 AR内容结合后呈现。
终端接收到服务器发送的与第一行为对应的 AR内容后，终端可根据 第一目标的相关信息， 将第一目标和该 AR内容结合后呈现。 例如， 终端 将从终端拍摄的全景照片中确定的某个显著标志物与服务器中预先保存 的该显著标志物的 AR内容结合后呈现出来，从而以使得用户可根据终端 呈现的显示结果获取到达该显著标志物的路线， 进而到达该显著标志物 所处的位置。
需要说明的是，终端结合呈现第一目标和与第一行为对应的 AR内容 的方式可以为配准显示或未配准显示。 其中， 配准显示是指计算机生成 的内容与物理世界中的某个对象对准且合并为统一的场景呈现给用户； 未配准显示则是指计算机生成的内容与物理世界中的某个对象未对准， 而只是简单的叠加后呈现给用户。 具体的， 当终端发送至服务器的第二 记录事件中包含第一目标的位置信息时， 终端则以配准显示的方式结合 显示与第一行为对应的 AR内容和第一目标； 相反的， 当终端发送至服务 器的第二记录事件中不包含第一目标的位置信息时， 终端则以未配准显 示的方式结合显示与第一行为对应的 AR内容和第一目标。
本发明实施例提供一种筛选 AR内容的方法， 能够实时动态地根据用 户选定的行为筛选出最能满足用户需求的增强现实内容， 进而满足用户 的信息需求。 11 实施例三
如图 4所示， 本发明实施例提供一种终端 1 , 包括：
确定单元 10 , 用于当所述终端中获取位置信息的应用被触发时， 拍 摄所述终端所在位置的全景照片， 并根据所述全景照片确定所述终端的 位置信息及第一目标的相关信息。
发送单元 11 , 用于发送第一请求消息至服务器， 所述第一请求消息 中携带所述终端的标识及所述确定单元 10确定的所述终端的位置信息。
接收单元 12 , 用于接收来自所述服务器的携带至少一个行为的第一 响应消息， 所述至少一个行为是所述服务器根据所述终端的标识、 所述 终端的位置信息及不同行为的条件概率确定的。
所述发送单元 11 , 还用于在所述终端确定所述至少一个行为中的第 一行为被选定时， 发送第二请求消息至所述服务器， 所述第二请求消息 中携带所述第一行为的信息。
所述接收单元 12 , 还用于接收来自所述服务器的携带与所述第一行 为对应的 AR内容的第二响应消息。
显示单元 1 3 , 用于根据所述确定单元 10确定的所述第一目标的相 关信息， 将所述第一目标和所述接收单元 12接收的所述 AR 内容结合后 呈现。
可选的，在所述确定单元 10当所述终端中获取位置信息的应用被触 发时， 拍摄所述终端所在位置的全景照片， 并根据所述全景照片确定所 述终端的位置信息及第一目标的相关信息， 之前， 所述确定单元 10 , 还 用于读取第二目标的标签信息， 以及所述发送单元 11 , 还用于发送第一 记录事件至所述服务器， 所述第一记录事件触发所述服务器根据所述终 端的标识和所述终端的位置信息对所述第一记录事件进行分类并确定所 述第一记录事件的概率， 所述第一记录事件包含所述确定单元 10读取所 述第二目标的标签信息的行为。 可选的， 在所述发送单元 11发送第二请求消息至所述服务器之后， 所述发送单元 11 , 还用于发送第二记录事件至所述服务器， 所述第二记 录事件触发所述服务器根据所述终端的标识和所述终端的位置信息对所 述第二记录事件进行分类并确定所述第二记录事件的概率及所述第二记 录事件的条件概率， 所述第二记憂事件包含所述至少一个行为中所述第 一行为被选中的行为。
可选的，所述确定单元 1 0确定的所述第一目标的相关信息包括所述 第一目标的位置信息， 所述发送单元 1 1发送的所述第二记录事件还包含 所述第一目标的位置信息。
可选的， 在所述确定单元 1 0读取第二目标的标签信息之后， 所述确定单元 1 0 , 还用于根据所述第二目标的标签信息获取所述第 二目标的标识， 所述发送单元 1 1 , 还用于发送携带所述第二目标的标识 的第三请求消息至所述服务器， 以及所述接收单元 1 2 , 还用于接收所述 服务器返回的携带所述第二目标的位置信息的第三响应消息。
可选的，所述发送单元 1 1发送的所述第一记录事件还包含所述第二 目标的位置信息。
本发明实施例提供一种终端， 能够实时动态地根据用户选定的行为 筛选出最能满足用户需求的增强现实内容， 进而满足用户的信息需求。
如图 5所示， 本发明实施例提供一种服务器 2 , 包括：
接收单元 20 , 用于接收来自终端的第一请求消息， 所述第一请求消 息中携带所述终端的标识及所述终端的位置信息。
确定单元 2 1 , 用于根据所述接收单元 20接收的所述终端的标识、 所述终端的位置信息及不同行为的条件概率确定至少一个行为。
发送单元 22 , 用于发送携带所述确定单元 21 确定的所述至少一个 行为的第一响应消息至所述终端。
所述接收单元 20 , 还用于接收来自所述终端的第二请求消息， 所述 第二请求消息中携带第一行为的信息， 所述第一行为是所述至少一个行 为中被选定的行为。
所述发送单元 22 , 还用于发送携带与所述第一行为对应的 AR 内容 的第二响应消息至所述终端， 所述第二响应消息触发所述终端根据第一 目标的相关信息， 将所述第一目标和所述 AR内容结合后呈现， 所述终端 的位置信息及所述第一目标的相关信息为当所述终端中获取位置信息的 应用被触发时， 由所述终端拍摄所述终端所在位置的全景照片后， 根据 所述全景照片确定的。
可选的，在所述接收单元 20接收来自所述终端的所述第一请求消息 之前，
所述接收单元 20 , 还用于接收来自所述终端的第一记录事件， 所述 第一记录事件包含所述终端读取第二目标的标签信息的行为， 所述确定 单元 21 , 还用于根据所述终端的标识和所述终端的位置信息对所述第一 记录事件进行分类并确定所述第一记录事件的概率。
可选的，在所述接收单元 20接收来自所述终端的所述第二请求消息 之后，
所述接收单元 20 , 还用于接收来自所述终端的第二记录事件， 所述 第二记录事件包含所述至少一个行为中所述第一行为被选定的行为， 所 述确定单元 2 1 , 还用于根据所述终端的标识和所述终端的位置信息对所 述第二记录事件进行分类并确定所述第二记录事件的概率及所述第二记 录事件的条件概率。
可选的， 所述第一目标的相关信息包括所述第一目标的位置信息， 所述接收单元 20 接收的所述第二记录事件还包含所述第一目标的位置 信息。
可选的，在所述接收单元 20接收来自所述终端的所述第一记录事件 之前，
所述接收单元 20 , 还用于接收来自所述终端的携带所述第二目标的 标识的第三请求消息， 所述第二目标的标识为所述终端根据所述第二目 标的标签信息获取的， 所述发送单元 22 , 还用于发送携带所述第二目标 的位置信息的第三响应消息至所述终端。
可选的，所述接收单元 20接收的所述第一记录事件还包含所述第二 目标的位置信息。
本发明实施例提供一种服务器， 能够使终端实现实时动态地根据用 户选定的行为筛选出最能满足用户需求的增强现实内容， 进而满足用户 的信息需求。
实施例四
如图 6所示， 本发明实施例提供一种终端， 包括 CPU 1 7、 存储器 1 8 以及摄像头 1 9 , 其中，
CPU 1 7 为终端的控制以及处理中心， 通过运行存储在存储器 1 8 中 的软件程序， 并调用及处理存储 A存储器 1 8中的数据， 从而控制终端进 行收发信号， 以及实现终端的其他功能。
存储器 18可用于存储软件程序及数据， 以使得 CPU 17可通过运行 存储在存储器 18 中的软件程序， 从而实现终端的收发信号以及其他功
•6匕
fi 。
摄像头 19, 可用于在 CPU 17的触发下拍摄照片。
具体的， CPU 17至少可执行如下步骤：
( 1 ) 所述 CPU 17可用于当所述终端中获取位置信息的应用被触发 时， 触发所述摄像头 19拍摄所述终端所在位置的全景照片， 并根据所述 全景照片确定所述终端的位置信息及第一目标的相关信息。
( 2 ) 所述 CPU 17还可用于发送第一请求消息至服务器， 所述第一 请求消息中携带所述终端的标识及所述 CPU 17确定的所述终端的位置信 息。
( 3 ) 所述 CPU 17还可用于接收来自所述服务器的携带至少一个行 为的第一响应消息， 所述至少一个行为是所述服务器根据所述终端的标 识、 所述终端的位置信息及不同行为的条件概率确定的。
( 4 ) 所述 CPU 17还可用于在所述终端确定所述至少一个行为中的 第一行为被选定时， 发送第二请求消息至所述服务器， 所述第二请求消 息中携带所述第一行为的信息。
( 5 ) 所述 CPU 17还可用于接收来自所述服务器的携带与所述第一 行为对应的 AR内容的第二响应消息。
( 6 ) 所述 CPU 17还可用于根据所述第一目标的相关信息， 将所述 第一目标和所述 AR内容结合后呈现。
其中， 所述存储器 18可用于存储所述 CPU 17获取位置信息的应用 的软件代码、 所述拍摄全景照片的软件代码、 所述确定终端的位置信息 的软件代码及确定所述第一目标的相关信息的软件代码、 获取所述终端 的标识的软件代码、 显示所述至少一个行为的软件、 确定所述第一行为 的信息的软件代码、显示所述 AR内容的软件代码及控制所述终端完成上 述过程的软件程序， 从而使得所述 CPU 17通过执行上述软件程序并调用 上述软件代码完成上述过程。
本发明实施例中，所述存储器 18具体可为双倍速率同步动态随机存 储器 (英文： Double Data Rate Synchronous Dynamic Random Access Memory,缩写： DDR SDRAM )、静态随机存储器 (英文： Static Random Access Memory, 缩写： SRAM) 、 闪存（英文： FLASH ) 、 固态硬盘（英文： Solid State Disk, 缩写： SSD ) 、 随机存储器（英文： Random Access Memory , 缩写： RAM) 、 只读存储器 （英文： Read- Only Memory, 缩写： ROM) 等， 其主要包括程序存储区和数据存储区， 其中， 程序存储区可存储操作系 统， 以及至少一个功能所需的应用程序 （例如上述各个软件代码） 等； 数据存储区可存储根据 CPU 17的执行情况而最终产生的数据， 对于 CPU 17执行上述步骤的过程中所产生的中间数据， 则存储在内存中。 需要说 明的是， CPU 17 和存储器 18 可集成于同一芯片内， 也可为独立的两个 器件。
可选的，在所述 CPU 17当所述终端中获取位置信息的应用被触发时， 拍摄所述终端所在位置的全景照片， 并根据所述全景照片确定所述终端 的位置信息及第一目标的相关信息， 之前， 所述 CPU 17, 还用于读取第 二目标的标签信息， 以及发送第一记录事件至所述服务器， 所述第一记 录事件触发所述服务器根据所述终端的标识和所述终端的位置信息对所 述第一记录事件进行分类并确定所述第一记录事件的概率， 所述第一记 录事件包含所述 CPU 17读取所述第二目标的标签信息的行为。
可选的， 在所述 CPU 17发送第二请求消息至所述服务器之后， 所述 CPU 17, 还用于发送第二记录事件至所述服务器， 所述第二记录事件触 发所述服务器根据所述终端的标识和所述终端的位置信息对所述第二记 录事件进行分类并确定所述第二记录事件的概率及所述第二记录事件的 条件概率， 所述第二记录事件包含所述至少一个行为中所述第一行为被 选中的行为。
可选的， 所述 CPU 17确定的所述第一目标的相关信息包括所述第一 目标的位置信息， 所述 CPU 17发送的所述第二记录事件还包含所述第一 目标的位置信息。
可选的， 在所述 CPU 17读取第二目标的标签信息之后，
所述 CPU 17, 还用于根据所述第二目标的标签信息获取所述第二目 标的标识， 并发送携带所述第二目标的标识的第三请求消息至所述服务 器， 以及接收所述服务器返回的携带所述第二目标的位置信息的第三响 应消息。
可选的， 所述 CPU 17发送的所述第一记录事件还包含所述第二目标 的位置信恩。
本发明实施例提供一种终端， 能够实时动态地根据用户选定的行为 筛选出最能满足用户需求的增强现实内容， 进而满足用户的信息需求。
如图 7所示， 本发明实施例提供一种服务器， 包括 CPU 25以及存储 器 26 , 其中，
CPU 25 为服务器的控制以及处理中心， 通过运行存储在存储器 26 中的软件程序， 并调用及处理存储在存储器 26中的数据， 从而控制服务 器进行收发信号， 以及实现服务器的其他功能。
存储器 26可用于存储软件程序及数据， 以使得 CPU 25可通过运行 存储在存储器 26中的软件程序，从而实现服务器的收发信号以及其他功
•6匕
fi 。
具体的， CPU 25至少可执行如下步骤：
( 1 ) 所述 CPU 25可用于接收来自终端的第一请求消息， 所述第一 请求消息中携带所述终端的标识及所述终端的位置信息。
( 2 ) 所述 CPU 25还可用于根据所述终端的标识、 所述终端的位置 信息及不同行为的条件概率确定至少一个行为。
( 3 ) 所述 CPU 25还可用于发送携带所述至少一个行为的第一响应 消息至所述终端。
( 4 ) 所述 CPU 25还可用于接收来自所述终端的第二请求消息， 所 述第二请求消息中携带第一行为的信息， 所述第一行为是所述至少一个 行为中被选定的行为。
( 5 ) 所述 CPU 25还可用于发送携带与所述第一行为对应的 AR内容 的第二响应消息至所述终端， 所述第二响应消息触发所述终端根据第一 目标的相关信息， 将所述第一目标和所述 AR内容结合后呈现， 所述终端 的位置信息及所述第一目标的相关信息为当所述终端中获取位置信息的 应用被触发时， 由所述终端拍摄所述终端所在位置的全景照片后， 根据 所述全景照片确定的。
其中， 所述存储器 26可用于存储所述终端的标识的软件代码、 发送 所述终端的位置信息的软件代码、 发送不同行为的条件概率、 接收至少 一个行为的软件代码、 发送第一行为的信息的软件代码、 发送与所述第 一行为对应的 AR 内容的软件代码及控制所述服务器完成上述过程的软 件程序， 从而使得所述 CPU 25可通过执行上述软件程序并调用上述软件 代码完成上述过程。
本发明实施例中， 所述存储器 26具体可为 DDR SDRAM , SRAM , FLASH , SSD、 RAM , ROM 等， 其主要包括程序存储区和数据存储区， 其中， 程序 存储区可存储操作系统， 以及至少一个功能所需的应用程序 （例如上述 各个软件代码 ) 等； 数据存储区可存储根据 CPU 25的执行情况而最终产 生的数据， 对于 CPU 25执行上述步骤的过程中所产生的中间数据， 则存 储在内存中。 需要说明的是， CPU 25和存储器 26可集成于同一芯片内， 也可为独立的两个器件。
可选的， 在所述 CPU 25接收来自终端的第一请求消息之前， 所述 CPU 25 , 还用于接收来自所述终端的第一记录事件， 并根据所 述终端的标识和所述终端的位置信息对所述第一记录事件进行分类并确 定所述第一记录事件的概率， 所述第一记录事件包含所述终端读取第二 目标的标签信息的行为。
可选的， 在所述 CPU 25接收来自所述终端的第二请求消息之后， 所述 CPU 25 , 还用于接收来自所述终端的第二记录事件， 并根据所 述终端的标识和所述终端的位置信息对所述第二记录事件进行分类并确 定所述第二记录事件的概率及所述第二记录事件的条件概率， 所述第二 记录事件包含所述至少一个行为中所述第一行为被选定的行为。
可选的， 所述第一目标的相关信息包括所述第一目标的位置信息， 所述 CPU 25接收的所述第二记录事件还包含所述第一目标的位置信息。
可选的， 在所述 CPU 25接收来自所述终端的第一记录事件之前， 所述 CPU 25 , 还用于接收来自所述终端的携带所述第二目标的标识 的第三请求消息， 并返回携带所述第二目标的位置信息的第三响应消息 至所述终端， 所述第二目标的标识为所述终端根据所述第二目标的标签 信息获取的。
可选的， 所述 CPU 25接收的所述第一记录事件还包含所述第二目标 的位置信息。
本发明实施例提供一种服务器， 可以使终端能够实时动态地根据用 户选定的行为筛选出最能满足用户需求的增强现实内容， 进而满足用户 的信息需求。 实施例五
如图 8所示， 本发明实施例提供一种筛选 AR内容的系统， 包括上述 实施例一至实施例四所描述的终端及服务器。
为了更加确切地了解本发明技术方案的实施方式， 对应于本发明实 施例提供的筛选 AR内容的方法， 下面分别以购物中心和博物馆为例来描 述本发明实施例提供的筛选 AR内容的方法的实施场景， 即在购物中心和 博物馆内筛选需增强显示的 AR内容的过程。
实施场景一： 购物中心
( 1 )某购物中心在装修、 布置和摆放物品时均按照上述实施例中提 供的方法收集了该购物中心的室内地图及该购物中心中的 P0 I的数据。
( 2 ) 用户来到该购物中心后， 首先进入女装品牌店 X内选购衣服， 由于该用户携带的终端中安装了本发明技术方案提供的获取位置信息的 应用， 且该应用可以读取该购物中心内任何一款商品的条码或二维码， 并推送与读取的商品相关的商品的描述信息， 如商品的品牌、 商品的材 料、 商品的号码、 商品的价格、 商品的库存等信息到终端， 因此， 该用 户一边漫步一边使用终端查询该女装品牌店 X 内的衣服的描述信息。 最 终， 该用户选中了某件衣服， 并找店员开票， 店员登记了该用户选中的 衣服， 并将对应的交易信息写入该用户携带的终端。 当该用户携带的终 端获取到该交易信息时， 该终端将该用户选择衣服这一事件记录下来并 将该事件上传到服务器。
( 3 ) 该用户又来到礼品店 Y和化妆品店 Z , 并分别在这两个店内选 购了礼品和化妆品， 同时店员也将相应的交易信息写入该用户携带的终 端。 同样的， 当该用户携带的终端获取到这两个交易信息时， 该终端分 别将该用户选择礼品和选择化妆品这两个事件记录下来并将这两个事件 上传到服务器。
( 4 )该用户从化妆品店 Z出来后找到离化妆品店 Z最近的收银台进 行缴费， 缴费完成后， 收银台的工作人员将付费凭证和电子发票分别写 入该用户携带的终端。
( 5 ) 当该用户需回到女装品牌店 X、 礼品店 Y及化妆品店 Z出示付 费凭证并领取自己选购的衣服、 礼品及化妆品时， 该用户只记得离收银 台最近的化妆品店 z的位置， 而对女装品牌店 X及礼品店 Y的位置已经 记不清楚了。
( 4 )该用户使用终端中安装的上述获取位置信息的应用拍摄了一张 终端所在位置的全景照片， 终端根据用户拍摄的全景照片确定到化妆品 店 Z 的标识、 收银台的标识以及其他若干个可识别的标识， 并根据这些 标识推断出了该终端所在的位置， 即终端的位置信息， 同时终端发送一 个包括终端的标识和终端的位置信息的第一请求消息至服务器， 当服务 器接收到该第一请求消息后， 服务器根据已经保存的与该终端有关的上 述三个事件和对应的条件概率 （其中， 条件概率为服务器根据收集到的 终端上传的大量数据计算所得） ， 得到该用户最有可能的下一行为可能 是：
a、 最近的自动扶梯在哪里？
b、 最近的餐厅在哪里？
c、 返回去过的店铺？
(5)该用户选择了 " c、 返回去过的店铺？ " 这个选项对应的行为。 当服务器接收到该用户选择的这个行为后， 服务器根据 "返回去过的店 铺" 这个行为， 从预先保存的 AR内容中筛选出了导航类 AR内容， 该导 航类 AR内容包括该用户去过的店铺附近的显著标志物，从而服务器可根 据记录的与该用户相关的事件、 该购物中心的室内地图及该购物中心内 P0 I的数据， 生成一张从用户所在位置分别前往女装品牌店 X、 礼品店 Y 及化妆品店 Z 的路线图， 并标识出了任何两家店铺之间的显著标志物， 之后， 服务器将这些信息发送至终端， 且终端会将路线图上的显著标志 物、 转弯信息等以 AR的形式显示出来展示给该用户。
( 6 ) 该用户在该应用程序的帮助下找到了女装品牌店 X、 礼品店 Y 及化妆品店 Z , 并分别领取了自己选购的衣月良、 ^品及化妆品。
( 7 )终端将该用户选择返回去过的店铺这一事件记录下来， 并将该 事件发送至服务器， 从而服务器再对该事件进行分类并统计分析。
实施场景二： 博物馆
( 1 )某博物馆为了緩解工作人员不足、参观者越来越多带来的压力， 依据本发明提供的技术方案部署了一套自助帮助系统， 以用于为游客提 供自助的帮助， 该自助帮助系统可以包括安装在终端上的获取位置信息 的应用以及运行在后台的服务器— ( 2 )外地游客来到博物馆后， 由于该游客携带的终端中安装了本发 明技术方案提供的获取位置信息的应用， 因此， 该游客首先在服务台使 用终端取到了提前预约的博物馆的门票， 同时终端将该游客取门票这一 事件记录下来， 并将该事件发送至服务器， 从而服务器可对该事件进行 分类并统计分析。
( 3 )该游客使用终端在一楼大厅入口处读取了一张 NFC海报， 终端 根据读取的海报获得了博物馆最新的展览信息和讲座信息， 并将该展览 信息和讲座信息展示给用户， 同时终端将该游客读取 NFC海报这一事件 记录下来， 并将该事件发送至服务器， 从而服务器可对该事件进行分类 并统计分析。
( 4 )该游客进入一楼大厅后， 被博物馆的宏大所震感， 因此， 该游 客困惑的不知道应该从哪个地方开始参观， 于是， 该游客使用终端中安 装的获取位置信息的应用拍摄了一张终端所在位置的全景照片， 终端从 游客拍摄的全景照片中提取到了足够的特征， 从而判断该终端位于一楼 大厅， 同时终端发送一个包括终端的标识和终端所在位置， 即终端的位 置信息的第一请求消息至服务器， 当服务器接收到该第一请求消息后， 服务器根据已经保存的与该终端有关的上述两个事件和对应的条件概率
(其中， 条件概率为服务器根据收集到的终端的大量数据计算所得） ， 推断出该游客最有可能的下一行为可能是：
a、 参观博物馆正在举办的展品最丰富的展览一古代中国展。
b、 参观博物馆正在举办的免费展览： 玉器展、 钱币展、 中国传统书 画展等。
c、 参观博物馆正在举办的收费展览： 佛罗伦萨与文艺复兴一名家作 品展。
d、 参加博物馆正在举办的免费讲座： 瓷器鉴定入门。
( 5 )该游客对古董鉴定比较感兴趣， 感觉机会难得， 于是， 该游客 选中了 " d、 参加博物馆正在举办的免费讲座： 瓷器鉴定入门。 " 这个选 项， 服务器根据该游客选择的行为， 发送与该行为相关的信息， 如关于 该讲座的专家的相关介绍、 该讲座的内容、 该讲座举办的地点以及该讲 座举办的具体位置在顶层露天茶座等至终端， 且终端将上述与该讲座相 关的信息和前往该讲座举办位置的路线图都以 AR 的形式显示出来展示 给该游客。
( 6 )该游客在该应用程序的指引下前往顶层并参加该瓷器鉴定入门 讲座。
( 7 )终端将该游客选择参加博物馆正在举办的免费讲座这一事件记 录下来， 并将该事件发送至服务器， 从而服务器再对该事件进行分类并 统计分析。
本发明实施例提供的筛选 AR内容的系统， 能够实时动态地根据用户 选定的行为筛选出最能满足用户需求的增强现实内容， 进而满足用户的 信息需求。
所属领域的技术人员可以清楚地了解到， 为描述的方便和简洁， 仅 以上述各功能模块的划分进行举例说明， 实际应用中， 可以根据需要而 将上述功能分配由不同的功能模块完成， 即将装置的内部结构划分成不 同的功能模块， 以完成以上描述的全部或者部分功能。 上述描述的系统， 装置和单元的具体工作过程， 可以参考前述方法实施例中的对应过程， 在此不再赘述。
在本申请所提供的几个实施例中， 应该理解到， 所揭露的系统， 装 置和方法， 可以通过其它的方式实现。 例如， 以上所描述的装置实施例 仅仅是示意性的， 例如， 所述模块或单元的划分， 仅仅为一种逻辑功能 划分， 实际实现时可以有另外的划分方式， 例如多个单元或组件可以结 合或者可以集成到另一个系统， 或一些特征可以忽略， 或不执行。 另一 点， 所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过 一些接口， 装置或单元的间接耦合或通信连接， 可以是电性， 机械或其 它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开 的， 作为单元显示的部件可以是或者也可以不是物理单元， 即可以位于 一个地方， 或者也可以分布到多个网络单元上。 可以根据实际的需要选 择其中的部分或者全部单元来实现本实施例方案的目的。 另外， 在本发明各个实施例中的各功能单元可以集成在一个处理单 元中， 也可以是各个单元单独物理存在， 也可以两个或两个以上单元集 成在一个单元中。 上述集成的单元既可以釆用硬件的形式实现， 也可以 釆用软件功能单元的形式实现。 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品 销售或使用时， 可以存储在一个计算机可读取存储介质中。 基于这样的 理解， 本发明的技术方案本质上或者说对现有技术做出贡献的部分或者 该技术方案的全部或部分可以以软件产品的形式体现出来， 该计算机软 件产品存储在一个存储介质中， 包括若干指令用以使得一台计算机设备
(可以是个人计算机， 服务器， 或者网络设备等）或处理器（pr oce s s or ) 执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质 包括： U 盘、 移动硬盘、 只读存储器、 随机存取存储器、 磁碟或者光盘 等各种可以存储程序代码的介质。
以上所述， 仅为本发明的具体实施方式， 但本发明的保护范围并不局 限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可 轻易想到变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明 的保护范围应以所述权利要求的保护范围为准。

Claims

权 利 要 求
1、 一种筛选增强现实 AR内容的方法， 其特征在于， 包括： 当终端中获取位置信息的应用被触发时， 所述终端拍摄所述终端所 在位置的全景照片， 并根据所述全景照片确定所述终端的位置信息及第 一目标的相关信息；
所述终端发送第一请求消息至服务器， 所述第一请求消息中携带所 述终端的标识及所述终端的位置信息；
所述终端接收来自所述服务器的携带至少一个行为的第一响应消 息， 所述至少一个行为是所述服务器根据所述终端的标识、 所述终端的 位置信息及不同行为的条件概率确定的；
所述终端在确定所述至少一个行为中的第一行为被选定时， 发送第 二请求消息至所述服务器， 所述第二请求消息中携带所述第一行为的信 息；
所述终端接收来自所述服务器的携带与所述第一行为对应的 AR 内 容的第二响应消息；
所述终端根据所述第一目标的相关信息， 将所述第一目标和所述 AR 内容结合后呈现。
2、 根据权利要求 1所述的筛选 AR内容的方法， 其特征在于， 所述 当终端中获取位置信息的应用被触发时， 所述终端拍摄所述终端所在位 置的全景照片， 并根据所述全景照片确定所述终端的位置信息及第一目 标的相关信息， 之前， 所述方法还包括：
所述终端读取第二目标的标签信息；
所述终端发送第一记录事件至所述服务器， 所述第一记录事件触发 所述服务器根据所述终端的标识和所述终端的位置信息对所述第一记录 事件进行分类并确定所述第一记录事件的概率， 所述第一记录事件包含 所述终端读取所述第二目标的标签信息的行为。
3、 根据权利要求 1或 2所述的筛选 AR内容的方法， 其特征在于， 所述终端在确定所述至少一个行为中的第一行为被选定时， 发送第二请 求消息至所述服务器， 所述第二请求消息中携带所述第一行为的信息， 之后， 所述方法还包括：
所述终端发送第二记录事件至所述服务器， 所述第二记录事件触发 所述服务器根据所述终端的标识和所述终端的位置信息对所述第二记录 事件进行分类并确定所述第二记录事件的概率及所述第二记录事件的条 件概率， 所述第二记录事件包含所述至少一个行为中所述第一行为被选 中的行为。
4、 根据权利要求 3所述的筛选 AR内容的方法， 其特征在于， 所述第一目标的相关信息包括所述第一目标的位置信息， 所述第二 记录事件还包含所述第一目标的位置信息。
5、 根据权利要求 2 -4任一项所述的筛选 AR 内容的方法， 其特征在 于， 在所述终端读取第二目标的标签信息之后， 所述方法还包括：
所述终端根据所述第二目标的标签信息获取所述第二目标的标识； 所述终端发送携带所述第二目标的标识的第三请求消息至所述服务 器；
所述终端接收所述服务器返回的携带所述第二目标的位置信息的第 三响应消息。
6、 根据权利要求 5所述的筛选 AR内容的方法， 其特征在于， 所述第一记录事件还包含所述第二目标的位置信息。
7、 一种筛选 AR内容的方法， 其特征在于， 包括：
服务器接收来自终端的第一请求消息， 所述第一请求消息中携带所 述终端的标识及所述终端的位置信息；
所述服务器根据所述终端的标识、 所述终端的位置信息及不同行为 的条件概率确定至少一个行为；
所述服务器发送携带所述至少一个行为的第一响应消息至所述终 端；
所述服务器接收来自所述终端的第二请求消息， 所述第二请求消息 中携带第一行为的信息， 所述第一行为是所述至少一个行为中被选定的 行为；
所述服务器发送携带与所述第一行为对应的 AR 内容的第二响应消 息至所述终端， 所述第二响应消息触发所述终端根据第一目标的相关信 息， 将所述第一目标和所述 AR内容结合后呈现， 所述终端的位置信息及 所述第一目标的相关信息为当所述终端中获取位置信息的应用被触发 时， 由所述终端拍摄所述终端所在位置的全景照片后， 根据所述全景照 片确定的。
8、 根据权利要求 7所述的筛选 AR内容的方法， 其特征在于， 在所 述服务器接收来自终端的第一请求消息之前， 所述方法还包括：
所述服务器接收来自所述终端的第一记录事件， 所述第一记录事件 包含所述终端读取第二目标的标签信息的行为；
所述服务器根据所述终端的标识和所述终端的位置信息对所述第一 记录事件进行分类并确定所述第一记录事件的概率。
9、 根据权利要求 7或 8所述的筛选 AR内容的方法， 其特征在于， 所述服务器接收来自所述终端的第二请求消息之后， 所述方法还包括： 所述服务器接收来自所述终端的第二记录事件， 所述第二记录事件 包含所述至少一个行为中所述第一行为被选定的行为；
所述服务器根据所述终端的标识和所述终端的位置信息对所述第二 记录事件进行分类并确定所述第二记录事件的概率及所述第二记录事件 的条件概率。
1 0、 根据权利要求 9所述的筛选 AR内容的方法， 其特征在于， 所述第一目标的相关信息包括所述第一目标的位置信息， 所述第二 记录事件还包含所述第一目标的位置信息。
1 1、 根据权利要求 8-1 0任一项所述的筛选 AR内容的方法， 其特征 在于， 在所述服务器接收来自所述终端的第一记录事件之前， 所述方法 还包括：
所述服务器接收来自所述终端的携带所述第二目标的标识的第三请 求消息， 所述第二目标的标识为所述终端根据所述第二目标的标签信息 获取的；
所述服务器发送携带所述第二目标的位置信息的第三响应消息至所 述终端。
1 2、 根据权利要求 1 1所述的筛选 AR内容的方法， 其特征在于， 所述第一记录事件还包含所述第二目标的位置信息。
1 3、 一种终端， 其特征在于， 包括：
确定单元， 用于当所述终端中获取位置信息的应用被触发时， 拍摄 所述终端所在位置的全景照片， 并根据所述全景照片确定所述终端的位 置信息及第一目标的相关信息；
发送单元， 用于发送第一请求消息至服务器， 所述第一请求消息中 携带所述终端的标识及所述确定单元确定的所述终端的位置信息；
接收单元， 用于接收来自所述服务器的携带至少一个行为的第一响 应消息， 所述至少一个行为是所述服务器根据所述终端的标识、 所述终 端的位置信息及不同行为的条件概率确定的；
所述发送单元， 还用于在所述终端确定所述至少一个行为中的第一 行为被选定时， 发送第二请求消息至所述服务器， 所述第二请求消息中 携带所述第一行为的信息；
所述接收单元， 还用于接收来自所述服务器的携带与所述第一行为 对应的 AR内容的第二响应消息；
显示单元，用于根据所述确定单元确定的所述第一目标的相关信息， 将所述第一目标和所述接收单元接收的所述 AR内容结合后呈现。
14、 根据权利要求 1 3所述的终端， 其特征在于， 在所述确定单元当 所述终端中获取位置信息的应用被触发时， 拍摄所述终端所在位置的全 景照片， 并根据所述全景照片确定所述终端的位置信息及第一目标的相 关信息， 之前，
所述确定单元， 还用于读取第二目标的标签信息；
所述发送单元， 还用于发送第一记录事件至所述服务器， 所述第一 记录事件触发所述服务器根据所述终端的标识和所述终端的位置信息对 所述第一记录事件进行分类并确定所述第一记录事件的概率， 所述第一 记录事件包含所述确定单元读取所述第二目标的标签信息的行为。
1 5、 根据权利要求 1 3或 14所述的终端， 其特征在于， 在所述发送 单元发送第二请求消息至所述服务器之后，
所述发送单元， 还用于发送第二记录事件至所述服务器， 所述第二 记录事件触发所述服务器根据所述终端的标识和所述终端的位置信息对 所述第二记录事件进行分类并确定所述第二记录事件的概率及所述第二 记录事件的条件概率， 所述第二记录事件包含所述至少一个行为中所述 第一行为被选中的行为。
1 6、 根据权利要求 1 5所述的终端， 其特征在于，
所述确定单元确定的所述第一目标的相关信息包括所述第一目标的 位置信息， 所述发送单元发送的所述第二记录事件还包含所述第一目标 的位置信息。
1 7、 根据权利要求 1 4-1 6任一项所述的终端， 其特征在于， 在所述 确定单元读取第二目标的标签信息之后，
所述确定单元， 还用于根据所述第二目标的标签信息获取所述第二 目标的标识；
所述发送单元， 还用于发送携带所述第二目标的标识的第三请求消 息至所述服务器；
所述接收单元， 还用于接收所述服务器返回的携带所述第二目标的 位置信息的第三响应消息。
1 8、 根据权利要求 1 7所述的终端， 其特征在于，
所述发送单元发送的所述第一记录事件还包含所述第二目标的位置 信息。
1 9、 一种服务器， 其特征在于， 包括：
接收单元， 用于接收来自终端的第一请求消息， 所述第一请求消息 中携带所述终端的标识及所述终端的位置信息；
确定单元， 用于根据所述接收单元接收的所述终端的标识、 所述终 端的位置信息及不同行为的条件概率确定至少一个行为；
发送单元， 用于发送携带所述确定单元确定的所述至少一个行为的 第一响应消息至所述终端；
所述接收单元， 还用于接收来自所述终端的第二请求消息， 所述第 二请求消息中携带第一行为的信息， 所述第一行为是所述至少一个行为 中被选定的行为；
所述发送单元，还用于发送携带与所述第一行为对应的 AR内容的第 二响应消息至所述终端， 所述第二响应消息触发所述终端根据第一目标 的相关信息， 将所述第一目标和所述 AR内容结合后呈现， 所述终端的位 置信息及所述第一目标的相关信息为当所述终端中获取位置信息的应用 被触发时， 由所述终端拍摄所述终端所在位置的全景照片后， 根据所述 全景照片确定的。
20、 根据权利要求 1 9所述的服务器， 其特征在于， 在所述接收单元 接收来自所述终端的所述第一请求消息之前，
所述接收单元， 还用于接收来自所述终端的第一记录事件， 所述第 一记录事件包含所述终端读取第二目标的标签信息的行为；
所述确定单元， 还用于根据所述终端的标识和所述终端的位置信息 对所述第一记录事件进行分类并确定所述第一记录事件的概率。
21、 根据权利要求 1 9或 20所述的服务器， 其特征在于， 在所述接 收单元接收来自所述终端的所述第二请求消息之后，
所述接收单元， 还用于接收来自所述终端的第二记录事件， 所述第 二记录事件包含所述至少一个行为中所述第一行为被选定的行为；
所述确定单元， 还用于根据所述终端的标识和所述终端的位置信息 对所述第二记录事件进行分类并确定所述第二记录事件的概率及所述第 二记录事件的条件概率。 39
22、 根据权利要求 2 1所述的服务器， 其特征在于，
所述第一目标的相关信息包括所述第一目标的位置信息， 所述接收 单元接收的所述第二记录事件还包含所述第一目标的位置信息。
2 3、 根据权利要求 2 0-2 2任一项所述的服务器， 其特征在于， 在所 述接收单元接收来自所述终端的所述第一记录事件之前，
所述接收单元， 还用于接收来自所述终端的携带所述第二目标的标 识的第三请求消息， 所述第二目标的标识为所述终端根据所述第二目标 的标签信息获取的；
所述发送单元， 还用于发送携带所述第二目标的位置信息的第三响 应消息至所述终端。
24、 根据权利要求 2 3所述的服务器， 其特征在于，
所述接收单元接收的所述第一记录事件还包含所述第二目标的位置 信息。
25、 一种筛选 AR内容的系统， 其特征在于， 包括：
权利要求 1 3至 1 8所述的终端，及权利要求 1 9至 24所述的服务器。
PCT/CN2014/084060 2013-08-23 2014-08-11 一种筛选增强现实内容的方法、装置及系统 WO2015024465A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14838385.4A EP2988473B1 (en) 2013-08-23 2014-08-11 Argument reality content screening method, apparatus, and system
JP2016520271A JP6478286B2 (ja) 2013-08-23 2014-08-11 拡張現実コンテンツを選別するための方法、装置、およびシステム
KR1020157035813A KR101738443B1 (ko) 2013-08-23 2014-08-11 증강 현실 콘텐츠를 스크리닝하는 방법, 장치, 및 시스템
US14/955,534 US9788166B2 (en) 2013-08-23 2015-12-01 Method, apparatus, and system for screening augmented reality content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310371509.2 2013-08-23
CN201310371509.2A CN104426933B (zh) 2013-08-23 2013-08-23 一种筛选增强现实内容的方法、装置及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/955,534 Continuation US9788166B2 (en) 2013-08-23 2015-12-01 Method, apparatus, and system for screening augmented reality content

Publications (1)

Publication Number Publication Date
WO2015024465A1 true WO2015024465A1 (zh) 2015-02-26

Family

ID=52483066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/084060 WO2015024465A1 (zh) 2013-08-23 2014-08-11 一种筛选增强现实内容的方法、装置及系统

Country Status (6)

Country Link
US (1) US9788166B2 (zh)
EP (1) EP2988473B1 (zh)
JP (1) JP6478286B2 (zh)
KR (1) KR101738443B1 (zh)
CN (1) CN104426933B (zh)
WO (1) WO2015024465A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
KR101613287B1 (ko) * 2015-06-15 2016-04-19 김영덕 3d 파노라마 영상을 근거로 한 여행지 원스톱 쇼핑 시스템 및 그의 제어 방법
KR101613278B1 (ko) * 2015-08-18 2016-04-19 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
CN105468159A (zh) * 2016-01-11 2016-04-06 湖北视纪印象科技股份有限公司 一种基于ar增强现实的旅游指示系统及其方法
US20180124664A1 (en) * 2016-10-27 2018-05-03 Ford Global Technologies, Llc Method and apparatus for triggered telematics carrier swap
CN108108012B (zh) * 2016-11-25 2019-12-06 腾讯科技（深圳）有限公司 信息交互方法和装置
US10587662B2 (en) * 2017-09-18 2020-03-10 Inclusive Technology Solutions, LLC Secure, multi-lingual, flexible access system and method
CN110233843B (zh) * 2019-06-13 2021-09-14 优信拍（北京）信息科技有限公司 一种用户请求的处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726284A (zh) * 2008-10-29 2010-06-09 宏碁股份有限公司 地点辨识方法、拍照装置与地点辨识系统
CN102155952A (zh) * 2010-02-11 2011-08-17 上海博泰悦臻电子设备制造有限公司 车载终端、车辆导航系统及车辆导航方法
CN102801788A (zh) * 2012-07-17 2012-11-28 中兴通讯股份有限公司 一种实现增强现实信息共享的方法、装置和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249307A (ja) * 1995-03-09 1996-09-27 Fujitsu Ltd 情報フィルタリング装置
US7409335B1 (en) 2001-06-29 2008-08-05 Microsoft Corporation Inferring informational goals and preferred level of detail of answers based on application being employed by the user
US20110258049A1 (en) 2005-09-14 2011-10-20 Jorey Ramer Integrated Advertising System
WO2009054130A1 (ja) * 2007-10-23 2009-04-30 Panasonic Corporation 目的地表示装置および目的地表示方法
JP2010009261A (ja) * 2008-06-26 2010-01-14 Hitachi Ltd 所持品による経路案内支援システムおよび端末装置
JP2010020490A (ja) * 2008-07-09 2010-01-28 Oki Electric Ind Co Ltd 未訪問地の情報提供装置及び未訪問地の情報提供方法
JP5413170B2 (ja) * 2009-12-14 2014-02-12 大日本印刷株式会社 アノテーション表示システム，方法及びサーバ装置
KR101669521B1 (ko) * 2010-08-23 2016-10-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120194547A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
JP5675470B2 (ja) * 2011-04-01 2015-02-25 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
WO2012155179A1 (en) * 2011-05-13 2012-11-22 Igobubble Limited Method in a computing system
US9756138B2 (en) * 2013-04-08 2017-09-05 Here Global B.V. Desktop application synchronization to process data captured on a mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726284A (zh) * 2008-10-29 2010-06-09 宏碁股份有限公司 地点辨识方法、拍照装置与地点辨识系统
CN102155952A (zh) * 2010-02-11 2011-08-17 上海博泰悦臻电子设备制造有限公司 车载终端、车辆导航系统及车辆导航方法
CN102801788A (zh) * 2012-07-17 2012-11-28 中兴通讯股份有限公司 一种实现增强现实信息共享的方法、装置和系统

Also Published As

Publication number Publication date
KR101738443B1 (ko) 2017-05-22
JP6478286B2 (ja) 2019-03-06
JP2016525236A (ja) 2016-08-22
CN104426933A (zh) 2015-03-18
EP2988473B1 (en) 2017-05-31
US20160088442A1 (en) 2016-03-24
CN104426933B (zh) 2018-01-23
US9788166B2 (en) 2017-10-10
EP2988473A4 (en) 2016-04-20
EP2988473A1 (en) 2016-02-24
KR20160009686A (ko) 2016-01-26

Similar Documents

Publication Publication Date Title
WO2015024465A1 (zh) 一种筛选增强现实内容的方法、装置及系统
US10127734B2 (en) Augmented reality personalization
US9874454B2 (en) Community-based data for mapping systems
US20170328730A1 (en) Dynamic map synchronization
US20150015609A1 (en) Method of augmented reality communication and information
CN111512119A (zh) 增强现实、计算机视觉和数字售票系统
WO2011084720A2 (en) A method and system for an augmented reality information engine and product monetization therefrom
US9607094B2 (en) Information communication method and information communication apparatus
JP2013077099A (ja) 位置情報配信サーバ、位置情報配信システム、位置情報配信方法、プログラムおよび記録媒体
US20140019378A1 (en) Evaluation system, method, and computer-readable recording medium
JP6047939B2 (ja) 評価システム、プログラム
CN109752001A (zh) 导航系统、方法和装置
US20200037110A1 (en) Apparatus for exchanging remote dealing system based on locatlity and proximity of control device to remote sensing sourcing device
JP2019176365A (ja) コンテンツ出力システム、コンテンツ出力装置及びプログラム
JP5966714B2 (ja) 評価システム、プログラム
JP2014016843A (ja) 評価システム、プログラム
JP6019888B2 (ja) 評価システム、情報処理装置
JP2014026594A (ja) 評価システム、サーバ装置
KR102567857B1 (ko) 확장현실 플랫폼 서비스 제공 시스템
KR101880506B1 (ko) 위치 기반 멀티미디어 포스팅 시스템
KR20230134876A (ko) 광고 제공 방법 및 이를 수행하는 시스템
KR20210003516A (ko) 증강현실을이용한광고서비스시스템
CN111435513A (zh) 内容处理方法、装置及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14838385

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014838385

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014838385

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20157035813

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016520271

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE