WO2014090034A1 - 实现增强现实应用的方法及设备 - Google Patents

实现增强现实应用的方法及设备 Download PDF

Info

Publication number
WO2014090034A1
WO2014090034A1 PCT/CN2013/085080 CN2013085080W WO2014090034A1 WO 2014090034 A1 WO2014090034 A1 WO 2014090034A1 CN 2013085080 W CN2013085080 W CN 2013085080W WO 2014090034 A1 WO2014090034 A1 WO 2014090034A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
augmented reality
pictures
library
content
Prior art date
Application number
PCT/CN2013/085080
Other languages
English (en)
French (fr)
Inventor
李国庆
Original Assignee
华为终端有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为终端有限公司 filed Critical 华为终端有限公司
Priority to EP13861576.0A priority Critical patent/EP2851811B1/en
Publication of WO2014090034A1 publication Critical patent/WO2014090034A1/zh
Priority to US14/575,549 priority patent/US20150103097A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the present invention relates to the field of computer technologies, and in particular, to a method and device for implementing an augmented reality application.
  • Augmented Reality was born in the 1990s.
  • Paul Milgram and Fumio Kishino proposed the Milgram's Reality-Virtuality Continuum, which used the real and virtual environments as the ends of a continuous system. Among them is called "Mixed Reality”.
  • Augmented Reality is close to the real environment
  • Augmented Virtuality is close to the virtual environment.
  • Augmented Reality AR is a technology used to help people get relevant information about objects in the real world in a more intuitive and visual way.
  • the processing flow of the augmented reality application (referred to as the AR application) can be simply described as four steps of sensing, identifying, matching and rendering, as follows:
  • Perception which means that the user uses the camera provided by the terminal device and various sensors to sense various objects in the real world, and collect various parameters such as picture or image, position, direction, speed, temperature, illumination intensity, etc., for AR software. use.
  • Identification means that the AR software processes the data collected by the sensor, for example, analyzing and processing the captured image of the camera, and attempting to identify the object in the photo. The AR software will match the object feature patterns extracted from the image to the patterns saved in the local or online pattern library. If it is assigned, the identification is successful, otherwise the recognition fails.
  • Matching means that after the recognition is successful, the AR software prepares multimedia content related to a certain mode, such as text information, audio and video, 3D model, and the like. These media information can be saved locally on the terminal or online.
  • Rendering means that the AR software combines the multimedia content with the real-world image captured by the camera and renders it on the user's terminal display device.
  • AR applications have a good recognition effect for special types of images such as landmark buildings, books, famous paintings, barcodes, trademarks and texts.
  • special types of images such as landmark buildings, books, famous paintings, barcodes, trademarks and texts.
  • the recognition success rate of the AR application is not high, the types of identifiable objects are limited, and the application scenario is limited.
  • aspects of embodiments of the present invention provide a method and apparatus for implementing an augmented reality application, which can solve the problem of identifying a random object in a mark-free environment in an augmented reality application.
  • an embodiment of the present invention provides a method for implementing an augmented reality application, including: collecting a picture uploaded by a user and label information of the picture;
  • the label information includes geographic location information of an object that is described by the image; And adding, according to the label information of the picture and the keyword, the picture to a picture set, including:
  • the picture is added to a picture set of the picture library, and pictures in the picture set have the same keyword.
  • the generating, according to an image feature of the image in the image set and the keyword, Augmented reality and augmented reality content including:
  • the method further includes:
  • augmented reality application service request message sent by the user, where the augmented reality application service request message includes a picture to be identified and tag information of the picture;
  • the reality mode acquires the associated augmented reality content from the augmented reality content library, and sends the augmented reality content to the user;
  • the picture to be identified is marked as an unrecognizable picture.
  • the collected image is uploaded by the user and marked as unavailable. The recognized picture.
  • an embodiment of the present invention provides a device for implementing an augmented reality application, including: a picture collecting unit, configured to collect a picture uploaded by a user and tag information of the picture; and a comment obtaining unit, configured to be used according to the user Generating the picture and the tag information to a social network contact of the user on a social graph and an interest map of the Internet, and obtaining comment information of the picture by the social network contact;
  • a keyword acquiring unit configured to extract, from the comment information, a keyword whose appearance frequency is greater than a first threshold
  • a picture categorizing unit configured to add the picture to a picture set according to the tag information of the picture and the keyword
  • an augmented reality processing unit configured to generate an augmented reality mode and an augmented reality content of the object described by the picture according to image features of the pictures in the picture set and the keyword.
  • the label information includes geographic location information of an object that is described by the image;
  • the image classification unit includes:
  • a first categorization subunit configured to add, according to geographic location information of the object described by the picture, to the picture library, where the picture in the picture library describes the object with the same geographical location information,
  • the gallery contains at least one collection;
  • a second categorization subunit configured to add the picture to a picture set of the picture library according to the keyword, where pictures in the picture set have the same keyword.
  • the augmented reality processing unit includes:
  • An image preference subunit configured to extract image features from all the pictures in the picture set, and determine a common image feature according to the image features; the shared image feature refers to a picture exceeding the first percentage in the picture set All have image features;
  • An augmented reality mode generating subunit configured to combine the shared image feature and the keyword, generate an augmented reality mode of the object described by the picture, and add to the identifiable mode library;
  • An augmented reality content acquisition subunit configured to obtain, according to the keyword, an augmented reality content of the object described by the picture from a search engine or a third party content provider;
  • an augmented reality content storage subunit configured to establish an association relationship between the augmented reality content and the augmented reality mode, and add the augmented reality content to an augmented reality content library.
  • the device further includes:
  • a request receiving unit configured to receive an augmented reality application service request message sent by the user, where the augmented reality application service request message includes a picture to be identified and tag information of the picture;
  • An augmented reality mode matching unit configured to search, according to the image feature of the to-be-identified picture and/or the tag information, an enhanced reality mode of the object described by the picture to be recognized from the identifiable pattern library;
  • An augmented reality content providing unit configured to: if the augmented reality mode of the object described by the picture to be recognized is searched, acquire the associated augmented reality content from the augmented reality content library according to the augmented reality mode, and the augmented reality Content is sent to the user; and,
  • the picture marking unit is configured to mark the picture to be recognized as an unrecognizable picture if the related augmented reality mode is not found.
  • the picture collected by the picture collecting unit is a picture uploaded by the user and marked as unrecognizable.
  • the method and device for implementing an augmented reality application provided by the embodiment of the present invention, collecting user-uploaded pictures and tag information, and comment information of the user's social network contact on the picture; Extracting a keyword for identifying a picture from the comment information; adding the picture to a picture set according to the tag information and the keyword of the picture; according to image features and keywords of all pictures in the picture set , Augmented Reality mode and automatic generation of augmented reality content for random objects in a tagless environment.
  • FIG. 1 is a schematic flowchart of a method for implementing an augmented reality application according to an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of step S105 in the method for implementing an augmented reality application shown in FIG. 1
  • FIG. 4 is a schematic structural diagram of an apparatus for implementing an augmented reality application according to an embodiment of the present invention
  • FIG. 5 is a schematic structural diagram of a picture categorizing unit of a device for implementing an augmented reality application according to an embodiment of the present invention
  • FIG. 6 is a schematic structural diagram of an augmented reality processing unit of a device for implementing an augmented reality application according to an embodiment of the present invention
  • FIG. 7 is a schematic structural diagram of another apparatus for implementing an augmented reality application according to an embodiment of the present invention.
  • FIG. 8 is a schematic structural diagram of a terminal according to an embodiment of the present invention. detailed description
  • the method and device for realizing augmented reality application provided by the present invention, the technical problem to be solved is: In an ordinary, unprocessed, unmarked environment, extract arbitrary objects as AR recognition patterns and generate related AR content to solve the problem of identifying random objects in a mark-free environment in augmented reality applications. .
  • FIG. 1 it is a schematic flowchart of a method for implementing an augmented reality application according to an embodiment of the present invention.
  • An embodiment of the present invention provides a method for implementing an augmented reality application, including steps S101 to S105, which are specifically as follows:
  • the label information of the picture may be any content in a text format, and may be the geographical location information of the object described by the picture, the auxiliary description information of the picture, the shooting time, and the like.
  • the geographical location information of the object described by the picture For example, taking a photo at Tiananmen Square, "Tiananmen Square” is the object of the picture, and the geographical location of "Tiananmen Square” is the geographical location information of the object described by the picture.
  • the scene added by the user to the photo about "Tiananmen Square" Information such as architecture, history, etc. is an auxiliary description of the picture.
  • ⁇ taking photos with a camera with geographical location display can automatically add extended information to the captured JPEG format pictures, the extended information is saved in EXIF format, the content includes geographic location (latitude and longitude, altitude) and shooting time .
  • social graphs and interest graphs reveals the relationship between people;
  • the interest map reveals the user's hobbies and interests, and the resulting relationship between people.
  • a user releases a picture to a social network contact of a user according to a social graph and an interest map of the user on the Internet, and can infer that the picture is interested in the social network contact.
  • the picture review information obtained from the social network contact can more accurately reflect the characteristics of the object described by the picture, and construct augmented reality mode and augmented reality content by using keywords extracted from the picture review information, Improve the recognition success rate of random objects in the mark-free environment in augmented reality applications, and improve the user experience.
  • the keyword may be information such as a scene feature, a humanity, a historical origin, and the like of the object described in the picture.
  • the keywords extracted from the comment information may be one or more.
  • the label information includes geographic location information of an object described by the picture.
  • the step S104 includes: adding, according to the geographic location information of the object described by the picture, the picture to the picture library, where the picture in the picture library has the same geographical location information, and the picture library Include at least one picture set; according to the keyword, adding the picture to a picture set of the picture library, the pictures in the picture set have the same keyword.
  • the image library may be first established according to the geographic location information of the object described in the picture, and the image with the same geographical location information is added to the same image library. After the number of pictures in the picture library reaches the set boundary condition, at least one picture set is created in the picture library according to different keywords, and pictures with the same keyword are added to the same picture set, thereby realizing the picture library. The pictures in the picture are further classified. For example, a photo gallery holds images related to the geographic location "Tiananmen Square".
  • This "Tiananmen Square” image library is further divided into “People's Hero Monument” photo gallery, "Mao Chairman Memorial Hall” photo gallery and “Zhengyangmen”” Image collection, forming a secondary image storage structure such as "location map library - keyword image collection”.
  • the "People's Hero Monument” photo album is used to store pictures with the keyword “People's Hero Monument”.
  • the "Mao Chairman Memorial Hall” photo album is used to store pictures with the keyword “Mao Chairman Memorial Hall”.
  • the "Zhengyangmen” collection is used to store images with the keyword “Zhengyangmen”. Described in each picture in the same collection The objects are the same.
  • the above "pictures with the same geographical location information” does not require strict geographical location.
  • the geographical location here is the same. For example, analyzing the geographic location information of photos, and discovering some photos are centered on the monument of the People's Hero. For shooting in the range of 500 meters, then these photos are grouped together.
  • AR mode augmented reality mode
  • AR content augmented reality content
  • AR mode refers to a set of digitized formats for identifying a physical space in an AR application.
  • the characteristics of the object which can be color, texture, shape, position, and so on.
  • the AR application combines digitized multimedia information (pictures, text, 3D objects, etc.) with real objects in the physical space and displays it as a fused AR experience on the user terminal device. All of the multimedia information that can be used to overlay onto real objects in physical space is AR content.
  • step S105 is performed.
  • the boundary condition may be: the number of the pictures in the picture set is greater than a threshold value of the set number of pictures, or the number of keywords in the picture in the picture set is greater than the number of keywords set. Limit.
  • step S105 specifically includes steps S201 to S204, as follows:
  • S201 extract image features from all the pictures in the picture set, and determine a common image feature according to the image features; the shared image features refer to image features in the picture set that exceed a first percentage of pictures .
  • the first percentage may be set according to an actual application, for example, set to 80%.
  • image features are extracted from each picture in the picture set, assuming that a total of n image features are extracted, including image features XI, X2, X3 Xn.
  • image features XI, X2, X3 Xn For example, a shot There are pictures of Tiananmen Square, and the image information of "Mao Chairman's Statue” and “Tiananmen Castle Tower” extracted from the pictures are all image features.
  • the image features XI, X2, X3 Xn are used to identify the pictures in the picture set respectively, and the detection rate of each image feature to the picture is obtained. For example, 90% of the images in the collection have image features XI, and the image feature XI has a detection rate of 90%.
  • the detection rate After obtaining the detection rate of each image feature for the image, the detection rate is normalized, wherein the maximum value in the detection rate is normalized to 1, and the other detection rates are less than normalized. 1.
  • the detection rate after each normalization is a weighted value of its corresponding image feature. When a new picture is added to the picture set, the picture in the picture set is re-identified as described above. The weighting value of each image feature will be continuously refreshed according to each recognition result, and after multiple recognitions, the image features whose detection rate is longer than the threshold value (for example, 0.6) are marked as common image features, The common image features match the objects described by the image (ie, the AR target). Image features whose detection rate is less than or equal to the threshold value for a long time are rejected.
  • the threshold value for example, 0.6
  • the normalized weighted value of the image feature Xi If the image feature Xi can be used to determine that a user-uploaded picture contains an AR target, then bfl, otherwise bH). The weighting value is continuously refreshed according to each recognition result, and the similarity evaluation function is a dynamically updated function. This function can be used to evaluate the matching degree of a picture uploaded by the user with the AR target.
  • the normalized weighted value of the image feature has little effect on the similarity evaluation function; after multiple iterations, the normalized weighted value is smaller than a certain
  • the image characteristics of the threshold can be removed from the AR mode.
  • the augmented reality content of the object described by the picture from a search engine or a third-party content provider.
  • the method for implementing an augmented reality application collects picture and tag information uploaded by a user, and comment information of the social network contact of the user on the picture; and extracts a picture for identifying the picture from the comment information. Keyword; adding the picture to the picture set according to the label information and the keyword of the picture; realizing the enhancement of the random object in the labelless environment according to the image features and keywords of all the pictures in the picture set Realistic mode and automatic generation of augmented reality content.
  • FIG. 3 it is a schematic flowchart of another method for implementing an augmented reality application according to an embodiment of the present invention.
  • An embodiment of the present invention provides another method for implementing an augmented reality application, including the foregoing steps S101 to S105 and S201 to S204.
  • the generated augmented reality mode and the augmented reality content may be used to identify the random object in the labelless environment, including the following steps:
  • the augmented reality application service request message sent by the user is received, where the augmented reality application service request message includes a picture to be identified and tag information of the picture.
  • an augmented reality mode of the object described by the picture to be identified is searched, the related augmented reality content is acquired from the augmented reality content library according to the augmented reality mode, and the augmented reality content is sent to the user. .
  • the methods of steps S101 to S105 and S201 to S204 in the above embodiment may also be performed to generate "marked as not available. Recognized picture" Augmented reality mode of the described object Strong reality content. That is, in step S101, the collected picture is a picture uploaded by the user and marked as unrecognizable. After the augmented reality mode and the augmented reality content of the object described by the "marked as unrecognizable picture” are generated, when the user uploads the "marked as unrecognizable picture” again, the "can be recognized” A picture that is marked as unrecognizable, thereby solving the problem of identifying random objects in a mark-free environment in an augmented reality application.
  • the method for realizing the augmented reality application when the user uses the augmented reality application service, also has the learning capability, and can automatically generate the augmented reality mode and the augmented reality content of the object described by the picture by using the picture that fails to identify.
  • the longer this method is used the more users are used, the richer the new augmented reality mode and augmented reality content generated, and the higher the availability of the device, which can solve the randomness in the mark-free environment in augmented reality applications.
  • Object identification problem The present invention also provides an apparatus for realizing an augmented reality application, which is capable of realizing all the above-described processes for realizing an augmented reality application, which will be described in detail below with reference to Figs.
  • FIG. 4 it is a schematic diagram of a device for implementing an augmented reality application according to an embodiment of the present invention.
  • An apparatus for implementing an augmented reality application including a picture collection unit 41, a comment acquisition unit 42, a keyword acquisition unit 43, a picture classification unit 44, and an augmented reality processing unit 45;
  • the picture collecting unit 41 is configured to collect a picture uploaded by the user and tag information of the picture.
  • the comment obtaining unit 42 is configured to publish the picture and the tag information to the social network contact of the user according to the social graph and the interest map of the user on the Internet, and obtain the social network contact to the picture. Comment information.
  • the keyword obtaining unit 43 is configured to extract, from the comment information, a keyword whose appearance frequency is greater than the first threshold.
  • a picture categorizing unit 44 configured to: according to the label information of the picture and the keyword, Add a picture to a collection.
  • the augmented reality processing unit 45 is configured to generate an augmented reality mode and an augmented reality content of the object described by the picture according to the image features of the pictures in the picture set and the keywords.
  • FIG. 5 is a schematic structural diagram of a picture categorizing unit of a device for implementing an augmented reality application according to an embodiment of the present invention.
  • the tag information includes geographical location information of an object described by the picture; then the picture categorizing unit 44 includes a first categorization subunit 51 and a second categorization subunit 52, as follows:
  • a first categorization sub-unit 51 configured to add, according to geographic location information of the object described by the picture, to the picture library, where the picture in the picture library has the same geographical location information,
  • the picture library contains at least one picture set.
  • the second categorization sub-unit 52 is configured to add the picture to a picture set of the picture library according to the keyword, and the pictures in the picture set have the same keyword.
  • FIG. 6 is a schematic structural diagram of an enhanced real-time processing unit of a device for implementing an augmented reality application according to an embodiment of the present invention.
  • the embodiment of the present invention provides an augmented reality processing unit 45, which includes an image preference subunit 61, an augmented reality mode generation subunit 62, an augmented reality content acquisition subunit 63, and an augmented reality content storage subunit 64;
  • the image preference sub-unit 61 is configured to extract image features from all the pictures in the picture set, and determine a common image feature according to the image features; the shared image feature refers to exceeding a first percentage in the picture set The image features that the picture has.
  • the augmented reality mode generating sub-unit 62 is configured to combine the shared image feature and the keyword to generate an augmented reality mode of the object described by the picture, and add to the identifiable pattern library.
  • the augmented reality content acquisition sub-unit 63 is configured to obtain, according to the keyword, the augmented reality content of the object described by the picture from a search engine or a third-party content provider.
  • the augmented reality content storage sub-unit 64 is configured to establish an association relationship between the augmented reality content and the augmented reality mode, and add the augmented reality content to an augmented reality content library.
  • FIG. 7 is a schematic structural diagram of another apparatus for implementing an augmented reality application according to an embodiment of the present invention.
  • An embodiment of the present invention provides another device for implementing an augmented reality application, which includes the picture collecting unit 41, the comment obtaining unit 42, the keyword obtaining unit 43, the picture classifying unit 44, and the augmented reality processing unit 45 in the foregoing embodiment.
  • the request receiving unit 71, the augmented reality pattern matching unit 72, the augmented reality content providing unit 73, and the picture marking unit 74 are further included as follows:
  • the request receiving unit 71 is configured to receive an augmented reality application service request message sent by the user, where the augmented reality application service request message includes a picture to be identified and tag information of the picture.
  • the augmented reality mode matching unit 72 is configured to search, according to the image feature of the to-be-identified picture and/or the tag information, an augmented reality mode of the object described by the picture to be recognized from the identifiable pattern library.
  • the augmented reality content providing unit 73 is configured to: if the augmented reality mode of the object described by the picture to be recognized is searched, obtain the related augmented reality content from the augmented reality content library according to the augmented reality mode, and the enhancement is performed. The actual content is sent to the user.
  • the picture marking unit 74 is configured to mark the picture to be recognized as an unrecognizable picture if the related augmented reality mode is not found.
  • the picture collected by the picture collecting unit 41 is a picture uploaded by the user and marked as unrecognizable.
  • the device for implementing an augmented reality application collects picture and tag information uploaded by a user, and comment information of the social network contact of the user on the picture; and extracts a picture for identifying the picture from the comment information. Keyword; adding the picture to the picture set according to the label information and the keyword of the picture; realizing the enhancement of the random object in the labelless environment according to the image features and keywords of all the pictures in the picture set Realistic mode and automatic generation of augmented reality content to make.
  • the generated augmented reality mode and augmented reality content By using the generated augmented reality mode and augmented reality content, the problem of identifying random objects in a mark-free environment in an augmented reality application can be solved.
  • the process of implementing the augmented reality application and the processing flow of the device provided by the present invention are described in detail below with reference to the steps S801 to S814.
  • the user takes a photo with a smartphone, and the object described in the photo is an object (AR target) that the user is interested in, and the user adds geographic location information to the photo.
  • object AR target
  • the AR device can implement the method for implementing an augmented reality application in the embodiment of the present invention.
  • the AR device performs image processing on the photo, and extracts an AR mode of the object in the photo. If the AR mode of the object in the photo can be matched in the identifiable mode library, according to the AR mode, Search for associated AR content from the AR content library.
  • the AR content library returns the searched AR content to the smart phone, and then the local application on the smart phone merges the AR content with the real scene captured by the camera into an AR experience and presents it to the user.
  • the AR device performs image processing on the photo, extracts an AR mode of the object in the photo, but cannot search for the AR mode in the identifiable mode library, or the AR recognition module cannot extract a valid AR from the photo.
  • the mode marks the photo as an unrecognizable picture and sends the photo to an unrecognizable picture library.
  • the AR device creates a photo gallery based on GeoTagging and stores photos with the same geographical location information in the same image library. 5805, obtain unrecognizable photos and their tag information from the unrecognizable photo gallery.
  • the AR device performs comprehensive analysis on the received comment information, extracts popular keywords or uses keywords with higher frequency as information for describing the above photos.
  • the AR device After collecting enough keywords, the AR device further divides the image library established according to the geographical location information. For example, a photo gallery holds photos related to the geographic location "Tiananmen Square".
  • the keywords collected by the AR device include "People's Hero Monument”, “Mao Chairman Memorial Hall” and “Zhengyangmen”.
  • Tiananmen Square" photo gallery can be further divided into three photo collections, respectively storing photos containing the above three keywords, so that the image repository will be gradually divided into "unrecognizable photo gallery - geographic location image library - keyword image Set "such a three-level storage structure.
  • an image processing algorithm is started to extract a common image feature from the photos in the picture set. For photos that cannot extract image features, they can be used as samples to train recognition algorithms to improve recognition accuracy.
  • the AR mode can also be provided to a third-party content provider, and the AR content is provided by the third-party content provider, and the AR content of the AR content is also stored in the AR content library.
  • the AR content library returns a set of content to the smart phone, and the AR device on the smart phone merges the virtual information with the real scene to present an AR experience to the user.
  • steps S804 ⁇ S814 generate new AR mode and AR content by using unrecognizable photos uploaded by the user.
  • the longer the method is used the more users are used, the more abundant the new AR mode and AR content are generated, and the higher the recognition performance of the AR device.
  • the method for realizing the augmented reality application and the beneficial effects of the device provided by the present invention will be described in detail below in combination with three application scenarios.
  • Tiananmen Square There are a large number of tourists visiting Tiananmen Square every day.
  • the large targets near Tiananmen Square include Tiananmen Tower, Jinshui Bridge, Guanlitai, Flagpole, Great Hall of the People, Zhengyangmen, Monument to the People's Hero, Chairman Mao Memorial Hall and National Museum, among others.
  • the beneficial effects of the method and apparatus for realizing the augmented reality application provided by the present invention will be described below in conjunction with this scenario.
  • the AR device sent the plaque photo to the friend of Xiao A on Renren. He left a question to the friends: Do you know who wrote this plaque? The AR device sends the photo to the API based on the API (Application Programming Interface) provided by Renren. Some friends who added calligraphy items to the hobby of Little A.
  • API Application Programming Interface
  • the AR device provides the search engine with geographic location information and the "plaque” keyword.
  • the search engine retrieves a series of related content, such as the plaque-related image, the color and material of the plaque, when the plaque hangs on the tower, and why the plaque People write and so on.
  • the AR device provided the photo, location information and keyword "plaque" to its own third-party content provider.
  • the content provider has detailed information on the old Beijing merchant plaque and the Chengmenlou plaque, recording the plaque writing. People and their lives. After the retrieved content, it is returned to the AR content library and associated with the AR mode extracted in the previous step.
  • the National Museum often holds cultural relics and art exhibitions. Recently, the National Museum will launch the “Fountain Art Exhibition”, which is planned to last for 3 months. The first two weeks are previews, and some experts and a certain number of visitors are invited to visit. Two weeks later, it will be open. Ordinary audience visit. At the same time, the National Museum uses the invention.
  • the AR backend is connected to the National Museum database and an internal search engine. When entering the National Museum, the viewer can download and install the AR device using a wireless connection, and prompt the user to use the AR device. Help improve the exhibition and provide more content for the general audience.
  • the AR device classified the photos based on expert comments (eg, tags added by experts, questions asked by experts on Buddha statues, etc.), and accurately divided the collected photos into A subset of each, and extracted the AR mode, saved to the pattern library.
  • the AR device sent photos of these experts to the experts who could not personally visit the exhibition.
  • the friends of these experts made a lot of comments and questions about the photos.
  • the AR device collected these comments and questions and extracted the keywords.
  • the AR device analyzed the expert's comments and questions, obtained some key words and key questions, and then retrieved a large amount of relevant content in the National Museum database, as the AR content was associated with the AR model generated in the previous step.
  • the AR device After 2 weeks, the AR device has accumulated enough AR modes and associated AR content. After the ordinary users visit, ordinary users can easily identify the Buddha statues in the camera and obtain detailed dynasties using AR devices. Information such as source, statue name, etc.
  • a and B have established a friendship relationship through the social photo sharing website Instagram. The two have a common interest in pet cats. A and B are also very concerned about the stray cats near their homes. They often take photos for sharing. Both are users of the AR device disclosed by the present invention.
  • the AR device calls the API provided by the SNS website to send this unrecognized photo to the SNS friend B.
  • B added a comment on the photo "The cat is a senior employee of Xinhua News Agency", then the AR device can extract the key from B's comments.
  • the word cat is uncle.
  • this photo can be added to a photo subset of the A home tag with the tag "Cat Uncle”.
  • the subset also contains photos of other users who have uploaded the label "Cat Uncle” uploaded near A.
  • the AR device Based on geographic location, user-defined auxiliary information, and user relationships, the AR device found photos of cats near this location, and photos of cats taken near B.
  • the geographic location information of the two images is different, and they belong to different photo collections, but both photos contain the "Cat Uncle" label.
  • the AR device thinks that these two types of photos are intrinsically linked, so the two images are The collection is integrated into a subset, so that the classification of the photos is not limited by the geographical location.
  • the AR device After the AR device obtains a certain number of photos with intrinsic links (such as having the same label), the image features of the photo tagged "Cat Uncle", such as patterns, colors, etc., are obtained through feature extraction, and the image is obtained. Feature as a mode, registered to the AR device, the AR device obtains a new identifiable AR mode.
  • the backend of the AR device is connected to a third-party content provider, such as a pet hospital website, which provides some customized information for the pet device to the AR device.
  • a third-party content provider such as a pet hospital website
  • the AR device collects photos of some very cute pet cats, notes about keeping cats, and so on.
  • a or B later uses the AR device to recognize the photo of the cat mentioned above since the AR mode of the cat is registered in the AR device, the target can be identified, and the AR content, such as the pet hospital, is provided to the user of the AR device. Service information provided, information found by search engines, B comments on this cat, etc.
  • an embodiment of the present invention provides a terminal, including a receiving device 81, a transmitting device 82, a memory 83, and a processor 84.
  • the receiving device 81, the transmitting device 82, the memory 83, and the processor 84 may also be connected by a bus.
  • the bus may be an ISA (Industry Standard Architecture) bus, a PCI (Peripheral Component Interconnect) bus, or an EISA (Extended Industry Standard Architecture) bus.
  • the bus may be one or more physical lines, and when it is a plurality of physical lines, it may be divided into an address bus, a data bus, a control bus, and the like.
  • the processor 84 may perform the following steps: collecting, by the receiving device 81, a user-uploaded picture and tag information of the picture; and publishing the picture and the location by the sending device 82 according to the social graph and the interest map of the user on the Internet. Depicting the tag information to the social network contact of the user, and obtaining, by the receiving device 81, the comment information of the social network contact for the picture; extracting, from the comment information, the occurrence frequency is greater than the first threshold Keyword; adding the picture to a picture set according to the label information of the picture and the keyword; generating an object described by the picture according to image features of all pictures in the picture set and the keyword Augmented reality mode and augmented reality content.
  • a further detailed technical solution of the processor 84 executing the program may be, but is not limited to, a detailed description of the embodiment as shown in FIGS. 1 to 3.
  • the memory 83 is used to store programs that the processor 84 needs to execute. Further, the memory 83 can also store the results produced by the processor 84 during the calculation process.
  • a computer storage medium is also provided in the embodiment of the present invention, and the computer storage medium is A computer program is stored, which can execute the steps in the embodiment shown in FIGS. 1 to 3.
  • the device embodiments described above are merely illustrative, and the components may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • the connection relationship between the modules indicates that there is a communication connection between them, and specifically may be implemented as one or more communication buses or signal lines. Those of ordinary skill in the art can understand and implement without any creative effort.
  • the present invention can be implemented by means of software plus necessary general hardware, and of course, dedicated hardware, dedicated CPU, dedicated memory, dedicated memory, Special components and so on.
  • functions performed by computer programs can be easily implemented with the corresponding hardware.
  • the specific hardware structure used to implement the same function can be various, such as analog circuits, digital circuits, or dedicated circuits. Circuits, etc.
  • software program implementation is a better implementation in more cases.
  • the technical solution of the present invention which is essential or contributes to the prior art, may be embodied in the form of a software product stored in a readable storage medium, such as a floppy disk of a computer.
  • U disk mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), disk or optical disk, etc., including a number of instructions to make a computer device (may be a personal computer, server, or network device, etc.) performs the methods described in various embodiments of the present invention.
  • a computer device may be a personal computer, server, or network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种实现增强现实应用的方法，包括：收集用户上传的图片和所述图片的标签信息；根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；从所述评论信息中提取出现频率大于第一门限值的关键词；根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。本发明还公开了一种实现增强现实应用的设备。本发明实施例能够解决增强现实应用中对无标记物环境中随机对象的识别问题。

Description

实现增强现实应用的方法及设备
本申请要求于 2012 年 12 月 13 日提交中国专利局， 申请号为 201210539054.6、 发明名称为 "实现增强现实应用的方法及设备" 的中国专利 申请， 其全部内容通过引用结合在本申请中。 技术领域
本发明涉及计算机技术领域， 尤其涉及一种实现增强现实应用的方法及 设备。
背景技术
增强现实 （Augmented Reality, 简称 AR ) 的概念产生于 20世纪 90年 代。 1994年， 保罗 '米尔格拉姆 ( Paul Milgram )和岸野文郎（ Fumio Kishino ) 提出现实-虚拟连续统一体 ( Milgram's Reality- Virtuality Continuum ), 他们将 真实环境和虚拟环境分别作为连续系统的两端， 位于它们中间的被称为 "混 合现实 （ Mixed Reality )"。 其中靠近真实环境的是增强现实 （ Augmented Reality ), 靠近虚拟环境的则是增强虚境（ Augmented Virtuality )。
增强现实 AR是一种用于帮助人们以更直观、更形象的方式获取关于现实 世界中物体的相关信息的技术。 增强现实应用（简称 AR应用）的处理流程可 以简单描述为感知、 识别、 匹配和渲染四个步骤， 具体如下：
感知， 是指用户使用终端设备提供的摄像头和各种传感器感知身边真实 世界中的各种对象， 釆集图片或图像、 位置、 方向、 速度、 温度、 光照强度 等等各种参数， 供 AR软件使用。 识别， 是指 AR软件处理传感器所收集的数据， 例如， 对摄像头捕捉到的 图片进行分析和处理， 尝试识别出照片中的对象。 AR软件将从图片中提取到 的对象特征模式， 与本地或者在线的模式库中保存的模式进行匹配， 如果匹 配到则识别成功， 否则识别失败。
匹配， 是指识别成功后， AR软件准备好与某个模式相关的多媒体内容， 如图文信息、 音视频、 3D模型等等。 这些媒体信息可以保存在终端本地， 也 可以在线获得。
渲染， 是指 AR软件将多媒体内容同摄像头捕获的真实世界影像合并起 来， 渲染在用户的终端显示设备上。
目前， 针对标志性建筑物、 书籍、 著名画作、 条码、 商标和文本等特殊 类型的图片， AR应用具有艮好的识别效果。 然而， 对于不属于上述特殊类型 的图片， AR应用的识别成功率不高， 其可识别对象的种类有限， 应用场景是 受限制的。
发明内容
本发明实施例的多个方面提供了一种实现增强现实应用的方法及设备， 能够解决增强现实应用中对无标记物环境中随机对象的识别问题。
第一方面， 本发明实施例提供了一种实现增强现实应用的方法， 包括： 收集用户上传的图片和所述图片的标签信息；
根据所述用户在互联网的社交图谱和兴趣图谱， 发布所述图片和所述标 签信息给所述用户的社交网络联系人， 获得所述社交网络联系人对所述图片 的评论信息；
从所述评论信息中提取出现频率大于第一门限值的关键词；
根据所述图片的标签信息和所述关键词， 将所述图片添加到一图片集； 根据所述图片集内所有图片的图像特征和所述关键词， 生成所述图片所 描述对象的增强现实模式和增强现实内容。
结合第一方面， 在第一种实现方式下， 所述标签信息包括所述图片所描 述对象的地理位置信息； 则所述根据所述图片的标签信息和所述关键词， 将所述图片添加到一图 片集， 包括：
才艮据所述图片所描述对象的地理位置信息， 将所述图片添加到图片库中， 所述图片库内的图片所描述对象具有相同的地理位置信息， 所述图片库内包 含有至少一个图片集；
根据所述关键词， 将所述图片添加到所述图片库的一图片集中， 所述图 片集内的图片具有相同的关键词。
结合第一方面或第一方面的第一种实现方式， 在第二种实现方式下， 所 述根据所述图片集内所有图片的图像特征和所述关键词， 生成所述图片所描 述对象的增强现实模式和增强现实内容， 包括：
从所述图片集内所有图片中提取图像特征， 根据所述图像特征确定共有 图像特征； 所述共有图像特征是指所述图片集内超过第一百分比的图片都具 有的图像特征；
结合所述共有图像特征和所述关键词， 生成所述图片所描述对象的增强 现实模式， 并添加到可识别模式库中；
根据所述关键词， 从搜索引擎或者第三方内容提供商获得所述图片所描 述对象的增强现实内容；
建立所述增强现实内容与所述增强现实模式的关联关系， 并将所述增强 现实内容添加到增强现实内容库。
结合第一方面的第二种实现方式， 在第三种实现方式下， 在生成图片所 描述对象的增强现实模式和增强现实内容之后， 还包括：
接收用户发送的增强现实应用服务请求消息， 所述增强现实应用服务请 求消息包含待识别的图片和所述图片的标签信息；
根据所述待识别的图片的图像特征和 /或所述标签信息， 从所述可识别模 式库中搜索所述待识别的图片所描述对象的增强现实模式；
若搜索到所述待识别的图片所描述对象的增强现实模式， 根据所述增强 现实模式从增强现实内容库中获取相关联的增强现实内容， 将所述增强现实 内容发送给所述用户；
若搜索不到相关的增强现实模式， 将所述待识别的图片标记为不可识别 的图片。
结合第一方面的第三种实现方式， 在第四种实现方式下， 在所述收集用 户上传的图片和所述图片的标签信息的步骤中， 所收集的图片是用户上传的 被标记为不可识别的图片。
第二方面， 本发明实施例提供了一种实现增强现实应用的设备， 包括： 图片收集单元， 用于收集用户上传的图片和所述图片的标签信息； 评论获取单元， 用于根据所述用户在互联网的社交图谱和兴趣图谱， 发 布所述图片和所述标签信息给所述用户的社交网络联系人， 获得所述社交网 络联系人对所述图片的评论信息；
关键词获取单元， 用于从所述评论信息中提取出现频率大于第一门限值 的关键词；
图片归类单元， 用于根据所述图片的标签信息和所述关键词， 将所述图 片添加到一图片集； 和，
增强现实处理单元， 用于根据所述图片集内所有图片的图像特征和所述 关键词， 生成所述图片所描述对象的增强现实模式和增强现实内容。
结合第二方面， 在第一种实现方式下， 所述标签信息包括所述图片所描 述对象的地理位置信息； 所述图片归类单元包括：
第一归类子单元， 用于根据所述图片所描述对象的地理位置信息， 将所 述图片添加到图片库中， 所述图片库内的图片所描述对象具有相同的地理位 置信息， 所述图片库内包含有至少一个图片集； 和，
第二归类子单元， 用于根据所述关键词， 将所述图片添加到所述图片库 的一图片集中， 所述图片集内的图片具有相同的关键词。
结合第二方面或第二方面的第一种实现方式， 在第二种实现方式下， 所 述增强现实处理单元包括：
图像优选子单元， 用于从所述图片集内所有图片中提取图像特征， 根据 所述图像特征确定共有图像特征； 所述共有图像特征是指所述图片集内超过 第一百分比的图片都具有的图像特征；
增强现实模式生成子单元， 用于结合所述共有图像特征和所述关键词， 生成所述图片所描述对象的增强现实模式， 并添加到可识别模式库中；
增强现实内容获取子单元， 用于根据所述关键词， 从搜索引擎或者第三 方内容提供商获得所述图片所描述对象的增强现实内容； 和，
增强现实内容存储子单元， 用于建立所述增强现实内容与所述增强现实 模式的关联关系， 并将所述增强现实内容添加到增强现实内容库。
结合第二方面的第二种实现方式， 在第三种实现方式下， 所述设备还包 括：
请求接收单元， 用于接收用户发送的增强现实应用服务请求消息， 所述 增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息；
增强现实模式匹配单元， 用于根据所述待识别的图片的图像特征和 /或所 述标签信息， 从所述可识别模式库中搜索所述待识别的图片所描述对象的增 强现实模式；
增强现实内容提供单元， 用于若搜索到所述待识别的图片所描述对象的 增强现实模式， 根据所述增强现实模式从增强现实内容库中获取相关联的增 强现实内容， 将所述增强现实内容发送给所述用户； 和，
图片标记单元， 用于若搜索不到相关的增强现实模式， 将所述待识别的 图片标记为不可识别的图片。
结合第二方面的第三种实现方式， 在第四种实现方式下， 所述图片收集 单元所收集的图片是用户上传的被标记为不可识别的图片。
本发明实施例提供的实现增强现实应用的方法及设备， 收集用户上传的 图片及标签信息， 以及所述用户的社交网络联系人对所述图片的评论信息； 从所述评论信息中提取用于识别图片的关键词； 根据所述图片的标签信息和 关键词， 将所述图片添加到一图片集； 根据所述图片集内所有图片的图像特 征和关键词， 实现对无标记物环境中随机对象的增强现实模式与增强现实内 容的自动生成。 利用所生成的增强现实模式与增强现实内容， 能够解决增强 现实应用中对无标记物环境中随机对象的识别问题。 附图说明
图 1是本发明实施例提供的一种实现增强现实应用的方法的流程示意图； 图 2是图 1所示的实现增强现实应用的方法中的步骤 S105的流程示意图； 图 3 是本发明实施例提供的另一种实现增强现实应用的方法的流程示意 图；
图 4是本发明实施例提供的一种实现增强现实应用的设备的结构示意图； 图 5是本发明实施例提供的一种实现增强现实应用的设备的图片归类单 元的结构示意图；
图 6是本发明实施例提供的一种实现增强现实应用的设备的增强现实处 理单元的结构示意图；
图 7是本发明实施例提供的另一种实现增强现实应用的设备的结构示意 图；
图 8是本发明实施例提供的一种终端的结构示意图。 具体实施方式
下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行 清楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而 不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作 出创造性劳动前提下所获得的所有其他实施例 , 都属于本发明保护的范围。
本发明提供的实现增强现实应用的方法及设备， 所要解决的技术问题是： 在一个普通的、 没有经过处理的、 没有标记物的环境里， 提取任意的对象， 作为 AR识别的模式并生成相关的 AR内容，解决增强现实应用中对无标记物 环境中随机对象的识别问题。
参见图 1 ,是本发明实施例提供的一种实现增强现实应用的方法的流程示 意图。
本发明实施例提供一种实现增强现实应用的方法， 包括步骤 S101 S105, 具体如下：
5101 , 收集用户上传的图片和所述图片的标签信息。
具体的， 所述图片的标签信息可以是文本格式的任意内容， 可以是所述 图片所描述对象的地理位置信息、 所述图片的辅助描述信息、 拍摄时间等内 容。 例如， 在天安门广场拍摄一张照片， 则 "天安门广场" 为图片所描述对 象， "天安门广场" 的地理位置为图片所描述对象的地理位置信息， 用户给照 片添加的关于 "天安门广场" 的景物、 建筑、 历史等信息为图片的辅助描述 信息。
具体实施时， 釆用具有地理位置显示功能的相机拍摄照片， 可自动为拍 摄的 JPEG格式的图片添加扩展信息， 该扩展信息以 EXIF格式保存， 其内容 包括地理位置 （经纬度、 海拔）和拍摄时间。
5102, 根据所述用户在互联网的社交图谱和兴趣图谱， 发布所述图片和 所述标签信息给所述用户的社交网络联系人， 获得所述社交网络联系人对所 述图片的评论信息。
随着 Facebook等网站的爆炸式发展， 社交网络受到越来越多的关注， 由 此衍生了社交图谱和兴趣图谱的概念。 其中， 社交图谱揭示了人与人之间的 关系； 兴趣图谱揭示了用户的爱好与兴趣， 以及由此衍生出的人与人之间的 关系。
本发明实施例根据用户在互联网上的社交图谱和兴趣图谱， 向用户的社 交网络联系人发布图片， 可以推断该图片是所述社交网络联系人感兴趣的内 容。 从所述社交网络联系人中获得的图片评论信息， 更能精准地反应出图片 所描述对象的特征， 利用从所述图片评论信息中提取的关键词来构建增强现 实模式和增强现实内容， 能够提高增强现实应用中对无标记物环境中随机对 象的识别成功率， 提升用户体验。
5103 , 从所述评论信息中提取出现频率大于第一门限值的关键词。
其中， 所述关键词可以是所述图片所描述对象的景物特征、 人文、 历史 渊源等信息。 从所述评论信息中提取的关键词可以是一个或者多个。
5104 , 根据所述图片的标签信息和所述关键词， 将所述图片添加到一图 在一个实施方式中， 所述标签信息包括所述图片所描述对象的地理位置 信息。 则上述步骤 S104包括： 根据所述图片所描述对象的地理位置信息， 将 所述图片添加到图片库中， 所述图片库内的图片所描述对象具有相同的地理 位置信息， 所述图片库内包含有至少一个图片集； 根据所述关键词， 将所述 图片添加到所述图片库的一图片集中， 所述图片集内的图片具有相同的关键 词。
具体实施时， 可以先根据图片所描述对象的地理位置信息建立图片库， 将具有相同地理位置信息的图片添加到同一图片库中。 当图片库中的图片数 量达到设定的边界条件后， 再根据不同的关键词， 在图片库中创建至少一个 图片集， 将具有相同关键词的图片添加到同一图片集中， 从而实现对图片库 中的图片作进一步分类。 例如， 某个图片库保存有与地理位置 "天安门广场" 相关的图片， 此 "天安门广场" 图片库进一步划分为 "人民英雄纪念碑" 图 片集、 "毛主席纪念堂" 图片集和 "正阳门" 图片集， 形成 "地理位置图片库 -关键词图片集"这样的二级图片存储结构。 其中， "人民英雄纪念碑" 图片集 用于存放具有 "人民英雄纪念碑" 这一关键词的图片， "毛主席纪念堂" 图片 集用于存放具有 "毛主席纪念堂" 这一关键词的图片， "正阳门" 图片集用于 存放具有 "正阳门" 这一关键词的图片。 同一图片集内的每张图片所描述的 对象相同。
上述的 "具有相同地理位置信息的图片" 并非要求地理位置严格一致， 这里的地理位置相同是一个范围， 比如， 分析照片的地理位置信息， 发现一 些照片都是在以人民英雄纪念碑为圓心、 半径为 500米的圓这个范围内拍摄 的， 那么就把这些照片归为一类。
S105, 根据所述图片集内所有图片的图像特征和所述关键词， 生成所述 图片所描述对象的增强现实模式（简称 AR模式）和增强现实内容（简称 AR 内容）。
物理空间中的每一个对象都具有多个特征， 例如长、 宽、 高、 颜色、 紋 理、 地理位置等； AR模式是指数字化格式保存的一组用于在 AR应用中标识 一个物理空间中的对象的特征， 这些特征可以是颜色、 紋理、 形状、 位置等。
AR应用把数字化的多媒体信息 （图片、 文字、 3D对象等） 与物理空间 中的真实对象合并，在用户终端设备上显示为一个融合的 AR体验。这里的所 有可以用于叠加到物理空间真实对象之上的多媒体信息都是 AR内容。
具体实施时， 可以在图片集内的所有图片的数量达到设定的边界条件后， 或者在图片集内的所有图片具有的关键词数量达到设定的边界条件后， 再执 行步骤 S105。 其中， 所述边界条件可以是： 图片集内的所述图片的数量大于 设定的图片数量门限值， 或者图片集内的所述图片具有的关键词的数量大于 设定的关键词数量门限值。
参见图 2, 步骤 S105具体包括步骤 S201 S204, 如下：
S201 , 从所述图片集内所有图片中提取图像特征， 根据所述图像特征确 定共有图像特征； 所述共有图像特征是指所述图片集内超过第一百分比的图 片都具有的图像特征。
其中， 所述第一百分比可以根据实际应用来设定， 例如设为 80%。
具体实施时， 从所述图片集内的每张图片中提取图像特征， 假设一共提 取出 n个图像特征， 包括图像特征 XI、 X2、 X3 Xn。 例如， 一张拍摄 有天安门广场的图片， 从图片中提取的 "毛主席像"、 "天安门城楼" 的图像 信息均为图像特征。
分别使用图像特征 XI、 X2、 X3 Xn去识别所述图片集内的图片， 获得每个图像特征对图片的检出率。 例如， 图片集内的 90%的图片中都具有 图像特征 XI , 则图像特征 XI对图片的检出率为 90%。
在获得每个图像特征对图片的检出率后， 对检出率做归一化处理， 其中 检出率中的最大值归一化为 1 , 其他检出率做归一化处理后都小于 1 , 每个归 一化处理后的检出率为其对应的图像特征的加权值。 当有新的图片加入图片 集时， 按照上述方法重新对图片集内的图片进行识别。 每个图像特征的加权 值将根据每次的识别结果不断地刷新， 在经过多次识别后， 将检出率长期大 于门限值（例如， 0.6 ) 的图像特征标记为共有图像特征， 所述共有图像特征 与图片所描述对象（即 AR目标）相匹配。 而检出率长期小于或等于所述门限 值的图像特征则被剔除。
此外， 还可以设定一个相似度评价函数： ,∑2,... ,、= 1^ 。 其中， 是图像特征 Xi的归一化加权值。 如果使用图像特征 Xi能够判定某张用户 上传的图片包含 AR目标， 则 bfl , 否则 bH)。加权值会根据每次的识别结果 不断刷新， 则相似度评价函数是一个动态更新的函数， 使用此函数可评价用 户上传的某张图片与 AR目标的匹配度。显然，如果某个图像特征和 AR目标 的相关度不大， 则此图像特征的归一化加权值对相似度评价函数的影响很小； 经过多次迭代后， 归一化加权值小于某个门限值的图像特征，可以从 AR模式 中剔除。
5202, 结合所述共有图像特征和所述关键词， 生成所述图片所描述对象 的增强现实模式， 并添加到可识别模式库中。
5203 , 根据所述关键词， 从搜索引擎或者第三方内容提供商获得所述图 片所描述对象的增强现实内容。
5204, 建立所述增强现实内容与所述增强现实模式的关联关系， 并将所 述增强现实内容添加到增强现实内容库。
本发明实施例提供的实现增强现实应用的方法， 收集用户上传的图片及 标签信息， 以及所述用户的社交网络联系人对所述图片的评论信息； 从所述 评论信息中提取用于识别图片的关键词； 根据所述图片的标签信息和关键词， 将所述图片添加到图片集； 根据所述图片集内所有图片的图像特征和关键词， 实现对无标记物环境中随机对象的增强现实模式与增强现实内容的自动生 成。 利用所生成的增强现实模式与增强现实内容， 能够解决增强现实应用中 对无标记物环境中随机对象的识别问题。
参见图 3 ,是本发明实施例提供的另一种实现增强现实应用的方法的流程 示意图。
本发明实施例提供另一种实现增强现实应用的方法， 包括上述步骤 S101 S105和 S201~S204。 此外， 在生成增强现实模式与增强现实内容之后， 还可以利用所生成的增强现实模式与增强现实内容， 对无标记物环境中随机 对象进行识别， 包括以下步骤：
5301 , 接收用户发送的增强现实应用服务请求消息， 所述增强现实应用 服务请求消息包含待识别的图片和所述图片的标签信息。
5302 , 根据所述待识别的图片的图像特征和 /或所述标签信息， 从所述可 识别模式库中搜索所述待识别的图片所描述对象的增强现实模式。
5303 , 若搜索到所述待识别的图片所描述对象的增强现实模式， 根据所 述增强现实模式从增强现实内容库中获取相关联的增强现实内容， 将所述增 强现实内容发送给所述用户。
5304 , 若搜索不到相关的增强现实模式， 将所述待识别的图片标记为不 可识别的图片。
在又一个实施方式中， 在步骤 S304的将所述待识别的图片标记为不可识 别的图片之后， 还可以执行上述实施例中的步骤 S101 S105和 S201 S204的 方法， 以生成 "被标记为不可识别的图片" 所描述对象的增强现实模式与增 强现实内容。 即在步骤 S101中， 所收集的图片是用户上传的被标记为不可识 别的图片。 在生成所述 "被标记为不可识别的图片" 所描述对象的增强现实 模式与增强现实内容之后， 当用户再次上传所述 "被标记为不可识别的图片" 时， 就可以识别出所述 "被标记为不可识别的图片"， 从而解决增强现实应 用中对无标记物环境中随机对象的识别问题。
本发明实施例提供的实现增强现实应用的方法， 在用户使用增强现实应 用服务时， 还具备学习能力， 能够利用识别失败的图片， 自动生成该图片所 描述对象的增强现实模式与增强现实内容。 这种方法使用的时间越长， 使用 的用户越多， 所生成的新的增强现实模式与增强现实内容就越丰富， 设备的 可用性越高， 能够解决增强现实应用中对无标记物环境中随机对象的识别问 题。 本发明还提供一种实现增强现实应用的设备， 能够实现上述的实现增强 现实应用的方法的所有流程， 下面结合图 4〜图 7进行详细说明。
参见图 4,是本发明实施例提供的一种实现增强现实应用的设备的结构示 意图。
本发明实施例提供的一种实现增强现实应用的设备， 包括图片收集单元 41、 评论获取单元 42、 关键词获取单元 43、 图片归类单元 44和增强现实处 理单元 45; 具体如下：
图片收集单元 41 , 用于收集用户上传的图片和所述图片的标签信息。 评论获取单元 42 , 用于根据所述用户在互联网的社交图谱和兴趣图谱， 发布所述图片和所述标签信息给所述用户的社交网络联系人， 获得所述社交 网络联系人对所述图片的评论信息。
关键词获取单元 43 , 用于从所述评论信息中提取出现频率大于第一门限 值的关键词。
图片归类单元 44 , 用于根据所述图片的标签信息和所述关键词， 将所述 图片添加到一图片集。
增强现实处理单元 45 , 用于根据所述图片集内所有图片的图像特征和所 述关键词， 生成所述图片所描述对象的增强现实模式和增强现实内容。 参见图 5 ,是本发明实施例提供的一种实现增强现实应用的设备的图片归 类单元的结构示意图。
所述标签信息包括所述图片所描述对象的地理位置信息； 则所述图片归 类单元 44包括第一归类子单元 51和第二归类子单元 52, 如下：
第一归类子单元 51 , 用于根据所述图片所描述对象的地理位置信息， 将 所述图片添加到图片库中， 所述图片库内的图片所描述对象具有相同的地理 位置信息， 所述图片库内包含有至少一个图片集。
第二归类子单元 52, 用于根据所述关键词， 将所述图片添加到所述图片 库的一图片集中， 所述图片集内的图片具有相同的关键词。 参见图 6,是本发明实施例提供的一种实现增强现实应用的设备的增强现 实处理单元的结构示意图。
本发明实施例提供一种增强现实处理单元 45 , 包括图像优选子单元 61、 增强现实模式生成子单元 62、增强现实内容获取子单元 63和增强现实内容存 储子单元 64; 具体如下：
图像优选子单元 61 , 用于从所述图片集内所有图片中提取图像特征， 根 据所述图像特征确定共有图像特征； 所述共有图像特征是指所述图片集内超 过第一百分比的图片都具有的图像特征。
增强现实模式生成子单元 62 ,用于结合所述共有图像特征和所述关键词， 生成所述图片所描述对象的增强现实模式， 并添加到可识别模式库中。
增强现实内容获取子单元 63 , 用于根据所述关键词， 从搜索引擎或者第 三方内容提供商获得所述图片所描述对象的增强现实内容。 增强现实内容存储子单元 64, 用于建立所述增强现实内容与所述增强现 实模式的关联关系， 并将所述增强现实内容添加到增强现实内容库。 参见图 7 ,本发明实施例提供的另一种实现增强现实应用的设备的结构示 意图。
本发明实施例提供另一种实现增强现实应用的设备， 除了包括上述实施 例中的图片收集单元 41、 评论获取单元 42、 关键词获取单元 43、 图片归类单 元 44和增强现实处理单元 45 , 还包括请求接收单元 71、 增强现实模式匹配 单元 72、 增强现实内容提供单元 73和图片标记单元 74, 具体如下：
请求接收单元 71 , 用于接收用户发送的增强现实应用服务请求消息， 所 述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息。
增强现实模式匹配单元 72 , 用于根据所述待识别的图片的图像特征和 /或 所述标签信息， 从所述可识别模式库中搜索所述待识别的图片所描述对象的 增强现实模式。
增强现实内容提供单元 73 , 用于若搜索到所述待识别的图片所描述对象 的增强现实模式， 根据所述增强现实模式从增强现实内容库中获取相关联的 增强现实内容， 将所述增强现实内容发送给所述用户。
图片标记单元 74 , 用于若搜索不到相关的增强现实模式， 将所述待识别 的图片标记为不可识别的图片。
在又一个实施方式中， 所述图片收集单元 41所收集的图片是用户上传的 被标记为不可识别的图片。
本发明实施例提供的实现增强现实应用的设备， 收集用户上传的图片及 标签信息， 以及所述用户的社交网络联系人对所述图片的评论信息； 从所述 评论信息中提取用于识别图片的关键词； 根据所述图片的标签信息和关键词， 将所述图片添加到图片集； 根据所述图片集内所有图片的图像特征和关键词， 实现对无标记物环境中随机对象的增强现实模式与增强现实内容的自动生 成。 利用所生成的增强现实模式与增强现实内容， 能够解决增强现实应用中 对无标记物环境中随机对象的识别问题。 下面结合步骤 S801 S814,仅以用户上传的图片为照片为例，对本发明提 供的实现增强现实应用的方法及设备的处理流程进行详细说明。
5801 , 用户使用智能手机拍摄一张照片， 照片中所描述的对象是用户感 兴趣的一个对象 （AR 目标）， 同时用户为所述照片添加地理位置信息
( GeoTagging )和其他用户自定义的标签信息； 然后， 将所述照片和地理位 置信息标签提交给实现增强现实应用的设备（以下简称 AR设备）。 其中， 所 述 AR设备能够实施本发明实施例中的实现增强现实应用的方法。
5802, AR设备对所述照片进行图像处理， 提取出了所述照片中对象的 AR模式， 如果能够在可识别模式库中匹配到了所述照片中对象的 AR模式， 则根据所述 AR模式， 从 AR内容库中搜索相关联的 AR内容。
5803 , AR内容库将搜索到的 AR内容返回给智能手机， 之后智能手机上 的本地应用把 AR内容与摄像头捕捉到的真实场景合并成一个 AR体验，呈现 给用户。
当 AR设备无法识别照片中的对象的 AR模式时，执行本发明提供的实现 增强现实应用的方法的处理流程，产生 AR模式和 AR内容， 为以后的用户再 次试图识别上述对象时提供 Λ良务。 如下步骤 S804~ S815:
5804, AR设备对所述照片进行图像处理， 提取出了照片中对象的 AR模 式，但是无法在可识别模式库中搜索到上述的 AR模式， 或者 AR识别模块无 法从照片中提取一个有效的 AR模式，则把该照片标记为不可识别图片，并将 该照片发送到不可识别图片库。
假如， 多个用户在同一地点拍摄并上传了大量照片， AR设备则依据 GeoTagging建立图片库， 将具有相同地理位置信息的照片存放到同一图片库 中。 5805 , 从不可识别图片库中获取不可识别的照片及其标签信息。
5806 , 根据用户在互联网上的社交图谱， 将所述照片发布给用户在社交 网站上的好友， 或者根据用户添加的标签和用户的兴趣图谱， 把照片发送给 用户的相关社交网络联系人。
5807 , 在社交网站 SNS发布照片之后， 期望用户的好友会针对上述照片 添加评论、 展开讨论， SNS将这些评论信息返回给 AR设备。
5808, AR设备对收到的评论信息进行综合分析， 提取热门关键词或者使 用频率较高的关键词， 以此作为描述上述照片的信息。
5809, AR设备在收集到足够多的关键词之后， 对依据地理位置信息建立 的图片库再作进一步的分割。 例如， 某个图片库保存的是与地理位置 "天安 门广场"相关的照片， AR设备收集到的关键词包括 "人民英雄纪念碑"、 "毛 主席纪念堂" 和 "正阳门"， 则此 "天安门广场" 图片库可以进一步的划分为 三个图片集， 分别存储包含上述三个关键词的照片， 这样， 图片存放库将逐 渐被划分为 "不可识别图片库-地理位置图片库-关键词图片集"这样的三级存 储结构。
5810 , 在图片集内的图片数量达到设定的边界条件后， 启动图像处理算 法， 从所述图片集内的照片中提取共有图像特征。 对于无法提取图像特征的 照片可作为样本， 训练识别算法， 提高识别精度。
5811 , 结合所述共有图像特征和所述关键词， 生成所述图片所描述对象 的 AR模式， 并保存到可识别模式库。 因此， 可识别模式库将逐渐丰富， 本次 不可识别的对象， 在识别失败若干次， 可识别模式库积累足够多的数据之后 将变成一个可识别的对象。
5812, 将所述关键词发送给搜索引擎， 由搜索引擎收集 AR内容。
5813 , 将搜索引擎收集到的 AR内容保存到 AR内容库。 此外， 还可以把 AR模式提供给第三方内容提供商， 由第三方内容提供商为该 AR模式提供 AR内容， 这部分的 AR内容同样也被存储到 AR内容库中。 S814, AR内容库返回一组内容给智能手机， 智能手机上的 AR设备合并 虚拟信息和真实场景， 呈现一个 AR体验给用户。
综上所述， 步骤 S804~ S814利用用户上传的不可识别的照片生成了新的 AR模式和 AR内容。 这种方法使用的时间越长， 使用的用户越多， 生成的新 AR模式和 AR内容就越丰富， AR设备的对图片的识别性能越高。 下面结合三个应用场景， 对本发明提供的实现增强现实应用的方法及设 备的有益效果进行详细说明。
应用场景一：
每天有大量游客前往天安门广场， 天安门广场附近大型目标包括天安门 城楼、 金水桥、 观礼台、 国旗杆、 人民大会堂、 正阳门、 人民英雄纪念碑、 毛主席纪念堂和国家博物馆等等， 此外， 还有一些其他的用户可能关注的目 标， 例如， 毛主席纪念堂门前的雕塑、 人民英雄纪念碑上的浮雕、 人民大会 堂的廊柱、 地铁一号线的入口以及每逢五一、 国庆日会摆放在广场上的临时 性景观等。 下面结合这个场景， 对本发明提供的实现增强现实应用的方法及 设备的有益效果进行描述。
来自杭州的小 A国庆日到北京旅游， 来到了天安门广场， 广场周围的宏 伟建筑引发了小 A的浓厚兴趣，其中小 A最感兴趣的是正阳门城楼上的牌匾， 小 A很喜欢书法， 想知道正阳门城楼上的牌匾是谁书写的。
为了解除疑问， 小 A拍摄了正阳门城楼牌匾的照片， 启动 AR设备尝试 识别， 不幸的是 AR设备没有成功的识别这个牌匾， 只是提示小 A可以添加 一些描述信息和地理位置信息， 并提示小 A过一段时间再使用 AR设备进行 识别。
AR设备把牌匾照片发送到了小 A在人人网上的好友，并留了一个问题给 好友们： 你们知道这个牌匾是谁题写的吗？ AR设备依据人人网提供的 API ( Application Programming Interface , 应用程序编程接口）把照片发送给了那 些在小 A的爱好中添加了书法项目的好友。
小 A的好友们收到照片后，纷纷对这张照片发表了评论， AR设备使用人 人网的 API获得了所有评论信息， 并经过分析得到了关键词 "牌匾"。
同时， 大量的游客聚集在天安门广场游览， 不少和小 A有着类似兴趣点 的游客， 使用相同的 AR设备尝试识别正阳门城楼牌匾， 短时间内， AR设备 接收到了大量关于正阳门城楼（地理位置） 的照片， 并且从这些用户的好友 对照片的评论中分析出了关键词 "牌匾"， 因此 AR设备将所有带有牌匾标签 (来源于用户定义标签或者好友评论） 的照片划分为一个子集， 并进行了图 像处理， 提取了这类照片的特征， 记录了地理位置信息和关键词 "牌匾"， 并 把这个特征（也就是 AR模式）保存到了可识别模式库。
AR设备向搜索引擎提供了地理位置信息和 "牌匾" 关键词， 搜索引擎检 索到了一系列的相关内容， 例如， 牌匾相关的图片， 牌匾的颜色和材质， 牌 匾何时挂到城楼上， 牌匾为何人书写等等。 同时， AR设备把照片、 地理位置 信息和关键词 "牌匾" 提供给了自己的一个第三方内容提供商， 此内容提供 商拥有老北京商户牌匾和城门楼牌匾的详细信息， 记录了牌匾书写人及其生 平。 检索到的这些内容后， 返回给 AR内容库， 并与上一步提取的 AR模式关 联起来。
第二天， 小 A带自己在北京的朋友小 D—起来到正阳门城楼下， 再次使 用 AR设备尝试识别牌匾，惊喜的发现可以成功的识别这块牌匾，并且获得了 牌匾书写人的信息及其生平。 小 A高兴地和朋友一起交流关于这块牌匾的故 事。 应用场景二：
国家博物馆经常举行文物和艺术品展览， 最近国家博物馆将推出 《佛造 像艺术展》， 该展览计划持续 3个月， 前两周为预展， 邀请部分专家和一定数 目的观众参观； 两周后开放普通观众参观。 同时， 国家博物馆使用了本发明 提供的实现增强现实应用的方法及设备， AR后台与国家博物馆的数据库和一 个内部搜索引擎相连， 进入国家博物馆时观众可以使用无线连接下载和安装 这个 AR设备， 并提示用户可以通过使用该 AR设备为改进展览提供帮助， 为 普通观众提供更多的内容。
第一批受邀请观众大多配合主办方安装了 AR设备，他们是佛造像领域的 专家， 参观展览时深感介绍文字太简单， 提供的相关信息不够丰富。 于是纷 纷拿出手机使用 AR设备对各种造型的佛造像进行拍照和评论。
专家的照片和评论很快上传到了 AR后台， AR设备依据专家评论（例如， 专家添加的标签， 专家针对佛造像的提问等）， 对照片进行了分类， 将收集到 的照片精确的划分成了一个个的子集， 并提取了 AR模式， 保存到了模式库。 同时， AR设备将这些专家的照片发送给了该专家的不能亲自前来参观展览的 朋友们， 这些专家的朋友们针对照片发表了大量的评论和提问。 AR设备收集 了这些评论和提问， 提取了关键词。
AR设备分析了专家的评论和提出的问题， 获得了一些关键词和关键问 题，之后在国家博物馆数据库中检索到了大量的相关内容，作为 AR内容和上 一步生成的 AR模式关联了起来。
2周之后， AR设备积累了足够多的 AR模式和与之相关联的 AR内容， 开放普通用户参观之后，普通用户使用 AR设备可以很轻易的识别出摄像头中 的佛造像并获得详细的朝代、 来源地、 造像名字等信息。 应用场景三：
A和 B两人通过社交图片分享网站 Instagram建立了好友关系，二人有着 共同的喜欢宠物猫的兴趣爱好， A和 B对自己家附近的流浪猫也很关心， 经 常拍摄照片进行分享， 二人都是本发明公开的 AR设备的用户。
A尝试使用自己终端上的 AR设备识别自己家附近的一只流浪猫，但由于 AR设备后台模式库中没有这只猫的 "模式" （pattern ), 识别失败。 A给这张 照片添加了一个标签 "猫叔 "， 然后提交给了 AR设备。
AR设备调用 SNS网站提供的 API, 把这张无法识别的照片发送给 SNS 好友 B, B对此照片添加了评论 "猫叔是新华社资深员工"， 那么 AR设备可 以从 B的评论中提取关键词猫叔。 假定 AR设备不可识别图片库内有大量地 理位置不同、 标签是 "猫叔" 的照片， 那么这张照片可以加入到地理位置是 A 家、 标签是 "猫叔" 的照片子集。 该子集内还包含了一些其他用户在 A家附 近拍摄上传的标签为 "猫叔" 的照片。
AR设备才艮据地理位置、用户自定义辅助信息和用户关系，找到了在 A家 这个地理位置附近关于猫的照片， 和 B家附近拍摄的关于猫的照片。 这两个 图片的地理位置信息不同， 属于不同图片集的照片， 但是这两个照片都是包 含 "猫叔" 标签， AR设备认为这两类照片是有内在联系的， 因此将这两个图 片集整合成一个子集， 使照片的分类不受地理位置的限制。
当 AR设备获取的具有内在联系（如具有相同标签）的照片达到一定数量 后， 通过特征提取， 获得了标签为 "猫叔" 的照片的图像特征， 如花紋、 颜 色等特征， 并将此图像特征作为模式， 注册到 AR设备， AR设备获得了一个 新的可识别的 AR模式。
AR设备的后台连接了第三方内容提供商， 例如某宠物医院网站， 该网站 向 AR设备提供了一些为宠物猫定制的服务信息。 通过搜索引擎， AR设备收 集到了一些很可爱的宠物猫的照片、 养猫注意事项等信息。
A或 B以后再使用 AR设备识别上述的那只猫的照片时， 由于 AR设备 中注册了那只猫的 AR模式， 因此可以识别这个目标， 并向 AR设备的用户提 供 AR内容， 如宠物医院提供的服务信息， 搜索引擎搜到的信息和 、 B对这 只猫的评论等等。
本发明实施例提供的实现增强现实应用的方法及设备， 收集用户上传的 图片及标签信息， 以及所述用户的社交网络联系人对所述图片的评论信息； 从所述评论信息中提取用于识别图片的关键词； 根据所述图片的标签信息和 关键词， 将所述图片添加到图片集； 根据所述图片集内所有图片的图像特征 和关键词， 实现对无标记物环境中随机对象的增强现实模式与增强现实内容 的自动生成。 利用所生成的增强现实模式与增强现实内容， 能够解决增强现 实应用中对无标记物环境中随机对象的识别问题。 参见图 8, 本发明实施例提供一种终端， 包括接收装置 81、 发送装置 82、 存储器 83和处理器 84。
除图 8 所示的连接方式之外， 在本发明的其它一些实施例中， 接收装置 81、 发送装置 82、 存储器 83和处理器 84还可以通过总线连接。 该总线可以 是 ISA( Industry Standard Architecture,工业标准体系结构）总线、 PCI( Peripheral Component , 夕卜部设备互连） 总线或 EISA ( Extended Industry Standard Architecture, 扩展工业标准体系结构） 总线等。 所述总线可以是一条或多条 物理线路， 当是多条物理线路时可以分为地址总线、 数据总线、 控制总线等。
处理器 84可执行如下步骤： 通过该接收装置 81收集用户上传的图片和 所述图片的标签信息； 根据所述用户在互联网的社交图谱和兴趣图谱， 通过 该发送装置 82发布所述图片和所述标签信息给所述用户的社交网络联系人， 并通过该接收装置 81获得所述社交网络联系人对所述图片的评论信息； 从所 述评论信息中提取出现频率大于第一门限值的关键词； 根据所述图片的标签 信息和所述关键词， 将所述图片添加到一图片集； 根据所述图片集内所有图 片的图像特征和所述关键词， 生成所述图片所描述对象的增强现实模式和增 强现实内容。
处理器 84执行程序的进一步详细技术方案， 可以但不限于如图 1〜图 3 所示的实施例的详细描述。
存储器 83用于存储处理器 84需要执行的程序， 进一步的， 存储器 83还 可以存储处理器 84在计算过程中产生的结果。
在本发明实施例中还提供了一种计算机存储介质， 该计算机存储介质中 存储有计算机程序，该计算机程序可执行如图 1〜图 3所示的实施例中的步骤。 需说明的是， 以上所描述的装置实施例仅仅是示意性的， 其中所述作为 部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可以分 布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部模块来 实现本实施例方案的目的。 另外， 本发明提供的装置实施例附图中， 模块之 间的连接关系表示它们之间具有通信连接， 具体可以实现为一条或多条通信 总线或信号线。 本领域普通技术人员在不付出创造性劳动的情况下， 即可以 理解并实施。
通过以上的实施方式的描述， 所属领域的技术人员可以清楚地了解到本 发明可借助软件加必需的通用硬件的方式来实现， 当然也可以通过专用硬件 包括专用集成电路、 专用 CPU、 专用存储器、 专用元器件等来实现。 一般情 况下， 凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现， 而 且， 用来实现同一功能的具体硬件结构也可以是多种多样的， 例如模拟电路、 数字电路或专用电路等。 但是， 对本发明而言更多情况下软件程序实现是更 佳的实施方式。 基于这样的理解， 本发明的技术方案本质上或者说对现有技 术做出贡献的部分可以以软件产品的形式体现出来， 该计算机软件产品存储 在可读取的存储介质中 ,如计算机的软盘， U盘、移动硬盘、只读存储器（ ROM, Read-Only Memory )、 随机存取存 4诸器 ( RAM, Random Access Memory )、 磁 碟或者光盘等， 包括若干指令用以使得一台计算机设备（可以是个人计算机， 服务器， 或者网络设备等）执行本发明各个实施例所述的方法。
以上所述， 仅为本发明的具体实施方式， 但本发明的保护范围并不局限 于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易 想到变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护 范围应以所述权利要求的保护范围为准。

Claims

权 利 要求 书
1、 一种实现增强现实应用的方法， 其特征在于， 包括：
收集用户上传的图片和所述图片的标签信息；
根据所述用户在互联网的社交图谱和兴趣图谱， 发布所述图片和所述标签 信息给所述用户的社交网络联系人， 获得所述社交网络联系人对所述图片的评 论信息；
从所述评论信息中提取出现频率大于第一门限值的关键词；
根据所述图片的标签信息和所述关键词， 将所述图片添加到一图片集； 根据所述图片集内所有图片的图像特征和所述关键词， 生成所述图片所描 述对象的增强现实模式和增强现实内容。
2、 如权利要求 1所述的实现增强现实应用的方法， 其特征在于， 所述标签 信息包括所述图片所描述对象的地理位置信息；
则所述根据所述图片的标签信息和所述关键词， 将所述图片添加到一图片 集， 包括：
根据所述图片所描述对象的地理位置信息， 将所述图片添加到图片库中， 所述图片库内的图片所描述对象具有相同的地理位置信息， 所述图片库内包含 有至少一个图片集；
根据所述关键词， 将所述图片添加到所述图片库的一图片集中， 所述图片 集内的图片具有相同的关键词。
3、 如权利要求 1或 2所述的实现增强现实应用的方法， 其特征在于， 所述 根据所述图片集内所有图片的图像特征和所述关键词， 生成所述图片所描述对 象的增强现实模式和增强现实内容， 包括：
从所述图片集内所有图片中提取图像特征， 根据所述图像特征确定共有图 像特征； 所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的 图像特征；
结合所述共有图像特征和所述关键词， 生成所述图片所描述对象的增强现 实模式， 并添加到可识别模式库中；
根据所述关键词， 从搜索引擎或者第三方内容提供商获得所述图片所描述 对象的增强现实内容；
建立所述增强现实内容与所述增强现实模式的关联关系， 并将所述增强现 实内容添加到增强现实内容库。
4、 如权利要求 3所述的实现增强现实应用的方法， 其特征在于， 在生成图 片所描述对象的增强现实模式和增强现实内容之后， 还包括：
接收用户发送的增强现实应用服务请求消息， 所述增强现实应用服务请求 消息包含待识别的图片和所述图片的标签信息；
根据所述待识别的图片的图像特征和 /或所述标签信息， 从所述可识别模式 库中搜索所述待识别的图片所描述对象的增强现实模式；
若搜索到所述待识别的图片所描述对象的增强现实模式， 根据所述增强现 实模式从增强现实内容库中获取相关联的增强现实内容， 将所述增强现实内容 发送给所述用户；
若搜索不到相关的增强现实模式， 将所述待识别的图片标记为不可识别的 图片。
5、 如权利要求 4所述的实现增强现实应用的方法， 其特征在于， 在所述收 集用户上传的图片和所述图片的标签信息的步骤中， 所收集的图片是用户上传 的被标记为不可识别的图片。
6、 一种实现增强现实应用的设备， 包括：
图片收集单元， 用于收集用户上传的图片和所述图片的标签信息； 评论获取单元， 用于根据所述用户在互联网的社交图谱和兴趣图谱， 发布 所述图片和所述标签信息给所述用户的社交网络联系人， 获得所述社交网络联 系人对所述图片的评论信息；
关键词获取单元， 用于从所述评论信息中提取出现频率大于第一门限值的 关键词； 图片归类单元， 用于根据所述图片的标签信息和所述关键词， 将所述图片 添加到一图片集； 和，
增强现实处理单元， 用于根据所述图片集内所有图片的图像特征和所述关 键词， 生成所述图片所描述对象的增强现实模式和增强现实内容。
7、 如权利要求 6所述的实现增强现实应用的设备， 其特征在于， 所述标签 信息包括所述图片所描述对象的地理位置信息； 所述图片归类单元包括：
第一归类子单元， 用于根据所述图片所描述对象的地理位置信息， 将所述 图片添加到图片库中， 所述图片库内的图片所描述对象具有相同的地理位置信 息， 所述图片库内包含有至少一个图片集； 和，
第二归类子单元， 用于根据所述关键词， 将所述图片添加到所述图片库的 一图片集中， 所述图片集内的图片具有相同的关键词。
8、 如权利要求 6或 7所述的实现增强现实应用的设备， 其特征在于， 所述 增强现实处理单元包括：
图像优选子单元， 用于从所述图片集内所有图片中提取图像特征， 根据所 述图像特征确定共有图像特征； 所述共有图像特征是指所述图片集内超过第一 百分比的图片都具有的图像特征；
增强现实模式生成子单元， 用于结合所述共有图像特征和所述关键词， 生 成所述图片所描述对象的增强现实模式， 并添加到可识别模式库中；
增强现实内容获取子单元， 用于根据所述关键词， 从搜索引擎或者第三方 内容提供商获得所述图片所描述对象的增强现实内容； 和，
增强现实内容存储子单元， 用于建立所述增强现实内容与所述增强现实模 式的关联关系， 并将所述增强现实内容添加到增强现实内容库。
9、 如权利要求 8所述的实现增强现实应用的设备， 其特征在于， 所述设备 还包括：
请求接收单元， 用于接收用户发送的增强现实应用服务请求消息， 所述增 强现实应用服务请求消息包含待识别的图片和所述图片的标签信息； 增强现实模式匹配单元， 用于根据所述待识别的图片的图像特征和 /或所述 标签信息， 从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现 实模式；
增强现实内容提供单元， 用于若搜索到所述待识别的图片所描述对象的增 强现实模式， 根据所述增强现实模式从增强现实内容库中获取相关联的增强现 实内容， 将所述增强现实内容发送给所述用户； 和，
图片标记单元， 用于若搜索不到相关的增强现实模式， 将所述待识别的图 片标记为不可识别的图片。
10、 如权利要求 9 所述的实现增强现实应用的设备， 其特征在于， 所述图 片收集单元所收集的图片是用户上传的被标记为不可识别的图片。
PCT/CN2013/085080 2012-12-13 2013-10-12 实现增强现实应用的方法及设备 WO2014090034A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13861576.0A EP2851811B1 (en) 2012-12-13 2013-10-12 Method and device for achieving augmented reality application
US14/575,549 US20150103097A1 (en) 2012-12-13 2014-12-18 Method and Device for Implementing Augmented Reality Application

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210539054.6A CN103870485B (zh) 2012-12-13 2012-12-13 实现增强现实应用的方法及设备
CN201210539054.6 2012-12-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/575,549 Continuation US20150103097A1 (en) 2012-12-13 2014-12-18 Method and Device for Implementing Augmented Reality Application

Publications (1)

Publication Number Publication Date
WO2014090034A1 true WO2014090034A1 (zh) 2014-06-19

Family

ID=50909028

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/085080 WO2014090034A1 (zh) 2012-12-13 2013-10-12 实现增强现实应用的方法及设备

Country Status (4)

Country Link
US (1) US20150103097A1 (zh)
EP (1) EP2851811B1 (zh)
CN (1) CN103870485B (zh)
WO (1) WO2014090034A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280561A1 (en) * 2013-03-15 2014-09-18 Fujifilm North America Corporation System and method of distributed event based digital image collection, organization and sharing
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US9697235B2 (en) * 2014-07-16 2017-07-04 Verizon Patent And Licensing Inc. On device image keyword identification and content overlay
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US10242047B2 (en) * 2014-11-19 2019-03-26 Facebook, Inc. Systems, methods, and apparatuses for performing search queries
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US10335677B2 (en) * 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
CN105989623B (zh) * 2015-02-12 2019-01-11 上海交通大学 基于手持移动设备的增强现实应用的实现方法
CN104615769B (zh) * 2015-02-15 2018-10-19 小米科技有限责任公司 图片分类方法及装置
KR102662169B1 (ko) 2015-03-18 2024-05-03 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US10354425B2 (en) * 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
CN106896732B (zh) * 2015-12-18 2020-02-04 美的集团股份有限公司 家用电器的展示方法和装置
US10068376B2 (en) * 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
CN107305571A (zh) * 2016-04-22 2017-10-31 中兴通讯股份有限公司 提供导游信息的方法及装置、获取导游信息的方法及装置
CN106648499A (zh) * 2016-11-01 2017-05-10 深圳市幻实科技有限公司 一种增强现实地球仪的呈现的方法、装置及系统
CN108108012B (zh) * 2016-11-25 2019-12-06 腾讯科技（深圳）有限公司 信息交互方法和装置
US11030440B2 (en) 2016-12-30 2021-06-08 Facebook, Inc. Systems and methods for providing augmented reality overlays
US20180197223A1 (en) * 2017-01-06 2018-07-12 Dragon-Click Corp. System and method of image-based product identification
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
CN107221346B (zh) * 2017-05-25 2019-09-03 亮风台（上海）信息科技有限公司 一种用于确定ar视频的识别图片的方法与设备
CN110089076B (zh) * 2017-11-22 2021-04-09 腾讯科技（深圳）有限公司 实现信息互动的方法和装置
US10891526B2 (en) * 2017-12-22 2021-01-12 Google Llc Functional image archiving
CN109062523B (zh) * 2018-06-14 2021-09-24 北京三快在线科技有限公司 增强现实数据的展示方法、装置、电子设备及存储介质
US20180345129A1 (en) * 2018-07-27 2018-12-06 Yogesh Rathod Display virtual objects within predefined geofence or receiving of unique code from closest beacon
CN110046313B (zh) * 2019-02-19 2023-09-22 创新先进技术有限公司 信息分享的方法、客户端和服务器
CN110674081A (zh) * 2019-09-23 2020-01-10 地域电脑有限公司 一种学生成长档案的管理方法、计算机装置和计算机可读存储介质
CN110989840B (zh) * 2019-12-03 2023-07-25 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN111090817A (zh) * 2019-12-20 2020-05-01 掌阅科技股份有限公司 书籍扩展信息的展示方法、电子设备及计算机存储介质
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101652769A (zh) * 2007-04-09 2010-02-17 微软公司 内容评论和货币化
CN102385579A (zh) * 2010-08-30 2012-03-21 腾讯科技（深圳）有限公司 互联网信息分类方法和系统
US20120179751A1 (en) * 2011-01-06 2012-07-12 International Business Machines Corporation Computer system and method for sentiment-based recommendations of discussion topics in social media

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2364590B (en) * 2000-07-07 2004-06-02 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US7702821B2 (en) * 2005-09-15 2010-04-20 Eye-Fi, Inc. Content-aware digital media storage device and methods of using the same
US20080189336A1 (en) * 2007-02-05 2008-08-07 Namemedia, Inc. Creating and managing digital media content using contacts and relational information
KR101722550B1 (ko) * 2010-07-23 2017-04-03 삼성전자주식회사 휴대용 단말에서 증강현실 컨텐츠 제작과 재생 방법 및 장치
CN102194007B (zh) * 2011-05-31 2014-12-10 中国电信股份有限公司 获取移动增强现实信息的系统和方法
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
US8934661B2 (en) * 2011-12-09 2015-01-13 Facebook, Inc. Automatic photo album creation based on social information
US8867841B2 (en) * 2012-08-08 2014-10-21 Google Inc. Intelligent cropping of images based on multiple interacting variables
US20140078174A1 (en) * 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101652769A (zh) * 2007-04-09 2010-02-17 微软公司 内容评论和货币化
CN102385579A (zh) * 2010-08-30 2012-03-21 腾讯科技（深圳）有限公司 互联网信息分类方法和系统
US20120179751A1 (en) * 2011-01-06 2012-07-12 International Business Machines Corporation Computer system and method for sentiment-based recommendations of discussion topics in social media

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2851811A4 *

Also Published As

Publication number Publication date
CN103870485B (zh) 2017-04-26
CN103870485A (zh) 2014-06-18
EP2851811B1 (en) 2019-03-13
EP2851811A1 (en) 2015-03-25
EP2851811A4 (en) 2015-07-29
US20150103097A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
WO2014090034A1 (zh) 实现增强现实应用的方法及设备
JP6784308B2 (ja) 施設特性を更新するプログラム、施設をプロファイリングするプログラム、コンピュータ・システム、及び施設特性を更新する方法
US11250887B2 (en) Routing messages by message parameter
US11182609B2 (en) Method and apparatus for recognition and matching of objects depicted in images
Deng et al. Different cultures, different photos: A comparison of Shanghai's pictorial destination image between East and West
US9727565B2 (en) Photo and video search
CN107251006B (zh) 具有共享兴趣的消息的图库
US9418482B1 (en) Discovering visited travel destinations from a set of digital images
CN105612514B (zh) 通过将语境线索与图像关联进行图像分类的系统和方法
Jain et al. Content without context is meaningless
TWI501172B (zh) 依據影像以於社群網站發佈訊息的系統、方法及其記錄媒體
US20140019264A1 (en) Framework for product promotion and advertising using social networking services
US20130101220A1 (en) Preferred images from captured video sequence
JP2011521489A (ja) 近接検出に基づいてメディアを拡張するための方法、システム、コンピュータプログラム、および装置
CN113366489A (zh) 检测增强现实目标
US20170091628A1 (en) Technologies for automated context-aware media curation
US9875512B2 (en) Photo and video sharing
Liu et al. Enriching the GIScience research agenda: Fusing augmented reality and location‐based social networks
US10600060B1 (en) Predictive analytics from visual data
KR101715708B1 (ko) 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법
KR101523349B1 (ko) 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템
Saini et al. Towards storytelling by extracting social information from OSN photo's metadata
Shin et al. Enriching natural monument with user-generated mobile augmented reality mashup
Flinn et al. Raising awareness: an examination of embedded GPS data in images posted to the social networking site twitter
KR20230096805A (ko) 인공지능 기반 지오태깅을 이용한 메타버스 라이프로깅 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13861576

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013861576

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE