WO2021092935A1 - 基于图像数据的消息推送方法、设备及计算机存储介质 - Google Patents

基于图像数据的消息推送方法、设备及计算机存储介质 Download PDF

Info

Publication number
WO2021092935A1
WO2021092935A1 PCT/CN2019/118913 CN2019118913W WO2021092935A1 WO 2021092935 A1 WO2021092935 A1 WO 2021092935A1 CN 2019118913 W CN2019118913 W CN 2019118913W WO 2021092935 A1 WO2021092935 A1 WO 2021092935A1
Authority
WO
WIPO (PCT)
Prior art keywords
current
scene information
image data
push
target image
Prior art date
Application number
PCT/CN2019/118913
Other languages
English (en)
French (fr)
Inventor
艾静雅
柳彤
朱大卫
汤慧秀
Original Assignee
深圳海付移通科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳海付移通科技有限公司 filed Critical 深圳海付移通科技有限公司
Priority to PCT/CN2019/118913 priority Critical patent/WO2021092935A1/zh
Priority to CN201980010277.3A priority patent/CN111684441A/zh
Publication of WO2021092935A1 publication Critical patent/WO2021092935A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Definitions

  • This application relates to the field of data processing technology, in particular to a method, equipment and computer storage medium for message push based on image data.
  • the main technical problem to be solved by the application is to provide a message push method, equipment and computer storage medium based on image data, which can provide users with personalized message push and improve the accuracy of message push.
  • a technical solution adopted in this application is to provide a message push method based on image data.
  • the method includes: acquiring current scene information; based on the current scene information, from a pre-established mapping data table , Obtain the target image data class that matches the current scene information; Among them, the mapping data table is established by classifying the images in the image database according to the preset label and associating the scene information; According to the label of the target image data class, perform News push.
  • another technical solution adopted in this application is to provide a computer storage medium for storing program data, which is used to implement the above method when the program data is executed by a processor.
  • this application acquires the current scene information and based on the current scene information from a pre-established mapping data table to obtain a target image that matches the current scene information
  • the message push is carried out according to the label of the target image data category. Since the mapping data table is established by classifying the images in the image database according to the preset label and associating the scene information, the pushed message is not only the same as the current one.
  • the scene information is correlated, and based on historical images and scene information, so that the pushed messages are based on the user's past behaviors and meet the needs of the current scene, that is, the pushed messages are personalized and practical, so they can Provide users with personalized message push to improve the accuracy of message push.
  • FIG. 1 is a schematic flowchart of a first embodiment of a message push method based on image data provided by the present application
  • FIG. 2 is a schematic flowchart of a second embodiment of a message push method based on image data provided by the present application
  • FIG. 3 is another schematic flowchart of the second embodiment of the image data-based message pushing method provided by the present application.
  • FIG. 4 is a schematic flowchart of a third embodiment of a method for pushing messages based on image data provided by the present application
  • FIG. 5 is a schematic flowchart of a fourth embodiment of a method for pushing messages based on image data provided by the present application
  • FIG. 6 is a schematic structural diagram of an embodiment of a terminal device provided by the present application.
  • Fig. 7 is a schematic diagram of an embodiment of a computer storage medium provided by the present application.
  • first”, “second”, and “third” in the embodiments of the present application are only used for descriptive purposes, and cannot be understood as indicating or implying relative importance or implicitly indicating the number of indicated technical features. Thus, the features defined with “first”, “second”, and “third” may explicitly or implicitly include at least one of the features. In the description of this application, “multiple” means at least two, such as two, three, etc., unless otherwise specifically defined. In addition, the terms “including” and “having” and any variations of them are intended to cover non-exclusive inclusions.
  • a process, method, system, product, or device that includes a series of steps or units is not limited to the listed steps or units, but optionally includes unlisted steps or units, or optionally also includes Other steps or units inherent to these processes, methods, products or equipment.
  • FIG. 1 is a schematic flowchart of a first embodiment of a message pushing method based on image data provided by the present application.
  • the image data-based message push method 100 of this embodiment includes the following steps:
  • the current scene information can be acquired through various sensors on the terminal device, or through a network channel in a networked state, or information input by the user can be acquired as the scene information.
  • a preset frequency can be set to obtain current scene information, and the current scene information can reflect real-time scene changes.
  • S140 Based on the current scene information, obtain a target image data class matching the current scene information from a pre-established mapping data table.
  • mapping data table is established by classifying the images in the image database and associating scene information according to preset tags.
  • the images in the image database are classified, they are associated with the scene information of the images, so that a mapping data table with corresponding relationships can be obtained.
  • photos, paintings, clip art, maps, calligraphy, handwritten sinology, faxes, satellite cloud images, film and television pictures, X-rays, electroencephalograms, electrocardiograms, etc. in the image database are all images.
  • the mapping data established by classifying the images in the image database according to preset tags and associating (image) scene information The table can reflect the personal characteristics of the user's photo shooting style, hobbies, living habits, and the scene at the time.
  • the target image data class obtained by this method is not only related to the current scene information, but also based on the historical image and its scene information, so it meets the real-time scene changes and the user's individual needs at the same time.
  • tags of the target image data category obtain the user's interesting and useful news, and push the news.
  • the label of the target image data category corresponds to the preset label for classifying the image, and the label can reflect various information contained in the image.
  • the image data-based message push method 100 obtains the current scene information, and based on the current scene information, from a pre-established mapping data table, obtains the target image data class that matches the current scene information , So as to push the message according to the label of the target image data category. Since the mapping data table is established by classifying the images in the image database according to the preset label and correlating the scene information, the pushed message is not only related to the current scene information. Correlation, and based on historical images and scene information at the same time, so that the pushed messages are based on the user's past behavior and meet the needs of the current scene, that is, the pushed messages are personalized and practical, so they can be used for users Provide personalized message push to improve the accuracy of message push.
  • S120 before S120: acquiring current scene information, it may further include:
  • Obtaining the authority to perform message push that is, acquiring the authority of the user (or device) to enable the message push function.
  • the method of obtaining the permission to push messages may include:
  • the application can prompt the user to enable the message push function through a pop-up window or voice, and the user can confirm that the message push function is enabled by tapping the screen, voice control, or gesture control.
  • the system enables the message push function by default, and at the same time that the message is pushed for the first time, the user is asked if they agree to continue pushing in the future.
  • FIG. 2 is a schematic flowchart of a second embodiment of a message push method based on image data provided by the present application.
  • FIG. 3 is a schematic diagram of another flow in the second embodiment of the image data-based message pushing method provided by the present application.
  • the second embodiment of the image data-based message push method 100 of this application is based on the first embodiment of the image data-based message push method 100 of this application. Therefore, the same steps in this embodiment and the first embodiment will not be described again, you can refer to Description in the first embodiment.
  • the method 100 for pushing messages based on image data further includes:
  • S220 Acquire multiple images in the image database.
  • step S220 multiple images in the image database and the scene information of each image can also be acquired at the same time.
  • S240 Classify the images in the image database according to preset tags.
  • the images in the image database may be classified according to preset tags and scene information of each image.
  • S260 Acquire scene information of each image.
  • the scene information of each image may be, for example, information such as the time, location, and gyroscope when the image was taken, viewed, or downloaded.
  • step S260 can also be executed before step S240.
  • S280 Establish a mapping table according to the classification of multiple images and corresponding scene information.
  • step S240 classifying the images in the image database according to preset tags, which may include:
  • the deep learning network is obtained by supervised learning training based on images with pre-established corresponding relationships and preset labels.
  • the preset tags are, for example, information related to "people” in the segmented image, including: single, multi-person, selfie, happy, sad, etc.; related information about "travel” in the segmented image, Including: seaside, grassland, desert, etc.; related information about "objects” in the segmented image, including: apples, pears, cars, planes, trains, etc.
  • each image is input to a trained deep learning network to output a corresponding label.
  • the main methods are deep learning and image semantic segmentation.
  • Deep learning is a branch of machine learning. It mainly refers to deep neural network algorithms. Deep neural networks have more levels than ordinary neural networks and can better capture the deep-level relationships in data. The resulting model is more accurate and is mainly used for features Learn. Through a large number of pre-input images and preset segmentation tags, after deep learning training, the input images can be automatically and quickly segmented into corresponding semantic information, that is, the tags corresponding to each image are output.
  • S242 Analyze the images in the image database according to the output corresponding tags, and classify and generate a data list.
  • step S243 may include: analyzing the images in the image database according to the output corresponding tags and scene information of each image, and classifying and generating a data list.
  • the images in the image database are classified, and the data list is generated by classification, and the corresponding tags obtained by AI automatic detection and image semantic segmentation are mainly used, and the scene information of each image can be combined.
  • corresponding tags (which can also be combined with the scene information contained in the image, such as time information, location information, gyroscope, etc.), analyze the images in the image database, and generate a data list corresponding to the classification.
  • Table 1 shows part of the classification:
  • step S280 establishing a mapping table according to the classification of multiple images and corresponding scene information, which may include:
  • S281 Perform data link based on the data list and the corresponding scene information.
  • the time information contained in the image is combined to establish a time data link; or the information contained in the image is combined to establish a location data link.
  • mapping data table can be obtained after internal processing.
  • obtaining current scene information includes: obtaining current time information.
  • the target image data class that matches the current time information is obtained from the pre-established mapping data table.
  • the current time information obtained is "April 19, 2019”.
  • the target image data class obtained from the preset mapping data table may be the associated time in the image database
  • the scene information is the target image data category of "April 19, 2018-April 23, 2018", and the tags of multiple images in the target image data category are obtained.
  • a certain associated scene information is "April 2018 If the label of the image on the 22nd is "birthday", etc., you can send a reminder to the user and attach the image at the same time. If the owner of the birthday is the user himself, it can bring memories to the user; if the birthday is someone else, the user can be reminded that the birthday is coming soon, so as not to miss the birthday of an important person.
  • the current time information obtained is "April 19, 2019”.
  • the target image data class obtained from the preset mapping data table may be the associated time in the image database
  • the scene information is the target image data class of "April 19, 2018”
  • the labels of multiple images in the target image data class are obtained, among which a certain associated scene information is the label of the image of "April 19, 2018”
  • acquiring current scene information includes: acquiring current location information.
  • the target image data type obtained from the preset mapping data table may be:
  • the associated location scene information in the database is the target image data class of "Beijing”, and the labels of multiple images in the target image data class are obtained.
  • the label of a certain image can be "tourism", “Great Wall”, etc., then you can give The user sends precautions for travel to the Great Wall in Beijing, the suitability of the weather and temperature, etc., and attaches the image. Allow users to recall the people and scenes that have traveled together, and provide users with more meticulous and warm services.
  • the target image data class obtained from the preset mapping data table can be the target image data class with the associated location scene information of "tourism" and "Beijing" in the image database, and obtain multiple images in the target image data class
  • the tags of some images can be "Great Wall”, “Forbidden City”, etc., and you can send user introductions to attractions other than "Great Wall”, “Forbidden City”, etc., allowing users to explore more tourist attractions that they haven't been to .
  • obtaining current scene information includes: obtaining current environmental parameter information.
  • the target image data class that matches the current environmental parameter information is obtained from the pre-established mapping data table.
  • the current environmental parameter information may be weather, temperature, voice information, and so on.
  • the current environmental parameter information is obtained as the user's voice information, and the semantic analysis obtains "I want to sing."
  • the target image data type obtained from the preset mapping data table It can be the target image data category corresponding to the category of "entertainment" in the image database, and other tags of multiple images in the target image data category are obtained. Among them, the tag of a certain image is "singing", etc., then it can be sent to the user The nearby KTV shop is also attached with the image.
  • the target image data class obtained from the preset mapping data table may be the target image data corresponding to the category "weather” in the image database Category, and obtain other tags of multiple images in the target image data category, where the tag of a certain image is "snow", etc., then the user can be sent to the user the precautions for a snowy day and attach the image at the same time.
  • acquiring current scene information may also include:
  • the current image refers to an image stored in a local image library at a preset time and/or an image cached on the network.
  • the target image data class obtained from the preset mapping data table may be the target image data class corresponding to the category "weather” in the image database, and other tags of multiple images in the target image data class are obtained, where, If the label of an image is "snow", etc., you can send the user notices for snowy days and attach the image at the same time.
  • acquiring current scene information may also include acquiring at least two of current time information, current location information, current environmental parameter information, and current image as current scene information.
  • a target image data class matching the current environmental parameter information is obtained from a pre-established mapping data table.
  • the target image data type obtained from the preset mapping data table can be the one with the associated scene information in the image database as "Beijing" and "Tourism".
  • Target image data category and obtain the labels of multiple images in the target image data category. Among them, some of the image labels can be "Great Wall”, “Forbidden City”, etc., and you can send users other than "Great Wall”, “Forbidden City”, etc.
  • the introduction of scenic spots suitable for snowy days allows users to explore more tourist spots that have not been visited and meet the weather conditions.
  • step S220: acquiring multiple images in the image database may include:
  • the system may prompt the user whether to choose to open the application to read the local image library and/or read online records through a pop-up window or voice.
  • the user can confirm the permission of the application to read the local image library and/or the permission to read online records by tapping the screen, voice control or gesture control, etc., and then obtain the permission and/or access to the local image library
  • the permission to record online so that multiple images in the image database and the scene information of each image can be obtained, and a mapping table can be established.
  • the system can default to enable access to the local image library and/or access to online records.
  • FIG. 4 is a schematic flowchart of a third embodiment of a message pushing method based on image data provided by the present application.
  • the third embodiment of the image data-based message push method 100 of this application is based on any of the above-mentioned embodiments of the image data-based message push method 100 of this application. Therefore, the same steps in this embodiment and the first embodiment will not be repeated. Refer to the description in the above embodiment.
  • step S160: performing message push according to the tag of the target image data category includes:
  • one or more of all tags with the highest correlation with the current scene information can be extracted as keywords. For example, when the current scene information is time information, the tags related to "birthday” and “anniversary” can be extracted as keywords; when the current scene information is location information, the tags related to "tourism” and “weather” can be extracted as keywords. "And so on are extracted as keywords.
  • the keywords can be expanded into a language scene, and the scene configuration text can be performed to form a set of personalized push information.
  • auxiliary information can be combined with relevant images in the image database to finally generate push content.
  • the current time information is “April 19, 2019”.
  • the target image data class obtained from the preset mapping data table can be Yes
  • the associated scene information in the image database is time information and specifically is the target image data category of "April 19, 2018-April 23, 2018”
  • tags of multiple images in the target image data category are obtained.
  • the tags of the target image category include tags such as "birthday” and "person”, the tags of "birthday” and "person” can be extracted as keywords.
  • the owner of the birthday is identified as the user, it can be The user pushes the corresponding image and attaches the voice or text message such as "Happy birthday to you, and may you be happy every day” to bring memories and good wishes to the user; if the owner of the birthday is a family member, it can be pushed for the user
  • the corresponding image is accompanied by a voice or text message such as "Your family’s birthday is coming soon, don’t forget to send blessings” and other voice or text messages to remind users that other people’s birthdays are coming soon, so as not to forget the birthdays of important people.
  • the current location information (or the label corresponding to the current image) is acquired as a landmark ancient building.
  • the target image data class acquired from the preset mapping data table may be,
  • the associated scene information is the target image data category with the location information and the categories are "tourism" and "building”, and the tags of multiple images in the target image data category are obtained.
  • tag content including design style, designer, etc. as keywords, it can be pushed to users of ancient buildings of the same type or the same period in different countries, and at the same time, users can be pushed to the user's explanations and differences of these ancient buildings. You can also push similar works of the same architect, such as Spanish designer Antonio Gaudi. If a user travels to Spain and takes an image of a building designed by Gaudi, he can push it to the user, other local Gaudi works, and provide instructions. , Can guide users to browse, visit, etc.
  • FIG. 5 is a schematic flowchart of a fourth embodiment of a method for pushing a message based on image data provided by the present application.
  • the current message push strategy includes: at least one of a push cycle, a push frequency, a push scenario, and a push tag.
  • the method of obtaining the current message push strategy of the client may be: the message push strategy selected or edited by the user is used as the message push strategy.
  • the push cycle is, for example, three days, five days, seven days, or one month; the push frequency is, for example, 10 times a month or 20 times a quarter, etc.; the push scenario is for example only when you leave your place of residence, or at 8:00 a.m. every day -Push at 10:00 to facilitate travel arrangements, etc.; push the label such as "happy" to avoid causing bad memories.
  • the way to obtain the current message push strategy of the client may also be: use the default message push strategy as the message push strategy.
  • the push cycle is, for example, every day
  • the push frequency is, for example, once or twice a day
  • the push scene is, for example, all scenes
  • the push tag is, for example, to exclude "sadness”.
  • step S110 may be after S120 and before S140, or step S110 may be after S140 and before S160. As long as the current message push strategy of the client is obtained before the message push is performed.
  • S150 Determine whether the pushing condition is reached according to the current message pushing strategy.
  • the push cycle is three days, for example, the push scenario is to leave the place of residence for push, and push is carried out from 8:00 to 10:00 in the morning, according to the current location information After getting the information that the user has left the city where he lives to go to another place, he will push a message for the user every three days and between 8:00-10:00 in the morning.
  • perform S160 perform a message push step according to the tag of the target image data category.
  • FIG. 6 is a schematic structural diagram of an embodiment of a terminal device provided by the present application.
  • the terminal device 200 includes a processor 210 and a memory 220 electrically connected to the processor 210.
  • the memory 220 is used to store program data
  • the processor 210 is used to execute the program data to implement the following methods:
  • the mapping data table is based on the preset tags in the image database
  • the images are classified and associated with the scene information established; according to the label of the target image data category, the message is pushed.
  • the program data executed by the processor 210 is also used to implement the following methods: obtain multiple images in the image database; classify the images in the image database according to preset tags; obtain scene information of each image; The classification of multiple images and corresponding scene information establishes a mapping table.
  • the program data executed by the processor 210 is also used to implement the following method: classify the images in the image database according to preset labels, including inputting each image to a trained deep learning network to output a corresponding label ; Among them, the deep learning network is based on the pre-established corresponding relationship between the image and the preset label for supervised learning training; according to the output corresponding label to analyze the image in the image database, classify and generate a data list.
  • the program data executed by the processor 210 is also used to implement the following method: input each image to a trained deep learning network to output a corresponding label; establish a mapping based on the classification of multiple images and corresponding scene information Table: Based on the data list, combined with the corresponding scene information, perform data link; according to the data list and data link, establish a mapping data table.
  • the processor 210 executing the program data is also used to implement the following method: acquiring current scene information, including: acquiring current time information; based on the current scene information, from a pre-established mapping data table, acquiring the current
  • the target image data class matching the scene information includes: obtaining the target image data class matching the current time information from a pre-established mapping data table based on the current time information.
  • the processor 210 executing the program data is also used to implement the following method: acquiring current scene information, including: acquiring current location information; based on the current scene information, from a pre-established mapping data table, acquiring the current
  • the target image data class matching the scene information includes: obtaining the target image data class matching the current position information from a pre-established mapping data table based on the current position information.
  • the processor 210 executing the program data is also used to implement the following method: acquiring current scene information, including: acquiring current environment parameter information; based on the current scene information, from a pre-established mapping data table, acquiring the current
  • the target image data class that matches the scene information includes: obtaining the target image data class that matches the current environmental parameter information from a pre-established mapping data table based on the current environmental parameter information.
  • the program data executed by the processor 210 is also used to implement the following method: push message according to the tags of the target image data category, including: extracting keywords after analyzing the tags of the target image data category; expanding keywords Get the push message and push the message.
  • the program data executed by the processor 210 is also used to implement the following method: acquiring multiple images in an image database includes acquiring multiple images in a local image library of the client and/or multiple images cached on the network.
  • the program data executed by the processor 210 is also used to implement the following method: before acquiring multiple images in the client's local image library and/or multiple images cached on the network, the method further includes: acquiring and reading the local image library Permission and/or permission to read Internet records.
  • the execution of the program data by the processor 210 is also used to implement the following method: before acquiring the current scene information, the method further includes: acquiring the permission to push messages.
  • the program data executed by the processor 210 is also used to implement the following method: acquiring the authority to perform message push includes: acquiring a notification that the user enables the message push function, or acquiring a notification that the message push function is enabled by default.
  • the processor 210 executing the program data is also used to implement the following method: before performing message push according to the tag of the target image data class, the method includes: obtaining the current message push strategy of the client; wherein, the current message push strategy includes: At least one of push cycle, push frequency, push scenario, and push tag.
  • the program data executed by the processor 210 is also used to implement the following method: obtaining the current message push strategy of the client, including: using the message pushing strategy selected or edited by the user as the message pushing strategy, or using the default message pushing strategy as the message pushing strategy.
  • Message push strategy obtaining the current message push strategy of the client, including: using the message pushing strategy selected or edited by the user as the message pushing strategy, or using the default message pushing strategy as the message pushing strategy.
  • the processor 210 executing the program data is also used to implement the following method: before pushing the message according to the tag of the target image data category, the method includes: judging whether the pushing condition is reached according to the current message pushing strategy; if so, executing according to The label of the target image data class, the step of pushing the message.
  • the execution of the program data by the processor 210 is also used to implement the following method: if not, then return to continue the step of obtaining current scene information.
  • the program data executed by the processor 210 is also used to implement the following method: acquiring current scene information, including: acquiring at least two of current time information, current location information, current environmental parameters, and current images As the current scene information.
  • the program data executed by the processor 210 is also used to implement the following method: acquiring current scene information includes: acquiring current images; inputting each current image to a trained deep learning network to output a corresponding label as Current scene information; where, the current image refers to an image stored in a local image library at a preset time and/or an image cached on the network.
  • the terminal device 200 may specifically be a mobile phone, a computer, a server, etc., or may be a wearable device.
  • the wearable device 100 may specifically be a smart watch, smart glasses, smart bracelet, clothing, etc.
  • FIG. 7 is a schematic diagram of an embodiment of a computer storage medium provided by the present application.
  • the computer storage medium 300 is used to store program data 310.
  • the program data 310 is executed by the processor, it is used to implement the following method: obtain current scene information; based on the current scene information, from a pre-established mapping In the data table, obtain the target image data class that matches the current scene information; among them, the mapping data table is established by classifying the images in the image database according to preset tags and associating the scene information; according to the target image data class To push messages.
  • computing storage medium 300 in this embodiment can be applied to the above-mentioned terminal device 200, and the specific implementation steps can be referred to the above-mentioned embodiment, which is not repeated here.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of this embodiment.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the integrated unit in the other embodiments described above is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the technical solution of the present application essentially or the part that contributes to the existing technology or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , Including several instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) or a processor execute all or part of the steps of the methods in the various embodiments of the present application.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disks or optical disks and other media that can store program codes. .
  • This application obtains the current scene information, and based on the current scene information, from the pre-established mapping data table, obtains the target image data class that matches the current scene information, so as to push the message according to the label of the target image data class
  • the mapping data table is established by classifying the images in the image database according to preset tags and associating scene information
  • the pushed messages are not only associated with the current scene information, but also based on historical images and scene information.
  • the pushed messages are based on the user's past behaviors and meet the needs of the current scenario, that is, the pushed messages are personalized and practical, so it can provide users with personalized message pushes and improve the accuracy of message pushes .

Abstract

本申请公开了基于图像数据的消息推送方法、设备及计算机存储介质，该基于图像数据的消息推送方法，包括：获取当前的场景信息；基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类；其中，映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的；根据目标图像数据类的标签，进行消息推送。通过该方法，能够为用户提供个性化的消息推送，提高消息推送的准确性。

Description

基于图像数据的消息推送方法、设备及计算机存储介质 【技术领域】
本申请涉及数据处理技术领域，特别是涉及基于图像数据的消息推送方法、设备及计算机存储介质。
【背景技术】
随着互联网技术的快速发展，现在社会真正变成了信息化时代，互联网能够存储海量的信息，给人们的工作和生活带来了极大的方便。为了更好的利用互联网，方便用户在互联网的海量信息中快速查找自己想要的信息，相关技术中逐步发展了对基于图像数据的消息推送方法的研究。
但是，相关技术中所涉及的消息推送大多是固定信息推送，例如在特定节日推送节日介绍，发生重大新闻的时候推送时事热点信息，到达新的城市时，发送简单的地点信息(例如检测到用户到达深圳时，发送“深圳欢迎你”)等。
但是所推送的这些信息往往不是用户想要的，因而推送的效率较低，用户体验较差。
【发明内容】
申请主要解决的技术问题提供一种基于图像数据的消息推送方法、设备及计算机存储介质，能够为用户提供个性化的消息推送，提高消息推送的准确性。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于图像数据的消息推送方法，该方法包括：获取当前的场景信息；基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类；其中，映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的；根据目标图像数据类的标签，进行消息推送。
为解决上述技术问题，本申请采用的另一个技术方案是：处理器和与处理器电连接的存储器，存储器用于存储程序数据，处理器用于执行程序数据以实现上述的方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，该计算机存储介质用于存储程序数据，程序数据在被处理器执行时，用以实现上述的方法。
本申请的有益效果是：区别于现有技术的情况，本申请通过获取当前的场景信息，并基于当前的场景信息，从预先建立的映射数据表中，获取当前的场 景信息相匹配的目标图像数据类，从而根据目标图像数据类的标签，进行消息推送，由于映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的，所以推送的消息既与当前的场景信息相关联，同时又基于历史图像及其场景信息，使得所推送的消息是基于用户的过往行为且满足当前所处场景需求的，即所推送的消息是个性化的且实用的，因此能够为用户提供个性化的消息推送，提高消息推送的准确性。
【附图说明】
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的基于图像数据的消息推送方法第一实施例的流程示意图；
图2是本申请提供的基于图像数据的消息推送方法第二实施例的一流程示意图；
图3是本申请提供的基于图像数据的消息推送方法第二实施例的另一流程示意图；
图4是本申请提供的基于图像数据的消息推送方法第三实施例的流程示意图；
图5是本申请提供的基于图像数据的消息推送方法第四实施例的流程示意图；
图6是本申请提供的终端设备实施例的结构示意图；
图7是本申请提供的计算机存储介质实施例的示意图。
【具体实施方式】
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该 特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
请参阅图1，图1是本申请提供的基于图像数据的消息推送方法第一实施例的流程示意图。
本实施例的基于图像数据的消息推送方法100，包括以下步骤：
S120：获取当前的场景信息。
获取当前的场景信息，可以通过终端设备上的各种传感器采集，也可以是在联网状态下，通过网络途径获取，还可以是获取用户输入的信息作为场景信息。
本实施例中，可设置预设的频率获取当前的场景信息，当前的场景信息能够反映实时的情景变化。
S140：基于当前的场景信息，从预先建立的映射数据表中，获取与当前的场景信息相匹配的目标图像数据类。
其中，映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的。
图像数据库中的图像进行分类后，与图像的场景信息进行关联，从而可得到一个具有对应关系的映射数据表。
可以理解，图像数据库中的照片、绘画、剪贴画、地图、书法作品、手写汉学、传真、卫星云图、影视画面、X光片、脑电图、心电图等都是图像。
由于图像数据库中的图像是用户过往所拍摄的照片、保存或缓存的图片等，因此通过根据预设的标签对图像数据库中的图像进行分类并关联(图像的)场景信息，所建立的映射数据表能够反映用户的照片拍摄风格、兴趣爱好、生活习惯和当时的场景等个性化特征。
通过这种方法所得到的目标图像数据类，既与当前的场景信息相关联，同 时又基于历史图像及其场景信息，因此是同时符合实时的情景变化和用户个性需求的。
S160：根据目标图像数据类的标签，进行消息推送。
根据目标图像数据类的标签，获取用户感兴趣且实用的消息，并进行消息推送。
目标图像数据类的标签与对图像进行分类的预设的标签相对应，标签能够反映图像中所包含的各种信息。
本实施例所提供的基于图像数据的消息推送方法100，通过获取当前的场景信息，并基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，从而根据目标图像数据类的标签，进行消息推送，由于映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的，所以推送的消息既与当前的场景信息相关联，同时又基于历史图像及其场景信息，使得所推送的消息是基于用户的过往行为且满足当前所处场景需求的，即所推送的消息是个性化的且实用的，因此能够为用户提供个性化的消息推送，提高消息推送的准确性。
可选地，在S120：获取当前的场景信息之前，还可包括：
获取进行消息推送的权限。
获取进行消息推送的权限，即获取用户(或设备)启用消息推送功能的权限。
其中，获取进行消息推送的权限的方式，可包括：
获取用户启用消息推送功能的通知。
例如，用户在首次打开一个应用程序时，应用程序可以通过弹窗或者语音等方式提示用户启用消息推送功能，用户可以通过点击屏幕、语音控制或手势控制等方式确认启用消息推送功能。
或者，获取默认启用消息推送功能的通知。
例如，系统默认启用消息推送功能，并在首次推送消息的同时，询问用户是否同意以后继续推送。
需要说明的是，本实施例中的上述步骤的顺序是本实施例中的描述顺序，并不限制为本实施例的方法在执行过程中的顺序。在能够实现本方案的前提下，某些步骤可以调换顺序。
请结合参阅图2和图3，图2是本申请提供的基于图像数据的消息推送方法第二实施例的一流程示意图。图3是本申请提供的基于图像数据的消息推送方法第二实施例中的另一流程示意图。
本申请基于图像数据的消息推送方法100第二实施例是基于本申请基于图像数据的消息推送方法100第一实施例的，因此本实施例与第一实施例相同的步骤不再赘述，可以参照第一实施例中的描述。
本实施例中，基于图像数据的消息推送方法100还包括：
S220：获取图像数据库中的多个图像。
可选地，步骤S220中也可以同时获取图像数据库中的多个图像和每个图像的场景信息。
S240：根据预设的标签对图像数据库中的图像进行分类。
可选地，步骤S240中，可根据预设的标签和每个图像的场景信息对图像数据库中的图像进行分类。
S260：获取每个图像的场景信息。
每个图像的场景信息例如可以是：图像拍摄、观看或下载的时间、位置、陀螺仪等信息。
如上所述，步骤S260也可以在步骤S240之前执行。
S280：根据多个图像的分类和对应的场景信息，建立映射表。
可选地，请参阅图3，步骤S240：根据预设的标签对图像数据库中的图像进行分类，可包括：
S241：将每个图像输入至已训练的深度学习网络，以输出对应标签。
其中，深度学习网络是基于预先建立对应关系的图像和预设的标签进行监督学习训练得到的。
预设的标签，例如是：分割图像中有关“人物”的相关信息，包括：单人的，多人的，自拍的，开心的，悲伤的等；分割图像中有关“旅游”的相关信息，包括：海边，草原，沙漠等；分割图像中有关“物体”的相关信息，包括：苹果，梨，汽车，飞机，火车等。
本实施例中，将每个图像输入至已训练的深度学习网络，以输出对应标签，主要方法深度学习和图像语义分割。
深度学习是机器学习的一个分支，主要指深度神经网络算法，深度神经网络比普通神经网络层次更多，能够更好地捕捉数据中的深层次关系，得到的模型较为准确，主要用来进行特征学习。通过预先输入的大量图像，以及预设的分割标签，通过深度学习训练后，可以对输入的图像，自动快速的分割出来对应的语义信息，即输出各个图像对应的标签。
S242：根据输出的对应标签对图像数据库中的图像进行分析，分类生成数据列表。
可选地，步骤S243可包括：根据输出的对应标签和每个图像的场景信息对图像数据库中的图像进行分析，分类生成数据列表。
本实施例中，对图像数据库中的图像进行分类，并分类生成数据列表，主要利用AI自动检测和图像语义分割所得到的对应标签，并可以结合每个图像的场景信息。
根据输出的对应标签(还可以结合图像中包含的场景信息，例如时间信息、位置信息、陀螺仪等信息)，对图像数据库中的图像进行分析，并对应分类生成数据列表。例如表1所示为部分分类：
表1
Figure PCTCN2019118913-appb-000001
可以理解，表1中仅示例性的列举部分分类，实际分类一般更为细致和复杂。
可选地，请参阅图3，步骤S280：根据多个图像的分类和对应的场景信息，建立映射表，可包括：
S281：基于数据列表，结合对应的场景信息，进行数据链接。
例如：得到数据列表后，又结合图像中包含的时间信息，建立时间数据链接；或者，结合图像中包含的信息，建立位置数据链接。
S282：根据数据列表和数据链接，建立映射数据表。
根据上述步骤所得到的数据列表和数据链接，经过内部处理后可得到映射数据表。
可选地，获取当前的场景信息，包括：获取当前的时间信息。
基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，包括：
基于当前的时间信息，从预先建立的映射数据表中，获取当前的时间信息相匹配的目标图像数据类。
在一种应用场景中，例如获取当前的时间信息为“2019年4月19日”，基于该时间信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中关联时间场景信息为“2018年4月19日-2018年4月23日”的目标图像数据类，并获取目标图像数据类中多个图像的标签，其中，某一关联场景信息为“2018年4月22日”的图像的标签为“生日”等，则可给用户发送提醒并同时附带上该图像。若过生日的主人是用户自己，则可为用户带来曾经的回忆；若过生日的是他人，则可提醒用户他人生日快到了，以免错过重要的人的生日。
在一种应用场景中，例如获取当前的时间信息为“2019年4月19日”，基于该时间信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中关联时间场景信息为“2018年4月19日”的目标图像数据类，并获取目标图像数据类中多个图像的标签，其中，某一关联场景信息为“2018年4月19日”的图像的标签为“开心”等积极词汇，则可给用户发送“去年今日”等消息并同时附带上该图像，使用户能够回忆开心的事情。
可选地，获取当前的场景信息，包括：获取当前的位置信息。
基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，包括：
基于当前的位置信息，从预先建立的映射数据表中，获取当前的位置信息相匹配的目标图像数据类。
在一种应用场景中，例如获取当前的位置信息为“北京”，可识别出用户此时在北京，基于该位置信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中关联位置场景信息为“北京”的目标图像数据类，并获取目标图像数据类中多个图像的标签，其中，某一图像的标签可为“旅游”、“长 城”等，则可给用户发送北京长城旅游的注意事项，天气温度的适宜程度等并同时附带上该图像。让用户能够回味曾经一起过来旅游的人和场景，给用户提供更加细致温情的服务。
在一种应用场景中，当用户打开旅游类应用程序(例如，携程APP、飞猪APP等)时，例如获取当前的位置信息为“北京”，可识别出用户此时在北京，基于该位置信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中关联位置场景信息为“旅游”和“北京”的目标图像数据类，并获取目标图像数据类中多个图像的标签，其中，某些图像的标签可为“长城”、“故宫”等，则可给用户发送“长城”、“故宫”等以外的景点介绍，让用户探索更多没有去过的旅游景点。
可选地，获取当前的场景信息，包括：获取当前的环境参数信息。
基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，包括：
基于当前的环境参数信息，从预先建立的映射数据表中，获取当前的环境参数信息相匹配的目标图像数据类。
当前的环境参数信息可以是天气、温度、语音信息等。
在一种应用场景中，例如获取当前的环境参数信息为用户的语音信息，经过语意分析得到“好想去唱歌”，基于该语音信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中对应类别为“娱乐”的目标图像数据类，并获取目标图像数据类中多个图像的其他标签，其中，某一图像的标签为“唱歌”等，则可给用户发送附近的KTV店铺并同时附带上该图像。
在一种应用场景中，例如获取当前的环境参数信息为“天气雪”，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中对应类别为“天气”的目标图像数据类，并获取目标图像数据类中多个图像的其他标签，其中，某一图像的标签为“雪”等，则可给用户发送下雪天的注意事项并同时附带上该图像。
可选地，获取当前的场景信息，还可包括：
获取当前的图像；
将每个当前的图像输入至已训练的深度学习网络，以输出对应标签作为当前的场景信息。
其中，当前的图像是指在预设时间内存入本地图像库中的图像和/或网络缓存的图像。
在一种应用场景中，例如获取当前的图像，将每个当前图像输入至已训练 的深度学习网络，以输出对应标签“雪”、“开心”等对应标签作为当前的场景信息，基于该场景信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中对应类别为“天气”的目标图像数据类，并获取目标图像数据类中多个图像的其他标签，其中，某一图像的标签为“雪”等，则可给用户发送下雪天的注意事项并同时附带上该图像。
可以理解的，获取当前的场景信息，还可包括：获取当前的时间信息、当前的位置信息、当前的环境参数信息以及当前的图像中的至少两者作为当前的场景信息。
基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，包括：
基于当前的时间信息、当前的位置信息、当前的环境参数信息以及当前的图像中的至少两者，从预先建立的映射数据表中，获取当前的环境参数信息相匹配的目标图像数据类。
在一种应用场景中，当用户打开旅游类应用程序(例如，携程APP、飞猪APP等)时，例如获取当前的位置信息为“北京”且环境参数信息为“天气雪”，可识别出用户此时在北京且正在或者有可能下雪，基于该位置信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中关联场景信息为“北京”和“旅游”的目标图像数据类，并获取目标图像数据类中多个图像的标签，其中，某些图像的标签可为“长城”、“故宫”等，则可给用户发送“长城”、“故宫”等以外的且适合下雪天前往的景点的介绍，让用户探索更多没有去过的且符合天气状况的旅游景点。
可选地，步骤S220：获取图像数据库中的多个图像，可包括：
获取客户端的本地图像库中的多个图像和/或网络缓存的多个图像。
可选地，在获取客户端的本地图像库中的多个图像和/或网络缓存的多个图像之前，还可包括：获取读取本地图像库的权限和/或读取上网记录的权限。
例如，用户在首次打开一个应用程序时，系统可以通过弹窗或者语音等方式提示用户是否选择开启该应用程序读取本地图像库的权限和/或读取上网记录的权限。用户可通过点击屏幕、语音控制或手势控制等方式确认允许该应用程序读取本地图像库的权限和/或读取上网记录的权限，则可获取读取本地图像库的权限和/或读取上网记录的权限，以使得能够获取图像数据库中的多个图像和每个图像的场景信息，建立映射表。
或者，系统可默认开启获取读取本地图像库的权限和/或读取上网记录的权限。
请参阅图4，图4是本申请提供的基于图像数据的消息推送方法第三实施例的流程示意图。
本申请基于图像数据的消息推送方法100第三实施例是基于本申请基于图像数据的消息推送方法100上述任一实施例的，因此本实施例与第一实施例相同的步骤不再赘述，可以参照上述实施例中的描述。
本实施例中，步骤S160：根据目标图像数据类的标签，进行消息推送，包括：
S161：对目标图像数据类的标签进行分析后，提取关键词。
对目标图像数据类的标签进行分析后，可将所有标签中与当前的场景信息相关度最高的一个或几个提取为关键词。例如，当前的场景信息为时间信息时，可将标签中有关“生日”、“纪念日”等提取为关键词；当前的场景信息为位置信息时，可将标签中有关“旅游”、“天气”等提取为关键词。
S162：扩充关键词得到推送消息并进行消息推送。
本实施例中，利用提取的关键词，根据深度学习的方法，可把关键词扩充成一段语言场景，进行情景配置文字，形成一套个性化的推送信息。
自动分析内容形成个性化信息的方案有很多种，可以是按照当前同一地点，过去同一天，曾经同样的行为，经历过的同种场景等等，也可以多种场景结合综合分析，去年的同一天开心的时候，或者悲伤的时候。根据利用提取的关键词，再可以结合一些辅助性的信息(如根据标签利用人工智能机器学习的相关场景生成相应的介绍等等)，加上图像数据库中相关的图像最终生成推送内容。
例如，仍以生日举例，在一种应用场景中，例如获取当前的时间信息为“2019年4月19日”，基于该时间信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中关联场景信息为时间信息且具体为“2018年4月19日-2018年4月23日”的目标图像数据类，并获取目标图像数据类中多个图像的标签。进一步地，建立数据列表时，可以结合人工辅助确认的方式，例如，将包含任务的图像推送给用户，让用户确认设置主要人物的标签，如“自己”、“家人”、“朋友”、“生日”等。因此，若目标图像类的标签中包括“生日”、“人物”等标签，则可将“生日”、“人物”标签提取为关键词，若识别到过生日的主人是用户自己，则可为用户推送对应的图像并附上“祝你生日快乐，愿你天天开心”等语音或文字信息，为用户带来曾经的回忆和美好的祝福；若过生日的主人是家人，则可为用户推送对应的图像并附上“你的家人生日快到了，别忘了送上祝福哦”等语音或文字信息提醒用户他人生日快到了，以免忘记重要的人的生日。
在一种应用场景中，例如获取当前的位置信息(或当前的图像对应的标签)为标志性古建筑，基于该位置信息，从预设的映射数据表中获取的目标图像数据类可以是，图像数据库中关联场景信息为位置信息且类别为“旅游”和“建筑”的目标图像数据类，并获取目标图像数据类中多个图像的标签。进一步地，将包含设计风格、设计师等标签内容提取为关键词，则可以推送给用户不同国家同类型或者同时期的古建筑，同时可以给用户推送这些古建筑的讲解，区别等等。也可以推送同一建筑师的同类作品等，如：西班牙设计师Antonio Gaudi，如果用户去西班牙旅游，拍摄了Gaudi设计的建筑的图像，则可以推送给用户，当地其他Gaudi的作品，并可以提供说明，可以引导用户浏览参观等等。
请参阅图5，图5是本申请提供的基于图像数据的消息推送方法第四实施例的流程示意图。
在根据目标图像数据类的标签，进行消息推送之前，包括：
S110：获取客户端的当前消息推送策略。
其中，当前消息推送策略包括：推送周期、推送频率、推送场景以及推送标签中的至少一者。
获取客户端的当前消息推送策略的方式，可以是：以用户选择或编辑的消息推送策略作为消息推送策略。
推送周期例如是三天、五天、七天或一个月；推送频率例如是每个月10次或每个季度20次等；推送场景例如是离开居住地才进行推送，或者是每天上午8：00-10:00进行推送，以方便安排出行等；推送标签例如是“开心”，以避免引起不好的回忆。
获取客户端的当前消息推送策略的方式，还可以是：以默认的消息推送策略作为消息推送策略。
默认的消息推送策略中，推送周期例如是每天，推送频率例如是每天一次或两次，推送场景例如是全场景，推送标签例如是排除“悲伤”等。
图5所示仅为一种实施方式。本实施例中，并不限制步骤S110的执行时间或顺序，例如，步骤S110可以是在S120之后，且S140之前，或者，步骤S110可以是在S140之后，且S160之前。只要是在进行消息推送之前，获取到客户端的当前消息推送策略即可。
在根据目标图像数据类的标签，进行消息推送之前，包括：
S150：根据当前消息推送策略判断是否达到推送条件。
根据当前消息推送策略判断是否达到推送条件，例如，若推送周期例如是三天，推送场景例如是离开居住地才进行推送，每天上午8：00-10:00进行推送， 则根据当前的位置信息，得到用户离开居住的城市去外地的信息后，每隔三天且在上午8：00-10:00之间，为用户推送一次消息。
若否，则返回继续执行获取当前的场景信息的步骤。
若是，则执行S160：根据目标图像数据类的标签，进行消息推送的步骤。
请参阅图6，图6是本申请提供的终端设备实施例的结构示意图。
本实施例中，终端设备200包括处理器210和与处理器210电连接的存储器220，存储器220用于存储程序数据，处理器210用于执行程序数据以实现如下的方法：
获取当前的场景信息；基于当前的场景信息，从预先建立的映射数据表中，获取与当前的场景信息相匹配的目标图像数据类；其中，映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的；根据目标图像数据类的标签，进行消息推送。
可选地，处理器210执行程序数据还用于实现如下的方法：获取图像数据库中的多个图像；根据预设的标签对图像数据库中的图像进行分类；获取每个图像的场景信息；根据多个图像的分类和对应的场景信息，建立映射表。
可选地，处理器210执行程序数据还用于实现如下的方法：根据预设的标签对图像数据库中的图像进行分类，包括将每个图像输入至已训练的深度学习网络，以输出对应标签；其中，深度学习网络是基于对预先建立对应关系的图像和预设的标签进行监督学习训练得到的；根据输出的对应标签对图像数据库中的图像进行分析，分类生成数据列表。
可选地，处理器210执行程序数据还用于实现如下的方法：将每个图像输入至已训练的深度学习网络，以输出对应标签；根据多个图像的分类和对应的场景信息，建立映射表：基于数据列表，结合对应的场景信息，进行数据链接；根据数据列表和数据链接，建立映射数据表。
可选地，处理器210执行程序数据还用于实现如下的方法：获取当前的场景信息，包括：获取当前的时间信息；基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，包括：基于当前的时间信息，从预先建立的映射数据表中，获取当前的时间信息相匹配的目标图像数据类。
可选地，处理器210执行程序数据还用于实现如下的方法：获取当前的场景信息，包括：获取当前的位置信息；基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，包括：基于当前的位置信息，从预先建立的映射数据表中，获取当前的位置信息相匹配的目标 图像数据类。
可选地，处理器210执行程序数据还用于实现如下的方法：获取当前的场景信息，包括：获取当前的环境参数信息；基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，包括：基于当前的环境参数信息，从预先建立的映射数据表中，获取当前的环境参数信息相匹配的目标图像数据类。
可选地，处理器210执行程序数据还用于实现如下的方法：根据目标图像数据类的标签，进行消息推送，包括：对目标图像数据类的标签进行分析后，提取关键词；扩充关键词得到推送消息并进行消息推送。
可选地，处理器210执行程序数据还用于实现如下的方法：获取图像数据库中的多个图像，包括：获取客户端的本地图像库中的多个图像和/或网络缓存的多个图像。
可选地，处理器210执行程序数据还用于实现如下的方法：在获取客户端的本地图像库中的多个图像和/或网络缓存的多个图像之前，还包括：获取读取本地图像库的权限和/或读取上网记录的权限。
可选地，处理器210执行程序数据还用于实现如下的方法：在获取当前的场景信息之前，还包括：获取进行消息推送的权限。
可选地，处理器210执行程序数据还用于实现如下的方法：获取进行消息推送的权限，包括：获取用户启用消息推送功能的通知，或获取默认启用消息推送功能的通知。
可选地，处理器210执行程序数据还用于实现如下的方法：在根据目标图像数据类的标签，进行消息推送之前，包括：获取客户端的当前消息推送策略；其中，当前消息推送策略包括：推送周期、推送频率、推送场景以及推送标签中的至少一者。
可选地，处理器210执行程序数据还用于实现如下的方法：获取客户端的当前消息推送策略，包括：以用户选择或编辑的消息推送策略作为消息推送策略，或以默认的消息推送策略作为消息推送策略。
可选地，处理器210执行程序数据还用于实现如下的方法：在根据目标图像数据类的标签，进行消息推送之前，包括：根据当前消息推送策略判断是否达到推送条件；若是，则执行根据目标图像数据类的标签，进行消息推送的步骤。
可选地，处理器210执行程序数据还用于实现如下的方法：若否，则返回继续执行获取当前的场景信息的步骤。
可选地，处理器210执行程序数据还用于实现如下的方法：获取当前的场景信息，包括：获取当前的时间信息、当前的位置信息、当前的环境参数以及当前的图像中的至少两者作为当前的场景信息。
可选地，处理器210执行程序数据还用于实现如下的方法：获取当前的场景信息，包括：获取当前的图像；将每个当前图像输入至已训练的深度学习网络，以输出对应标签作为当前的场景信息；其中，当前的图像是指在预设时间内存入本地图像库中的图像和/或网络缓存的图像。
本实施例中，终端设备200具体可以是手机、电脑、服务器等，也可以是可穿戴设备。可穿戴设备100具体可以是智能手表、智能眼镜、智能手环、衣物等。
请参阅图7，图7是本申请提供的计算机存储介质实施例的示意图。
本实施例中，计算机存储介质300用于存储程序数据310，程序数据310在被处理器执行时，用以实现如下的方法：获取当前的场景信息；基于当前的场景信息，从预先建立的映射数据表中，获取与当前的场景信息相匹配的目标图像数据类；其中，映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的；根据目标图像数据类的标签，进行消息推送。
可以理解，本实施例中的计算存储介质300可以应用于上述终端设备200，其具体的实施步骤可以参考上述实施例，这里不再赘述。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法、装置以及系统，可以通过其它的方式实现。例如，以上所描述的方法、装置以及系统实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这 样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请通过获取当前的场景信息，并基于当前的场景信息，从预先建立的映射数据表中，获取当前的场景信息相匹配的目标图像数据类，从而根据目标图像数据类的标签，进行消息推送，由于映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的，所以推送的消息既与当前的场景信息相关联，同时又基于历史图像及其场景信息，使得所推送的消息是基于用户的过往行为且满足当前所处场景需求的，即所推送的消息是个性化的且实用的，因此能够为用户提供个性化的消息推送，提高消息推送的准确性。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种基于图像数据的消息推送方法，其特征在于，所述方法包括：
    获取当前的场景信息；
    基于所述当前的场景信息，从预先建立的映射数据表中，获取与所述当前的场景信息相匹配的目标图像数据类；其中，所述映射数据表是根据预设的标签对图像数据库中的图像进行分类并关联场景信息所建立的；
    根据所述目标图像数据类的标签，进行消息推送。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    获取所述图像数据库中的多个图像；
    根据所述预设的标签对所述图像数据库中的图像进行分类；
    获取每个所述图像的场景信息；
    根据多个所述图像的分类和对应的所述场景信息，建立所述映射表。
  3. 根据权利要求2所述的方法，其特征在于，
    所述根据所述预设的标签对所述图像数据库中的图像进行分类，包括：
    将每个所述图像输入至已训练的深度学习网络，以输出对应标签；其中，所述深度学习网络是基于对预先建立对应关系的图像和所述预设的标签进行监督学习训练得到的；
    根据输出的所述对应标签对所述图像数据库中的图像进行分析，分类生成数据列表。
  4. 根据权利要求3所述的方法，其特征在于，
    所述根据多个所述图像的分类和对应的场景信息，建立所述映射表：
    基于所述数据列表，结合对应的所述场景信息，进行数据链接；
    根据所述数据列表和所述数据链接，建立所述映射数据表。
  5. 根据权利要求1所述的方法，其特征在于，
    所述获取当前的场景信息，包括：
    获取当前的时间信息；
    所述基于所述当前的场景信息，从预先建立的映射数据表中，获取所述当前的场景信息相匹配的目标图像数据类，包括：
    基于所述当前的时间信息，从预先建立的映射数据表中，获取所述当前的时间信息相匹配的目标图像数据类。
  6. 根据权利要求1所述的方法，其特征在于，
    所述获取当前的场景信息，包括：
    获取当前的位置信息；
    所述基于所述当前的场景信息，从预先建立的映射数据表中，获取所述当前的场景信息相匹配的目标图像数据类，包括：
    基于所述当前的位置信息，从预先建立的映射数据表中，获取所述当前的位置信息相匹配的目标图像数据类。
  7. 根据权利要求1所述的方法，其特征在于，
    所述获取当前的场景信息，包括：
    获取当前的环境参数信息；
    所述基于所述当前的场景信息，从预先建立的映射数据表中，获取所述当前的场景信息相匹配的目标图像数据类，包括：
    基于所述当前的环境参数信息，从预先建立的映射数据表中，获取所述当前的环境参数信息相匹配的目标图像数据类。
  8. 根据权利要求1所述的方法，其特征在于，
    所述根据所述目标图像数据类的标签，进行消息推送，包括：
    对所述目标图像数据类的标签进行分析后，提取关键词；
    扩充所述关键词得到推送消息并进行消息推送。
  9. 根据权利要求2所述的方法，其特征在于，
    所述获取所述图像数据库中的多个图像，包括：
    获取客户端的本地图像库中的多个图像和/或网络缓存的多个图像。
  10. 根据权利要求2所述的方法，其特征在于，
    在所述获取客户端的本地图像库中的多个图像和/或网络缓存的多个图像之前，还包括：
    获取读取本地图像库的权限和/或读取上网记录的权限。
  11. 根据权利要求1所述的方法，其特征在于，
    在所述获取当前的场景信息之前，还包括：
    获取进行消息推送的权限。
  12. 根据权利要求11所述的方法，其特征在于，
    所述获取进行消息推送的权限，包括：
    获取用户启用消息推送功能的通知，或
    获取默认启用消息推送功能的通知。
  13. 根据权利要求1所述的方法，其特征在于，
    在所述根据所述目标图像数据类的标签，进行消息推送之前，包括：
    获取客户端的当前消息推送策略；
    其中，所述当前消息推送策略包括：推送周期、推送频率、推送场景以及 推送标签中的至少一者。
  14. 根据权利要求13所述的方法，其特征在于，
    所述获取客户端的当前消息推送策略，包括：
    以用户选择或编辑的消息推送策略作为消息推送策略，或
    以默认的消息推送策略作为消息推送策略。
  15. 根据权利要求14所述的方法，其特征在于，
    所述在根据所述目标图像数据类的标签，进行消息推送之前，包括：
    根据所述当前消息推送策略判断是否达到推送条件；
    若是，则执行所述根据所述目标图像数据类的标签，进行消息推送的步骤。
  16. 根据权利要求8所述的方法，其特征在于，所述方法还包括：
    若否，则返回继续执行所述获取当前的场景信息的步骤。
  17. 根据权利要求1所述的方法，其特征在于，
    所述获取当前的场景信息，包括：
    获取当前的图像；
    将每个所述当前的图像输入至已训练的深度学习网络，以输出对应标签作为当前的场景信息；
    其中，当前的图像是指在预设时间内存入本地图像库中的图像和/或网络缓存的图像。
  18. 根据权利要求1所述的方法，其特征在于，
    所述获取当前的场景信息，包括：
    获取当前的时间信息、当前的位置信息、当前的环境参数以及当前的图像中的至少两者作为当前的场景信息。
  19. 一种终端设备，其特征在于，所述终端设备包括：处理器和与所述处理器电连接的存储器，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-18任一项所述的方法。
  20. 一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1-18任一项所述的方法。
PCT/CN2019/118913 2019-11-15 2019-11-15 基于图像数据的消息推送方法、设备及计算机存储介质 WO2021092935A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/118913 WO2021092935A1 (zh) 2019-11-15 2019-11-15 基于图像数据的消息推送方法、设备及计算机存储介质
CN201980010277.3A CN111684441A (zh) 2019-11-15 2019-11-15 基于图像数据的消息推送方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/118913 WO2021092935A1 (zh) 2019-11-15 2019-11-15 基于图像数据的消息推送方法、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
WO2021092935A1 true WO2021092935A1 (zh) 2021-05-20

Family

ID=72451428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/118913 WO2021092935A1 (zh) 2019-11-15 2019-11-15 基于图像数据的消息推送方法、设备及计算机存储介质

Country Status (2)

Country Link
CN (1) CN111684441A (zh)
WO (1) WO2021092935A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710554A (zh) * 2022-03-30 2022-07-05 北京奇艺世纪科技有限公司 一种消息处理方法、装置、电子设备及存储介质
CN114710554B (zh) * 2022-03-30 2024-04-26 北京奇艺世纪科技有限公司 一种消息处理方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633935A (zh) * 2020-12-29 2021-04-09 厦门理工学院 一种基于cmf的交互性展示方法和装置
CN115146103A (zh) * 2022-09-01 2022-10-04 太平金融科技服务(上海)有限公司深圳分公司 图像检索方法、装置、计算机设备、存储介质和程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015171440A1 (en) * 2014-05-07 2015-11-12 Microsoft Technology Licensing, Llc Connecting current user activities with related stored media collections
CN107944374A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 视频数据中特定对象检测方法及装置、计算设备
CN108460122A (zh) * 2018-02-23 2018-08-28 武汉斗鱼网络科技有限公司 基于深度学习的视频搜索方法、存储介质、设备及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366186B (zh) * 2012-03-29 2017-02-08 中国科学院计算技术研究所 动态变换终端背景的方法及装置
CN105872790A (zh) * 2015-12-02 2016-08-17 乐视网信息技术（北京）股份有限公司 一种音视频节目推荐的方法及系统
US20170185670A1 (en) * 2015-12-28 2017-06-29 Google Inc. Generating labels for images associated with a user
CN105843922A (zh) * 2016-03-25 2016-08-10 乐视控股（北京）有限公司 多媒体分类推荐方法、装置和系统
CN105808782B (zh) * 2016-03-31 2019-10-29 广东小天才科技有限公司 一种图片标签的添加方法及装置
US10296525B2 (en) * 2016-04-15 2019-05-21 Google Llc Providing geographic locations related to user interests
CN105872638A (zh) * 2016-04-19 2016-08-17 乐视控股（北京）有限公司 一种基于地理位置推送视频的方法、推送装置及其服务器
CN106131703A (zh) * 2016-06-28 2016-11-16 青岛海信传媒网络技术有限公司 一种视频推荐的方法和终端
CN106204165A (zh) * 2016-08-11 2016-12-07 广州出益信息科技有限公司 一种广告投放方法及装置
WO2019144542A1 (en) * 2018-01-26 2019-08-01 Institute Of Software Chinese Academy Of Sciences Affective interaction systems, devices, and methods based on affective computing user interface
CN108875820A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN109726303A (zh) * 2018-12-28 2019-05-07 维沃移动通信有限公司 一种图像推荐方法和终端
CN110297934B (zh) * 2019-07-04 2024-03-15 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置及存储介质
CN110413882B (zh) * 2019-07-15 2023-10-31 创新先进技术有限公司 信息推送方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015171440A1 (en) * 2014-05-07 2015-11-12 Microsoft Technology Licensing, Llc Connecting current user activities with related stored media collections
CN107944374A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 视频数据中特定对象检测方法及装置、计算设备
CN108460122A (zh) * 2018-02-23 2018-08-28 武汉斗鱼网络科技有限公司 基于深度学习的视频搜索方法、存储介质、设备及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710554A (zh) * 2022-03-30 2022-07-05 北京奇艺世纪科技有限公司 一种消息处理方法、装置、电子设备及存储介质
CN114710554B (zh) * 2022-03-30 2024-04-26 北京奇艺世纪科技有限公司 一种消息处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111684441A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
US11778028B2 (en) Automatic image sharing with designated users over a communication network
US10909425B1 (en) Systems and methods for mobile image search
WO2021092934A1 (zh) 基于视频数据的消息推送方法、设备及计算机存储介质
JP6431231B1 (ja) 撮像システム、学習装置、および撮像装置
CN109074358B (zh) 提供与用户兴趣有关的地理位置
US9430719B2 (en) System and method for providing objectified image renderings using recognition information from images
US8649572B2 (en) System and method for enabling the use of captured images through recognition
US7809192B2 (en) System and method for recognizing objects from images and identifying relevancy amongst images and information
JP6109970B2 (ja) オンライン・ソーシャル・ネットワーク上での画像に対するタグ付けの提案
US20220383053A1 (en) Ephemeral content management
CN112088370A (zh) 数字资产搜索用户界面
CN103988202A (zh) 基于索引和搜索的图像吸引力
WO2021092935A1 (zh) 基于图像数据的消息推送方法、设备及计算机存储介质
CN112069326A (zh) 知识图谱的构建方法、装置、电子设备及存储介质
CN115836292A (zh) 与旅行相关联的基于增强现实的翻译
US11693539B2 (en) Messaging system for resurfacing content items
US20230205805A1 (en) Photo content extraction for conversational digital picture frames
Qiu A lifelogging system supporting multimodal access
Yang Recognition and Analysis of Scene-Emotion in Photographic Works Based on AI Technology
CN115438242A (zh) 包容性节日
CN117590981A (zh) 显示方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952665

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19952665

Country of ref document: EP

Kind code of ref document: A1