WO2020248985A1 - 图像搜索方法、装置、计算机设备和存储介质 - Google Patents

图像搜索方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2020248985A1
WO2020248985A1 PCT/CN2020/095240 CN2020095240W WO2020248985A1 WO 2020248985 A1 WO2020248985 A1 WO 2020248985A1 CN 2020095240 W CN2020095240 W CN 2020095240W WO 2020248985 A1 WO2020248985 A1 WO 2020248985A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search
user
page
input
Prior art date
Application number
PCT/CN2020/095240
Other languages
English (en)
French (fr)
Inventor
王祥敏
梁泽锋
颜强
张庆扬
姚创沐
王戈
丁佳艺
陈震鸿
赵猛
白乾
赵航
祝文锋
孙科亮
林巧英
陈丹丹
林秀敏
邹明
陈家敏
张华薇
陈志浩
莫雨润
钟伽文
苑木
邹夫
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to JP2021539359A priority Critical patent/JP7301977B2/ja
Publication of WO2020248985A1 publication Critical patent/WO2020248985A1/zh
Priority to US17/446,861 priority patent/US20210397645A1/en
Priority to JP2023101084A priority patent/JP2023126241A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Definitions

  • This application relates to the field of Internet technology, in particular to an image search method, device, computer equipment and storage medium.
  • IM Instant Messaging
  • instant messaging applications can also support sending images such as emoticons to interact with chat objects.
  • images such as emoticons
  • the embodiments of the present application provide an image search method, device, computer equipment, and storage medium, which can be implemented in an instant messaging client to search for images with images.
  • An embodiment of the application provides an image search method, including:
  • a search result list is generated and displayed.
  • the embodiment of the present application also provides another image search method, including:
  • the search result list is returned to the terminal, so that the terminal is displayed on the interface of the instant messaging client.
  • an embodiment of the present application also provides an image search device, including:
  • the first display unit is used to display the image selection page of the instant messaging client
  • the determining unit is configured to determine the input image used for searching based on the operation performed by the user on the image selection page;
  • the setting unit is used to preset multiple image similarity dimensions according to the similarity between two chat interactive images
  • a searching unit configured to search for at least one output image similar to the input image in the multiple image similarity dimensions, wherein each output image is similar to the input image in at least one image similarity dimension;
  • a generating unit configured to generate a search result list according to the at least one output image
  • the second display unit is used to display the search result list.
  • an embodiment of the present application also provides another image search device, including:
  • the determining unit is configured to determine the input image based on the image search request sent by the terminal;
  • the setting unit is used to preset multiple image similarity dimensions according to the similarity between two chat interactive images
  • a search unit configured to search for at least one output image similar to the input image in the multiple image similarity dimensions, wherein each output image is similar to the input image in at least one image similarity dimension;
  • a generating unit configured to generate a search result list according to the at least one output image
  • the sending unit is configured to return the search result list to the terminal so that the terminal can be displayed on the interface of the instant messaging client.
  • An embodiment of the present application also provides a computer device, including a memory, a processor, and a computer program stored in the memory and capable of running on the processor, wherein the processor executes the program to realize the Any of the steps in the image search method.
  • an embodiment of the present application further provides a storage medium on which a computer program is stored, wherein the computer program, when executed by a processor, implements the steps in any image search method provided in the embodiments of the present application.
  • Fig. 1a is a schematic diagram of a scene of an image search method provided by an embodiment of the present application
  • Fig. 1b is a flowchart of an image search method provided by an embodiment of the present application.
  • FIG. 1c is a schematic diagram of the page operation of an expression search provided by an embodiment of the present application.
  • FIG. 1d is a schematic diagram showing the expression search page provided by an embodiment of the present application.
  • FIG. 1e is a schematic diagram of triggering display of an expression search page provided by an embodiment of the present application.
  • FIG. 1f is a schematic diagram of output expression sending provided by an embodiment of the present application.
  • FIG. 2a is a schematic diagram of another page operation of outputting an expression search provided by an embodiment of the present application.
  • FIG. 2b is a schematic diagram of another page operation of outputting an expression search provided by an embodiment of the present application.
  • FIG. 2c is a schematic diagram of another page operation of the output expression search provided by an embodiment of the present application.
  • FIG. 2d is a schematic diagram of another page operation of outputting an expression search provided by an embodiment of the present application.
  • 2f is a flowchart of an image search method provided by another embodiment of the present application.
  • Fig. 3a is a flowchart of an image search method provided by another embodiment of the present application.
  • FIG. 3b is a schematic diagram of an output expression search architecture provided by an embodiment of the present application.
  • Fig. 3c is a schematic diagram of a feature extraction process provided by an embodiment of the present application.
  • FIG. 3d is a schematic diagram of output expression recall provided by an embodiment of the present application.
  • FIG. 3e is a schematic diagram of output expression sorting provided by an embodiment of the present application.
  • Figure 4a is a schematic diagram of an output emoticon list provided by an embodiment of the present application.
  • FIG. 4b is a schematic diagram of another output emoticon list provided by an embodiment of the present application.
  • FIG. 4c is a schematic diagram of another output emoticon list provided by an embodiment of the present application.
  • Figure 5a is a schematic structural diagram of an image search device provided by an embodiment of the present application.
  • FIG. 5b is another schematic diagram of the structure of the image search device provided by the embodiment of the present application.
  • FIG. 6 is a schematic diagram of another structure of an image search device provided by an embodiment of the present application.
  • Fig. 7 is a schematic structural diagram of a computer device provided by an embodiment of the present application.
  • the embodiments of the present application provide an image search method, device, computer equipment, and storage medium.
  • the embodiment of the present application provides an image search device suitable for a first computer device (it may be called a first image search device for distinction), and an image search device suitable for a second computer device (may be called a first image search device for distinction) 2.
  • Image search device may be a device such as a terminal
  • the terminal may be a device such as a mobile phone, a tablet computer, or a notebook computer.
  • the second computer device may be a network side device such as a server.
  • the first image search device may be integrated in the terminal, and the second image search device may be integrated in the server.
  • the server may be a single server or a server cluster composed of multiple servers.
  • the embodiment of the present application will take the first computer device as the terminal and the second computer device as the server as an example to introduce the image search method.
  • the embodiment of the present application provides an image search system 100 including a terminal 110 and a server 120, etc.; the terminal 110 and the server 120 are connected through a network, for example, through a wired or wireless network connection, among which the image search device 111 is integrated In the terminal 110, for example, it is integrated in the terminal 110 in the form of a client.
  • the terminal 110 can be used to display the image selection page of the instant messaging client; determine the input image used for search based on the operation performed by the user on the image selection page; according to the similarity between the two chat interactive images, advance Setting multiple image similarity dimensions; searching for at least one output image similar to the input image in the multiple image similarity dimensions, wherein each output image is similar to the input image in at least one image similarity dimension; And, generating and displaying a search result list based on the at least one output image.
  • the terminal 110 may trigger a search for output images.
  • the terminal 110 may trigger the server 120 to search for output images similar to the input image in multiple image similar dimensions.
  • the terminal 110 may send an image search request to the server 120.
  • the server 120 may be specifically configured to: determine the input image for searching based on the image search request sent by the terminal; preset multiple image similarity dimensions according to the similarity between the two chat interactive images; Dimensionally, searching for at least one output image similar to the input image, wherein each output image is similar to the input image in at least one image similarity dimension; generating a search result list according to the at least one output image; and To return the search result list to the terminal so that the terminal can be displayed on the interface of the instant messaging client.
  • An image search method provided in an embodiment of the present application may be executed by the processor of the terminal 110 shown in FIG. 1a.
  • the specific process of the image search method includes:
  • the image in the embodiment of the present application may include an interactive image applied in an instant messaging client, or an interactive image used by a user in an instant messaging client.
  • it may be a chat interactive image.
  • the chat interaction image is an image that interacts with a chat object in a chat scene.
  • it may include an image that expresses information to the chat object in a chat session, such as an image that expresses emotions and language.
  • the chat interaction image may include expressions and the like.
  • there can be multiple image types of chat interactive images such as static images or dynamic images.
  • chat interactive images can include static expressions, dynamic expressions, etc.
  • the image search page may be displayed before the image selection page is displayed.
  • the image search page may be a search page for the user to search for an image with an image, and the user can operate on the image search page to trigger an image search output image (search for an image).
  • the image search page can be a page for users to search for chat interactive images with chat interactive images, and users can perform image search operations on this page.
  • the image search page can include an expression search page, and the user can search for an expression search page. Perform a search operation to search for desired output expressions (ie, search for expressions with expressions) etc., as shown in Figure 1c.
  • the image search page may include an image selection control, and the image selection control may be used by the user to trigger the display of the image selection page to determine the input image.
  • the manifestation of the control can be in the form of icons, input boxes, buttons, etc.
  • the emoticon search page 1c1 may include an image selection control, that is, a "+" plus button.
  • an image selection control that is, a "+" plus button.
  • the user performs Operations, such as clicking, sliding, etc., to trigger the display of the emoticon selection page 1c2.
  • an expression selection panel containing a list of expressions to be selected is displayed.
  • the list of expressions to be selected includes the expressions favorited by the user.
  • the expression selection panel is for the user to select or confirm the input expression.
  • the user can operate the user operation page of the instant messaging client to trigger the display of the image search page of the instant messaging client, such as the expression search page 1c1.
  • the user can trigger the display of the image search page by operating on the content search page of the instant messaging client.
  • the content search page can be a page for users to search for content, such as news, articles, applications such as applets, business services, images (such as chat interactive images), etc.; users can perform search operations on the content search page to search for all content. The required content.
  • a chat interactive image search control can be set on the content search page, so that the user can trigger the display of the image search page by operating the control.
  • it can include: displaying the content search page of the instant messaging client.
  • the content search page includes image search. Control; when a user's trigger operation on the image search control is detected, the image search page of the client is displayed, the image search page includes the image selection control; when the user's trigger operation on the image selection control is detected, the image selection page is displayed.
  • the terminal can display the content search page of the instant messaging client.
  • the content search page can have multiple content search controls, such as article search controls, applet search controls, music search controls, Official account search control, expression search control, etc.
  • the content search page may also include hot content in the instant messaging client.
  • the user can operate the emoticon search control in the content search page, such as clicking, sliding, etc.; when the terminal detects the user's operation on the emoticon search control, it triggers the display of the emoticon shown in Figure 1c Search page 1c1.
  • the user can perform an operation on the chat session list page to trigger the display of the content search page.
  • the content search control can be set on the chat session list page. You can trigger the display of the content search page through this control operation. Specifically, it may include: displaying a chat session list page of the instant messaging client, the chat session list page including a content search control; when a user's trigger operation on the content search control is detected, the content search page is displayed.
  • the chat session list page is a page for displaying a chat session list
  • the chat session list may include one or more chat sessions (such as single chat, group chat, etc.).
  • the terminal displays the chat session list page of the instant messaging client, such as the page on the left in sub-figure 1e1, which is set with a global content search control; when the user performs operations on the global content search control, such as clicking, During operations such as sliding, the terminal will display the content search page on the right side of the subfigure 1e1.
  • the user can also operate the function page of the instant messaging client to trigger the display of the content search page.
  • a search function control can be set on the function page, and the user can operate the control to trigger the display of the content search page.
  • it may include: displaying a function page of the instant messaging client, the function page including a search function control; when a user triggering operation on the search function control is detected, displaying a content search page.
  • the terminal displays the chat session list page of the instant messaging client, such as the page on the left in sub-figure 1e2, which is set with a global content search control; when the user operates the global content search control, the terminal will Display the function page on the right side of sub-picture 1e2, such as the "Discover" page, which includes the code scanning function control "Scan”, the content publishing control "Friends Moments", the applet function control "Small program”, and the search function control Functional controls such as "Sou Yi Sou”; when a user performs operations such as clicking, sliding, etc. on the search function control "Sou Yi Sou", the terminal will display the content search page shown in Figure 1d.
  • the chat session list page of the instant messaging client such as the page on the left in sub-figure 1e2, which is set with a global content search control
  • the terminal will Display the function page on the right side of sub-picture 1e2, such as the "Discover" page, which includes the code scanning function control "Scan”, the content publishing control "Friends Moment
  • the input image determination operation for the image selection page can be a single operation, for example, the user performs a click operation on the selection page; it can also be an operation composed of multiple operations, such as a series of operations; for example, the user performs an operation on the selection page Many different operations, etc.
  • the way of displaying the search result list can be related to the way of determining the input image.
  • the image selection page may include a list of images to be selected; the list of images to be selected may include at least one image to be selected.
  • the list of images to be selected may be a list of emoticons to be selected, and the list of emoticons may be Include at least one emoji to be selected.
  • the list of to-be-selected images may include at least one of the emoticons collected by the user on the client, the emoticons carried by the client, the emoticons added by the user from an emoticon store, and so on.
  • the list of to-be-selected images may include at least one emoticon favorited by the user.
  • the candidate image selected by the user is determined as the input image, and the search result list is displayed.
  • the image selection page may include an image capture control.
  • the image capture page is displayed; based on the user's capture operation on the image capture page, the capture result page and the capture result page are displayed It includes the shooting result image and the image confirmation control; when the user's confirmation operation on the image confirmation control is detected, the shooting result image is determined as the input image.
  • the image shooting may be photo shooting or video shooting.
  • the expression selection panel at the bottom of the expression selection page 2a1 may also include image capture controls, such as a "shooting" button.
  • image capture controls such as a "shooting" button.
  • the user wants to select an input emoticon by shooting (that is, taking an image as an input emoticon)
  • the user can operate the "shooting" button, such as clicking, sliding, etc.
  • the terminal will call the camera and display the image capture page 2a2, the user can then operate the required image in the image capture page 2a2.
  • the user can click the capture button on the image capture page 2a2, and the terminal will display the capture result page 2a3, which includes the captured images, such as images A.
  • the terminal will take the captured image A as the input expression, and display a search result list.
  • the search result list includes similar expressions to the image A, such as similar expression A1, similar expression A2, and so on.
  • the terminal may also add the image A to the user's expression library, such as bookmarking the image A.
  • the image selection page may include a photo selection control.
  • the photo selection page includes at least one photo in the local album; based on the user's photo selection page In the photo selection operation, the photo selected by the user is marked in the photo selection page, and the photo confirmation page is displayed.
  • the photo confirmation page includes a photo confirmation control; when the user's confirmation operation for the photo confirmation control is detected, the photo selected by the user Determine the input image.
  • the expression selection surface below the expression selection page 2b1 may also include a photo selection control, such as a "photo" button.
  • a photo selection control such as a "photo" button.
  • the terminal will display the photo selection page 2b2 and the photo selection page 2b2 Include at least one photo from the local album. The user can select a photo by operating on the photo selection page 2b2, and the terminal can mark the photo selected by the user.
  • the terminal will use the photo selected by the user as the input expression and display the search result list.
  • the search result list includes the photo B1 Similar expressions, such as similar expression B11, similar expression B12 and so on.
  • the terminal may also add the photo B1 to the user's expression library, such as bookmarking the image B1.
  • the image selection page may include a voice selection control.
  • the voice input page is displayed, and the voice input page includes the voice input control; when the user’s voice for the voice input control is detected During input operation, the voice information input by the user is collected; when the user's voice input end operation on the voice input control is detected, the candidate image matching the voice information is displayed; when the user's selection operation on the candidate image is detected, the user selects The candidate image of is determined as the input image.
  • the candidate image may be a candidate image matching the voice information in the local database of the terminal, for example, a candidate image matching the voice information in the local expression database.
  • the image and voice information matching may include: matching text content in the image with voice content, matching the meaning or attribute content of the image with voice content, and so on.
  • the expression selection panel below the image selection page 2c1 may also include voice selection controls, such as a "voice input” button.
  • voice selection controls such as a "voice input” button.
  • the user wants to select an image by voice as the input expression, the user can operate the "voice input” button, such as clicking, sliding, etc.
  • the terminal will display the voice input page 2c2, the voice input page 2c2 Includes voice input controls, such as the microphone icon.
  • the user can operate the microphone icon in the voice input page 2c2. For example, when the user presses and holds the microphone icon, it triggers the collection of the voice information input by the user.
  • the terminal can display an expression selection page 2c3.
  • the selection page 2c3 includes candidate expressions matching the voice information in the local expression library, such as expression C1, expression C2, expression C3, etc.; the user can select a candidate expression as the input expression on the expression selection page 2c3, for example, the user can click to select Candidate expression C1.
  • the terminal will display a search result list.
  • the search result list includes expressions similar to expression C1, such as similar expression C11, similar expression C12, and so on.
  • the user determines the input image by drawing the image.
  • the image selection page may include an image drawing control.
  • the image drawing page includes the image drawing area and the drawing image confirmation control;
  • the drawing operation in the drawing area displays the image drawn by the user on the image drawing page;
  • the confirmation operation for the drawing image confirmation control is detected, the image drawn by the user is determined as the input image.
  • the expression selection panel below the image selection page 2d1 may also include drawing controls, such as a "brush" shaped icon.
  • drawing controls such as a "brush" shaped icon.
  • the terminal will display an expression drawing page 2d2, which includes expression drawing Area, and drawing image confirmation controls, such as the "Add" button.
  • the user can perform drawing operations in the expression drawing area. For example, the user can use the corresponding color, style and line to draw the desired expression in the expression drawing area.
  • the user can operate the drawing image confirmation controls, such as the "Add" button.
  • the terminal will use the emoticon drawn by the user as the input emoticon and display a list of search results.
  • the search result list includes and The similar expressions of the expression G are similar expression G1, similar expression G2 and so on.
  • the terminal may also add the drawn image G to the user's expression library, such as bookmarking the image G.
  • the expression selection panel may include at least one of an expression to be selected, an image capture control, a photo selection control, a voice selection control, and an image drawing control.
  • a search waiting page may also be displayed. Therefore, the method further includes: displaying the input image and the search result loading icon on the search waiting page of the instant messaging client; step 105 "generate and display a search result list based on the at least one output image", specifically includes: when the search is successful To display a list of search results on the search results page.
  • the terminal when the user chooses to input an emoticon, the terminal will display an emoticon search waiting page 1c3.
  • the search waiting page 1c3 includes the input emoticon selected or determined by the user, and a search result loading icon.
  • the search result loading icon can be Set according to actual needs, such as circular loading icon, long bar loading icon (such as progress bar) and so on.
  • the search result list may include output images that are similar to the input image in at least one (such as one or more) image similarity dimensions.
  • the search result list may include output expressions that are similar to input expressions in at least one expression similarity dimension, etc.
  • step 103 "the presetting of multiple image similarity dimensions according to the similarity between the two chat interactive images” may specifically include:
  • the information contained in the multiple chat interactive images is layered, and the multiple image similarity dimensions are set to any number of text content dimensions, meaning dimensions, role dimensions, action dimensions, and conversation relationship dimensions.
  • the image similarity dimension refers to the similar type, or similar aspect or similarity between two chat interactive images; in the embodiment of the present application, the similarity between the images includes the same and/or similar images, which can be specifically based on actual needs. select.
  • the image similarity dimension can be divided into multiple types according to actual needs, that is, there can be multiple levels of similarity between two chat interactive images, for example, it can include similar types such as image similarity, similar meaning, and conversational relationship.
  • the similarity between two chat interaction images may be similar images, similar meanings, or similar conversational relationships.
  • image similarity dimensions can include but are not limited to the following dimensions:
  • the textual content dimension of the image for example, the text of two chat interactive images is the same or similar;
  • the meaning dimension of the image for example, the meaning expressed by two interactive chat images is the same or similar;
  • the role dimension of the image for example, the roles in the two interactive chat images are the same or similar;
  • the action dimension of the character in the image for example, the action of the character in the two chat interactive images is the same or similar;
  • the dimensions of the conversational relationship in the image include similar conversational relations of the text content or similar meanings expressed by the image.
  • the textual content of two chats forms a conversational relation.
  • facial expression similarity dimensions can include but are not limited to the following dimensions:
  • the content dimension of the emoticon text for example, the text of the two emoticons is the same or similar;
  • the dimension of expression role for example, the characters in the two expressions are the same or similar; for example, the virtual characters in the two expressions are both cartoon images of "XX Baby";
  • the action dimension of an emoticon character for example, the actions performed by the characters in the two emoticons are the same or similar; for example, the characters in the two emoticons both make the gesture of "victory", or the character in the expression makes the "face covering” Action, another expression makes a "mouth covering” action;
  • the conversational relationship dimension of emoticons includes similar conversational relations of text content.
  • the text content of two emoticons forms a conversational relationship.
  • the text content of one emoticon is "You are sick” and the text content of the other emoticon is "You There is medicine", these two expressions are similar in conversation.
  • a search for output images similar to the input image in multiple image similar dimensions can be triggered to obtain an output image set.
  • the output image set may include output images that are similar to the input image in each or each image similar dimension.
  • the search for images may be triggered, which may specifically include:
  • a user's confirmation operation on the image confirmation control when a user's confirmation operation on the image confirmation control is detected, it triggers a search for an output image similar to the input image in multiple image similar dimensions.
  • a user's confirmation operation on the photo confirmation control when detected, it triggers a search for an output image similar to the input image in multiple image similar dimensions.
  • a user's selection operation for a candidate image when detected, it triggers a search for an output image similar to the input image in multiple image similar dimensions.
  • the user can select "Emotion 1" from the expression selection panel as the input expression by clicking.
  • the terminal is triggered to search for output expressions similar to "Emotion 1" in multiple expression similar dimensions.
  • the terminal may be triggered to search for output images similar to the input image in multiple image similar dimensions.
  • step 104 "searching for at least one output image similar to the input image in the multiple image similar dimensions" may include: performing the following processing for each image similar dimension:
  • Extract the first feature information of the input image in the similar dimension of the image obtain the second feature information of each candidate image in the image database in the similar dimension of the image; calculate the first feature information and each The similarity between the second feature information; according to the calculated similarities, a candidate image that is similar to the input image in the image similarity dimension in the image database is determined as the output image.
  • the terminal obtains the output image from the server for generating the search result list.
  • the feature information of each or each image in the similar dimension, and the information representing the attributes in the similar dimension of the image is used to calculate the similarity information between two images in the similar dimension of the image.
  • the feature information in the similar dimension of the image may include feature information such as text feature information and vector feature information corresponding to the content or meaning of the image.
  • the text feature information may include text feature information, image type information (such as classification tag information), and the like.
  • the character feature information can be obtained by character recognition
  • the image type information can be obtained by classifying the image.
  • the vector-type feature information may be a feature vector (such as a multi-dimensional feature vector) output by the model when the feature extraction model is used for extraction.
  • the feature extraction model can be a deep learning model, such as residual network model (ResNet), face recognition network model (FaceNet) and other models.
  • step 105 “generate and display a search result list based on the at least one output image” may specifically include:
  • the third characteristic information is the same as the second characteristic information.
  • searching for an output image in at least one image similarity dimension may include: searching for an output image similar to the input image in multiple image similarity dimensions at the same time; for example, simultaneously in image similarity dimension 1, image similarity dimension 2 , Image similarity dimension 3 is an output image similar to the input image. It can also include: searching for output images similar to the input image in each image similarity dimension, for example, searching for an output image similar to the input image in the image similarity dimension 1, and searching for an output similar to the input image in the image similarity dimension 2.
  • searching for output expressions similar to the input expression in at least one expression similarity dimension may include: searching for output expressions similar to the input expression in multiple expression similarity dimensions at the same time, such as expression 11 and expression 1 with similar images and meanings. Similar and similar in conversational relationship, Emoji 11 is similar to Input Emoji 1 in three dimensions at the same time. It may also include searching for output expressions similar to the input expression in each expression similarity dimension, such as expression 11 and expression 1 similar in meaning, expression 12 and expression 1 role similar, expression 13 and expression 1 have a similar conversational relationship, and so on.
  • the search result list may include output images that are similar to the input image in each or every image similarity dimension.
  • output expressions that are similar to input expressions in various dimensions such as image similarity, similar meaning, and similar conversational relationships.
  • the search results can be displayed through a page. Specifically, when the search results are successfully obtained, the search result page is displayed.
  • the search result page includes the input image and the search result list.
  • the expression search result page 1c4 is displayed. This page includes input expression 1 and output expressions similar to input expression 1 in each expression similarity dimension, such as expression 11. Expression 12...wait.
  • the user in order to facilitate the user to use the searched output image, the user may be allowed to operate on the search result list to favorite the selected output image.
  • the image search method further includes:
  • the image operation page of the target output image is displayed, and the image operation page includes an image addition control
  • the target output image is added to the chat image library of the even communication client.
  • the user in order to facilitate the user to use the searched output image, the user may be allowed to operate on the search result list to directly use the selected output image.
  • the image search method further includes:
  • the image operation page of the target output image is displayed, and the image operation page includes an image sending control
  • the chat object to be selected may include a single chat object, such as a certain user, or a group chat object, such as a certain group.
  • the user can select the target output expression by operating the output expressions in the list.
  • the user performs an operation on a certain output expression in the list, such as output expression 12, such as clicking, sliding
  • the terminal can display the emoticon details page of the output emoticon in the image operation page 1f1, such as the emoticon details page of emoticon 12.
  • the emoticon details page includes emoticon sending controls such as the "send to friend” button and emoticon adding controls such as "Add to emoticon" button.
  • the terminal can add emoticon 12 to the user emoticon library of the client for subsequent use by the user.
  • the terminal can display the first chat partner list page 1f2 "Select a chat", the list can include single chat partner, group chat Objects, etc.; the user can select a target chat object on the object list page 1f2.
  • the chat object is a single chat object
  • the emoticon 12 can be sent to the chat session with the single chat object, as shown in page 1f3; when the chat object is a group chat object, you can send the corresponding group chat to the group chat object
  • the conversation sends emoticons 12.
  • the embodiment of the present application searches the output image based on the image, that is, searches the output image with the image (such as searching for the expression with the expression), and realizes the search of the output image.
  • Users do not need to input text information to search for images, which simplifies the search process of images and improves the efficiency of image search; and, compared with the way of searching images by text, the image contains more information and can express the user more.
  • the search requirements such as image content, format, etc., can more accurately search for the output image that the user wants.
  • the solution can also search and output images in multiple similar dimensions of images, the searched images are more extensive, and the probability of meeting user needs is improved, therefore, the search range and accuracy of images can be improved.
  • Fig. 2f is a flowchart of an image search method provided by another embodiment of the present application.
  • the image search method is executed by a server, such as the server 120 in Fig. 1a. Specifically include the following steps:
  • 402 Pre-set multiple image similarity dimensions according to the similarity between the two chat interactive images.
  • 403 Search for at least one output image similar to the input image in multiple image similarity dimensions, where each output image is similar to the input image in at least one image similarity dimension.
  • steps 402-404 is the same as the above-mentioned steps 103-105, and will not be repeated here.
  • the first image search device is specifically integrated with a terminal
  • the second image search device is specifically integrated with a server as an example for description.
  • a chat interactive image method can be applied to the terminal 110 and the server 120 shown in FIG. 1a, and the specific process is as follows:
  • the terminal displays a content search page of an instant messaging client, and the content search page includes an image search control.
  • the terminal displays an image search page of the instant messaging client, and the image search page includes an image selection control.
  • the terminal When detecting a user's triggering operation on the image selection control, the terminal displays an image selection page.
  • the terminal determines the input image based on the user's input image determination operation on the image selection page.
  • an expression search system architecture when the user chooses to input an expression, the instant messaging client on the terminal can send an image search request to the access layer, such as the access layer server ,
  • the access layer can forward the image search request to the similar expression search service, for example, to the similar expression search server.
  • the image search request may carry an input image, such as an expression.
  • the image identifier of the image may be used to indicate the image for image search.
  • the instant messaging client may send an image search request carrying an expression identifier (id) to the access layer.
  • the server determines an input image for search based on the image search request sent by the terminal.
  • the server can parse the image search request to obtain the input image or the image identifier of the input image, such as the expression id to be searched.
  • the server extracts first feature information of the input image in multiple image similar dimensions.
  • a feature service module can be used to extract feature information of input expressions in multiple expression similar dimensions.
  • the feature service module can be implemented by other servers as the feature server module, or the feature service module is a local service module of the server.
  • the feature service module is a local service module of the server.
  • some image feature information (which can be called offline feature information) can be extracted in advance and stored in a database (which can be called an offline feature library), During image search, if there is an input image in the database, it is directly extracted from the database.
  • the feature information in the multiple image similar dimensions corresponding to the input image is extracted from the preset feature set, where the preset feature set includes: a preset image and a preset The feature information of similar dimensions of multiple images corresponding to the image.
  • the expression form of the preset feature set may be a database, such as an offline feature library.
  • the feature information in the similar dimensions of the multiple images may include: text-based feature information and vector-based feature information; when the input image does not exist in the preset feature set, the feature can be extracted in the following manner:
  • the feature vector of the input image is extracted based on the feature extraction model, and the vector feature of the input image is obtained.
  • the data in the offline feature library will be regularly updated to the data service module for online use, and the feature service module can extract features based on the feature extraction method described above.
  • the feature service module can extract features based on the feature extraction method described above.
  • first check whether the input expression hits the offline feature library that is, whether the offline feature library contains the feature information of the input expression, and if so, perform the extraction of offline features of the input expression in multiple expression similar dimensions from the offline feature library ; If the offline feature library is not hit, the input facial expression image can be obtained, and multi-dimensional feature extraction such as text-based feature extraction and vector-based feature extraction are performed on the input facial expression image to obtain multi-dimensional online features of the input expression.
  • the server searches for an output image similar to the input image based on the first feature information in the similar dimensions of the multiple images.
  • the searched output images may be combined into an output image set, and the output image set includes output images that are similar to the input image in at least one image similarity dimension.
  • the server can search the image database for images similar to the input image based on the feature information in the similar dimensions of each image.
  • an image database such as an expression library, may include multiple images that can be provided to the user, such as expressions.
  • the online output image in order to improve the accuracy and richness of the output image search, can also be supplemented.
  • the output image of some images such as the output image list, can be preset and saved in the output image database ; When searching for output images, you can search for output images in the output image database to supplement the search results.
  • the output image similar to the input image is searched based on the first feature information in the similar dimension of each image to obtain the first output image subset, and the first output image subset includes at least one image similarity dimension similar to the input image The output image;
  • the output image mapping relationship set Based on the output image mapping relationship set, obtaining a preset output image corresponding to the input image to obtain a second output image subset, wherein the output image mapping relationship set includes the mapping relationship between the input image and the preset output image;
  • the first output image subset and the second output image subset are summarized to obtain an output image set.
  • the output image mapping relationship collection may be stored in a database, and the database may be called an output image library, such as an output expression library.
  • the recall service module may recall the output expression when searching according to the extracted multiple dimensional feature information.
  • the recall service module may recall the output expression when searching according to the extracted multiple dimensional feature information.
  • the similar expression library is a list of similar expressions calculated offline.
  • searching the output image in the image database based on the feature information in the image similarity dimension may include: for each image similarity dimension, extracting the input image in the image similarity dimension Obtain the second feature information of each candidate image in the image database in the similar dimension of the image; respectively calculate the similarity between the first feature information and each second feature information; According to the calculated similarities, a candidate image that is similar to the input image in the image similarity dimension in the image database is determined as the output image. For example, an image with a similarity greater than a preset similarity threshold in the image database is selected as the output image of the input image.
  • the server extracts the third characteristic information of each output image.
  • the third characteristic information of the output image may include characteristic information of the output image in one or more similar dimensions of the image.
  • the server can extract feature information of the output image from a preset feature set.
  • output images in similar dimensions can be extracted from the offline feature library.
  • the server sorts the output images according to the third characteristic information, and obtains a search result list according to the sorting result.
  • the sorting service module may sort the multi-channel recalled output expressions.
  • the offline feature information of the output expression can be extracted from the offline feature library; then, the expression deduplication is performed, based on the offline feature information of the output expression in multiple image similar dimensions, Sort the recalled output expressions, for example, integrate various expressions to score and sort.
  • the searched output images can be sorted based on the searched multi-dimensional feature information of the output images. Since the multi-dimensional feature information of the output images is sorted, the user's needs for similar dimensions of the image can be expressed, that is, the user wants The output image should be similar in dimension to the input image so that the output image that meets the user's needs is ranked first, which improves the search accuracy of the output image.
  • the output emoticon can quickly help you find the emoticons you like. For example, when a user receives an expression of "XX baby" and wants to obtain more expressions related to "XX baby", he can quickly search for multiple similar output expressions, without the user needing to input text to search.
  • the method in this application embodiment is used to search the output expression
  • the server sends the sorted search result list to the terminal.
  • the server may select a corresponding number of images from the sorted output image set and send to the terminal according to the number of images that need to be displayed on the terminal side.
  • the terminal displays a list of search results.
  • the embodiment of the present application can search the output image based on the image, that is, search the output image with the image (for example, search the expression with the expression), and realize the search of similar chat images.
  • users do not need to input text information to search for images, which simplifies the search process of images and improves the efficiency of image search; and, compared with the way of searching images by text, the image contains more information and expresses more.
  • the user s search requirements, such as image content, format, etc., can be searched out more accurately for the output image that the user wants.
  • the solution can also search and output images in multiple similar dimensions of images, the searched images are more extensive, and the probability of meeting user needs is improved, therefore, the search range and accuracy of images can be improved.
  • an embodiment of the present application further provides an image search device (ie, a first image search device), wherein the first image search device can be integrated in the terminal.
  • the image search device 500 may be applied to the terminal 110 shown in FIG. 1a, including:
  • the first display unit 501 is configured to display the image selection page of the client
  • the determining unit 502 is configured to determine an input image for searching based on the operation performed by the user on the image selection page;
  • the setting unit 503 is configured to preset multiple image similarity dimensions according to the similarity level between the two chat interactive images
  • the searching unit 504 is configured to search for at least one output image similar to the input image in the multiple image similarity dimensions, wherein each output image is similar to the input image in at least one image similarity dimension;
  • the generating unit 505 is configured to generate a search result list according to the at least one output image.
  • the second display unit 506 is configured to display the search result list.
  • the setting unit 503 is configured to obtain in advance a plurality of chat interactive images used in the instant messaging client; to layer the information contained in the plurality of chat interactive images, and to group the multiple chat interactive images.
  • the image similarity dimensions are set to any of the text content dimension, meaning dimension, role dimension, action dimension, and conversational relationship dimension.
  • the first display unit 501 is further configured to display the input image and the search result loading icon on the search waiting page of the instant messaging client; the second display unit 506 is configured to: The search result list is displayed on the search result page of the instant messaging client.
  • the first display unit 501 is further configured to display a chat session list page of the instant messaging client, the chat session list page includes a content search control; when it is detected that the user triggers the content search control During operation, the content search page is displayed.
  • the first display unit 501 is further configured to display a function page of the instant messaging client, the function page including a search function control; when a user triggering operation on the search function control is detected, display The content search page.
  • the searching unit 504 is configured to perform the following processing for each image similarity dimension: extract the first feature information of the input image in the image similarity dimension; obtain each candidate image in the image database The second feature information in the similar dimension of the image; respectively calculate the similarity between the first feature information and each second feature information; according to the calculated similarities, the image database is stored in the image A candidate image similar to the input image in similar dimensions is determined as the output image.
  • the feature information includes text feature information and/or vector feature information.
  • the generating unit 505 is configured to extract the third characteristic information of each output image; sort each output image according to the third characteristic information, and obtain the search result list according to the sorting result.
  • the second display unit 506 is further configured to display the image operation page of the target output image when the user's determination operation on the target output image in the search result list is detected, and the image operation page It includes an image adding control; when the user's adding operation for the image adding control is detected, the target output image is added to the chat image library of the instant messaging client.
  • the image search device 500 further includes:
  • the third display unit 507 is configured to display an image operation page of the target output image when a user's determination operation on the target output image in the search result list is detected, and the image operation page includes an image sending control;
  • the fourth display unit 508 is configured to display a list of to-be-selected objects when the user's image sending operation on the image sending control is detected, the list of to-be-selected objects includes at least one to-be-selected chat object;
  • the user interface unit 509 is configured to obtain the target chat object selected by the user from the candidate object list;
  • the sending unit 510 is configured to send the target output image to the target chat partner.
  • an embodiment of the present application also provides an image search device (ie, a second image search device), wherein the second image search device can be integrated in the server.
  • the image search device 600 can be applied to the server 120 in FIG. 1a, and includes:
  • the determining unit 601 is configured to determine an input image based on an image search request sent by the terminal;
  • the setting unit 602 is configured to preset multiple similar dimensions of images according to the similarity between the two chat interactive images
  • the searching unit 603 is configured to search for at least one output image similar to the input image in the multiple image similarity dimensions, where each output image is similar to the input image in at least one image similarity dimension;
  • the generating unit 604 is configured to generate a search result list according to the at least one output image.
  • the sending unit 605 is configured to return the search result list to the terminal so that the terminal can be displayed on the interface of the instant messaging client.
  • the generating unit 604 includes:
  • the extraction subunit 6041 is used to extract the third feature information of each output image
  • the sorting subunit 6042 is configured to sort the output images according to the third characteristic information, and obtain the search result list according to the sorting result.
  • an embodiment of the present application also provides a computer device, which may be a terminal or a server, as shown in FIG. 7, which shows a schematic structural diagram of the computer device involved in the embodiment of the present application, specifically:
  • the computer device may include one or more processing core processors 701, one or more computer-readable storage media of memory 702, power supply 703, input unit 704 and other components.
  • processing core processors 701 one or more computer-readable storage media of memory 702
  • power supply 703 input unit 704
  • other components other components.
  • FIG. 7 does not constitute a limitation on the computer device, and may include more or less components than those shown in the figure, or a combination of certain components, or different component arrangements. among them:
  • the processor 701 is the control center of the computer equipment. It uses various interfaces and lines to connect various parts of the entire computer equipment. It runs or executes software programs and/or modules stored in the memory 702, and calls Data, perform various functions of computer equipment and process data, so as to monitor the computer equipment as a whole.
  • the processor 701 may include one or more processing cores; preferably, the processor 701 may integrate an application processor and a modem processor, where the application processor mainly processes the operating system, user interface, application programs, etc. , The modem processor mainly deals with wireless communication. It can be understood that the foregoing modem processor may not be integrated into the processor 701.
  • the memory 702 may be used to store software programs and modules.
  • the processor 701 executes various functional applications and data processing by running the software programs and modules stored in the memory 702.
  • the memory 702 may mainly include a storage program area and a storage data area.
  • the storage program area may store an operating system, an application program required by at least one function (such as a sound playback function, an image playback function, etc.), etc.; Data created by the use of computer equipment, etc.
  • the memory 702 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, a flash memory device, or other volatile solid-state storage devices.
  • the memory 702 may further include a memory controller to provide the processor 701 with access to the memory 702.
  • the computer equipment also includes a power supply 703 for supplying power to various components.
  • the power supply 703 may be logically connected to the processor 701 through a power management system, so that functions such as charging, discharging, and power consumption management can be managed through the power management system.
  • the power supply 703 may also include any components such as one or more DC or AC power supplies, a recharging system, a power failure detection circuit, a power converter or inverter, and a power status indicator.
  • the computer device may further include an input unit 704, which can be used to receive input digital or character information and generate keyboard, mouse, joystick, optical or trackball signal input related to user settings and function control.
  • an input unit 704 can be used to receive input digital or character information and generate keyboard, mouse, joystick, optical or trackball signal input related to user settings and function control.
  • the computer device may also include a display unit, etc., which will not be repeated here.
  • the processor 701 in the computer device will load the executable file corresponding to the process of one or more application programs into the memory 702 according to the following instructions, and the processor 701 will run the executable file stored in The application program in the memory 702 realizes various functions.
  • an embodiment of the present application further provides a storage medium in which a plurality of instructions are stored, and the instructions can be loaded by a processor to execute steps in any image search method provided in the embodiments of the present application.
  • the storage medium may include: read only memory (ROM, Read Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disk, etc.
  • the instructions stored in the storage medium can execute the steps in any image search method provided in the embodiments of this application, it can achieve what can be achieved by any image search method provided in the embodiments of this application.
  • any image search method provided in the embodiments of this application For the beneficial effects, see the previous embodiment for details, and will not be repeated here.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种图像搜索方法、装置、计算机设备和存储介质。该方法包括：显示即时通讯客户端的图像选择页面（101）；基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像（102）；根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度（103）；在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像（104），其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；及，根据所述至少一个输出图像生成搜索结果列表并显示（105）。

Description

图像搜索方法、装置、计算机设备和存储介质
本申请要求于2019年6月12日提交中国专利局、申请号为201910507945.5、申请名称为“一种图像搜索方法、装置、计算机设备和存储介质”的中国专利申请的优先权。
技术领域
本申请涉及互联网技术领域，具体涉及一种图像搜索方法、装置、计算机设备和存储介质。
发明背景
IM(即时通讯)应用是即时通讯技术实现在线聊天和交流的软件，用户可以通过聊天应用与其他用户进行消息交互，实现聊天。目前为了提升聊天趣味性，即时通讯应用还可以支持发送图像如表情等与聊天对象进行互动。但是，现有技术中并没有通过图像来搜索图像的方案。
发明内容
本申请实施例提供一种图像搜索方法、装置、计算机设备和存储介质，可以在即时通讯客户端中实现以图像搜索图像。
本申请实施例提供一种图像搜索方法，包括：
显示即时通讯客户端的图像选择页面；
基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像；
根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；及，
根据所述至少一个输出图像生成搜索结果列表并显示。
相应的，本申请实施例还提供另一种图像搜索方法，包括：
基于终端发送的图像搜索请求，确定用于搜索的输入图像；
根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
在所述多个图像相似维度上，搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；
根据所述至少一个输出图像生成搜索结果列表；及，
将所述搜索结果列表返回给所述终端，以使所述终端在即时通讯客户端的界面上显示。
相应的，本申请实施例还提供一种图像搜索装置，包括：
第一显示单元，用于显示即时通讯客户端的图像选择页面；
确定单元，用于基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像；
设置单元，用于根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
搜索单元，用于在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；
生成单元，用于根据所述至少一个输出图像生成搜索结果列表；及，
第二显示单元，用于显示所述搜索结果列表。
相应的，本申请实施例还提供另一种图像搜索装置，包括：
确定单元，用于基于终端发送的图像搜索请求，确定输入图像；
设置单元，用于根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
搜索单元，用于在所述多个图像相似维度上，搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；
生成单元，用于根据所述至少一个输出图像生成搜索结果列表；及，
发送单元，用于将所述搜索结果列表返回给所述终端，以使所述终端在即时通讯客户端的界面上显示。
本申请实施例还提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现本申请实施例提供的任一种图像搜索方法中的步骤。
此外，本申请实施例还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例提供的任一种图像搜索方法中的步骤。
附图简要说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的图像搜索方法的场景示意图；
图1b是本申请一实施例提供的图像搜索方法的流程图；
图1c是本申请实施例提供的表情搜索的页面操作示意图；
图1d是本申请实施例提供的表情搜索页面显示示意图；
图1e是本申请实施例提供的表情搜索页面触发显示的示意图；
图1f是本申请实施例提供的输出表情发送示意图；
图2a是本申请实施例提供的输出表情搜索的另一页面操作示意图；
图2b是本申请实施例提供的输出表情搜索的另一页面操作示意图；
图2c是本申请实施例提供的输出表情搜索的另一页面操作示意图；
图2d是本申请实施例提供的输出表情搜索的另一页面操作示意图；
图2f是本申请另一实施例提供的图像搜索方法的流程图；
图3a是本申请又一实施例提供的图像搜索方法的流程图；
图3b是本申请实施例提供的输出表情搜索的架构示意图；
图3c是本申请实施例提供的特征提取的流程示意图；
图3d是本申请实施例提供的输出表情召回示意图；
图3e是本申请实施例提供的输出表情排序示意图；
图4a是本申请实施例提供的输出表情列表示意图；
图4b是本申请实施例提供的另一输出表情列表示意图；
图4c是本申请实施例提供的另一输出表情列表示意图；
图5a是本申请实施例提供的图像搜索装置的结构示意图；
图5b是本申请实施例提供的图像搜索装置的另一结构示意图；
图6是本申请实施例提供的图像搜索装置的另一结构示意图；
图7是本申请实施例提供的计算机设备的结构示意图。
实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种图像搜索方法、装置、计算机设备和存储介质。具体地，本申请实施例提供适用于第一计算机设备的图像搜索装置(为了区分可以称为第一图像搜索装置)中，以及适用于第二计算机设备的图像搜索装置(为了区分可以称为第二图像搜索装置)。其中，第一计算机设备可以为终端等设备，该终端可以为手机、平板电脑、笔记本电脑等设备。其中，第二计算机设备可以为服务器等网络侧设备。
比如，第一图像搜索装置可以集成在终端中，第二图像搜索装置可以集成在服务器，该服务器可以是单台服务器，也可以是由多个服务器组成的服务器集群。
本申请实施例将以第一计算机设备为终端，第二计算机设备为服务器为例，来介绍图像搜索方法。
参考图1a，本申请实施例提供了图像搜索系统100包括终端110和服务器120等；终端110与服务器120之间通过网络连接，比如，通过有线或无线网络连接等，其中，图像搜索装置111集成在终端110中，比如，以客户端的形式集成在终端110中。其中，终端110，可以用于显示即时通讯客户端的图像选择页面；基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像；根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；及，根据所述至少一个输出图像生成搜索结果列表并显示。
其中，终端110触发搜索输出图像的方式有多种，比如，终端110可以触发服务器120在多个图像相似维度上搜索与输入图像相似的输出图像。具体地，终端110可以向服务器120发送图像搜索请求。
服务器120可以具体用于：基于终端发送的图像搜索请求，确定用于搜索的输入图像；根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；在所述多个图像相似维度上，搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；根据所述至少一个输出图像生成搜索结果列表；及，将所述搜索结果列表返回给所述终端，以使 所述终端在即时通讯客户端的界面上显示。
本申请实施例将从第一图像搜索装置的角度进行描述，该第一图像搜索装置具体可以集成在终端中。本申请实施例提供的一种图像搜索方法，该方法可以由图1a所示的终端110的处理器执行，如图1b所示，该图像搜索方法的具体流程包括：
101、显示即时通讯客户端的图像选择页面。
本申请实施例中的图像可以包括应用在即时通讯客户端中的互动图像，或者用户在即时通讯客户端中使用的互动图像等，例如，可以为聊天互动图像。其中，聊天互动图像为在聊天场景与聊天对象互动的图像，比如，可以包括在聊天会话中向聊天对象表达信息的图像，如表达情绪、语言的图像。例如，聊天互动图像可以包括表情等。其中，聊天互动图像的图像类型可以有多种，比如可以包括静态图像、或者动态图像。譬如，聊天互动图像可以包括静态表情、动态表情等。
在本申请实施例中，在显示图像选择页面之前，可以显示图像搜索页面。图像搜索页面可以为供用户以图像搜索图像的搜索页面，用户可以在图像搜索页面操作触发以图像搜索输出图像(以图搜图)。比如，图像搜索页面可以为为供用户以聊天互动图像搜索聊天互动图像的页面，用户可以在该页面进行以图搜图操作，例如，图像搜索页面可以包括表情搜索页面，用户可以在表情搜索页面进行搜索操作，以表情搜索出所需的输出表情(即以表情搜表情)等，如图1c所示。
其中，图像搜索页面可以包括图像选择控件，该图像选择控件可以供用户触发显示图像选择页面，以确定输入图像。其中，控件的表现形式，可以为图标、输入框、按钮等形式。
例如，参考图1c，以图像为表情为例，表情搜索页面1c1可以包括图像选择控件,即“+”加号按钮，当用户需要选择用于搜索的输入表情时，用户对该加号按钮进行操作，如点击、滑动等操作，以触发显示表情选择页面1c2。在表情选择页面1c2中，显示包含待选表情列表的表情选择面板，该待选表情列表包括用户收藏的表情，该表情选择面板供用户选择或确定输入表情。
在本申请实施例中，用户可以对即时通讯客户端的用户操作页面进行操作，从而触发显示即时通讯客户端的图像搜索页面，如表情搜索页面1c1。比如，在一实施例中，用户可以通过对即时通讯客户端的内容搜索页面进行操作，从而触发显示图像搜索页面。其中，内容搜索页面可以为供用户搜索内容的页面，如新闻、文章、应用程序如小程序、业务服务、图像(如聊天互动图像)等；用户可以在内容搜索 页面进行搜索操作，以搜索所需的内容。
比如，可以在内容搜索页面设置聊天互动图像搜索控件，这样用户可以通过对该控件进行操作触发显示图像搜索页面，具体地，可以包括：显示即时通讯客户端的内容搜索页面，内容搜索页面包括图像搜索控件；当检测到用户针对图像搜索控件的触发操作时，显示客户端的图像搜索页面，图像搜索页面包括图像选择控件；当检测到用户针对图像选择控件的触发操作时，显示图像选择页面。
譬如，以图像为聊天表情为例，参考图1d，终端可以显示即时通讯客户端的内容搜索页面，该内容搜索页面可以多个内容搜索控件，如文章搜索控件、小程序搜索控件、音乐搜索控件、公众号搜索控件、表情搜索控件等。此外，内容搜索页面还可以包括即时通讯客户端中的热点内容等。当用户需要搜索表情时，用户可以对内容搜索页面中的表情搜索控件进行操作，如点击、滑动等操作；当终端检测到用户针对表情搜索控件的操作时，触发显示如图1c所示的表情搜索页面1c1。
本申请实施例中，触发显示内容搜索页面的方式可以有多种，比如，可以用户可以在聊天会话列表页面进行操作触发显示内容搜索页面，例如，可以在聊天会话列表页面设置内容搜索控件，用户可以通过该控件操作触发显示内容搜索页面。具体地，可以包括：显示即时通讯客户端的聊天会话列表页面，聊天会话列表页面包括内容搜索控件；当检测到用户针对内容搜索控件的触发操作时，显示内容搜索页面。
其中，聊天会话列表页面为用于显示聊天会话列表的页面，聊天会话列表可以包括一个或者多个聊天会话(如单聊、群聊等会话)。例如，参考图1e，终端显示即时通讯客户端的聊天会话列表页面，如子图1e1中左侧的页面，该页面设置有全局内容搜索控件；当用户对该全局内容搜索控件进行操作，如点击、滑动等操作时，终端会显示子图1e1中右侧的内容搜索页面。
又比如，用户还可以对即时通讯客户端的功能页面进行操作，触发显示内容搜索页面，比如，可以在功能页面设置搜索功能控件，用户可以对该控件进行操作触发显示内容搜索页面。具体地，可以包括：显示即时通讯客户端的功能页面，功能页面包括搜索功能控件；当检测到用户针对搜索功能控件的触发操作时，显示内容搜索页面。
例如，参考图1e，终端显示即时通讯客户端的聊天会话列表页面，如子图1e2中左侧的页面，该页面设置有全局内容搜索控件；当用户对该全局内容搜索控件进 行操作时，终端会显示子图1e2中右侧的功能页面，如“发现”页面，该页面包括扫码功能控件“扫一扫”、内容发布控件“朋友圈”、小程序功能控件“小程序”、搜索功能控件“搜一搜”等功能控件；当用户对搜索功能控件“搜一搜”进行操作如点击、滑动等操作时，终端会显示图1d所示的内容搜索页面。
102、基于用户针对图像选择页面所作的操作，确定用于搜索的输入图像。
其中，针对图像选择页面所作的输入图像确定操作，可以为单个操作，比如，用户针对选择页面执行一次点击操作；也可以为由多个如一系列操作组成的操作；比如，用户通过对选择页面执行多次不同的操作等。
103、根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度。
104、在多个图像相似维度上搜索得到与输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与输入图像相似。
105、根据至少一个输出图像生成搜索结果列表并显示。
其中，显示搜索结果列表的方式可以与输入图像的确定方式相关，下面介绍几种输入图像的不同确定方式下的搜索结果显示：
(1)、用户从图像选择页面的待选图像列表中选择输入图像；
其中，图像选择页面可以包括待选图像列表；待选图像列表可以包括至少一个待选图像，比如，以图像为表情为例，待选图像列表可以为待选表情列表，该待选表情列表可以包括至少一个待选表情。譬如，待选图像列表可以包括用户在客户端收藏的表情、客户端自带的表情、用户从表情商店添加的表情等等表情中的至少一种。譬如，待选图像列表可以包括至少一个用户收藏的表情。
此时，当检测到用户针对待选图像列表中待选图像的图像选择操作时，将用户选择的待选图像确定为输入图像，并显示搜索结果列表。
例如，参考图1c，在用户通过对图像搜索页面1c1中的图像选择控件，即“+”加号按钮，进行操作，触发显示图像选择页面1c2中下方的表情选择面板之后，用户可以通过点击操作，从表情选择面板中选择“表情1”作为输入表情。在用户点击选择“表情1”时，显示搜索结果列表，该搜索结果列表包括与“表情1”相似的相似表情，如表情11、表情12……等。
(2)、用户通过拍摄获取输入图像。
其中，图像选择页面可以包括图像拍摄控件，此时，当检测到用户针对图像拍摄控件的触发操作时，显示图像拍摄页面；基于用户针对图像拍摄页面的拍摄操作， 显示拍摄结果页面，拍摄结果页面包括拍摄结果图像、以及图像确认控件；当检测到用户针对图像确认控件的确认操作时，将拍摄结果图像确定为输入图像。
其中，图像拍摄可以为照片拍摄、或者视频拍摄等。
例如，参考图2a，以图像为表情为例，在表情选择页面2a1下方的表情选择面板中，还可以包括图像拍摄控件，如“拍摄”按钮。当用户想要通过拍摄选择输入表情(即将拍摄图像作为输入表情)时，用户可以对该“拍摄”按钮进行操作，如点击、滑动等操作，此时，终端将会调用相机，显示图像拍摄页面2a2，之后用户可以在图像拍摄页面2a2中操作拍摄所需的图像，例如，用户可以点击图像拍摄页面2a2的拍摄按钮，终端将会显示拍摄结果页面2a3，该页面包括拍摄得到的图像，如图像A、以及图像确认控件“添加”按钮；当用户想要将拍摄得到的图像A作为输入表情时，可以对“添加”按钮进行操作。此时，终端会将拍摄得到的图像A作为输入表情，并显示搜索结果列表，该搜索结果列表包括与图像A的相似表情，如相似表情A1、相似表情A2等等。在一实施例中，在用户对“添加”按钮进行操作时，终端还可以将图像A添加到用户的表情库中，如收藏该图像A。
(3)、用户从本地相册中选择照片作为输入图像。
其中，图像选择页面可以包括照片选择控件，此时，检测到用户针对照片选择控件的触发操作时，显示照片选择页面，照片选择页面包括本地相册中的至少一张照片；基于用户针对照片选择页面的照片选择操作，在照片选择页面中标记用户选择的照片，并显示照片确认页面，所述照片确认页面包括照片确认控件；当检测到用户针对照片确认控件的确认操作时，将用户选择的照片确定为输入图像。
例如，参考图2b，在表情选择页面2b1下方的表情选择面中，还可以包括照片选择控件，如“照片”按钮。当用户想要从本地相册中选择照片作为输入表情时，用户可以对该“照片”按钮进行操作，如点击、滑动等操作，此时，终端将会显示照片选择页面2b2，该照片选择页面2b2包括本地相册中的至少一张照片。用户可以在照片选择页面2b2通过操作选择照片，终端可以将标记用户选择的照片，比如，用户通过点击操作选择照片B1时，可以在照片B1上打钩；当用户想要将选择的照片B1作为输入表情时，可以点击照片确认页面2b3中的照片确认控件，如“确定”按钮，此时，终端将会将用户选择的照片作为输入表情，并显示搜索结果列表，该搜索结果列表包括与照片B1的相似表情，如相似表情B11、相似表情B12等等。在一实施例中，在用户对“确定”按钮进行操作时，终端还可以将照片B1添加到用户 的表情库中，如收藏该图像B1。
(4)、用户通过语音确定输入图像
其中，图像选择页面可以包括语音选择控件，此时，当检测到用户针对语音选择控件的触发操作时，显示语音输入页面，语音输入页面包括语音输入控件；当检测到用户针对语音输入控件的语音输入操作时，采集用户输入的语音信息；当检测到用户针对语音输入控件的语音输入结束操作时，显示与语音信息匹配的候选图像；当检测到用户针对候选图像的选择操作时，将用户选择的候选图像确定为输入图像。
其中，候选图像可以为终端本地数据库中与语音信息匹配的候选图像，例如，本地表情库中与语音信息匹配的候选图像。其中，图像与语音信息匹配可以包括：图像中文字内容与语音内容匹配、图像的含义或属性内容与语音内容匹配等等。
例如，参考图2c，在图像选择页面2c1下方的表情选择面板，还可以包括语音选择控件，如“语音输入”按钮。当用户想要从通过语音选择图像作为输入表情时，用户可以对该“语音输入”按钮进行操作，如点击、滑动等操作，此时，终端将会显示语音输入页2c2，该语音输入页面2c2包括语音输入控件，如麦克风图标。用户可以对语音输入页面2c2中麦克风图标进行操作，比如，用户通过长按麦克风图标时，触发采集用户输入的语音信息，当用户结束长按操作时，终端可以显示一个表情选择页面2c3，该表情选择页面2c3包括本地表情库中与语音信息匹配的候选表情，如表情C1、表情C2、表情C3等；用户可以在该表情选择页面2c3选择一个候选表情作为输入表情，比如，用户可以通过点击选择候选表情C1，此时，终端会显示搜索结果列表，该搜索结果列表包括与表情C1的相似表情如相似表情C11、相似表情C12等等。
(5)、用户通过绘制图像确定输入图像。
其中，图像选择页面可以包括图像绘制控件，此时，当检测到用户针对图像绘制控件的触发操作时，显示图像绘制页面，图像绘制页面包括图像绘制区域、以及绘制图像确认控件；基于用户在图像绘制区域内的绘制操作，在图像绘制页面显示用户绘制的图像；当检测到针对绘制图像确认控件的确认操作时，将用户绘制的图像确定为输入图像。
例如，参考图2d，在图像选择页面2d1下方的表情选择面板中，还可以包括绘制控件，如“画笔”形状图标。当用户想要从通过绘制图像确定输入表情时，用户可以对该“绘制”图标进行操作如点击、滑动等操作，此时，终端将会显示表情绘 制页面2d2，该表情绘制页面2d2包括表情绘制区域、以及绘制图像确认控件，如“添加”按钮。用户可以在表情绘制区域进行绘制操作，比如，用户可以表情绘制区域采用相应的颜色、样式以及线条绘制所需的表情。当用户绘制完表情G之后，用户可以对绘制图像确认控件，如“添加”按钮进行操作，此时，终端会将用户绘制的表情作为输入表情，并显示搜索结果列表，该搜索结果列表包括与表情G的相似表情如相似表情G1、相似表情G2等等。在一实施例中，在用户对“添加”按钮进行操作时，终端还可以将绘制的图像G添加到用户的表情库中，如收藏该图像G。
以上输入图像选择方式可以进行任意组合，以便用户可以采用多种途径选择输入图像进行搜索。例如，表情选择面板可以包括待选表情、图像拍摄控件、照片选择控件、语音选择控件、图像绘制控件中至少一种。
在一实施例中，考虑到搜索图像需要用户等待一定时间，为了避免因等待而对用户产生焦虑感，降低用户体验，还可以显示搜索等待页面。因此，所述方法还包括：在即时通讯客户端的搜索等待页面显示输入图像以及搜索结果加载图标；步骤105“根据所述至少一个输出图像生成搜索结果列表并显示”，具体包括：当搜索成功时，在搜索结果页面中显示搜索结果列表。
例如，参考图1c，当用户选择输入表情后，终端便会显示表情的搜索等待页面1c3，该搜索等待页面1c3包括用户选择或确定的输入表情，以及搜索结果加载图标，该搜索结果加载图标可以根据实际需求设定，比如，环形加载图标、长条形加载图标(如进度条)等等。
其中，本申请实施例中，搜索结果列表可以包括在至少一个(如一个或者多个)图像相似维度上与输入图像相似的输出图像。例如，搜索结果列表可以包括在至少一个表情相似维度上与输入表情相似的输出表情等。
在本申请一实施例中，步骤103中，“所述根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度”，具体可以包括：
预先获取在所述即时通讯客户端中使用的多个聊天互动图像；
对所述多个聊天互动图像所包含的信息进行分层，将所述多个图像相似维度设置为文字内容维度、含义维度、角色维度、动作维度、会话关系维度中的任意几个。
其中，图像相似维度为两个聊天互动图像之间相似的相似类型、或者相似方面或相似层面等；本申请实施例中，图像之间相似包括图像相同、和/或类似，具体可以根据实际需求选择。
其中，图像相似维度可以根据实际需求划分为多种，也即两个聊天互动图像之间相似的层面可以有多种，比如，可以包括图像相似、含义相似、会话关系相似等等相似类型。例如，两个聊天互动图像之间的相似可以为图像相似、含义相似、或者会话关系相似等。
例如，图像相似维度可以包括但不限于以下维度：
图像的文字内容维度，比如，两个聊天互动图像的文字相同，或者类似；
图像的含义维度，比如，两个聊天互动图像所表达的含义是相同，或者类似，；
图像的角色维度，比如，两个聊天互动图像中的角色相同，或者类似；
图像中角色的动作维度，比如，两个聊天互动图像中角色所作的动作相同，或者类似；
图像中会话关系维度，包括文字内容的会话关系相似、或者图像表达的含义呈会话关系相似，比如，两个聊天中文字内容形成会话关系。
譬如，以表情为例，表情相似维度可以包括但不限于以下维度：
表情文字内容维度，比如，两个表情的文字相同，或者类似；
表情含义维度，比如，两个表情所表达的含义是相同，或者类似，比如两个表情都是表达“您好”的表情；或者一个表达“您好”，另一个表达“hello”；
表情角色维度，比如，两个表情中的角色相同，或者类似；例如，两个表情中的虚拟人物都是“XX宝贝”的卡通形象；
表情角色的动作维度，比如，两个表情中角色所作的动作相同，或者类似；例如，两个表情中角色手部都作出“胜利”的手势，或者，一个表情中角色作出“捂脸”的动作，另一个表情作出“捂嘴”的动作；
表情的会话关系维度，包括文字内容的会话关系相似，比如，两个表情中文字内容形成会话关系，譬如，一个表情的文字内容为“你有病啊”，另一个表情的文字内容为“你有药啊”，这两个表情即会话关系相似。
比如，可以触发在多个图像相似维度上搜索与输入图像相似的输出图像，得到输出图像集合，该输出图像集合可以包括在每个或每种图像相似维度上与输入图像相似的输出图像。在一实施例中，触发搜索输出图像的时机可以有多种，比如，可以在获取输入图像之后，触发搜索与输入图像相似的输出图像。又比如，还可以在获取输入图像的同时触发搜索与输入图像相似的输出图像。
例如，在一实施例中，当用户对待选图像列表进行选择操作时，可以触发搜索 图像，具体地，可以包括：
当检测到用户针对待选图像列表中待选图像的选择操作时，触发在多个图像相似维度上搜索与输入图像相似的输出图像。
又比如，当检测到用户针对图像确认控件的确认操作时，触发在多个图像相似维度上搜索与输入图像相似的输出图像。
又比如，当检测到用户针对照片确认控件的确认操作时，触发在多个图像相似维度上搜索与输入图像相似的输出图像。
又比如，当检测到用户针对候选图像的选择操作时，触发在多个图像相似维度上搜索与输入图像相似的输出图像。
又比如，当检测到针对绘制图像确认控件的确认操作时，触发在多个图像相似维度上搜索与输入图像相似的输出图像。
例如，参考图1c，在显示表情选择面板之后，用户可以通过点击操作从表情选择面板中选择“表情1”作为输入表情。在用户点击选择“表情1”时，触发终端在多个表情相似维度上搜索与“表情1”相似的输出表情。
本申请实施例中，触发搜索输出图像的方式有多种，比如，在一实施例中，可以触发终端自己在多个图像相似维度上搜索与输入图像相似的输出图像。
具体地，步骤104“在所述多个图像相似维度上搜索与所述输入图像相似的至少一个输出图像”，可以包括：针对每个图像相似维度，执行如下处理：
提取所述输入图像在该图像相似维度上的第一特征信息；获取图像数据库中的每个备选图像在该图像相似维度上的第二特征信息；分别计算所述第一特征信息与每个第二特征信息之间的相似度；根据计算出的各个相似度，将图像数据库中在该图像相似维度上与所述输入图像相似的备选图像确定为所述输出图像。
这样，终端从服务器获取输出图像，用于生成搜索结果列表。
其中，每个或每种图像相似维度上的特征信息，表征在该图像相似维度上的属性等信息，用于计算在该图像相似维度上两张图像之间的相似度信息。
例如，图像相似维度上的特征信息，可以包括图像内容或含义对应的文本类特征信息、向量类特征信息等特征信息。其中，文本类特征信息可以包括文字特征信息、图像的类型信息(如分类标签tag信息)等。其中，文字特征信息可以采用文字识别获取，图像的类型信息可以对图像分类获取。其中，向量类特征信息可以为采用特征提取模型提取时模型输出的特征向量(如多维特征向量)。该特征提取模型可 以为深度学习模型，如残差网络模型(ResNet)、人脸识别网络模型(FaceNet)等模型。
在一实施例中，步骤105“根据所述至少一个输出图像生成搜索结果列表并显示”，具体可以包括：
提取每个输出图像的第三特征信息；
根据所述第三特征信息对各个输出图像进行排序，得到所述搜索结果列表。
其中，输出图像是从图像数据库中的备选图像中确定出时，上述第三特征信息与上述第二特征信息相同。
本申请实施例中，在至少一个图像相似维度上搜索输出图像，可以包括：同时在多个图像相似维度上搜索与输入图像相似的输出图像；比如，同时在图像相似维度1、图像相似维度2、图像相似维度3与输入图像相似的输出图像。也可以包括：分别在各个图像相似维度上搜索与输入图像相似的输出图像，比如，在图像相似维度1上搜索与输入图像相似的输出图像、在图像相似维度2上搜索与输入图像相似的输出图像、……在图像相似维度n上搜索与输入图像相似的输出图像，其中n为大于2的正整数。
以表情为例，在至少一个表情相似维度上搜索与输入表情相似的输出表情可以包括：同时在多个表情相似维度上搜索与输入表情相似的输出表情，如表情11与表情1图像相似、含义相似、会话关系相似，此时表情11同时在三个维度与输入表情1相似。也可以包括分别在各个表情相似维度上搜索与输入表情相似的输出表情，如表情11与表情1含义相似、表情12与表情1角色相似、表情13与表情1会话关系相似等等。
在一实施例中，搜索结果列表可以包括在每个或每种图像相似维度上与输入图像相似的输出图像。例如，在图像相似、含义相似、会话关系相似等各个维度上与输入表情相似的输出表情。
在实际应用中，可以通过页面来显示搜索结果，具体地，当成功获取到搜索结果时，显示搜索结果页面，搜索结果页面包括输入图像、以及搜索结果列表。例如，参考图1c，当终端成功获取到搜索结果时，显示表情搜索结果页面1c4，该页面包括输入表情1，以及在每种表情相似维度上与输入表情1相似的输出表情，如表情11、表情12……等。
在一实施例中，为了便于用户使用搜索到的输出图像，可以允许用户在搜索结 果列表操作以收藏选择的输出图像。具体地，图像搜索方法还包括：
当检测到用户针对搜索结果列表中目标输出图像的确定操作时，显示目标输出图像的图像操作页面，图像操作页面包括图像添加控件；
当检测到用户针对图像添加控件的添加操作时，将目标输出图像添加到即使通信客户端的聊天图像库中。
在一实施例中，为了便于用户使用搜索到的输出图像，可以允许用户在搜索结果列表操作以直接使用选择的输出图像。具体地，图像搜索方法还包括：
当检测到用户针对搜索结果列表中目标输出图像的确定操作时，显示目标输出图像的图像操作页面，图像操作页面包括图像发送控件；
当检测到用户针对图像发送控件的图像发送操作时，显示待选对象列表，待选对象列表包括至少一个待选聊天对象；
获取用户从待选对象列表中选择的目标聊天对象；
向目标聊天对象发送目标输出图像。
其中，待选聊天对象可以包括单聊对象，如某个用户，也可以包括群聊对象，如某个群组等。
例如，参考图1f，在显示表情搜索结果列表之后，用户可以通过对列表中输出表情进行操作以选择目标输出表情，当用户对列表中某个输出表情如输出表情12进行操作，如点击、滑动等操作时，终端可以在图像操作页面1f1中，显示该输出表情的表情详情页面，如表情12的表情详情页面，该表情详情页面包括表情发送控件如“发送给朋友”按钮、表情添加控件如“添加到表情”按钮。
当用户想要添加收藏该输出表情时，可以点击“添加到表情”按钮，此时，终端可以将表情12添加到客户端的用户表情库中，以便用户后续使用。
当用户想要直接发送使用该输出表情时，可以点击“发送给朋友”按钮，此时，终端可以显示待先聊天对象列表页面1f2“选择一个聊天”，该列表可以包括单聊对象、群聊对象等；用户可以在对象列表页面1f2操作选择一个目标聊天对象。如，当聊天对象为单聊对象时，可以向与该单聊对象的聊天会话发送表情12，如页面1f3所示；当聊天对象为群聊对象时，可以向在群聊对象对应的群聊会话发送表情12。
由上可知，本申请实施例基于图像搜索其输出图像，即以图像搜索输出图像(如以表情搜索表情)，实现了输出图像的搜索。用户无需输入文字信息搜索图像，简化图像的搜索过程，提升了图像的搜索效率；并且，以图像搜索输出图像，相比以文 字搜索图像的方式，图像包含的信息更丰富，更能表达出用户的搜索需求，如图像内容、形式等，因此，可以更精确地搜索出用户想要的输出图像。
另外，该方案还可以在多个图像相似维度上搜索输出图像，搜索到的图像更广泛，并且提升了与用户需求相符合的概率，因此，可以提升图像的搜索范围以及准确性。
在一实施例中，还可以触发其他设备如服务器在多个图像相似维度上搜索与输入图像相似的输出图像，然后，从其他设备如服务器获取搜索到的输出图像。图2f是本申请另一实施例提供的图像搜索方法的流程图，该图像搜索方法由服务器执行，例如图1a中的服务器120。具体包括如下步骤：
401，基于终端发送的图像搜索请求，确定用于搜索的输入图像。
402，根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度。
403，在多个图像相似维度上，搜索得到与输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与输入图像相似。
404，根据至少一个输出图像生成搜索结果列表。
405，将搜索结果列表返回给终端，以使终端在即时通讯客户端的界面上显示。
其中步骤402-404的具体实现方式，与上述步骤103-105相同，在此不再赘述。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该第一图像搜索装置具体集成终端、第二图像搜索装置具体集成在服务器为例进行说明。如图3a所示，一种聊天互动图像方法，可以应用于图1a所示的终端110与服务器120，具体流程如下：
301、终端显示即时通讯客户端的内容搜索页面，该内容搜索页面包括图像搜索控件。
302、当检测到用户针对图像搜索控件的触发操作时，终端显示即时通讯客户端的图像搜索页面，该图像搜索页面包括图像选择控件。
303、当检测到用户针对图像选择控件的触发操作时，终端显示图像选择页面。
304、终端基于用户针对图像选择页面的输入图像确定操作，确定输入图像。
上述各步骤的具体实现方式，可以参考上述实施例的介绍。
又如，参考图3b为本申请实施例提供的一种表情搜索系统架构，在用户选择输入表情时，终端上的即时通讯客户端可以向接入层，如接入层服务器，发送图像搜索请求，该接入层可以将图像搜索请求转发给相似表情搜索服务，如转发给相似表 情搜索服务器。其中，图像搜索请求可以携带输入图像，如表情，在一实施例中，为了提升图像搜索效率，可以利用图像的图像标识来表示图像进行图像搜索。例如，即时通讯客户端可以向接入层发送携带表情标识(id)的图像搜索请求。
305、服务器基于终端发送的图像搜索请求，确定用于搜索的输入图像。
比如，服务器可以对图像搜索请求进行解析，得到输入图像或者输入图像的图像标识，如待搜索的表情id。
306、服务器提取输入图像在多个图像相似维度上的第一特征信息。
例如，参考图3b，可以采用特征服务模块来提取输入表情在多个表情相似维度上的特征信息。其中，特征服务模块可以由其他服务器实现特征服务器模块的功能，或者特征服务模块为服务器的本地服务模块。具体地，图像相似维度的介绍可以参考上述实施例的描述。
例如，表情的相似维度或场景有多种：图像相似、含义相似、会话关系等。为了满足多种场景的需求，需要提取多个维度的特征，包括文字识别得到的文本类特征、表情Tag识别的文本类特征、向量类特征(如ResNet、FaceNet等模型输出的多维特征向量)等。
在一实施例中，为了提升特征提取效率和图像搜索效率，可以预先提取一些图像的特征信息(可以称为离线特征信息)，并保存在数据库(该数据库可以为称为离线特征库)中，在图像搜索时，如果在数据库中存在输入图像，直接从数据库中提取。
具体地，当预设特征集合中存在输入图像时，从预设特征集合中提取输入图像对应的多个图像相似维度上的特征信息，其中，预设特征集合包括：预设图像、以及预设图像对应的多个图像相似维度的特征信息。
当预设特征集合不存在输入图像时，对输入图像进行多维特征提取，得到输入图像在多个图像相似维度上的特征信息。其中，预设特征集合的表现形式可以为数据库，如离线特征库。
在一实施例中，多个图像相似维度上的特征信息可以包括：文本类特征信息、向量类特征信息；当预设特征集合不存在输入图像时，可以采用如下方式提取特征：
对输入图像进行文字识别，得到文字识别结果，并根据文字识别结果，构建输入图像的第一文本类特征信息；
对输入图像进行图像分类，得到图像分类结果，并根据图像分类结果，构建输 入图像的第二文本类特征信息；
基于特征提取模型提取输入图像的特征向量，得到输入图像的向量类特征。
例如，参考图3b，离线特征库中的数据会定期更新到数据服务模块中供在线使用，特征服务模块可以基于上述介绍的特征提取方式来提取特征。比如，参考图3c，先检测输入表情是否命中离线特征库，即离线特征库是否存在输入表情的特征信息，若是，执行从离线特征库中提取输入表情的在多个表情相似维度上的离线特征；若没有命中离线特征库，可以获取输入表情图像，分别对输入表情图像进行文本类特征提取、向量类特征提取等多维度特征提取，得到输入表情的多维度的在线特征。
307，服务器基于多个图像相似维度上的第一特征信息，搜索与输入图像相似的输出图像。
可以将搜索出的输出图像组合为输出图像集合，输出图像集合包括在至少一个图像相似维度上与输入图像相似的输出图像。
比如，服务器可以基于每个图像相似维度上的特征信息，在图像数据库中搜索与输入图像相似的图像。其中，图像数据库，如表情库，可以包括多个可以提供给用户的图像，如表情。
在一实施例中，为了提升输出图像搜索的准确性和丰富性，还可以对在线输出图像进行补充，比如，可以预先设置一些图像的输出图像，如输出图像列表，并保存在输出图像数据库中；在输出图像搜索时，可以在输出图像数据库中搜索输出图像，对搜索结果进行补充。
具体地，基于每个图像相似维度上的第一特征信息搜索与输入图像相似的输出图像，得到第一输出图像子集合，第一输出图像子集合包括在至少一个图像相似维度上与输入图像相似的输出图像；
基于输出图像映射关系集合，获取与输入图像对应的预设输出图像，得到第二输出图像子集合，其中，输出图像映射关系集合包括输入图像与预设输出图像之间的映射关系；
对第一输出图像子集合和第二输出图像子集合进行汇总，得到输出图像集合。
其中，输出图像映射关系集合可以保存在数据库中，该数据库可以称为输出图像库，如输出表情库。
比如，参考图3b，在特征服务模块提取表情的多个维度特征信息之后，召回服务模块可以根据提取的多个维度特征信息搜索时，召回输出表情。具体地，参考图 3d，可以在相似表情库中搜索输出表情，相似表情库是离线计算好的相似表情列表，挖掘了多种维度的相似信息，是对在线召回结果的补充；根据文本类特征在表情库中搜索输出表情(即文本召回)，比如通过文本检索引擎来实现文本召回；根据向量类特征在表情库中搜索输出表情(即向量召回)，比如，可以通过向量检索引擎来实现向量召回；然后，对多路召回的输出表情进行汇总，得到搜索到的输出表情集合。
在一实施例中，基于图像相似维度上的特征信息在图像数据库中搜索输出图像的实现方式有多种，比如，可以包括：针对每个图像相似维度，提取所述输入图像在该图像相似维度上的第一特征信息；获取图像数据库中的每个备选图像在该图像相似维度上的第二特征信息；分别计算所述第一特征信息与每个第二特征信息之间的相似度；根据计算出的各个相似度，将所述图像数据库中在该图像相似维度上与所述输入图像相似的备选图像确定为所述输出图像。比如，选择图像数据库中相似度大于预设相似阈值的图像为输入图像的输出图像。
308、服务器提取每个输出图像的第三特征信息。
其中，输出图像的第三特征信息可以包括输出图像在一个或者多个图像相似维度上的特征信息。
比如，服务器可以从预设特征集合中提取输出图像的特征信息。如可以从离线特征库中提取相似维度上的输出图像。
309、服务器根据第三特征信息，对各个输出图像进行排序，根据排序的结果得到搜索结果列表。
例如，参考图3b和图3e，在召回服务模块得到多路召回的输出表情后，排序服务模块可以对多路召回的输出表情进行排序。比如，可以从离线特征库中提取输出表情的离线特征信息(多个图像相似维度上的离线特征信息)；然后，进行表情去重，基于输出表情在多个图像相似维度上的离线特征信息，对召回的输出表情进行排序，比如，综合各种表情进行打分和排序。
本申请实施例，可以基于搜索到的输出图像的多维度特征信息对搜索到的输出图像进行排序，由于输出图像的多维特征信息进行排序，可以表达出用户对图像相似维度的需求，即用户想要与输入图像在维度相似的输出图像，使得符合用户需求的输出图像排在前面，提升了输出图像的搜索准确性。
例如，在一种输出表情的使用场景中，在群聊中大家对一件事情表示祝贺、感谢、认同时，避免与大家发送相同的表情而尴尬，让他人认为自己对这件事情是认 真的，而不是敷衍。举例当群里有人过生日时，大家都在发送生日快乐的表情，而生日快乐的表情不常用，用户收藏的表情可能较少，发送与之前聊天发送了的表情又显得很敷衍，用户需要寻找不同的表情来发送给对方。通过本申请实施例提供的方法可以得到生日祝福表情搜索结果，参考图4a。在图4a中，由于该使用场景中，用户更侧重于表情的文字内容，希望能够搜到“生日快乐”的输出表情，因此，采用本申请实施例的方法在搜到输出表情列表之后，可以输出表情的多维特征，如文字类特征，对列表中输出表情进行排序，使得包含“生日快乐”文字的表情优于其他相似表情排在列表前面。
在另一种输出表情的使用场景中，当用户看到一个表情，对表情本身非常喜欢，想要寻找更多相似的表情，输出表情可以快速帮你找到你喜欢的与之相近的表情。例如，当用户收到“XX宝宝”的表情，想获取更多“XX宝宝”相关的表情，可以快速通过搜索得到多个相似的输出表情，不需要用户输入文字进行搜索。
例如，在图4b中，由于该使用场景中，用户更侧重于表情的人物角色，希望能够搜到人物角色为“XX宝宝”的输出表情，因此，采用本申请实施例的方法在搜到输出表情列表之后，可以输出表情的多维特征，如文字类特征(表情tag特征)，对列表中输出表情进行排序，使得人物角色为“XX宝宝”的表情优于其他输出表情排在列表前面。
在另一种输出表情的使用场景中，当用户收到一个表情，希望输出表情可以提供趣味的表情回复结果，增加聊天之中表情发送的乐趣。例如，当用户收到一个“你有病啊”的表情，输出表情可以提供“你才有病”、“你有药啊”等富有斗图意味的表情发送给对方，增加聊天的趣味性。
例如，在图4c中，由于该使用场景中，用户更侧重于表情的会话关系，希望能够搜到与输入表情具有会话关系的输出表情，因此，采用本申请实施例的方法在搜到输出表情列表之后，可以输出表情的多维特征，如文字类特征、向量类特征等，对列表中输出表情进行排序，使得与输入表情具有会话关系的输出表情由于其他输出表情排在列表前面。
310、服务器向终端发送排序后的搜索结果列表。
在一实施例中，服务器可以根据终端侧需要显示的图像数量，从排序后的输出图像集合选取相应的数量图像发送给终端。
311、终端显示搜索结果列表。
由上可知，本申请实施例可以基于图像搜索其输出图像，即以图像搜索输出图像(如以表情搜索表情)，实现了相似聊天图像的搜索。此外，用户无需输入文字信息搜索图像，简化图像的搜索过程，提升了图像的搜索效率；并且，以图像搜索输出图像，相比以文字搜索图像的方式，图像包含的信息更丰富，更能表达出用户的搜索需求如图像内容、形式等，因此，可以更精确地搜索出用户想要的输出图像。
另外，该方案还可以在多个图像相似维度上搜索输出图像，搜索到的图像更广泛，并且提升了与用户需求相符合的概率，因此，可以提升图像的搜索范围以及准确性。
为了更好地实施以上方法，相应的，本申请实施例还提供一种图像搜索装置(即第一图像搜索装置)，其中，该第一图像搜索装置可以集成在终端中。例如，如图5a所示，该图像搜索装置500可以应用于图1a所示的终端110中，包括：
第一显示单元501，用于显示客户端的图像选择页面；
确定单元502，用于基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像；
设置单元503，用于根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
搜索单元504，用于在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；
生成单元505，用于根据所述至少一个输出图像生成搜索结果列表；及，
第二显示单元506，用于显示所述搜索结果列表。
在一实施例中，设置单元503用于，预先获取在所述即时通讯客户端中使用的多个聊天互动图像；对所述多个聊天互动图像所包含的信息进行分层，将所述多个图像相似维度设置为文字内容维度、含义维度、角色维度、动作维度、会话关系维度中的任意几个。
在一实施例中，第一显示单元501还用于，在所述即时通讯客户端的搜索等待页面显示所述输入图像以及搜索结果加载图标；第二显示单元506用于，当搜索成功时，在所述即时通讯客户端的搜索结果页面中显示所述搜索结果列表。
在一实施例中，第一显示单元501还用于，显示所述即时通讯客户端的聊天会话列表页面，所述聊天会话列表页面包括内容搜索控件；当检测到用户针对所述内 容搜索控件的触发操作时，显示所述内容搜索页面。
在一实施例中，第一显示单元501还用于，显示所述即时通讯客户端的功能页面，所述功能页面包括搜索功能控件；当检测到用户针对所述搜索功能控件的触发操作时，显示所述内容搜索页面。
在一实施例中，搜索单元504用于，针对每个图像相似维度，执行如下处理：提取所述输入图像在该图像相似维度上的第一特征信息；获取图像数据库中的每个备选图像在该图像相似维度上的第二特征信息；分别计算所述第一特征信息与每个第二特征信息之间的相似度；根据计算出的各个相似度，将所述图像数据库中在该图像相似维度上与所述输入图像相似的备选图像确定为所述输出图像。
在一实施例中，特征信息包括文本类特征信息和/或者向量类特征信息。
在一实施例中，生成单元505用于，提取每个输出图像的第三特征信息；根据所述第三特征信息对各个输出图像进行排序，根据排序的结果得到所述搜索结果列表。
在一实施例中，第二显示单元506还用于，当检测到用户针对所述搜索结果列表中目标输出图像的确定操作时，显示所述目标输出图像的图像操作页面，所述图像操作页面包括图像添加控件；当检测到用户针对所述图像添加控件的添加操作时，将目标输出图像添加到所述即时通讯客户端的聊天图像库中。
在图5b所示的实施例中，图像搜索装置500还包括：
第三显示单元507，用于当检测到用户针对所述搜索结果列表中目标输出图像的确定操作时，显示所述目标输出图像的图像操作页面，所述图像操作页面包括图像发送控件；
第四显示单元508，用于当检测到用户针对所述图像发送控件的图像发送操作时，显示待选对象列表，所述待选对象列表包括至少一个待选聊天对象；
用户界面单元509，用于获取用户从所述待选对象列表中选择的目标聊天对象；
发送单元510，用于向所述目标聊天对象发送所述目标输出图像。
为了更好地实施以上方法，相应的，本申请实施例还提供一种图像搜索装置(即第二图像搜索装置)，其中，该第二图像搜索装置可以集成在服务器中。例如，如图6a所示，该图像搜索装置600可以应用于图1a中的服务器120，包括：
确定单元601，用于基于终端发送的图像搜索请求，确定输入图像；
设置单元602，用于根据两个聊天互动图像之间相似的层面，预先设置多个图像 相似维度；
搜索单元603，用于在所述多个图像相似维度上，搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；
生成单元604，用于根据所述至少一个输出图像生成搜索结果列表；及，
发送单元605，用于将所述搜索结果列表返回给所述终端，以使所述终端在即时通讯客户端的界面上显示。
在一实施例中，生成单元604包括：
提取子单元6041，用于提取每个输出图像的第三特征信息；
排序子单元6042，用于根据所述第三特征信息对各个输出图像进行排序，根据排序的结果得到所述搜索结果列表。
此外，本申请实施例还提供一种计算机设备，该计算机设备可以为终端或者服务器，如图7所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图7中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器701是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存 储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。
计算机设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像搜索方法中的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像搜索方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像搜索方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像搜索方法、装置、计算机设备和存储介质进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (29)

  1. 一种图像搜索方法，其特征在于，由终端执行，包括：
    显示即时通讯客户端的图像选择页面；
    基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像；
    根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
    在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；及，
    根据所述至少一个输出图像生成搜索结果列表并显示。
  2. 如权利要求1所述的图像搜索方法，其中，所述图像选择页面包括待选图像列表，所述待选图像列表包括至少一个待选图像；
    所述基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像，包括：
    当检测到用户针对所述待选图像列表中待选图像的图像选择操作时，将用户选择的待选图像确定为所述输入图像。
  3. 如权利要求1所述的图像搜索方法，其中，所述图像选择页面包括：图像拍摄控件；
    所述基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像，包括：
    当检测到用户针对所述图像拍摄控件的触发操作时，显示图像拍摄页面；
    基于用户针对所述图像拍摄页面的拍摄操作，显示拍摄结果页面，所述拍摄结果页面包括拍摄结果图像、以及图像确认控件；
    当检测到用户针对所述图像确认控件的确认操作时，将所述拍摄结果图像确定为所述输入图像。
  4. 如权利要求1所述的图像搜索方法，其中，所述图像选择页面包括：照片选择控件；
    所述基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像，包括：
    当检测到用户针对所述照片选择控件的触发操作时，显示照片选择页面，所述照片选择页面包括本地相册中的至少一张照片；
    基于用户针对所述照片选择页面的照片选择操作，在所述照片选择页面中标记 用户选择的照片，并显示照片确认页面，所述照片确认页面包括照片确认控件；
    当检测到用户针对照片确认控件的确认操作时，将用户选择的照片确定为所述输入图像。
  5. 如权利要求1所述的图像搜索方法，其中，所述图像选择页面包括：语音选择控件；
    所述基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像，包括：
    当检测到用户针对所述语音选择控件的触发操作时，显示语音输入页面，所述语音输入页面包括语音输入控件；
    当检测到用户针对所述语音输入控件的语音输入操作时，采集用户输入的语音信息；
    当检测到用户针对所述语音输入控件的语音输入结束操作时，显示与所述语音信息匹配的候选图像；
    当检测到用户针对候选图像的选择操作时，将用户选择的候选图像确定为所述输入图像。
  6. 如权利要求1所述的图像搜索方法，其中，所述图像选择页面包括：图像绘制控件；
    所述基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像，包括：
    当检测到用户针对所述图像绘制控件的触发操作时，显示图像绘制页面，所述图像绘制页面包括图像绘制区域、以及绘制图像确认控件；
    基于用户在所述图像绘制区域内的绘制操作，在所述图像绘制页面显示用户绘制的图像；
    当检测到针对所述绘制图像确认控件的确认操作时，将用户绘制的图像确定为所述输入图像。
  7. 如权利要求1所述的图像搜索方法，其中，所述根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度，包括：
    预先获取在所述即时通讯客户端中使用的多个聊天互动图像；
    对所述多个聊天互动图像所包含的信息进行分层，将所述多个图像相似维度设置为文字内容维度、含义维度、角色维度、动作维度、会话关系维度中的任意几个。
  8. 如权利要求1所述的图像搜索方法，还包括：
    在所述即时通讯客户端的搜索等待页面显示所述输入图像以及搜索结果加载图标；
    所述根据所述至少一个输出图像生成搜索结果列表并显示，包括：
    当搜索成功时，在所述即时通讯客户端的搜索结果页面中显示所述搜索结果列表。
  9. 如权利要求1所述的图像搜索方法，还包括：
    显示所述即时通讯客户端的内容搜索页面，所述内容搜索页面包括图像搜索控件；
    当检测到用户针对所述图像搜索控件的触发操作时，显示所述即时通讯客户端的图像搜索页面，所述图像搜索页面包括图像选择控件；
    所述显示即时通讯客户端的图像选择页面，包括：
    当检测到用户针对所述图像选择控件的触发操作时，显示所述图像选择页面。
  10. 如权利要求9所述的图像搜索方法，还包括：
    显示所述即时通讯客户端的聊天会话列表页面，所述聊天会话列表页面包括内容搜索控件；
    当检测到用户针对所述内容搜索控件的触发操作时，显示所述内容搜索页面。
  11. 如权利要求9所述的图像搜索方法，还包括：
    显示所述即时通讯客户端的功能页面，所述功能页面包括搜索功能控件；
    当检测到用户针对所述搜索功能控件的触发操作时，显示所述内容搜索页面。
  12. 如权利要求1所述的图像搜索方法，其中，所述在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像，包括：
    针对每个图像相似维度，执行如下处理：
    提取所述输入图像在该图像相似维度上的第一特征信息；
    获取图像数据库中的每个备选图像在该图像相似维度上的第二特征信息；
    分别计算所述第一特征信息与每个第二特征信息之间的相似度；
    根据计算出的各个相似度，将所述图像数据库中在该图像相似维度上与所述输入图像相似的备选图像确定为所述输出图像。
  13. 如权利要求12所述的图像搜索方法，其中，特征信息包括文本类特征信息和/或者向量类特征信息。
  14. 如权利要求1所述的图像搜索方法，其中，所述根据所述至少一个输出图像生成搜索结果列表并显示，包括：
    提取每个输出图像的第三特征信息；
    根据所述第三特征信息对各个输出图像进行排序，根据排序的结果得到所述搜索结果列表。
  15. 如权利要求1-14任一项所述的图像搜索方法，还包括：
    当检测到用户针对所述搜索结果列表中目标输出图像的确定操作时，显示所述目标输出图像的图像操作页面，所述图像操作页面包括图像添加控件；
    当检测到用户针对所述图像添加控件的添加操作时，将目标输出图像添加到所述即时通讯客户端的聊天图像库中。
  16. 如权利要求1-14任一项所述的图像搜索方法，还包括：
    当检测到用户针对所述搜索结果列表中目标输出图像的确定操作时，显示所述目标输出图像的图像操作页面，所述图像操作页面包括图像发送控件；
    当检测到用户针对所述图像发送控件的图像发送操作时，显示待选对象列表，所述待选对象列表包括至少一个待选聊天对象；
    获取用户从所述待选对象列表中选择的目标聊天对象；
    向所述目标聊天对象发送所述目标输出图像。
  17. 一种图像搜索方法，其特征在于，由服务器执行，包括：
    基于终端发送的图像搜索请求，确定用于搜索的输入图像；
    根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
    在所述多个图像相似维度上，搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；
    根据所述至少一个输出图像生成搜索结果列表；及，
    将所述搜索结果列表返回给所述终端，以使所述终端在即时通讯客户端的界面上显示。
  18. 如权利要求17所述的图像搜索方法，其中，所述根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度，包括：
    预先获取在所述即时通讯客户端中使用的多个聊天互动图像；
    对所述多个聊天互动图像所包含的信息进行分层，将所述多个图像相似维度设置为文字内容维度、含义维度、角色维度、动作维度、会话关系维度中的任意几个。
  19. 如权利要求17所述的图像搜索方法，其中，所述在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像，包括：
    针对每个图像相似维度，执行如下处理：
    提取所述输入图像在该图像相似维度上的第一特征信息；
    获取图像数据库中的每个备选图像在该图像相似维度上的第二特征信息；
    分别计算所述第一特征信息与每个第二特征信息之间的相似度；
    根据计算出的各个相似度，将所述图像数据库中在该图像相似维度上与所述输入图像相似的备选图像确定为所述输出图像。
  20. 如权利要求19所述的图像搜索方法，其中，所述针对每个图像相似维度，提取所述输入图像在该图像相似维度上的第一特征信息，包括：
    对所述输入图像进行文字识别，得到文字识别结果，并根据所述文字识别结果，构建所述输入图像的第一文本类特征信息；
    对所述输入图像进行图像分类，得到图像分类结果，并根据所述图像分类结果，构建所述输入图像的第二文本类特征信息；
    基于特征提取模型提取所述输入图像的特征向量，得到所述输入图像的向量类特征。
  21. 如权利要求17所述的图像搜索方法，其中，所述根据所述至少一个输出图像生成搜索结果列表，包括：
    提取每个输出图像的第三特征信息；
    根据所述第三特征信息对各个输出图像进行排序，根据排序的结果得到所述搜索结果列表。
  22. 一种图像搜索装置，其特征在于，包括：
    第一显示单元，用于显示即时通讯客户端的图像选择页面；
    确定单元，用于基于用户针对所述图像选择页面所作的操作，确定用于搜索的输入图像；
    设置单元，用于根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
    搜索单元，用于在所述多个图像相似维度上搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；
    生成单元，用于根据所述至少一个输出图像生成搜索结果列表；及，
    第二显示单元，用于显示所述搜索结果列表。
  23. 如权利要求22所述的图像搜索装置，其中，所述设置单元用于，预先获取在所述即时通讯客户端中使用的多个聊天互动图像；对所述多个聊天互动图像所包含的信息进行分层，将所述多个图像相似维度设置为文字内容维度、含义维度、角色维度、动作维度、会话关系维度中的任意几个。
  24. 如权利要求22所述的图像搜索装置，其中，所述搜索单元用于，针对每个图像相似维度，执行如下处理：提取所述输入图像在该图像相似维度上的第一特征信息；获取图像数据库中的每个备选图像在该图像相似维度上的第二特征信息；分别计算所述第一特征信息与每个第二特征信息之间的相似度；根据计算出的各个相似度，将所述图像数据库中在该图像相似维度上与所述输入图像相似的备选图像确定为所述输出图像。
  25. 如权利要求22-24任一项所述的图像搜索装置，还包括：
    第三显示单元，用于当检测到用户针对所述搜索结果列表中目标输出图像的确定操作时，显示所述目标输出图像的图像操作页面，所述图像操作页面包括图像发送控件；
    第四显示单元，用于当检测到用户针对所述图像发送控件的图像发送操作时，显示待选对象列表，所述待选对象列表包括至少一个待选聊天对象；
    用户界面单元，用于获取用户从所述待选对象列表中选择的目标聊天对象；
    发送单元，用于向所述目标聊天对象发送所述目标输出图像。
  26. 一种图像搜索装置，其特征在于，包括：
    确定单元，用于基于终端发送的图像搜索请求，确定输入图像；
    设置单元，用于根据两个聊天互动图像之间相似的层面，预先设置多个图像相似维度；
    搜索单元，用于在所述多个图像相似维度上，搜索得到与所述输入图像相似的至少一个输出图像，其中，每个输出图像在至少一个图像相似维度上与所述输入图像相似；
    生成单元，用于根据所述至少一个输出图像生成搜索结果列表；及，
    发送单元，用于将所述搜索结果列表返回给所述终端，以使所述终端在即时通讯客户端的界面上显示。
  27. 如权利要求26所述的图像搜索装置，其中，所述生成单元包括：
    提取子单元，用于提取每个输出图像的第三特征信息；
    排序子单元，用于根据所述第三特征信息对各个输出图像进行排序，根据排序的结果得到所述搜索结果列表。
  28. 一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-21中任一项所述方法的步骤。
  29. 一种计算机设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时，实现如权利要求1-21中任一项所述方法的步骤。
PCT/CN2020/095240 2019-06-12 2020-06-10 图像搜索方法、装置、计算机设备和存储介质 WO2020248985A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021539359A JP7301977B2 (ja) 2019-06-12 2020-06-10 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム
US17/446,861 US20210397645A1 (en) 2019-06-12 2021-09-03 Image search method and apparatus, computer device, and storage medium
JP2023101084A JP2023126241A (ja) 2019-06-12 2023-06-20 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910507945.5A CN110263197B (zh) 2019-06-12 2019-06-12 一种图像搜索方法、装置、计算机设备和存储介质
CN201910507945.5 2019-06-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/446,861 Continuation US20210397645A1 (en) 2019-06-12 2021-09-03 Image search method and apparatus, computer device, and storage medium

Publications (1)

Publication Number Publication Date
WO2020248985A1 true WO2020248985A1 (zh) 2020-12-17

Family

ID=67917824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/095240 WO2020248985A1 (zh) 2019-06-12 2020-06-10 图像搜索方法、装置、计算机设备和存储介质

Country Status (4)

Country Link
US (1) US20210397645A1 (zh)
JP (2) JP7301977B2 (zh)
CN (1) CN110263197B (zh)
WO (1) WO2020248985A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979452A (zh) * 2021-02-20 2022-08-30 北京字跳网络技术有限公司 拍摄方法、装置、电子设备和存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263197B (zh) * 2019-06-12 2023-11-28 腾讯科技（深圳）有限公司 一种图像搜索方法、装置、计算机设备和存储介质
CN111147356A (zh) * 2019-12-30 2020-05-12 上海连尚网络科技有限公司 信息处理方法和装置
CN111209425A (zh) * 2020-01-06 2020-05-29 闻泰通讯股份有限公司 图像搜索方法、装置、电子设备及计算机可读存储介质
CN111240558A (zh) * 2020-01-20 2020-06-05 腾讯科技（深圳）有限公司 一种信息搜索方法、装置、终端及存储介质
CN112308016B (zh) * 2020-11-19 2024-02-27 网易（杭州）网络有限公司 表情图像获取方法、装置、电子设备及存储介质
CN114647349A (zh) * 2020-12-17 2022-06-21 中移(苏州)软件技术有限公司 表情信息选取方法及装置、电子设备及存储介质
CN112818193A (zh) * 2021-02-26 2021-05-18 拉扎斯网络科技（上海）有限公司 历史浏览数据的展示方法及装置
US20230334697A1 (en) * 2022-04-13 2023-10-19 Nvidia Corporation 3d environment reconstruction for persistent object tracking
US12047337B1 (en) * 2023-07-03 2024-07-23 Snap Inc. Generating media content items during user interaction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877012A (zh) * 2010-07-28 2010-11-03 刘捷 在互联网上搜索图片及局部相似图片的方法
CN105868299A (zh) * 2016-03-23 2016-08-17 深圳码隆科技有限公司 一种数据搜索方法和装置
US10311341B1 (en) * 2015-08-27 2019-06-04 Hrl Laboratories, Llc System and method for online deep learning in an ultra-low power consumption state
CN110263197A (zh) * 2019-06-12 2019-09-20 腾讯科技（深圳）有限公司 一种图像搜索方法、装置、计算机设备和存储介质
CN110795589A (zh) * 2019-08-20 2020-02-14 腾讯科技（深圳）有限公司 一种图像搜索方法、装置、计算机设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7707218B2 (en) * 2004-04-16 2010-04-27 Mobot, Inc. Mobile query system and method based on visual cues
CN102411582B (zh) 2010-09-21 2016-04-27 腾讯科技（深圳）有限公司 图片搜索方法、装置及客户端
JP5699681B2 (ja) * 2011-02-25 2015-04-15 セイコーエプソン株式会社 表示制御方法、表示装置および電子機器
US9332031B1 (en) * 2013-08-09 2016-05-03 Google Inc. Categorizing accounts based on associated images
US20170039198A1 (en) * 2014-05-15 2017-02-09 Sentient Technologies (Barbados) Limited Visual interactive search, scalable bandit-based visual interactive search and ranking for visual interactive search
US20160103587A1 (en) * 2014-10-09 2016-04-14 Wrap Media, LLC System and method for authoring, distributing, viewing and saving wrap packages
JP6760797B2 (ja) 2016-08-24 2020-09-23 Ｌｉｎｅ株式会社 プログラム、情報処理方法、及び端末
CN106469299B (zh) * 2016-08-31 2019-07-19 北京邮电大学 一种车辆搜索方法及装置
CN106656735A (zh) * 2016-09-08 2017-05-10 乐视控股（北京）有限公司 表情图像发送方法及装置
JP6872703B2 (ja) * 2016-10-17 2021-05-19 パナソニックＩｐマネジメント株式会社 プログラム生成方法、プログラム生成装置および制御プログラム
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
KR102079221B1 (ko) 2016-12-30 2020-02-19 주식회사 카카오 인터랙션을 이용한 메신저 검색 방법, 그리고 이를 구현한 서버 및 어플리케이션
US10713317B2 (en) 2017-01-30 2020-07-14 Adobe Inc. Conversational agent for search
CN108874258A (zh) 2017-05-11 2018-11-23 腾讯科技（深圳）有限公司 分享录屏视频的方法及装置
CN107229707B (zh) * 2017-05-26 2021-12-28 北京小米移动软件有限公司 搜索图像的方法及装置
CN110414404A (zh) * 2019-07-22 2019-11-05 腾讯科技（深圳）有限公司 基于即时通讯的图像数据处理方法、装置以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877012A (zh) * 2010-07-28 2010-11-03 刘捷 在互联网上搜索图片及局部相似图片的方法
US10311341B1 (en) * 2015-08-27 2019-06-04 Hrl Laboratories, Llc System and method for online deep learning in an ultra-low power consumption state
CN105868299A (zh) * 2016-03-23 2016-08-17 深圳码隆科技有限公司 一种数据搜索方法和装置
CN110263197A (zh) * 2019-06-12 2019-09-20 腾讯科技（深圳）有限公司 一种图像搜索方法、装置、计算机设备和存储介质
CN110795589A (zh) * 2019-08-20 2020-02-14 腾讯科技（深圳）有限公司 一种图像搜索方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979452A (zh) * 2021-02-20 2022-08-30 北京字跳网络技术有限公司 拍摄方法、装置、电子设备和存储介质
CN114979452B (zh) * 2021-02-20 2024-01-23 北京字跳网络技术有限公司 拍摄方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20210397645A1 (en) 2021-12-23
JP7301977B2 (ja) 2023-07-03
JP2022516748A (ja) 2022-03-02
CN110263197A (zh) 2019-09-20
CN110263197B (zh) 2023-11-28
JP2023126241A (ja) 2023-09-07

Similar Documents

Publication Publication Date Title
WO2020248985A1 (zh) 图像搜索方法、装置、计算机设备和存储介质
CN110795589A (zh) 一种图像搜索方法、装置、计算机设备和存储介质
WO2017084541A1 (zh) 会话中实现表情图像发送的方法和装置
CN110581772A (zh) 即时通讯消息的交互方法、装置以及计算机可读存储介质
CN107623621B (zh) 聊天语料收集方法和装置
US20120242840A1 (en) Using face recognition to direct communications
CN103440247A (zh) 发送照片的方法及其设备
CN113395202B (zh) 一种会话管理方法、装置、计算机设备和存储介质
US20200120392A1 (en) Video playback in group communications
CN113711618B (zh) 创作包括引用视频内容的键入的超链接的评论
CN107071143B (zh) 一种影像的管理方法及装置
CN114071171B (zh) 资源获取方法、装置、计算机设备和存储介质
CN113163230A (zh) 视频消息生成方法、装置、电子设备及存储介质
CN115396391B (zh) 用于会话消息呈现的方法、装置、设备和存储介质
WO2021213057A1 (zh) 求助信息的发送、响应方法、装置、终端及存储介质
CN111523053A (zh) 信息流处理方法、装置、计算机设备和存储介质
CN114880062A (zh) 聊天表情展示方法、设备、电子设备及存储介质
CN107222398B (zh) 社交消息控制方法、装置、存储介质和计算机设备
CN115396715B (zh) 桌游互动方法、系统及存储介质
CN109960442B (zh) 提示信息的传输方法、装置、存储介质及电子装置
CN113158094B (zh) 信息分享方法、装置及电子设备
CN113542653B (zh) 一种虚拟物品交互方法
CN114329172A (zh) 搜索方法、装置、电子设备和存储介质
CN111461005A (zh) 一种手势识别方法、装置、计算机设备以及存储介质
CN112416215B (zh) 一种内容聚合方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20821795

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021539359

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20821795

Country of ref document: EP

Kind code of ref document: A1