WO2017124697A1 - 基于图片的信息搜索方法和装置 - Google Patents

基于图片的信息搜索方法和装置 Download PDF

Info

Publication number
WO2017124697A1
WO2017124697A1 PCT/CN2016/087436 CN2016087436W WO2017124697A1 WO 2017124697 A1 WO2017124697 A1 WO 2017124697A1 CN 2016087436 W CN2016087436 W CN 2016087436W WO 2017124697 A1 WO2017124697 A1 WO 2017124697A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
target
information
feature information
search
Prior art date
Application number
PCT/CN2016/087436
Other languages
English (en)
French (fr)
Inventor
郏夹
Original Assignee
北京百度网讯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京百度网讯科技有限公司 filed Critical 北京百度网讯科技有限公司
Priority to KR1020187003289A priority Critical patent/KR20180022990A/ko
Priority to JP2018505738A priority patent/JP6869226B2/ja
Publication of WO2017124697A1 publication Critical patent/WO2017124697A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Definitions

  • the present application relates to the field of computer technologies, and in particular, to the field of Internet technologies, and in particular, to a picture-based information search method and apparatus.
  • the image-based information search technology generally takes a picture of a target object, acquires a picture including the target object, and then searches based on the picture, obtains the name of the target object, and related search result information.
  • the existing image-based information search results are not accurate, and a high-precision image-based information search method is needed.
  • the purpose of the present application is to propose an improved picture-based information search method and apparatus to solve the technical problems mentioned in the background section above.
  • the present application provides a picture-based information search method, the method includes: extracting first feature information of a target to be searched in a first picture input by a terminal, where the first picture includes a Determining a search target; based on the first feature information, Performing the following looping steps: determining whether there is a search target matching the first feature information in the preset search database; if yes, acquiring name information corresponding to the search target; if not, extracting the terminal input Second feature information of the target to be searched in the second picture, combining the second feature information with the first feature information as first feature information and continuing to perform the looping step; and at the terminal Presenting the name information of the target to be searched and the search result corresponding to the name information.
  • the preset search database includes at least: a search target, feature information of the search target, and name information of the search target.
  • the first feature information of the target to be searched in the first picture is not exactly the same as the second feature information of the target to be searched in the second picture.
  • the extracting the second feature information of the target to be searched in the second picture input by the terminal comprises: determining whether the number of executions of the looping step is less than a preset threshold; if yes, extracting terminal input The second feature information of the target to be searched in the second picture; if not, generating prompt information indicating that the terminal search fails.
  • the extracting the second feature information of the target to be searched in the second picture that is input by the terminal includes: generating prompt information for prompting the terminal to input the second image, where the second image includes And the second feature information of the target to be searched is extracted in the second picture input by the terminal.
  • the method further includes: acquiring the first picture and/or the second picture that the terminal photographs the target to be searched; or acquiring the first picture that is saved locally by the terminal. And/or the second picture; or acquiring the first picture and/or the second picture that the terminal searches in the network gallery.
  • the present application provides a picture-based information search apparatus, where the apparatus includes: an extraction module, configured to extract first feature information of a target to be searched in a first picture input by a terminal, where the first The image includes the to-be-searched target; the looping step execution module is configured to perform, according to the first feature information, a looping step of determining whether a search matching the first feature information exists in the preset search database a target; if yes, acquiring name information corresponding to the search target; if not, extracting second feature information of the target to be searched in the second picture input by the terminal, and using the second feature information The first feature information is combined as the first feature information and continues Performing the looping step; and a rendering module configured to present, at the terminal, name information of the target to be searched and a search result corresponding to the name information.
  • an extraction module configured to extract first feature information of a target to be searched in a first picture input by a terminal, where the first The image includes the to-be-searched target
  • the preset search database includes at least: a search target, feature information of the search target, and name information of the search target.
  • the first feature information of the target to be searched in the first picture is not exactly the same as the second feature information of the target to be searched in the second picture.
  • the looping step execution module is further configured to: determine whether the number of executions of the looping step is less than a preset threshold; if yes, extract the number of the target to be searched in the second picture input by the terminal Two feature information; if not, generating prompt information prompting the terminal to fail to search.
  • the looping step execution module is further configured to: generate prompt information for prompting the terminal to input the second picture, wherein the second picture includes the target to be searched; Extracting second feature information of the target to be searched in the second picture.
  • the apparatus further includes: an obtaining module, configured to acquire the first picture and/or the second picture that the terminal photographs the target to be searched; or acquire the terminal to save locally The first picture and/or the second picture; or the first picture and/or the second picture searched by the terminal in a network gallery.
  • an obtaining module configured to acquire the first picture and/or the second picture that the terminal photographs the target to be searched; or acquire the terminal to save locally The first picture and/or the second picture; or the first picture and/or the second picture searched by the terminal in a network gallery.
  • the image-based information searching method and apparatus extracts first feature information of a target to be searched by the first picture input by the terminal, and then determines whether there is a match with the first feature information in the preset search database.
  • Search target if yes, obtain the name of the search target, if not, combine the second feature information of the target to be searched in the second picture input by the terminal with the first feature information as the first feature information to continue in the pre-pre
  • the search database is configured to determine whether there is a search target that matches the first feature information, and after multiple matching, finally, the terminal displays the name information of the target to be searched and the search result corresponding to the name information, thereby improving the search result.
  • Image-based information search accuracy is configured to determine whether there is a search target that matches the first feature information, and after multiple matching, finally, the terminal displays the name information of the target to be searched and the search result corresponding to the name information, thereby improving the search result.
  • FIG. 1 is an exemplary system architecture diagram to which the present application can be applied;
  • FIG. 2 is a flow chart of one embodiment of a picture-based information search method in accordance with the present application.
  • FIG. 3 is a schematic diagram of an application scenario of a picture-based information search method according to the present application.
  • FIG. 4 is a schematic flowchart of an implementation manner in which a loop step updates a first feature information in a picture-based information search method according to the present application;
  • FIG. 5 is a schematic structural diagram of an embodiment of a picture-based information search apparatus according to the present application.
  • FIG. 6 is a schematic structural diagram of a computer system suitable for implementing a terminal device or a server of an embodiment of the present application.
  • FIG. 1 illustrates an exemplary system architecture 100 of an embodiment of a picture-based information search method or a picture-based information search device to which the present application may be applied.
  • system architecture 100 can include terminal devices 101, 102, 103, network 104, and server 105.
  • the network 104 is used to provide a medium for communication links between the terminal devices 101, 102, 103 and the server 105.
  • Network 104 may include various types of connections, such as wired, wireless communication links, fiber optic cables, and the like.
  • the user can interact with the server 105 over the network 104 using the terminal devices 101, 102, 103 to receive or transmit messages and the like.
  • Various communication client applications such as a photographing software, a search application, a web browser application, may be installed on the terminal devices 101, 102, and 103.
  • Shopping applications instant messaging tools, email clients, social platform software, and more.
  • the terminal devices 101, 102, 103 may be various electronic devices having a display screen and supporting information search, including but not limited to smart phones, tablets, e-book readers, MP3 players (Moving Picture Experts Group Audio Layer III, dynamic The video specialist compresses the standard audio layer 3), MP4 (Moving Picture Experts Group Audio Layer IV) player, laptop portable computer and desktop computer, and the like.
  • MP3 players Motion Picture Experts Group Audio Layer III, dynamic The video specialist compresses the standard audio layer 3
  • MP4 Moving Picture Experts Group Audio Layer IV
  • the server 105 may be a server that provides various services, such as a background information retrieval server that provides support for search engines on the terminal devices 101, 102, 103.
  • the background information retrieval server may perform processing such as extraction, analysis, and the like on the received image data, and feed back the processing result to the terminal device.
  • the image-based information search method provided by the embodiment of the present application is generally performed by the server 105. Accordingly, the image-based information search device is generally disposed in the server 105.
  • terminal devices, networks, and servers in Figure 1 is merely illustrative. Depending on the implementation needs, there can be any number of terminal devices, networks, and servers.
  • the image-based information searching method includes the following steps:
  • Step 201 Extract first feature information of a target to be searched in the first picture input by the terminal.
  • the electronic device (for example, the server shown in FIG. 1) on which the image-based information searching method runs may receive the first picture from the terminal for which the user searches for information by using a wired connection or a wireless connection. Then, the electronic device extracts the first feature information of the target to be searched in the first picture, where the first picture includes the target to be searched.
  • the target to be searched herein may be any object that can be characterized by a picture, including but not limited to a mobile phone, a building, a clothes, a bag, etc.
  • the first feature information may include, but is not limited to, color information, graphic information (for example, included in the picture)
  • the outline information of the object can be regarded as one kind of graphic information).
  • wireless connection manner may include but is not limited to 3G/4G connection, WiFi connection, Bluetooth connection. Connections, WiMAX connections, Zigbee connections, UWB (ultra wideband) connections, and other wireless connections that are now known or developed in the future.
  • the user searches for information by using a search engine or the like installed on the terminal.
  • the user can input the first picture including the target to be searched through the search box of the search engine.
  • the above picture may include a picture in jpg format, jpeg format, gif format, png format, bmp format, tiff format, pcx format, or other pictures to be developed in the future.
  • the first feature information may be extracted from the first picture by using a method of color feature extraction, feature extraction, shape feature extraction, or spatial relationship feature extraction, and the image feature extraction method is widely studied at present. Well-known techniques of application will not be described here.
  • Step 202 Perform a looping step based on the foregoing first feature information, where the looping step includes:
  • Step 2021 Determine whether there is a search target matching the first feature information in the preset search database.
  • the search database may be created in advance on the electronic device, where the search database may store a picture including a search target, feature information associated with the search target in each picture, and name information of the search target.
  • the feature information associated with the search target may be used to match the extracted first feature information to determine whether there is a search target matching the first feature information in the database, if the result of the determination is that the presence and the above If the first feature information matches the search target, then go to step 2022. If the result of the determination is that there is no search target matching the first feature information, then go to step 2023.
  • the foregoing search target may include a mobile phone, a building, a clothes, a bag, and the like
  • the name information may include an attribute, a brand, a model, a place name, and the like of the search target.
  • the search target is a mobile phone, and the corresponding name may include the brand and model of the mobile phone, such as iPhone 6s, etc.
  • the search target is a building, and the corresponding name may include the name and location of the building, such as Beijing. Bird's Nest, Beijing Forbidden City, etc.
  • the foregoing electronic device may The first feature information is matched with the feature information of each search target.
  • the search target and the first feature information are determined. Matching, otherwise, determining that the search target does not match the first feature information.
  • Step 2022 Obtain name information corresponding to the search target.
  • the electronic device (for example, the server shown in FIG. 1) can acquire a search target matching the first feature information and name information corresponding to the search target.
  • the obtained name information is the name information of the above-mentioned target to be searched.
  • Step 2023 Extract second feature information of the target to be searched in the second picture input by the terminal, and combine the second feature information with the first feature information as the first feature information.
  • the electronic device acquires a second picture input by the terminal, where the second picture also includes the target to be searched. Then, it extracts the second feature information of the target to be searched from the second picture, and finally combines the extracted second feature information with the first feature information as the first feature information, and proceeds to step 2021 to continue to determine the above. Whether there is a search target matching the first feature information in the preset search database.
  • the first feature information of the target to be searched in the first image is not completely the same as the second feature information of the target to be searched in the second image.
  • the first picture is a front view of the target to be retrieved, and the second picture is a side view of the target to be retrieved; or the first picture is a global picture of the target to be retrieved, and the second picture is the target to be retrieved Partial view.
  • the electronic device may acquire the first picture and/or the second picture that the terminal captures the target to be searched, or obtain the first picture and/or the first saved by the terminal locally. Two pictures, or the first picture and/or the second picture searched by the terminal in the network gallery.
  • Step 203 The terminal presents the name information of the target to be searched and the search result corresponding to the name information.
  • the name information acquired in step 202 is sent to the terminal on the electronic device on which the image-based information searching method runs, and corresponds to the name information.
  • the search result of the target to be searched and the search result corresponding to the name information are presented to the user by the terminal.
  • the search result corresponding to the name information may be a web address or a webpage link or the like related to the name information.
  • FIG. 3 is a schematic diagram of an application scenario of a picture-based information search method according to the present embodiment.
  • the user first inputs the first picture 301, and then the information search server may acquire the first picture, and extract the first feature information of the target to be searched in the first picture, for example, the target to be retrieved.
  • Shape feature information then, performing the following loop step: determining whether there is a search target matching the shape information in the preset search database, and the determination result may be yes or no, and the search server may provide the user to the user according to different judgment result information.
  • the user may be prompted to upload a second picture; the information search server acquires the second picture uploaded by the user, and extracts the second feature of the target to be searched in the second picture. And then combining the extracted second feature information with the first feature information as the first feature information to continue the looping step; finally, obtaining the name information corresponding to the search target, such as the Beijing Bird's Nest, and presenting to the user The above-mentioned obtained name information Beijing Bird's Nest and the search knot corresponding to the Beijing Bird's Nest fruit.
  • the image-based information searching method and apparatus provided by the present application, by extracting the first feature information of the target to be searched in the first picture input by the terminal, and then determining whether there is a match with the first feature information in the preset search database Search target, if yes, obtain the name of the search target, if not, combine the second feature information of the target to be searched in the input second image with the first feature information as the first feature information to continue the above judgment In this way, the name information of the target to be searched and the search result corresponding to the name information obtained by the above matching are finally presented in the terminal, thereby improving the accuracy of the image-based information search.
  • the second feature information of the target to be searched in the second picture input by the extraction terminal of step 2023 combines the second feature information with the first feature information as the first Feature information can be achieved by the following steps:
  • Step 401 Determine whether the number of executions of the loop step is less than a preset threshold.
  • a backup (for example, the server shown in FIG. 1) may set a threshold in advance for the number of executions of the above-described looping steps. Then, the electronic device determines whether the number of times the loop step is performed is less than the threshold. If the result of the loop is that the number of times the loop step is performed is greater than or equal to the threshold, then the process proceeds to step 402, and if the result of the determination is that the number of times the loop step is executed is If it is less than the threshold, go to step 403.
  • Step 402 Generate prompt information prompting the terminal to fail to search.
  • the electronic device does not acquire the search target that matches the first feature information
  • the loop step is directly exited and the terminal is Send a message that the search failed.
  • the prompt information of the search failure may be text information that informs the user that the search fails, or may inform the user to search for the search result information that is not completely accurate.
  • Step 403 Generate prompt information for prompting the terminal to input the second picture.
  • the electronic device does not acquire the search target that matches the first feature information. However, if the number of times the loop step is performed is less than the threshold, the electronic device sends the prompt information for inputting the second picture to the terminal.
  • Step 404 Extract second feature information of the target to be searched in the second picture input by the terminal.
  • the electronic device acquires the second picture, and extracts feature information of the search target in the second picture as the second feature information.
  • the second picture includes the above-mentioned target to be searched.
  • Step 405 Combine the second feature information with the first feature information as the first feature information.
  • the electronic device combines the acquired second feature information with the first feature information as the first feature information, and the first feature information is more comprehensive than the first feature information, so that And determining whether there is a search target matching the first feature information in the preset search database. For example, when the threshold is 3, the electronic device performs a looping step for the first time: assuming that there is no search target matching the first feature information in the preset search database, generating a prompting terminal to input the second image.
  • the electronic device performs a looping step for the second time: assuming that there is still no search target matching the first feature information in the preset search database, the prompting terminal is continuously generated.
  • the electronic device performs the looping step for the third time: if it is preset If there is still no search target matching the first feature information in the search database, the loop step is exited and the prompt information indicating that the search fails is generated, and if there is a search matching the first feature information in the preset search database The target obtains the name information corresponding to the search target.
  • the method provided by the implementation manner of the foregoing embodiment of the present application can conveniently control the number of input pictures of the terminal by setting the number of execution steps of the loop step, which also controls the time consumed by the information search and improves the efficiency of the information search.
  • the present application provides an embodiment of a picture-based information search apparatus, and the apparatus embodiment corresponds to the method embodiment shown in FIG.
  • the device can be specifically applied to various electronic devices.
  • the image-based information search apparatus 500 described in this embodiment includes an extraction module 501, a loop step execution module 502, and a presentation module 503.
  • the extraction module 501 is configured to extract first feature information of the target to be searched in the first picture input by the terminal, where the first picture includes the to-be-searched target; and the loop step execution module 502 performs a loop step execution module configuration.
  • the presenting module 503 The name information for presenting the target to be searched at the terminal and the search result corresponding to the name information are configured.
  • the image-based information search apparatus 500 further includes an acquisition module (not shown) configured to acquire a first picture and/or a second picture captured by the terminal to the target to be searched; or acquire the terminal locally.
  • the first feature information of the to-be-searched target in the first picture obtained by the extraction module 501 and the second target of the to-be-searched target in the second picture obtained by the looping step execution module 502 Feature information is not identical.
  • the search database preset in the loop execution module 502 includes at least: a search target, feature information of the search target, and name information of the search target.
  • the looping step execution module 502 is further configured to: determine whether the number of executions of the looping step is less than a preset threshold; if yes, extract the foregoing in the second image input by the terminal The second feature information of the target to be searched; if not, the prompt information indicating that the terminal search fails is generated.
  • the looping step execution module 502 is further configured to: generate prompt information for prompting the terminal to input the second image, where the second image includes the target to be searched; Extracting the second feature information of the target to be searched in the second picture.
  • the above-mentioned picture-based information search device 500 further includes some other well-known structures, such as a processor, a memory, etc., in order to unnecessarily obscure the embodiments of the present disclosure, these well-known structures are not shown in FIG. Out.
  • FIG. 6 a block diagram of a computer system 600 suitable for use in implementing a terminal device or server of an embodiment of the present application is shown.
  • computer system 600 includes a central processing unit (CPU) 601 that can be loaded into a program in random access memory (RAM) 603 according to a program stored in read only memory (ROM) 602 or from storage portion 608. And perform various appropriate actions and processes.
  • RAM random access memory
  • ROM read only memory
  • RAM random access memory
  • various programs and data required for the operation of the system 600 are also stored.
  • the CPU 601, the ROM 602, and the RAM 603 are connected to each other through a bus 604.
  • An input/output (I/O) interface 605 is also coupled to bus 604.
  • the following components are connected to the I/O interface 605: an input portion 606 including a keyboard, a mouse, etc.; an output portion 607 including, for example, a cathode ray tube (CRT), a liquid crystal display (LCD), and the like, and a storage portion 608 including a hard disk or the like. And a communication portion 609 including a network interface card such as a LAN card, a modem, or the like. The communication section 609 performs communication processing via a network such as the Internet.
  • the drive 610 is also connected to the I/O interface as needed. 605.
  • a removable medium 611 such as a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory or the like, is mounted on the drive 610 as needed so that a computer program read therefrom is installed into the storage portion 608 as needed.
  • an embodiment of the present disclosure includes a computer program product comprising a computer program tangibly embodied on a machine readable medium, the computer program comprising program code for executing the method illustrated in the flowchart.
  • the computer program can be downloaded and installed from the network via communication portion 609, and/or installed from removable media 611.
  • the central processing unit (CPU) 601 the above-described functions defined in the method of the present application are performed.
  • each block of the flowchart or block diagrams can represent a module, a program segment, or a portion of code that includes one or more logic for implementing the specified.
  • Functional executable instructions can also occur in a different order than that illustrated in the drawings. For example, two successively represented blocks may in fact be executed substantially in parallel, and they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented in a dedicated hardware-based system that performs the specified function or operation. Or it can be implemented by a combination of dedicated hardware and computer instructions.
  • the modules involved in the embodiments of the present application may be implemented by software or by hardware.
  • the described modules may also be provided in a processor, for example, as described in the following: a processor includes an extraction module, a loop step execution module, and a presentation module.
  • a processor includes an extraction module, a loop step execution module, and a presentation module.
  • the name of these modules does not constitute a limitation on the module itself in some cases.
  • the extraction module may also be described as a module that extracts the first feature information of the target to be searched in the first picture input by the terminal. ".
  • the present application further provides a non-volatile computer storage medium, which may be a non-volatile computer storage medium included in the apparatus described in the foregoing embodiments; Can exist separately, not assembled into the terminal Volatile computer storage media.
  • the non-volatile computer storage medium stores one or more programs, when the one or more programs are executed by one device, causing the device to: extract the first target to be searched in the first picture input by the terminal Feature information, wherein the first picture includes the target to be searched; and based on the first feature information, performing the following looping step: determining whether there is a matching in the preset search database that matches the first feature information Searching for the target; if yes, acquiring the name information corresponding to the search target; if not, extracting the second feature information of the target to be searched in the second picture input by the terminal, and the second feature information and The first feature information is combined as the first feature information and continues to perform the looping step; and the terminal information of the object to be searched and the search result corresponding to the name information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于图片的信息搜索方法和装置，所述方法包括：提取终端输入的第一图片中的待搜索目标的第一特征信息（201），其中，所述第一图片中包括所述待搜索目标；基于所述第一特征信息，执行以下循环步骤：判断预设的搜索数据库中是否存在与所述第一特征信息相匹配的搜索目标（2021）；如果是，则获取与所述搜索目标对应的名称信息（2022）；如果否，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息，将所述第二特征信息与所述第一特征信息相结合作为第一特征信息（2023）并继续执行所述循环步骤；以及在所述终端呈现所述待搜索目标的名称信息及与所述名称信息对应的搜索结果（205）。该方法和装置提高了基于图片的信息搜索的精准度。

Description

基于图片的信息搜索方法和装置
相关申请的交叉引用
本申请要求于2016年1月20日提交的中国专利申请号为“201610037780.6”的优先权，其全部内容作为整体并入本申请中。
技术领域
本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及一种基于图片的信息搜索方法和装置。
背景技术
传统的信息搜索通常是通过关键词等文本在现有信息集合中找出用户需要的信息。但是，随着互联网技术的发展，用户已经不再满足于只是通过文本对信息进行搜索，很多用户还希望可以通过搜索引擎对网络图片或生活中出现的物体等进行搜索，于是出现了基于图片的信息搜索技术。
目前，基于图片的信息搜索技术一般是对着目标对象进行拍照，获取一张包括目标对象的图片，而后基于该张图片进行检索，获得该目标对象的名称以及相关的检索结果信息等。然而，现有的基于图片的信息搜索结果精准度不高，亟需一种高精准度的基于图片的信息搜索的方法。
发明内容
本申请的目的在于提出一种改进的基于图片的信息搜索方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种基于图片的信息搜索方法，所述方法包括：提取终端输入的第一图片中的待搜索目标的第一特征信息，其中，所述第一图片中包括所述待搜索目标；基于所述第一特征信息， 执行以下循环步骤：判断预设的搜索数据库中是否存在与所述第一特征信息相匹配的搜索目标；如果是，则获取与所述搜索目标对应的名称信息；如果否，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息，将所述第二特征信息与所述第一特征信息相结合作为第一特征信息并继续执行所述循环步骤；以及在所述终端呈现所述待搜索目标的名称信息及与所述名称信息对应的搜索结果。
在一些实施例中，所述预设的搜索数据库至少包括：搜索目标、搜索目标的特征信息、搜索目标的名称信息。
在一些实施例中，所述第一图片中所述待搜索目标的第一特征信息与所述第二图片中所述待搜索目标的第二特征信息不完全相同。
在一些实施例中，所述提取终端输入的第二图片中的所述待搜索目标的第二特征信息，包括：判断所述循环步骤执行次数是否小于预设阈值；如果是，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息；如果否，则生成提示终端搜索失败的提示信息。
在一些实施例中，所述提取终端输入的第二图片中的所述待搜索目标的第二特征信息，包括：生成提示终端输入第二图片的提示信息，其中，所述第二图片中包括所述待搜索目标；在所述终端输入的所述第二图片中提取所述待搜索目标的第二特征信息。
在一些实施例中，所述方法还包括：获取终端对所述待搜索目标拍摄的所述第一图片和/或所述第二图片；或者获取所述终端在本地保存的所述第一图片和/或所述第二图片；或者获取所述终端在网络图库中搜索到的所述第一图片和/或所述第二图片。
第二方面，本申请提供了基于图片的信息搜索装置，所述装置包括：提取模块，配置用于提取终端输入的第一图片中的待搜索目标的第一特征信息，其中，所述第一图片中包括所述待搜索目标；循环步骤执行模块，配置用于基于所述第一特征信息，执行以下循环步骤：判断预设的搜索数据库中是否存在与所述第一特征信息相匹配的搜索目标；如果是，则获取与所述搜索目标对应的名称信息；如果否，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息，将所述第二特征信息与所述第一特征信息相结合作为第一特征信息并继续 执行所述循环步骤；以及呈现模块，配置用于在所述终端呈现所述待搜索目标的名称信息及与所述名称信息对应的搜索结果。
在一些实施例中，所述预设的搜索数据库至少包括：搜索目标、搜索目标的特征信息、搜索目标的名称信息。
在一些实施例中，所述第一图片中所述待搜索目标的第一特征信息与所述第二图片中所述待搜索目标的第二特征信息不完全相同。
在一些实施例中，所述循环步骤执行模块进一步配置用于：判断所述循环步骤执行次数是否小于预设阈值；如果是，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息；如果否，则生成提示终端搜索失败的提示信息。
在一些实施例中，所述循环步骤执行模块进一步配置用于：生成提示终端输入第二图片的提示信息，其中，所述第二图片中包括所述待搜索目标；在所述终端输入的所述第二图片中提取所述待搜索目标的第二特征信息。
在一些实施例中，所述装置还包括：获取模块，配置用于获取终端对所述待搜索目标拍摄的所述第一图片和/或所述第二图片；或者获取所述终端在本地保存的所述第一图片和/或所述第二图片；或者获取所述终端在网络图库中搜索到的所述第一图片和/或所述第二图片。
本申请提供的基于图片的信息搜索方法和装置，通过对终端输入的第一图片提取待搜索目标的第一特征信息，而后判断在预设的搜索数据库中是否存在与该第一特征信息相匹配的搜索目标，如果是，则获取该搜索目标的名称，如果不是，则将终端输入的第二图片中待搜索目标的第二特征信息与第一特征信息相结合作为第一特征信息继续在预设的搜索数据库中判断是否存在与第一特征信息相匹配的搜索目标，经过多次匹配，最后在终端呈现上述匹配获得的待搜索目标的名称信息及该名称信息对应的搜索结果，从而提高了基于图片的信息搜索的精准度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描 述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的基于图片的信息搜索方法的一个实施例的流程图；
图3是根据本申请的基于图片的信息搜索方法的一个应用场景的示意图；
图4是根据本申请的基于图片的信息搜索方法中，循环步骤更新第一特征信息的一种实现方式的示意性流程图；
图5是根据本申请的基于图片的信息搜索装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的基于图片的信息搜索方法或基于图片的信息搜索装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如拍照软件、搜索类应用、网页浏览器应用、 购物类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持信息搜索的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上的搜索引擎提供支持的后台信息检索服务器。后台信息检索服务器可以对接收到的图片数据进行提取、分析等处理，并将处理结果反馈给终端设备。
需要说明的是，本申请实施例所提供的基于图片的信息搜索方法一般由服务器105执行，相应地，基于图片的信息搜索装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于图片的信息搜索方法的一个实施例的流程200。所述的基于图片的信息搜索方法，包括以下步骤：
步骤201，提取终端输入的第一图片中的待搜索目标的第一特征信息。
在本实施例中，基于图片的信息搜索方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行信息搜索的终端接收第一图片，之后，上述电子设备提取上述第一图片中待搜索目标的第一特征信息，其中，上述第一图片中包括上述待搜索目标。这里的待搜索目标可以是任意能够通过图片体现其特征的对象，包括但不限于手机、建筑、衣服、包等，第一特征信息可以包括但不限于颜色信息、图形信息(例如图片中所包含的物体的轮廓信息可认为是图形信息的一种)等。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连 接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
通常，用户利用终端上安装的搜索引擎等来搜索信息，这时，用户可以通过搜索引擎的搜索框输入包括上述待搜索目标的第一图片。在本实施例中，上述图片可以包括jpg格式、jpeg格式、gif格式、png格式、bmp格式、tiff格式、pcx格式的图片或者其它未来将开发的格式的图片。
需要说明的是，本实施例可以通过颜色特征提取、文理特征提取、形状特征提取或空间关系特征提取等方法从上述第一图片中提取第一特征信息，图片特征提取的方法是目前广泛研究和应用的公知技术，在此不再赘述。
步骤202，基于上述第一特征信息，执行循环步骤，其中，循环步骤包括：
步骤2021，判断预设的搜索数据库中是否存在与第一特征信息相匹配的搜索目标。
在本实施例中，上述电子设备上可以预先创建搜索数据库，这里的搜索数据库可以存储包括搜索目标的图片，与各图片中的搜索目标相关联特征信息，以及搜索目标的名称信息。这些与搜索目标相关联的特征信息可以用于与上述提取的第一特征信息进行匹配，以便判断该数据库中是否存在与上述第一特征信息相匹配的搜索目标，如果判断的结果是存在与上述第一特征信息相匹配的搜索目标，则转到步骤2022，如果判断的结果是不存在与上述第一特征信息相匹配的搜索目标，则转到步骤2023。
在本实施例的一些可选的实现方式中，上述的搜索目标可以包括手机、建筑、衣服、包等，上述名称信息可以包括搜索目标的属性、品牌、型号、地名等。例如，上述搜索目标为一部手机，其对应的名称可以包括该手机的品牌和型号，如iPhone6s等；上述搜索目标为一个建筑物，其对应的名称可以包括该建筑的名称和地点，如北京鸟巢、北京故宫等。
在本实施例的一些可选的实现方式中，上述电子设备可以将上述 第一特征信息和与各搜索目标的特征信息相匹配，当第一特征信息和与一搜索目标的特征信息匹配的结果为相似度大于预设阈值时，则确定该搜索目标与第一特征信息相匹配，否则，则确定该搜索目标与第一特征信息不匹配。
步骤2022，获取与搜索目标对应的名称信息。
在本实施例中，基于步骤2021中得到的判断结果，上述电子设备(例如图1所示的服务器)可以获取与上述第一特征信息相匹配的搜索目标以及与该搜索目标对应的名称信息。这里，所获取的名称信息即为上述待搜索目标的名称信息。
步骤2023，提取终端输入的第二图片中的待搜索目标的第二特征信息，将第二特征信息与上述第一特征信息相结合作为第一特征信息。
在本实施例中，上述电子设备获取终端输入的第二图片，其中，上述第二图片也包括上述待搜索目标。之后，其从上述第二图片中提取待搜索目标的第二特征信息，最后将所提取的第二特征信息与上述第一特征信息相结合作为第一特征信息，转到步骤2021，继续判断上述预设的搜索数据库中是否存在与该第一特征信息相匹配的搜索目标。
在本实施例的一些可选的实现方式中，上述第一图片中待搜索目标的第一特征信息与上述第二图片中待搜索目标的第二特征信息不完全相同。例如，第一图片为上述待检索目标的正面图，而第二图片为该待检索目标的侧面图；或者第一图片为上述待检索目标的全局图，而第二图片为该待检索目标的局部图。
在本实施例的一些可选的实现方式中，上述电子设备可以获取终端对上述待搜索目标拍摄的第一图片和/或第二图片，或者获取终端在本地保存的第一图片和/或第二图片，或者获取终端在网络图库中搜索到的第一图片和/或第二图片。
步骤203，在终端呈现待搜索目标的名称信息及与名称信息对应的搜索结果。
在本实施例中，基于图片的信息搜索方法运行于其上的电子设备上向终端发送在步骤202中获取的名称信息以及与该名称信息相对应 的搜索结果，上述终端将接收到的待搜索目标的名称信息及与该名称信息对应的搜索结果呈现给用户。
在本实施例的一些可选的实现方式中，上述与名称信息对应的搜索结果可以是与该名称信息相关的网址或网页链接等。
继续参见图3，图3是根据本实施例的基于图片的信息搜索方法的应用场景的一个示意图。在图3的应用场景中，用户首先输入第一图片301，之后，信息搜索服务器可以获取上述第一图片，并提取第一图片中的待搜索目标的第一特征信息，例如该待检索目标的形状特征信息；然后，执行如下循环步骤：判断在预设的搜索数据库中是否存在与上述形状信息相匹配的搜索目标，判断结果可以为是或否，根据不同的判断结果信息搜索服务器会向用户发送不同提示信息，当判断结果为否时，如图所示，可以提示用户上传第二图片；信息搜索服务器获取用户上传的第二图片，并提取第二图片中的待搜索目标的第二特征信息，之后将所提取的第二特征信息与上述第一特征信息相结合作为第一特征信息，继续上述循环步骤；最后，获取与上述搜索目标对应的名称信息，例如北京鸟巢，并向用户呈现上述获取的名称信息北京鸟巢及与北京鸟巢对应的搜索结果。
本申请提供的基于图片的信息搜索方法和装置，通过提取终端输入的第一图片中的待搜索目标的第一特征信息，而后判断在预设的搜索数据库中是否存在与第一特征信息相匹配的搜索目标，如果是，则获取该搜索目标的名称，如果不是，则将输入的第二图片中待搜索目标的第二特征信息与上述第一特征信息相结合作为第一特征信息继续上述判断，以此循环，最后在终端呈现上述匹配获得的待搜索目标的名称信息及该名称信息对应的搜索结果，从而提高了基于图片的信息搜索的精准度。
在一些可选的方案中，如图4所示，步骤2023的提取终端输入的第二图片中的待搜索目标的第二特征信息，将第二特征信息与第一特征信息相结合作为第一特征信息可以通过如下的步骤来实现：
步骤401，判断循环步骤执行次数是否小于预设阈值。
在本实现方式中，基于图片的信息搜索方法运行于其上的电子设 备(例如图1所示的服务器)可以预先给上述循环步骤的执行次数设置阈值。之后，上述电子设备判断上述循环步骤执行的次数是否小于上述阈值，如果判断的结果是循环步骤执行的次数是大于或等于阈值，则转到步骤402，如果判断的结果是循环步骤执行的次数是小于阈值，则转到步骤403。
步骤402，生成提示终端搜索失败的提示信息。
在本实现方式中，上述电子设备虽然没有获取与上述第一特征信息相匹配的检索目标，但是当上述循环步骤执行的次数已经大于或等于上述阈值时，则直接退出上述循环步骤，并向终端发送搜索失败的提示信息。这里，搜索失败的提示信息可以是告知用户搜索失败的文字信息，也可以是告知用户检索不完全准确的搜索结果信息。
步骤403，生成提示终端输入第二图片的提示信息。
在本实现方式中，上述电子设备没有获取与上述第一特征信息相匹配的检索目标，但是上述循环步骤执行的次数小于上述阈值，则上述电子设备向终端发送输入第二图片的提示信息。
步骤404，在终端输入的第二图片中提取待搜索目标的第二特征信息。
在本实现方式中，当用户基于步骤403的提示信息输入第二图片时，上述电子设备获取上述第二图片，并提取上述第二图片中的搜索目标的特征信息作为第二特征信息。这里，第二图片中包括上述待搜索目标。
步骤405，将第二特征信息与上述第一特征信息相结合作为第一特征信息。
在本实现方式中，上述电子设备将上述获取的第二特征信息与上述第一特征信息相结合作为第一特征信息，该第一特征信息与上述第一特征信息相比信息更加的全面，以便于判断在预设的搜索数据库中是否存在与该第一特征信息相匹配的搜索目标。例如，当上述阈值为3时，上述电子设备第一次执行循环步骤：假设在预设的搜索数据库中不存在与上述第一特征信息相匹配的搜索目标，则生成提示终端输入第二图片的提示信息，将在第二图片中提取的第二特征信息与上述 第一特征信息相结合作为第一特征信息；上述电子设备第二次执行循环步骤：假设在预设的搜索数据库中仍不存在与上述第一特征信息相匹配的搜索目标，则继续生成提示终端输入第二图片的提示信息，将在上述第二图片中提取的第二特征信息与上述第一特征信息相结合作为第一特征信息；上述电子设备第三次执行循环步骤：若在预设的搜索数据库中仍不存在与上述第一特征信息相匹配的搜索目标，则退出循环步骤并生成提示搜索失败的提示信息，若在预设的搜索数据库中存在与上述第一特征信息相匹配的搜索目标，则获取该搜索目标对应的名称信息。
本申请的上述实施例的实现方式提供的方法，通过设定循环步骤执行次数可以方便的控制终端输入图片的数量，这也控制了信息搜索消耗的时间，提高信息搜索的效率。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种基于图片的信息搜索装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例所述的基于图片的信息搜索装置500包括：提取模块501、循环步骤执行模块502和呈现模块503。其中，提取模块501配置用于提取终端输入的第一图片中的待搜索目标的第一特征信息，其中，上述第一图片中包括上述待搜索目标；循环步骤执行模块502循环步骤执行模块配置用于基于上述第一特征信息，执行以下循环步骤：判断预设的搜索数据库中是否存在与上述第一特征信息相匹配的搜索目标；如果是，则获取与上述搜索目标对应的名称信息；如果否，则提取终端输入的第二图片中的上述待搜索目标的第二特征信息，将该第二特征信息与上述第一特征信息相结合作为第一特征信息并继续执行上述循环步骤；呈现模块503配置用于在终端呈现上述待搜索目标的名称信息及与该名称信息对应的搜索结果。
在本实施例中，基于图片的信息搜索装置500还包括获取模块(未示出)，配置用于获取终端对上述待搜索目标拍摄的第一图片和/或第二图片；或者获取终端在本地保存的第一图片和/或第二图片；或者获取终端在网络图库中搜索到的第一图片和/或第二图片。
在本实施例的一些可选的实现方案中，提取模块501得到的第一图片中上述待搜索目标的第一特征信息和循环步骤执行模块502得到的第二图片中上述待搜索目标的第二特征信息不完全相同。
在本实施例的一些可选的实现方案中，上述循环步骤执行模块502中预设的搜索数据库至少包括：搜索目标、搜索目标的特征信息、搜索目标的名称信息。
在本实施例的一些可选的实现方案中，上述循环步骤执行模块502进一步配置用于：判断上述循环步骤执行次数是否小于预设阈值；如果是，则提取终端输入的第二图片中的上述待搜索目标的第二特征信息；如果否，则生成提示终端搜索失败的提示信息。
在本实施例的一些可选的实现方案中，上述循环步骤执行模块502进一步配置用于：生成提示终端输入第二图片的提示信息，其中，第二图片中包括上述待搜索目标；在终端输入的第二图片中提取上述待搜索目标的第二特征信息。
本领域技术人员可以理解，上述基于图片的信息搜索装置500还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图5中未示出。
下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统600的结构示意图。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口 605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括提取模块、循环步骤执行模块和呈现模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，提取模块还可以被描述为“提取终端输入的第一图片中的待搜索目标的第一特征信息的模块”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非 易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：提取终端输入的第一图片中的待搜索目标的第一特征信息，其中，所述第一图片中包括所述待搜索目标；基于所述第一特征信息，执行以下循环步骤：判断预设的搜索数据库中是否存在与所述第一特征信息相匹配的搜索目标；如果是，则获取与所述搜索目标对应的名称信息；如果否，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息，将所述第二特征信息与所述第一特征信息相结合作为第一特征信息并继续执行所述循环步骤；以及在所述终端呈现所述待搜索目标的名称信息及与所述名称信息对应的搜索结果。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

  1. 一种基于图片的信息搜索方法，其特征在于，包括：
    提取终端输入的第一图片中的待搜索目标的第一特征信息，其中，所述第一图片中包括所述待搜索目标；
    基于所述第一特征信息，执行以下循环步骤：判断预设的搜索数据库中是否存在与所述第一特征信息相匹配的搜索目标；如果是，则获取与所述搜索目标对应的名称信息；如果否，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息，将所述第二特征信息与所述第一特征信息相结合作为第一特征信息并继续执行所述循环步骤；以及
    在所述终端呈现所述待搜索目标的名称信息及与所述名称信息对应的搜索结果。
  2. 根据权利要求1所述的基于图片的信息搜索方法，其特征在于，所述预设的搜索数据库至少包括：搜索目标、搜索目标的特征信息、搜索目标的名称信息。
  3. 根据权利要求2所述的基于图片的信息搜索方法，其特征在于，所述第一图片中所述待搜索目标的第一特征信息与所述第二图片中所述待搜索目标的第二特征信息不完全相同。
  4. 根据权利要求3所述的基于图片的信息搜索方法，其特征在于，所述提取终端输入的第二图片中的所述待搜索目标的第二特征信息，包括：
    判断所述循环步骤执行次数是否小于预设阈值；
    如果是，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息；
    如果否，则生成提示终端搜索失败的提示信息。
  5. 根据权利要求1或4所述的基于图片的信息搜索方法，其特征在于，所述提取终端输入的第二图片中的所述待搜索目标的第二特征信息，包括：
    生成提示终端输入第二图片的提示信息，其中，所述第二图片中包括所述待搜索目标；
    在所述终端输入的所述第二图片中提取所述待搜索目标的第二特征信息。
  6. 根据权利要求1所述的基于图片的信息搜索方法，其特征在于，所述方法还包括：
    获取所述终端对所述待搜索目标拍摄的所述第一图片和/或所述第二图片；或者
    获取所述终端在本地保存的所述第一图片和/或所述第二图片；或者
    获取所述终端在网络图库中搜索到的所述第一图片和/或所述第二图片。
  7. 一种基于图片的信息搜索装置，其特征在于，包括：
    提取模块，配置用于提取终端输入的第一图片中的待搜索目标的第一特征信息，其中，所述第一图片中包括所述待搜索目标；
    循环步骤执行模块，配置用于基于所述第一特征信息，执行以下循环步骤：判断预设的搜索数据库中是否存在与所述第一特征信息相匹配的搜索目标；如果是，则获取与所述搜索目标对应的名称信息；如果否，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息，将所述第二特征信息与所述第一特征信息相结合作为第一特征信息并继续执行所述循环步骤；以及
    呈现模块，配置用于在所述终端呈现所述待搜索目标的名称信息及与所述名称信息对应的搜索结果。
  8. 根据权利要求7所述的基于图片的信息搜索装置，其特征在于， 所述预设的搜索数据库至少包括：搜索目标、搜索目标的特征信息、搜索目标的名称信息。
  9. 根据权利要求8所述的基于图片的信息搜索装置，其特征在于，所述第一图片中所述待搜索目标的第一特征信息与所述第二图片中所述待搜索目标的第二特征信息不完全相同。
  10. 根据权利要求9所述的基于图片的信息搜索装置，其特征在于，所述循环步骤执行模块进一步配置用于：
    判断所述循环步骤执行次数是否小于预设阈值；
    如果是，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息；
    如果否，则生成提示终端搜索失败的提示信息。
  11. 根据权利要求7或10所述的基于图片的信息搜索装置，其特征在于，所述循环步骤执行模块进一步配置用于：
    生成提示终端输入第二图片的提示信息，其中，所述第二图片中包括所述待搜索目标；
    在所述终端输入的所述第二图片中提取所述待搜索目标的第二特征信息。
  12. 根据权利要求7所述的基于图片的信息搜索装置，其特征在于，所述装置还包括：
    获取模块，配置用于获取终端对所述待搜索目标拍摄的所述第一图片和/或所述第二图片；或者
    获取所述终端在本地保存的所述第一图片和/或所述第二图片；或者
    获取所述终端在网络图库中搜索到的所述第一图片和/或所述第二图片。
  13. 一种设备，包括：
    处理器；和
    存储器，
    所述存储器中存储有能够被所述处理器执行的计算机可读指令，在所述计算机可读指令被执行时，所述处理器执行基于图片的信息搜索方法，所述方法包括：
    提取终端输入的第一图片中的待搜索目标的第一特征信息，其中，所述第一图片中包括所述待搜索目标；
    基于所述第一特征信息，执行以下循环步骤：判断预设的搜索数据库中是否存在与所述第一特征信息相匹配的搜索目标；如果是，则获取与所述搜索目标对应的名称信息；如果否，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息，将所述第二特征信息与所述第一特征信息相结合作为第一特征信息并继续执行所述循环步骤；以及
    在所述终端呈现所述待搜索目标的名称信息及与所述名称信息对应的搜索结果。
  14. 一种非易失性计算机存储介质，所述计算机存储介质存储有能够被处理器执行的计算机可读指令，当所述计算机可读指令被处理器执行时，所述处理器执行基于图片的信息搜索方法，所述方法包括：
    提取终端输入的第一图片中的待搜索目标的第一特征信息，其中，所述第一图片中包括所述待搜索目标；
    基于所述第一特征信息，执行以下循环步骤：判断预设的搜索数据库中是否存在与所述第一特征信息相匹配的搜索目标；如果是，则获取与所述搜索目标对应的名称信息；如果否，则提取终端输入的第二图片中的所述待搜索目标的第二特征信息，将所述第二特征信息与所述第一特征信息相结合作为第一特征信息并继续执行所述循环步骤；以及
    在所述终端呈现所述待搜索目标的名称信息及与所述名称信息对应的搜索结果。
PCT/CN2016/087436 2016-01-20 2016-06-28 基于图片的信息搜索方法和装置 WO2017124697A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020187003289A KR20180022990A (ko) 2016-01-20 2016-06-28 화상 기반의 정보 검색 방법 및 장치
JP2018505738A JP6869226B2 (ja) 2016-01-20 2016-06-28 ピクチャによる情報検索方法、装置、デバイス、及びコンピュータ記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610037780.6A CN105718562A (zh) 2016-01-20 2016-01-20 基于图片的信息搜索方法和装置
CN201610037780.6 2016-01-20

Publications (1)

Publication Number Publication Date
WO2017124697A1 true WO2017124697A1 (zh) 2017-07-27

Family

ID=56147981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/087436 WO2017124697A1 (zh) 2016-01-20 2016-06-28 基于图片的信息搜索方法和装置

Country Status (4)

Country Link
JP (1) JP6869226B2 (zh)
KR (1) KR20180022990A (zh)
CN (1) CN105718562A (zh)
WO (1) WO2017124697A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685941A (zh) * 2016-12-19 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种优化ar注册的方法、装置及服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522780B1 (en) * 2000-12-15 2003-02-18 America Online, Inc. Indexing of images and/or text
US20080240494A1 (en) * 2007-03-30 2008-10-02 Fujifilm Corporation Case image search apparatus and system
US20130275411A1 (en) * 2012-04-13 2013-10-17 Lg Electronics Inc. Image search method and digital device for the same
CN104298758A (zh) * 2014-10-22 2015-01-21 天津大学 一种多视角目标检索的方法
CN104572986A (zh) * 2015-01-04 2015-04-29 百度在线网络技术（北京）有限公司 信息搜索方法和装置
CN104714986A (zh) * 2013-12-12 2015-06-17 三纬国际立体列印科技股份有限公司 三维图片搜索方法与三维图片搜索系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565015B2 (ja) * 2008-05-15 2010-10-20 シャープ株式会社 画像処理装置、画像形成装置、画像処理システム、画像処理プログラムおよびその記録媒体
US20090319388A1 (en) * 2008-06-20 2009-12-24 Jian Yuan Image Capture for Purchases
JP5438436B2 (ja) * 2009-08-27 2014-03-12 株式会社日立国際電気 画像検索装置
CN101916279B (zh) * 2010-08-16 2012-02-22 刘文萍 基于图像分析技术的植物物种查询系统及方法
JP5863400B2 (ja) * 2011-11-07 2016-02-16 株式会社日立国際電気 類似画像検索システム
CN102495899A (zh) * 2011-12-16 2012-06-13 上海合合信息科技发展有限公司 基于特征信息的匹配来获取物品使用说明的方法及系统
CN105069063A (zh) * 2015-07-29 2015-11-18 百度在线网络技术（北京）有限公司 图片搜索方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522780B1 (en) * 2000-12-15 2003-02-18 America Online, Inc. Indexing of images and/or text
US20080240494A1 (en) * 2007-03-30 2008-10-02 Fujifilm Corporation Case image search apparatus and system
US20130275411A1 (en) * 2012-04-13 2013-10-17 Lg Electronics Inc. Image search method and digital device for the same
CN104714986A (zh) * 2013-12-12 2015-06-17 三纬国际立体列印科技股份有限公司 三维图片搜索方法与三维图片搜索系统
CN104298758A (zh) * 2014-10-22 2015-01-21 天津大学 一种多视角目标检索的方法
CN104572986A (zh) * 2015-01-04 2015-04-29 百度在线网络技术（北京）有限公司 信息搜索方法和装置

Also Published As

Publication number Publication date
JP6869226B2 (ja) 2021-05-12
CN105718562A (zh) 2016-06-29
KR20180022990A (ko) 2018-03-06
JP2018528530A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
US10885100B2 (en) Thumbnail-based image sharing method and terminal
US10318575B2 (en) Systems and methods of building and using an image catalog
JP2021099852A (ja) 顔認識アプリケーションにおけるフォールスポジティブの最小化のための方法および装置
KR102222087B1 (ko) 증강 현실에 기초한 이미지 인식 방법 및 장치
US11194856B2 (en) Computerized system and method for automatically identifying and providing digital content based on physical geographic location data
US20210409535A1 (en) Updating an avatar status for a user of a messaging system
JP2018530079A (ja) 顔認識及びコンテキストビデオストリームで個人を識別するためのビデオ解析技術のための装置及び方法
JP2020042834A (ja) アカウント情報取得方法、端末、サーバ、およびシステム
WO2016201933A1 (zh) 用户数据处理方法、提供方法、系统和计算机设备
US11308327B2 (en) Providing travel-based augmented reality content with a captured image
US11680814B2 (en) Augmented reality-based translations associated with travel
US11978096B2 (en) Providing travel-based augmented reality content relating to user-submitted reviews
US20200160130A1 (en) Business process starting method and apparatus
US11769500B2 (en) Augmented reality-based translation of speech in association with travel
US11983461B2 (en) Speech-based selection of augmented reality content for detected objects
WO2021195404A1 (en) Speech-based selection of augmented reality content for detected objects
US20240046930A1 (en) Speech-based selection of augmented reality content
US20210089738A1 (en) Image Tag Generation Method, Server, and Terminal Device
WO2017124697A1 (zh) 基于图片的信息搜索方法和装置
US11776253B2 (en) Displaying object names in association with augmented reality content
CN109150967B (zh) 一种相册创建方法、装置以及电子设备
US20240232960A1 (en) Providing travel-based augmented reality content relating to user-submitted reviews
TW201607304A (zh) 無標記辨識的訊息傳播方法及系統
JP2022021870A (ja) 画像処理装置およびその制御方法、並びにプログラム
TWM517490U (zh) 無標記辨識的訊息傳播系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16885959

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20187003289

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018505738

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16885959

Country of ref document: EP

Kind code of ref document: A1