WO2015172359A1 - 一种对象搜索方法及装置 - Google Patents

一种对象搜索方法及装置 Download PDF

Info

Publication number
WO2015172359A1
WO2015172359A1 PCT/CN2014/077566 CN2014077566W WO2015172359A1 WO 2015172359 A1 WO2015172359 A1 WO 2015172359A1 CN 2014077566 W CN2014077566 W CN 2014077566W WO 2015172359 A1 WO2015172359 A1 WO 2015172359A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
target object
input
gesture
image area
Prior art date
Application number
PCT/CN2014/077566
Other languages
English (en)
French (fr)
Inventor
李彦
李小娟
郜文美
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to JP2016550858A priority Critical patent/JP6316447B2/ja
Priority to EP14892023.4A priority patent/EP3001333A4/en
Priority to CN201480003299.4A priority patent/CN104854539B/zh
Priority to KR1020167020862A priority patent/KR101864240B1/ko
Priority to US14/902,227 priority patent/US10311115B2/en
Priority to BR112016017262-0A priority patent/BR112016017262B1/pt
Priority to PCT/CN2014/077566 priority patent/WO2015172359A1/zh
Publication of WO2015172359A1 publication Critical patent/WO2015172359A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the embodiment of the present invention provides an object search method and apparatus.
  • the preferred embodiments of the present invention are described below in conjunction with the accompanying drawings. It should be understood that the preferred embodiments described herein are only for the purpose of illustration and explanation. The invention is not intended to limit the invention. And in the case of no conflict, the embodiments in the present application and the features in the embodiments can be combined with each other.
  • Step 102 Determine, according to the voice input, a target object name that the user desires to search and a feature category of the target object.
  • Step 202 Determine, according to the voice input, a target object name that the user desires to search and a feature category of the target object.
  • the terminal after determining, by step 202, the target object name that the user desires to search and the feature category of the target object, the terminal directly selects the category information of the feature category, the target object name, and the user-selected The image area is sent to the server, and the server searches based on the received information and returns the search result to the terminal.
  • the user can also enter the photographing mode, and perform a photographing operation to obtain an image, and correspondingly, obtain an image obtained by the user currently photographed as an image region selected by the user.
  • the user performs the operation of selecting the image region and the operation of inputting the feature category and the target object name, and there is no strict sequence between the two.
  • Step 302 The terminal determines, according to the voice input of the user, a target object name that the user desires to search and a feature category of the target object.
  • the feature of the feature category of the image region selected by the user may be extracted by the terminal, or may be extracted by the server, or may be extracted by the terminal for some feature categories, for other
  • the feature category is extracted by the server, so the feature category extracted by the terminal to the feature information can be set as the preset feature category, and is performed in this step. The above judgment.
  • the first searching unit 404 is specifically configured to send the feature information and the target object name to the server, and receive a search result returned by the server, where the search result is that the server performs the feature information
  • the target object represented by the target object name is searched.
  • a second receiving unit 501 configured to receive a voice input and a gesture input of the user
  • the second determining unit 502 is further configured to: acquire an image area selected by the user from the specified image by using the gesture input, as an image area selected by the user; or obtain an image obtained by the user inputting the photo by using the gesture, As the image area selected by the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种对象搜索方法及装置，包括：接收用户的语音输入和手势输入；并根据该语音输入确定用户期望搜索的目标对象名称和目标对象的特征类别；并从用户通过该手势输入选定的图像区域中提取该特征类别的特征信息；以及按照提取的特征信息和目标对象名称，对目标对象进行搜索。采用本发明实施例提供的方案，能够为用户提供更为灵活的搜索方式，且降低了搜索时受应用场景的限制。

Description

一种对象搜索方法及装置 技术领域
本发明涉及计算机技术领域中的搜索技术领域， 尤其涉及一种对象搜索 方法及装置。 背景技术
目前， 在用户通过网络对将要搜索的目标对象进行搜索时， 一般是通过 针对目标对象输入或选择一些已知的搜索条件， 然后按照该搜索条件对目标 对象进行搜索， 例如， 可以按照目标对象的价格范围搜索， 也可以按照目标 对象的所属区域进行搜索等。
在上述对象搜索方案中， 需要用户能够明确描述搜索时所依据的搜索条 件， 例如， 可以是从一些预设条件中进行选择， 也可以直接输入搜索条件。 然而， 在实际应用中， 用户在搜索一个目标对象时， 可能无法明确描述其期 望的搜索条件， 例如， 用户期望搜索某一种颜色的物品， 而该颜色并无法准 确的用已知颜色的名称进行描述， 或者， 用户期望搜索某一种形状的物品， 而该形状并非是规则的形状， 此时， 则导致用户无法对其期望的目标对象进 行搜索， 并且， 即使进行搜索， 也可能由于搜索条件的不准确， 而导致搜索 结果并不符合用户的搜索意图， 进而导致搜索效果较差， 且现有技术中的对 象搜索方法无法为用户提供更为灵活的搜索方式， 受应用场景的限制较大。 发明内容
本发明实施例提供一种对象搜索方法及装置， 用以解决现有技术中存在 的无法为用户提供更为灵活的搜索方式， 且受应用场景限制较大的问题。
第一方面， 提供一种对象搜索方法， 包括：
接收用户的语音输入和手势输入；
根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征 类别；
从用户通过所述手势输入选定的图像区域中提取所述特征类别的特征信 息；
按照提取的所述特征信息和所述目标对象名称， 对所述目标对象进行搜 索。
结合第一方面， 在第一种可能的实现方式中， 按照提取的所述特征信息 和所述目标对象名称， 对所述目标对象进行搜索， 具体包括：
向服务器发送所述特征信息和所述目标对象名称；
接收所述服务器返回的搜索结果， 所述搜索结果为所述服务器按照所述 特征信息对所述目标对象名称表示的目标对象进行搜索得到的。
结合第一方面或者第一方面的第一种可能的实现方式， 在第二种可能的 实现方式中， 接收用户的语音输入和手势输入， 具体包括：
接收用户同时进行的语音输入和手势输入； 或者
接收用户的语音输入， 并当确定用户未进行手势输入选定图像区域时， 提示用户进行图像区域选定操作， 并接收用户的手势输入； 或者
接收用户的手势输入， 并当确定用户未进行语音输入时， 提示用户进行 语音输入操作， 并接收用户的语音输入。
结合第一方面或者第一方面的第一种可能的实现方式， 在第三种可能的 实现方式中， 获取用户通过所述手势输入选定的图像区域， 包括：
获取用户通过所述手势输入从指定图像中选择的图像区域， 作为用户选 定的图像区域； 或者
获取用户通过所述手势输入拍照得到的图像， 作为用户选定的图像区域。 第二方面， 提供一种对象搜索装置， 包括：
第一接收单元， 用于接收用户的语音输入和手势输入；
第一确定单元， 用于根据所述语音输入确定用户期望搜索的目标对象名 称和目标对象的特征类别；
提取单元， 用于从用户通过所述手势输入选定的图像区域中提取所述特 征类别的特征信息；
第一搜索单元， 用于按照提取的所述特征信息和所述目标对象名称， 对 所述目标对象进行搜索。
结合第二方面， 在第一种可能的实现方式中， 所述第一搜索单元， 具体 用于向服务器发送所述特征信息和所述目标对象名称； 并接收所述服务器返 回的搜索结果， 所述搜索结果为所述服务器按照所述特征信息对所述目标对 象名称表示的目标对象进行搜索得到的。
结合第二方面或者第二方面的第一种可能的实现方式， 在第二种可能的 实现方式中， 所述第一接收单元， 具体用于接收用户同时进行的语音输入和 手势输入； 或者， 接收用户的语音输入， 并当确定用户未进行手势输入选定 图像区域时， 提示用户进行图像区域选定操作， 并接收用户的手势输入； 或 者， 接收用户的手势输入， 并当确定用户未进行语音输入时， 提示用户进行 语音输入操作， 并接收用户的语音输入。
结合第二方面或者第二方面的第一种可能的实现方式， 在第三种可能的 实现方式中， 所述第一确定单元， 还用于获取用户通过所述手势输入从指定 图像中选择的图像区域， 作为用户选定的图像区域； 或者， 获取用户通过所 述手势输入拍照得到的图像， 作为用户选定的图像区域。
第三方面， 提供一种对象搜索方法， 包括：
接收用户的语音输入和手势输入；
根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征 类别；
向服务器发送所述特征类别的类别信息、 所述目标对象名称和用户通过 所述手势输入选定的图像区域；
接收所述服务器返回的搜索结果， 所述搜索结果为所述服务器将所述图 像区域的所述类别信息表示的所述特征类别的特征作为搜索条件， 对所述目 标对象名称表示的目标对象进行搜索得到的。
结合第三方面， 在第一种可能的实现方式中， 接收用户的语音输入和手 势输入， 具体包括：
接收用户同时进行的语音输入和手势输入； 或者
接收用户的语音输入， 并当确定用户未进行手势输入选定图像区域时， 提示用户进行图像区域选定操作， 并接收用户的手势输入； 或者
接收用户的手势输入， 并当确定用户未进行语音输入时， 提示用户进行 语音输入操作， 并接收用户的语音输入。
结合第三方面， 在第二种可能的实现方式中， 获取用户通过所述手势输 入选定的图像区域， 包括：
获取用户通过所述手势输入从指定图像中选择的图像区域， 作为用户选 定的图像区域； 或者
获取用户通过所述手势输入拍照得到的图像， 作为用户选定的图像区域。 第四方面， 提供一种对象搜索装置， 包括：
第二接收单元， 用于接收用户的语音输入和手势输入；
第二确定单元， 用于根据所述语音输入确定用户期望搜索的目标对象名 称和目标对象的特征类别；
发送单元， 用于向服务器发送所述特征类别的类别信息、 所述目标对象 名称和用户通过所述手势输入选定的图像区域；
第三接收单元， 用于接收所述服务器返回的搜索结果， 所述搜索结果为 所述服务器将所述图像区域的所述类别信息表示的所述特征类别的特征作为 搜索条件， 对所述目标对象名称表示的目标对象进行搜索得到的。
结合第四方面， 在第一种可能的实现方式中， 所述第二接收单元， 具体 用于接收用户同时进行的语音输入和手势输入； 或者， 接收用户的语音输入， 并当确定用户未进行手势输入选定图像区域时， 提示用户进行图像区域选定 操作， 并接收用户的手势输入； 或者， 接收用户的手势输入， 并当确定用户 未进行语音输入时， 提示用户进行语音输入操作， 并接收用户的语音输入。
结合第四方面， 在第二种可能的实现方式中， 所述第二确定单元， 还用 于获取用户通过所述手势输入从指定图像中选择的图像区域， 作为用户选定 的图像区域； 或者， 获取用户通过所述手势输入拍照得到的图像， 作为用户 选定的图像区域。
本发明有益效果包括：
本发明实施例提供的上述方案中， 在进行对象搜索时， 首先接收用户的 语音输入和手势输入， 并根据该语音输入确定用户期望搜索的目标对象名称 和目标对象的特征类别， 并将用户通过该手势输入选定的图像区域的该特征 类别的特征和该目标对象名称作为搜索条件， 对该目标对象进行搜索。 由于 用户在搜索时， 只需要通过语音输入特征类别和目标对象名称， 并通过手势 输入选定图像区域， 即可以通过该特征类别、 目标对象名称和图像区域表示 搜索条件， 而无需明确描述搜索条件， 从而为用户提供更为灵活的搜索方式， 且降低了搜索时受应用场景的限制。
本申请的其它特征和优点将在随后的说明书中阐述， 并且， 部分地从说 明书中变得显而易见， 或者通过实施本申请而了解。 本申请的目的和其他优 点可通过在所写的说明书、 权利要求书、 以及附图中所特别指出的结构来实 现和获得。 附图说明
附图用来提供对本发明的进一步理解， 并且构成说明书的一部分， 与本 发明实施例一起用于解释本发明， 并不构成对本发明的限制。 在附图中： 图 1为本发明实施例提供的对象搜索方法的流程图之一；
图 2为本发明实施例提供的对象搜索方法的流程图之二；
图 3为本发明实施例提供的对象搜索方法的流程图之二；
图 4为本发明实施例提供的对象搜索装置的结构示意图之一；
图 5为本发明实施例提供的对象搜索装置的结构示意图之二。 具体实施方式
为了给出为用户提供更为灵活的搜索方式， 且降低搜索时受应用场景的 限制的实现方案， 本发明实施例提供了一种对象搜索方法及装置， 以下结合 说明书附图对本发明的优选实施例进行说明， 应当理解， 此处所描述的优选 实施例仅用于说明和解释本发明， 并不用于限定本发明。 并且在不冲突的情 况下， 本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种对象搜索方法， 如图 1所示， 可以应用于终端， 包 括：
步骤 101、 接收用户的语音输入和手势输入。
步骤 102、 根据该语音输入确定用户期望搜索的目标对象名称和目标对象 的特征类别。
步骤 103、 从用户通过该手势输入选定的图像区域中提取该特征类别的特 征信息。
步骤 104、 按照提取的特征信息和目标对象名称， 对目标对象进行搜索。 在上述图 1所示的方法中， 通过步骤 103 , 终端可以直接从用户选定的图 像区域中提取该特征类别的特征信息， 并在执行步骤 104时， 具体可以在终端 本地存储的对象集中进行搜索， 也在互联网上进行搜索， 即向服务器发送该 特征信息和目标对象名称， 并在服务器按照该特征信息对该目标对象名称表 示的目标对象进行搜索得到搜索结果后， 接收服务器返回的该搜索结果， 进 一步的， 还可以展示该搜索结果。
与上述图 1所示方法不同的， 本发明实施例还提供一种对象搜索方法， 如 图 2所示， 也可以应用于终端， 包括：
步骤 201、 接收用户的语音输入和手势输入。
步骤 202、 根据该语音输入确定用户期望搜索的目标对象名称和目标对象 的特征类别。
步骤 203、 向服务器发送该特征类别的类别信息、 该目标对象名称和用户 通过该手势输入选定的图像区域。
步骤 204、 接收服务器返回的搜索结果， 该搜索结果为服务器将该图像区 域的该类别信息表示的该特征类别的特征作为搜索条件， 对该目标对象名称 表示的目标对象进行搜索得到的。
在上述图 2所示的方法中， 终端在通过步骤 202确定用户期望搜索的目标 对象名称和目标对象的特征类别后， 直接将该特征类别的类别信息、 该目标 对象名称和用户选定的该图像区域发送给服务器， 由服务器基于接收的这些 信息进行搜索， 并向终端返回搜索结果。
并且， 进一步的， 服务器在进行搜索时， 可以从接收的用户选定的该图 像区域中提取该特征类别的特征信息， 并按照提取的特征信息和目标对象名 称， 对目标对象进行搜索。
对于上述图 1和图 2所示的对象搜索方法， 步骤 101和步骤 102 , 分别与步 骤 201和步骤 202相同， 并且， 在上述步骤 101和步骤 102 , 以及步骤 201和步骤 202中，用户可以釆用语音输入的方式，输入特征类别和目标对象名称，例如， 输入的特征类别可以包括： 颜色、 形状、 价格、 品牌和图像等， 输入的目标 对象名称可以是期望搜索物品的物品名称。
具体的， 用户可以釆用语音输入的方式输入语音信息， 其中携带特征类 别和目标对象名称， 例如， 用户语音输入 "搜索这个颜色的钱包" ， "搜索 这个品牌的鞋" ， "搜索这个图像的手机壳" 等。
当用户釆用语音输入的方式输入语音信息时， 对用户输入的语音信息进 行语义分析， 确定特征类别和目标对象名称。 对语音信息进行语义分析， 提 取文本信息的方式， 可以釆用现有技术中的各种方式， 在此不再进行详细描 述。
本发明实施例中， 用户在进行图像区域选定操作时， 可以从一副指定图 像中选择一块图像区域， 例如， 通过手势操作对显示该指定图像的触摸屏进 行选择操作， 相应的， 获取用户从该指定图像中选择的图像区域， 作为用户 选定的图像区域。
用户在进行图像区域选定操作时， 也可以进入拍照模式， 并进行拍照操 作， 得到图像， 相应的， 获取用户当前拍照得到的图像， 作为用户选定的图 像区域。 本发明实施例中， 用户进行图像区域选定操作与输入特征类别和目标对 象名称的操作， 两者之间没有严格的先后顺序。
并且， 用户进行图像选定操作与进行语音信息输入操作可以是同时完成 的， 例如， 用户在进行语音信息输入的同时， 可以通过手势操作选定图像区 域。
也可以是先后完成的， 例如， 当确定用户输入语音信息且未选定图像区 域时， 提示用户进行图像区域选定操作， 并在用户完成图像区域选定操作后， 确定用户选定的图像区域；
又如， 当确定用户进行手势输入操作来选定图像且未输入语音信息时， 提示用户进行语音信息输入操作， 并在用户输入语音信息后， 对输入的语音 信息进行语义分析， 确定特征类别和目标对象名称。
在上述图 1和图 2所示的方法中， 具体可以从用户通过手势输入选定的图 像区域中提取该特征类别的特征信息， 并按照提取的该特征信息， 对该目标 对象名称表示的目标对象进行搜索。
例如， 特征类别为颜色， 则提取用户选定的图像区域的颜色特征信息， 表示图像颜色特征信息的种类可以为现有技术中的各种， 例如， 可以提取用 户选定的图像区域的颜色直方图 （颜色直方图描述不同色彩在整幅图像中所 占的比例） ， 并确定颜色直方图中比例最大的一种颜色， 比例从大到小的预 设多种颜色， 或者比例大于预设比例的颜色， 将确定的该颜色的像素值作为 该图像区域的颜色特征信息， 也可以进一步的根据该颜色的像素值， 确定该 颜色的颜色名称， 将该颜色名称作为该图像区域的颜色特征信息。 当从颜色 直方图中确定出多种颜色时， 还可以进一步的显示该多种颜色， 供用户选择， 并确定用户选择的颜色的颜色特征信息， 如像素值或颜色名称。
相应的， 可以按照提取的该颜色特征信息， 对该目标对象名称表示的目 标对象进行搜索， 例如， 按照颜色名称或者像素值进行搜索。
又如， 特征类别为形状， 则提取用户选定的图像区域中的形状特征信息， 该形状可以是规则形状， 例如， 矩形， 菱形， 圓形， 椭圓形等， 则可以使用 形状名称作为形状特征信息， 也可以是不规则形状， 例如， 提取出用户选定 的图像区域中事物轮廓的图形， 并将该轮廓的图形， 作为形状特征信息。
相应的， 可以按照提取的该形状特征信息， 对该目标对象名称表示的目 标对象进行搜索， 例如， 按照形状名称或者图形进行搜索。
又如， 特征类别为品牌， 则提取用户选定的图像区域中的品牌标识， 该 品牌标识可以是品牌名称， 也可以是品牌图形， 作为品牌特征信息。
相应的， 可以按照提取的该品牌特征信息， 对该目标对象名称表示的目 标对象进行搜索， 例如， 按照品牌名称或者品牌图形进行搜索。
又如， 特征类别为价格， 则提取用户选定的图像区域中的数字信息， 将 该数字信息作为价格特征信息。
相应的， 可以按照提取的价格特征信息进行搜索。
又如， 特征类别为图像， 则可以将用户选定的图像区域本身作为图像特 征信息。
相应的， 按照用户选定的图像区域， 釆用图像搜索方式， 对该目标对象 名称表示的目标对象进行搜索。
上述图 1和图 2所示的对象搜索方法也可以相结合， 即对目标对象进行搜 索， 可以是在本地存储的对象集中进行搜索， 也可以是在互联网上进行搜索。
具体的， 可以由终端执行， 也可以由服务器执行， 如云端服务器， 当由 服务器执行时， 用户输入的特征类别和目标对象名称， 以及用户选定的图像 区域可以是终端发送给服务器的， 也可以由终端和服务器共同执行相应的步 骤。
也可以由终端根据不同的特征类别， 确定是由终端执行相应的处理步骤， 还是由服务器执行。 例如， 针对一些特征类别， 终端可以在从用户选定的图 像区域中提取该特征类别的特征信息之后， 向服务器发送提取的特征信息和 该目标对象名称， 然后由服务器按照接收的该特征信息对该目标对象名称表 示的目标对象进行搜索， 得到搜索结果， 并将该搜索结果返回给终端。
下面结合附图， 用具体实施例对本发明提供的方法进行详细描述。 图 3为本发明实施例提供的对象搜索方法的详细流程图， 具体包括如下步 骤：
步骤 301、 接收用户的语音输入和手势输入。
本步骤中， 可以接收用户同时进行的语音输入和手势输入；
也可以接收用户的语音输入， 并当确定用户未进行手势输入选定图像区 域时， 提示用户进行图像区域选定操作， 并接收用户的手势输入；
也可以接收用户的手势输入， 并当确定用户未进行语音输入时， 提示用 户进行语音输入操作， 并接收用户的语音输入。
步骤 302、 终端根据用户的语音输入确定用户期望搜索的目标对象名称和 目标对象的特征类别。
本步骤中， 可以通过对用户输入的语音信息进行语义分析， 确定特征类 别和目标对象名称。
本发明实施例中， 用户可输入的特征类别， 可以根据目标对象的特性以 及方案的应用场景进行灵活设置， 例如， 在搜索物品时， 可以包括： 颜色、 形状、 价格、 品牌和图像等， 输入的目标对象名称可以是期望搜索物品的物 口口名称。
步骤 303、 终端获取用户通过手势输入选定的图像区域。
本步骤中， 终端可以获取用户从指定图像中选择的图像区域， 作为用户 选定的图像区域， 也可以获取用户当前拍照得到的图像， 作为用户选定的图 像区域。
上述步骤 302和步骤 303之间没有严格的先后顺序。
步骤 304、 终端确定用户输入的特征类别是否为预设特征类别， 如果是预 设特征类别， 进入步骤 305 , 如果不是预设特征类别， 进入步骤 307。
本发明实施例中， 针对用户输入的特征类别， 用户选定的图像区域的该 特征类别的特征可以由终端提取， 也可以由服务器提取， 也可以针对一些特 征类别， 由终端提取， 针对另外一些特征类别， 由服务器提取， 所以， 可以 将由终端提取特征信息的特征类别设置为预设特征类别， 并在本步骤中进行 上述判断。
例如， 将上述颜色、 形状、 价格、 品牌和图像中的颜色作为预设特征类 别。
步骤 305、 当用户输入的特征类别是预设特征类别时， 终端从用户选定的 图像区域中提取该特征类别的特征信息。
例如， 针对颜色提取用户选定的图像区域的颜色特征信息， 具体可以参 见上述描述。
步骤 306、 终端将提取的该特征类别的特征信息和用户输入的该目标对象 名称， 发送给服务器。
步骤 307、 终端将用户输入的特征类别的类别信息、 目标对象名称， 以及 用户选定的图像区域， 发送给服务器。
步骤 308、 服务器在接收到该类别信息、 目标对象名称和该图像区域后， 从该图像区域中提取该类别信息表示的该特征类别的特征信息。
例如， 针对形状、 价格和品牌， 提取用户选定的图像区域的相应特征信 息， 具体可以参见上述描述。
并且， 进一步的， 当特征类别为图像时， 可以直接将接收的该图像区域 本身作为图像特征信息。
步骤 309、 服务器在接收到终端发送的该特征类别的特征信息， 或者， 在 提取出该类别信息表示的该特征类别的特征信息后， 按照提取的该特征信息， 对该目标对象名称表示的目标对象进行搜索， 得到搜索结果。
搜索结果为具有该特征类别的该特征信息的目标对象。
步骤 310、 服务器向终端返回搜索结果。
步骤 311、 终端在接收到服务器返回的搜索结果后， 向用户展示该搜索结 果。
釆用本发明实施例提供的上述对象搜索方法， 用户在搜索时， 只需要进 行语音输入和手势输入， 并只需要输入特征类别和目标对象名称， 以及选定 图像区域， 即可以由终端或服务器确定出相应的搜索条件， 并按照该搜索条 件对目标对象进行搜索， 而无需用户明确描述搜索条件， 从而为用户提供了 更为灵活的搜索方式， 且降低了搜索时受应用场景的限制。
例如， 当用户看到一幅图像中的颜色很漂亮， 希望搜索这个颜色的钱包 时， 很可能由于这种颜色很特殊， 而无法给出一个明确的颜色名称， 此时， 又如， 当用户想搜索一个品牌的鞋， 而又不知道这个品牌的名称， 只具 有包含该品牌的品牌图形的图像， 则可以釆用本发明实施例提供的上述方法， 从该图像中选定一块包含品牌图形的图像区域， 作为选定的图像， 进行搜索。
基于同一发明构思， 根据本发明上述实施例提供的对象搜索方法， 相应 地， 本发明实施例还提供了一种对象搜索装置， 其结构示意图如图 4所示， 具 体包括：
第一接收单元 401 , 用于接收用户的语音输入和手势输入；
第一确定单元 402, 用于根据所述语音输入确定用户期望搜索的目标对象 名称和目标对象的特征类别；
提取单元 403 , 用于从用户通过所述手势输入选定的图像区域中提取所述 特征类别的特征信息；
第一搜索单元 404 , 用于按照提取的所述特征信息和所述目标对象名称， 对所述目标对象进行搜索。
进一步的， 第一搜索单元 404 , 具体用于向服务器发送所述特征信息和所 述目标对象名称； 并接收所述服务器返回的搜索结果， 所述搜索结果为所述 服务器按照所述特征信息对所述目标对象名称表示的目标对象进行搜索得到 的。
进一步的， 第一接收单元 401 , 具体用于接收用户同时进行的语音输入和 手势输入； 或者， 接收用户的语音输入， 并当确定用户未进行手势输入选定 图像区域时， 提示用户进行图像区域选定操作， 并接收用户的手势输入； 或 者， 接收用户的手势输入， 并当确定用户未进行语音输入时， 提示用户进行 语音输入操作， 并接收用户的语音输入。 进一步的， 第一确定单元 402 , 还用于获取用户通过所述手势输入从指定 图像中选择的图像区域， 作为用户选定的图像区域； 或者， 获取用户通过所 述手势输入拍照得到的图像， 作为用户选定的图像区域。
上述图 4中各单元的功能可对应于图 1或图 3所示流程中的相应处理步骤， 在此不再赘述。
基于同一发明构思， 根据本发明上述实施例提供的对象搜索方法， 相应 地， 本发明实施例还提供了一种对象搜索装置， 其结构示意图如图 5所示， 具 体包括：
第二接收单元 501 , 用于接收用户的语音输入和手势输入；
第二确定单元 502 , 用于根据所述语音输入确定用户期望搜索的目标对象 名称和目标对象的特征类别；
发送单元 503 , 用于向服务器发送所述特征类别的类别信息、 所述目标对 象名称和用户通过所述手势输入选定的图像区域；
第三接收单元 504 , 用于接收所述服务器返回的搜索结果， 所述搜索结果 为所述服务器将所述图像区域的所述类别信息表示的所述特征类别的特征作 为搜索条件， 对所述目标对象名称表示的目标对象进行搜索得到的。
进一步的， 第二接收单元 501 , 具体用于接收用户同时进行的语音输入和 手势输入； 或者， 接收用户的语音输入， 并当确定用户未进行手势输入选定 图像区域时， 提示用户进行图像区域选定操作， 并接收用户的手势输入； 或 者， 接收用户的手势输入， 并当确定用户未进行语音输入时， 提示用户进行 语音输入操作， 并接收用户的语音输入。
进一步的， 第二确定单元 502 , 还用于获取用户通过所述手势输入从指定 图像中选择的图像区域， 作为用户选定的图像区域； 或者， 获取用户通过所 述手势输入拍照得到的图像， 作为用户选定的图像区域。
上述图 5中各单元的功能可对应于图 2或图 3所示流程中的相应处理步骤， 在此不再赘述。
综上所述， 本发明实施例提供的方案， 包括： 接收用户的语音输入和手 势输入； 并根据该语音输入确定用户期望搜索的目标对象名称和目标对象的 特征类别； 并从用户通过该手势输入选定的图像区域中提取该特征类别的特 征信息； 以及按照提取的特征信息和目标对象名称， 对目标对象进行搜索。 釆用本发明实施例提供的方案， 能够为用户提供更为灵活的搜索方式， 且降 低了搜索时受应用场景的限制。
本领域内的技术人员应明白， 本发明的实施例可提供为方法、 系统、 或 计算机程序产品。 因此， 本发明可釆用完全硬件实施例、 完全软件实施例、 或结合软件和硬件方面的实施例的形式。 而且， 本发明可釆用在一个或多个 其中包含有计算机可用程序代码的计算机可用存储介质 (包括但不限于磁盘 存储器、 CD-ROM、 光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、 设备（系统） 、 和计算机程序 产品的流程图和 /或方框图来描述的。 应理解可由计算机程序指令实现流程 图和 /或方框图中的每一流程和 /或方框、 以及流程图和 /或方框图中的流 程和 /或方框的结合。 可提供这些计算机程序指令到通用计算机、 专用计算 机、 嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器， 使 得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现 在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功 能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中， 使得存储在该计算机可读存储器 中的指令产生包括指令装置的制造品， 该指令装置实现在流程图一个流程或 多个流程和 /或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的 处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图 一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的步 骤。 尽管已描述了本发明的优选实施例， 但本领域内的技术人员一旦得知了 基本创造性概念， 则可对这些实施例作出另外的变更和修改。 所以， 所附权 利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。 发明的精神和范围。 这样， 倘若本发明的这些修改和变型属于本发明权利要 求及其等同技术的范围之内， 则本发明也意图包含这些改动和变型在内。

Claims

权 利 要 求
1、 一种对象搜索方法， 其特征在于， 包括：
接收用户的语音输入和手势输入；
根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征 类别；
从用户通过所述手势输入选定的图像区域中提取所述特征类别的特征信 息；
按照提取的所述特征信息和所述目标对象名称， 对所述目标对象进行搜 索。
2、 如权利要求 1所述的方法， 其特征在于， 按照提取的所述特征信息和 所述目标对象名称， 对所述目标对象进行搜索， 具体包括：
向服务器发送所述特征信息和所述目标对象名称；
接收所述服务器返回的搜索结果， 所述搜索结果为所述服务器按照所述 特征信息对所述目标对象名称表示的目标对象进行搜索得到的。
3、 如权利要求 1或 2所述的方法， 其特征在于， 接收用户的语音输入和手 势输入， 具体包括：
接收用户同时进行的语音输入和手势输入； 或者
接收用户的语音输入， 并当确定用户未进行手势输入选定图像区域时， 提示用户进行图像区域选定操作， 并接收用户的手势输入； 或者
接收用户的手势输入， 并当确定用户未进行语音输入时， 提示用户进行 语音输入操作， 并接收用户的语音输入。
4、 如权利要求 1或 2所述的方法， 其特征在于， 获取用户通过所述手势输 入选定的图像区域， 包括：
获取用户通过所述手势输入从指定图像中选择的图像区域， 作为用户选 定的图像区域； 或者
获取用户通过所述手势输入拍照得到的图像， 作为用户选定的图像区域。
5、 一种对象搜索装置， 其特征在于， 包括： 第一接收单元， 用于接收用户的语音输入和手势输入；
第一确定单元， 用于根据所述语音输入确定用户期望搜索的目标对象名 称和目标对象的特征类别；
提取单元， 用于从用户通过所述手势输入选定的图像区域中提取所述特 征类别的特征信息；
第一搜索单元， 用于按照提取的所述特征信息和所述目标对象名称， 对 所述目标对象进行搜索。
6、 如权利要求 5所述的装置， 其特征在于， 所述第一搜索单元， 具体用 于向服务器发送所述特征信息和所述目标对象名称； 并接收所述服务器返回 的搜索结果， 所述搜索结果为所述服务器按照所述特征信息对所述目标对象 名称表示的目标对象进行搜索得到的。
7、 如权利要求 4或 5所述的装置， 其特征在于， 所述第一接收单元， 具体 用于接收用户同时进行的语音输入和手势输入； 或者， 接收用户的语音输入， 并当确定用户未进行手势输入选定图像区域时， 提示用户进行图像区域选定 操作， 并接收用户的手势输入； 或者， 接收用户的手势输入， 并当确定用户 未进行语音输入时， 提示用户进行语音输入操作， 并接收用户的语音输入。
8、 如权利要求 4或 5所述的装置， 其特征在于， 所述第一确定单元， 还用 于获取用户通过所述手势输入从指定图像中选择的图像区域， 作为用户选定 的图像区域； 或者， 获取用户通过所述手势输入拍照得到的图像， 作为用户 选定的图像区域。
9、 一种对象搜索方法， 其特征在于， 包括：
接收用户的语音输入和手势输入；
根据所述语音输入确定用户期望搜索的目标对象名称和目标对象的特征 类别；
向服务器发送所述特征类别的类别信息、 所述目标对象名称和用户通过 所述手势输入选定的图像区域；
接收所述服务器返回的搜索结果， 所述搜索结果为所述服务器将所述图 像区域的所述类别信息表示的所述特征类别的特征作为搜索条件， 对所述目 标对象名称表示的目标对象进行搜索得到的。
10、 如权利要求 9所述的方法， 其特征在于， 接收用户的语音输入和手势 输入， 具体包括：
接收用户同时进行的语音输入和手势输入； 或者
接收用户的语音输入， 并当确定用户未进行手势输入选定图像区域时， 提示用户进行图像区域选定操作， 并接收用户的手势输入； 或者
接收用户的手势输入， 并当确定用户未进行语音输入时， 提示用户进行 语音输入操作， 并接收用户的语音输入。
11、 如权利要求 9所述的方法， 其特征在于， 获取用户通过所述手势输入 选定的图像区域， 包括：
获取用户通过所述手势输入从指定图像中选择的图像区域， 作为用户选 定的图像区域； 或者
获取用户通过所述手势输入拍照得到的图像， 作为用户选定的图像区域。
12、 一种对象搜索装置， 其特征在于， 包括：
第二接收单元， 用于接收用户的语音输入和手势输入；
第二确定单元， 用于根据所述语音输入确定用户期望搜索的目标对象名 称和目标对象的特征类别；
发送单元， 用于向服务器发送所述特征类别的类别信息、 所述目标对象 名称和用户通过所述手势输入选定的图像区域；
第三接收单元， 用于接收所述服务器返回的搜索结果， 所述搜索结果为 所述服务器将所述图像区域的所述类别信息表示的所述特征类别的特征作为 搜索条件， 对所述目标对象名称表示的目标对象进行搜索得到的。
13、 如权利要求 12所述的装置， 其特征在于， 所述第二接收单元， 具体 用于接收用户同时进行的语音输入和手势输入； 或者， 接收用户的语音输入， 并当确定用户未进行手势输入选定图像区域时， 提示用户进行图像区域选定 操作， 并接收用户的手势输入； 或者， 接收用户的手势输入， 并当确定用户 未进行语音输入时， 提示用户进行语音输入操作， 并接收用户的语音输入。
14、 如权利要求 12所述的装置， 其特征在于， 所述第二确定单元， 还用 于获取用户通过所述手势输入从指定图像中选择的图像区域， 作为用户选定 的图像区域； 或者， 获取用户通过所述手势输入拍照得到的图像， 作为用户 选定的图像区域。
PCT/CN2014/077566 2014-05-15 2014-05-15 一种对象搜索方法及装置 WO2015172359A1 (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2016550858A JP6316447B2 (ja) 2014-05-15 2014-05-15 オブジェクト検索方法および装置
EP14892023.4A EP3001333A4 (en) 2014-05-15 2014-05-15 METHOD AND APPARATUS FOR SEARCHING OBJECTS
CN201480003299.4A CN104854539B (zh) 2014-05-15 2014-05-15 一种对象搜索方法及装置
KR1020167020862A KR101864240B1 (ko) 2014-05-15 2014-05-15 객체 검색 방법 및 장치
US14/902,227 US10311115B2 (en) 2014-05-15 2014-05-15 Object search method and apparatus
BR112016017262-0A BR112016017262B1 (pt) 2014-05-15 2014-05-15 Método para busca de objeto e terminal acoplado de forma comunicativa a um servidor.
PCT/CN2014/077566 WO2015172359A1 (zh) 2014-05-15 2014-05-15 一种对象搜索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/077566 WO2015172359A1 (zh) 2014-05-15 2014-05-15 一种对象搜索方法及装置

Publications (1)

Publication Number Publication Date
WO2015172359A1 true WO2015172359A1 (zh) 2015-11-19

Family

ID=53852833

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/077566 WO2015172359A1 (zh) 2014-05-15 2014-05-15 一种对象搜索方法及装置

Country Status (7)

Country Link
US (1) US10311115B2 (zh)
EP (1) EP3001333A4 (zh)
JP (1) JP6316447B2 (zh)
KR (1) KR101864240B1 (zh)
CN (1) CN104854539B (zh)
BR (1) BR112016017262B1 (zh)
WO (1) WO2015172359A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10788902B2 (en) 2016-06-22 2020-09-29 Sony Corporation Information processing device and information processing method

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101561628B1 (ko) * 2013-12-30 2015-10-20 주식회사 케이티 스마트 글래스의 영상 정보를 제공하는 검색 장치 및 검색 방법
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
KR20170052364A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN107515868A (zh) * 2016-06-15 2017-12-26 北京陌上花科技有限公司 搜索方法及装置
KR102055733B1 (ko) * 2017-02-24 2019-12-13 권오민 이미지광고 온라인 제공 방법
KR102469717B1 (ko) * 2017-08-01 2022-11-22 삼성전자주식회사 오브젝트에 대한 검색 결과를 제공하기 위한 전자 장치 및 이의 제어 방법
CN110119461B (zh) * 2018-01-25 2022-01-14 阿里巴巴（中国）有限公司 一种查询信息的处理方法及装置
KR102630662B1 (ko) 2018-04-02 2024-01-30 삼성전자주식회사 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
CN108874910B (zh) * 2018-05-28 2021-08-17 思百达物联网科技(北京)有限公司 基于视觉的小目标识别系统
CN108984730A (zh) * 2018-07-12 2018-12-11 三星电子（中国）研发中心 一种搜索方法和搜索设备
WO2020062392A1 (zh) 2018-09-28 2020-04-02 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
KR20200068416A (ko) 2018-12-05 2020-06-15 제주대학교 산학협력단 감귤 바이오겔을 포함하는 감귤 미숙과 추출물을 유효성분으로 함유하는 화장료 조성물
JP7275795B2 (ja) * 2019-04-15 2023-05-18 コニカミノルタ株式会社 操作受付装置、制御方法、画像形成システム、及び、プログラム
CN110765294B (zh) * 2019-10-25 2021-03-12 深圳追一科技有限公司 图像搜索方法、装置、终端设备及存储介质
CN113093406A (zh) * 2021-04-14 2021-07-09 陈祥炎 智能眼镜
CN116628327A (zh) * 2023-02-16 2023-08-22 百度在线网络技术（北京）有限公司 搜索方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952935A (zh) * 2006-09-22 2007-04-25 南京搜拍信息技术有限公司 综合利用图像及文字信息的搜索系统及搜索方法
CN101930457A (zh) * 2010-08-13 2010-12-29 百度在线网络技术（北京）有限公司 一种供用户进行快速选择对象及搜索的方法、设备和系统
CN102411627A (zh) * 2010-12-16 2012-04-11 微软公司 包括面部图像的图像搜索

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08166866A (ja) 1994-10-14 1996-06-25 Hitachi Ltd 対話型インターフェースを具備した編集支援システム
JPH10198695A (ja) 1997-01-13 1998-07-31 Sharp Corp 情報処理装置
US6513063B1 (en) * 1999-01-05 2003-01-28 Sri International Accessing network-based electronic information through scripted online interfaces using spoken input
JP3823129B2 (ja) 2001-12-07 2006-09-20 株式会社シガメック 画像検索システム及び画像検索方法
JP2006107109A (ja) 2004-10-05 2006-04-20 Canon Inc 情報管理装置及び情報管理方法
JP2007026316A (ja) * 2005-07-20 2007-02-01 Yamaha Motor Co Ltd 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体
US7457825B2 (en) 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
CN101071431A (zh) * 2007-01-31 2007-11-14 腾讯科技（深圳）有限公司 基于关键图形为搜索条件进行图象搜索的方法及系统
CN100578508C (zh) * 2008-01-14 2010-01-06 上海博康智能信息技术有限公司 交互式图像搜索系统和方法
US20090287626A1 (en) 2008-05-14 2009-11-19 Microsoft Corporation Multi-modal query generation
US9978365B2 (en) * 2008-10-31 2018-05-22 Nokia Technologies Oy Method and system for providing a voice interface
US20100281435A1 (en) 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US8788434B2 (en) * 2010-10-28 2014-07-22 Google Inc. Search with joint image-audio queries
JP5794036B2 (ja) 2011-08-22 2015-10-14 セイコーエプソン株式会社 画像検索装置、画像検索方法、およびプログラム
WO2013075316A1 (en) * 2011-11-24 2013-05-30 Microsoft Corporation Interactive multi-modal image search
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN103246682A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 数据搜索方法和数据搜索装置
CN103020184B (zh) * 2012-11-29 2016-05-25 北京百度网讯科技有限公司 使用拍摄图像获取搜索结果的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952935A (zh) * 2006-09-22 2007-04-25 南京搜拍信息技术有限公司 综合利用图像及文字信息的搜索系统及搜索方法
CN101930457A (zh) * 2010-08-13 2010-12-29 百度在线网络技术（北京）有限公司 一种供用户进行快速选择对象及搜索的方法、设备和系统
CN102411627A (zh) * 2010-12-16 2012-04-11 微软公司 包括面部图像的图像搜索

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3001333A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10788902B2 (en) 2016-06-22 2020-09-29 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
BR112016017262A2 (zh) 2017-08-08
CN104854539A (zh) 2015-08-19
BR112016017262B1 (pt) 2022-09-27
CN104854539B (zh) 2018-08-14
KR101864240B1 (ko) 2018-06-04
US10311115B2 (en) 2019-06-04
JP2017513090A (ja) 2017-05-25
EP3001333A4 (en) 2016-08-24
EP3001333A1 (en) 2016-03-30
US20160147882A1 (en) 2016-05-26
JP6316447B2 (ja) 2018-04-25
KR20160104054A (ko) 2016-09-02

Similar Documents

Publication Publication Date Title
WO2015172359A1 (zh) 一种对象搜索方法及装置
US11120078B2 (en) Method and device for video processing, electronic device, and storage medium
US10810253B2 (en) Information display method and device
JP6410930B2 (ja) 拡張現実及び物体認識を用いた実世界物体でのコンテンツ項目の検索及び関連付けスキーム
KR102467236B1 (ko) 실시간 추적 보상 이미지 효과
US11335088B2 (en) Augmented reality item collections
US20170161382A1 (en) System to correlate video data and contextual data
US20210392097A1 (en) Bidirectional bridge for web view
US11769500B2 (en) Augmented reality-based translation of speech in association with travel
EP4173256A1 (en) Travel-based augmented reality content for images
US11983461B2 (en) Speech-based selection of augmented reality content for detected objects
WO2021195404A1 (en) Speech-based selection of augmented reality content for detected objects
US20240046930A1 (en) Speech-based selection of augmented reality content
WO2016192284A1 (zh) 一种用于获取地图中的候选地址信息的方法和装置
WO2016082470A1 (zh) 一种图片处理方法、装置及计算机存储介质
US11086925B2 (en) Fashion by trend user interfaces
WO2018103544A1 (zh) 一种在图像中展现业务对象数据的方法和装置
CN106250510B (zh) 搜索方法、装置和系统
KR102335972B1 (ko) 검색 추천 정보를 제공하기 위한 방법 및 장치
CN114827744A (zh) 弹幕处理方法和装置
WO2015139204A1 (zh) 图片管理方法及设备

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2014892023

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14892023

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14902227

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20167020862

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016550858

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016017262

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112016017262

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20160726