WO2016192506A1 - 一种信息查询方法、终端设备、系统及计算机存储介质 - Google Patents

一种信息查询方法、终端设备、系统及计算机存储介质 Download PDF

Info

Publication number
WO2016192506A1
WO2016192506A1 PCT/CN2016/081193 CN2016081193W WO2016192506A1 WO 2016192506 A1 WO2016192506 A1 WO 2016192506A1 CN 2016081193 W CN2016081193 W CN 2016081193W WO 2016192506 A1 WO2016192506 A1 WO 2016192506A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
feature
dimension
query
audio
Prior art date
Application number
PCT/CN2016/081193
Other languages
English (en)
French (fr)
Inventor
左洪涛
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2016192506A1 publication Critical patent/WO2016192506A1/zh
Priority to US15/625,716 priority Critical patent/US20170344542A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results

Definitions

  • the multimedia information may be any one of the following types: audio information, video information, and image information.
  • Step 101 Collect multimedia information
  • the extracting the feature information from the at least one feature dimension to obtain the at least one feature parameter of the multimedia information corresponding to each feature dimension may include: from the at least Selecting a first target dimension from a feature dimension, the first target dimension characterizing the feature that needs to be extracted from the multimedia information is audio fingerprint feature information, and the file type in the corresponding information source is a video file; A target dimension extracts audio fingerprint feature information from the multimedia information.
  • the feature dimension is determined as: the audio fingerprint feature information and the feature information in the image frame are acquired, and the information type of the corresponding information source is a video file;
  • the target object in the embodiment may be product information corresponding to the audio file, or identifier information corresponding to the audio file, or information of a producer corresponding to the audio file.
  • An embodiment of the present invention provides a terminal device, as shown in FIG. 5, including:
  • the feature dimension may be composed of at least one feature information required to perform a search, and a corresponding information source.
  • the multimedia information is audio information
  • the determining feature dimension may be as follows: the first feature dimension is: the audio fingerprint feature information needs to be obtained, and the corresponding information source type is an audio file; the second feature dimension is: Obtaining the audio fingerprint feature information, the type of the corresponding information source is a video file; the third feature dimension is: the audio fingerprint feature information needs to be obtained, and the corresponding information source type includes an audio file and a video file.
  • the audio fingerprint feature may be feature information identifying the multimedia information.
  • the query unit is configured to query from the information source based on the at least one target dimension and the audio fingerprint feature information and/or the video fingerprint feature information, and obtain the feature information and/or the video fingerprint feature of the audio fingerprint. At least one query result related to the target object corresponding to the information.
  • Obtaining at least one query result related to the target object corresponding to the video fingerprint feature information may be: acquiring information such as a person name, a profile, and the like corresponding to the character feature; or, or going to a product name corresponding to the product, a product shopping website, Product introduction and other information.
  • the server side obtains the audio fingerprint from the query unit, and then searches for the audio fingerprint to obtain the query result, returns the query unit to the terminal device, and then displays it to the user;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种信息查询方法、终端设备、系统及计算机存储介质，其中方法包括：采集得到多媒体信息(101)；从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数(102)；基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果(103)。

Description

一种信息查询方法、终端设备、系统及计算机存储介质 技术领域
本发明涉及信息处理领域的终端处理技术，尤其涉及一种信息查询方法、终端设备、系统及计算机存储介质。
背景技术
目前，随着终端设备，尤其是智能设备越来越深入人们的日常生活，通过终端设备也能够为人们带来更多的便利。但是，通常用户使用终端设备进行搜索的时候，都需要先知道目标的名称，然后再利用搜索网站或者软件进行搜索，这样就会给用户带来不便。
发明内容
有鉴于此，本发明实施例的目的在于提供一种信息查询方法、终端设备、系统及计算机存储介质，能至少解决现有技术存在的上述问题。
本发明实施例提供了一种信息查询方法，所述方法包括：
采集得到多媒体信息；
从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
本发明实施例提供了一种终端设备，包括：
采集单元，用于采集得到多媒体信息；
特征提取单元，用于从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参 数；
查询单元，用于基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
本发明实施例还提供了一种信息查询系统，所述系统包括：
终端设备，用于采集得到多媒体信息；从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；基于所提取的至少一个特征参数在对应的特征维度从服务器中进行查询，得到在所述至少一个特征维度对应的查询结果；
服务器，用于接收终端设备的查询并提供查询结果。
本发明实施例还提供了一种计算机存储介质，其中存储有计算机可执行指令，该计算机可执行指令用于执行：采集得到多媒体信息；从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
本发明实施例所提供的信息查询方法、终端设备、系统及计算机存储介质，能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
附图说明
图1为本发明实施例信息查询方法流程示意图；
图2为本发明实施例场景示意图一；
图3为本发明实施例场景示意图二；
图4为本发明实施例场景示意图三；
图5为本发明实施例终端设备组成结构示意图；
图6为本发明实施例系统组成结构示意图一；
图7为本发明实施例系统组成结构示意图二；
图8为本发明实施例硬件组成示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
实施例一、
本发明实施例提供了一种信息查询方法，如图1所述，所述方法包括：
步骤101：采集得到多媒体信息；
步骤102：从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
步骤103：基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
优选地，执行步骤102之前，所述方法还可以包括：基于所述多媒体信息的类型，确定至少一个特征维度。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信 息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
实施例二、
本发明实施例提供了一种信息查询方法，如图1所述，所述方法包括：
步骤101：采集得到多媒体信息；
步骤102：从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
步骤103：基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
优选地，执行步骤102之前，所述方法还可以包括：基于所述多媒体信息的类型，确定至少一个特征维度。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信 息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
本实施例上述步骤102中，所述从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数，可以包括：若所述多媒体信息的类型为音频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息。
其中，所述选取目标维度的方式可以包括：通过终端设备的显示屏幕为用户显示出至少一个特征维度，并且提供至少一种特征维度所要查询的信息源中的类型；然后，用户从显示出来的多种目标维度中选取一个特征维度作为第一目标维度。比如，图2所示，为用户显示出来了两种特征维度，分别为第一特征维度以及第二特征维度，然后根据第一特征维度以及第二特征维度针对的不同信息类型进行选择。可以理解的是，本实施例中提供的图2仅为示意，实际中可以采用不同的方式为用户显示所述特征维度，并且可以不将特征维度显示出来，可以仅提示用户“搜音乐”或者“搜视频”，这样能进一步提升用户使用的便利性。
所述音频指纹特征可以为识别所述多媒体信息的特征信息。
从所述多媒体信息中提取到音频指纹特征信息，可以包括：将多媒体信息即音频信息首先划分为多个音频数据帧；针对每一个音频数据帧计算得到一组特征；然后将计算得到的特征组装为特征向量；将得到的特征向量进行主成分分析等计算，得到分析之后的特征向量；对分析后的特征向量进行量化得到音频指纹信息。其中，所述计算可以为利用快速傅里叶变换洗漱、梅而顿率倒普系数、谱平坦度等方式计算。
相对应的，上述实施例中步骤103，所述基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询 结果，可以包括：基于第一目标维度以及音频指纹特征信息，从所述第一目标维度对应的信息源中进行查询；在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
其中，本实施例中所述查询的方式可以有以下几种：
方式一、将终端设备中存储的所有的视频类型的文件作为第一信息源，在所述第一信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式二、将服务器侧存储的所有的视频类型的文件作为第二信息源，在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式三、将终端设备中存储的所有的视频类型的文件作为第一信息源，将服务器侧存储的所有的视频类型的文件作为第二信息源；
首先，在所述第一信息源中进行查询，若查询得到与所述音频指纹特征信息匹配的视频文件，则将该视频文件作为查询结果；
若为查询到匹配的视频文件，则在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询结果，具体可以为：利用苏搜狐音频指纹特征信息，与所述信息源中各个视频文件的至少一个音频指纹特征信息进行匹配，得到匹配的视频文件，将匹配的视频文件的标识信息作为查询结果显示在所述终端设备的显示屏幕上。
如此，通过本实施例中提供的基于音频指纹特征信息，获取到目标视频文件作为查询结果的方式，能够增加视频文件搜索的方式，提升用户的 使用体验。
结合图3，对本实施例进行场景描述：当用户开启电视机时，当前播放这一个节目，用户需要知道电视中所播放的节目是什么的时候，就点击终端设备即智能手机上的“搜索”按钮，然后，智能手机就进行音频采集，得到音频信息；从音频信息中提取到音频指纹特征信息；基于得到的音频指纹特征信息从多个视频文件组成的信息源中进行搜索，选取到与音频指纹特征信息匹配的一个视频文件；然后如图4所示，为用户输出该视频文件的名称。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
实施例三、
本发明实施例提供了一种信息查询方法，如图1所述，所述方法包括：
步骤101：采集得到多媒体信息；
步骤102：从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
步骤103：基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
优选地，执行步骤102之前，所述方法还可以包括：基于所述多媒体信息的类型，确定至少一个特征维度。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
本实施例上述步骤102中，所述从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数，可以包括：从所述至少一个特征维度中选取第一目标维度，所述第一目标维度表征需要从多媒体信息中提取到的特征为音频指纹特征信息、并且对应的信息源中文件类型为视频文件；基于选取的所述第一目标维度，从所述多媒体信息中提取到音频指纹特征信息。
其中，所述选取第一目标维度的方式可以包括：通过终端设备的显示屏幕为用户显示出至少一个特征维度，并且提供至少一种特征维度所要查询的信息源中的类型；然后，用户从显示出来的多种目标维度中选取一个特征维度作为第一目标维度。比如，图2所示，为用户显示出来了两种特征维度，分别为第一特征维度以及第二特征维度，然后根据第一特征维度以及第二特征维度针对的不同信息类型进行选择。可以理解的是，本实施例中提供的图2仅为示意，实际中可以采用不同的方式为用户显示所述特征维度，并且可以不将特征维度显示出来，可以仅提示用户“搜音乐”或者“搜视频”，这样能进一步提升用户使用的便利性。
所述音频指纹特征可以为识别所述多媒体信息的特征信息。
从所述多媒体信息中提取到音频指纹特征信息，可以包括：将多媒体 信息即音频信息首先划分为多个音频数据帧；针对每一个音频数据帧计算得到一组特征；然后将计算得到的特征组装为特征向量；将得到的特征向量进行主成分分析等计算，得到分析之后的特征向量；对分析后的特征向量进行量化得到音频指纹信息。其中，所述计算可以为利用快速傅里叶变换洗漱、梅而顿率倒普系数、谱平坦度等方式计算。
相对应的，上述实施例中步骤103，所述基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果，可以包括：逐个基于至少一个目标维度以及音频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息匹配的音频文件；基于所述音频文件，获取到与所述音频文件对应的目标对象相关的至少一个查询结果。
其中，本实施例中所述查询的方式可以有以下几种：
方式一、将终端设备中存储的所有的视频类型的文件作为第一信息源，在所述第一信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式二、将服务器侧存储的所有的视频类型的文件作为第二信息源，在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式三、将终端设备中存储的所有的视频类型的文件作为第一信息源，将服务器侧存储的所有的视频类型的文件作为第二信息源；
首先，在所述第一信息源中进行查询，若查询得到与所述音频指纹特征信息匹配的视频文件，则将该视频文件作为查询结果；
若为查询到匹配的视频文件，则在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频 文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述目标对象可以为所述音频文件对应的产品信息、或者所述音频文件对应的标识信息、或者音频文件对应的制作者的信息。
所述获取到与音频文件对应的目标对象相关的至少一个查询结果，可以包括：所述音频文件对应的演唱者，以及所述演唱者的其他信息。
或者，所述获取到与音频文件对应的目标对象相关的至少一个查询结果，可以包括：基于所述音频文件从包含有服务信息的信息源中进行搜索，得到所述音频文件对应的目标对象的至少一个服务信息。其中，所述服务信息可以至少包括以下之一：目标对象的至少一个网址链接信息，所述目标对象对应的应用标识，所述目标对应的应用下载链接。比如，采集音频时，得到多媒体信息为音频信息，基于音频指纹特征信息，确定音频文件，该音频文件为苹果的铃音，那么目标对象就是苹果产品，对应的搜索结果可以是苹果官网、京东的苹果购物页面、手机配置信息、苹果的热门软件等结果。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
实施例四、
本发明实施例提供了一种信息查询方法，如图1所述，所述方法包括：
步骤101：采集得到多媒体信息；
步骤102：从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
步骤103：基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
优选地，执行步骤102之前，所述方法还可以包括：基于所述多媒体信息的类型，确定至少一个特征维度。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
本实施例上述步骤102中，所述从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数，可以包括：若所述多媒体信息的类型为视频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息和/或视频指纹特征信息。
其中，所述选取目标维度的方式可以包括：通过终端设备的显示屏幕为用户显示出至少一个特征维度，并且提供至少一种特征维度所要查询的信息源中的类型；然后，用户从显示出来的多种目标维度中选取一个特征维度作为第一目标维度。比如，图2所示，为用户显示出来了两种特征维度，分别为第一特征维度以及第二特征维度，然后根据第一特征维度以及第二特征维度针对的不同信息类型进行选择。可以理解的是，本实施例中 提供的图2仅为示意，实际中可以采用不同的方式为用户显示所述特征维度，并且可以不将特征维度显示出来，可以仅提示用户“搜音乐”或者“搜视频”，这样能进一步提升用户使用的便利性。
所述音频指纹特征可以为识别所述多媒体信息的特征信息。
从所述多媒体信息中提取到音频指纹特征信息，可以包括：将多媒体信息即音频信息首先划分为多个音频数据帧；针对每一个音频数据帧计算得到一组特征；然后将计算得到的特征组装为特征向量；将得到的特征向量进行主成分分析等计算，得到分析之后的特征向量；对分析后的特征向量进行量化得到音频指纹信息。其中，所述计算可以为利用快速傅里叶变换洗漱、梅而顿率倒普系数、谱平坦度等方式计算。
视频指纹提取可以为除了分理出音频单独提取指纹还可以对视频中的图像帧进行离散余弦变化，得到每个图像帧的能量特征作为指纹，或者，图像帧间的能量特征的差分作为视频指纹特征信息。
相对应的，上述实施例中步骤103，所述基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果，可以包括：逐个基于至少一个目标维度以及音频指纹特征信息和/或视频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息和/或视频指纹特征信息对应的目标对象相关的至少一个查询结果。
其中，本实施例中所述查询的方式可以有以下几种：
方式一、将终端设备中存储的所有的视频类型的文件作为第一信息源，在所述第一信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式二、将服务器侧存储的所有的视频类型的文件作为第二信息源，在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式三、将终端设备中存储的所有的视频类型的文件作为第一信息源，将服务器侧存储的所有的视频类型的文件作为第二信息源；
首先，在所述第一信息源中进行查询，若查询得到与所述音频指纹特征信息匹配的视频文件，则将该视频文件作为查询结果；
若为查询到匹配的视频文件，则在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述目标对象可以为所述音频文件对应的产品信息、或者所述音频文件对应的标识信息、或者音频文件对应的制作者的信息。
所述获取到与音频指纹特征信息对应的目标对象相关的至少一个查询结果，可以包括：所述音频指纹特征信息对应的演唱者，以及所述演唱者的其他信息。
或者，所述获取到与音频指纹特征信息对应的目标对象相关的至少一个查询结果，可以包括：基于所述音频指纹特征信息从包含有服务信息的信息源中进行搜索，得到所述音频文件对应的目标对象的至少一个服务信息。其中，所述服务信息可以至少包括以下之一：目标对象的至少一个网址链接信息，所述目标对象对应的应用标识，所述目标对象对应的应用下载链接。比如，采集音频时，得到多媒体信息为音频信息，基于音频指纹特征信息，确定音频文件，该音频文件为苹果的铃音，那么目标对象就是苹果产品，对应的搜索结果可以是苹果官网、京东的苹果购物页面、手机配置信息、苹果的热门软件等结果。
另外，本实施例中视频指纹特征信息对应的目标对象可以为一帧图像中的一个人物或者一个产品；
获取到与视频指纹特征信息对应的目标对象相关的至少一个查询结果 可以为：获取到与人物特征对应的人物名称、人物简介等信息；或者，或者去与产品对应的产品名称、产品购物网站、产品的介绍等信息。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
实施例五、
本发明实施例提供了一种终端设备，如图5所示，包括：
采集单元51，用于采集得到多媒体信息；
特征提取单元52，用于从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
查询单元53，用于基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
优选地，特征提取单元，还用于基于所述多媒体信息的类型，确定至少一个特征维度。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型 为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
特征提取单元，具体用于若所述多媒体信息的类型为音频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息。
其中，特征提取单元，具体用于通过终端设备的显示屏幕为用户显示出至少一个特征维度，并且提供至少一种特征维度所要查询的信息源中的类型；然后，用户从显示出来的多种目标维度中选取一个特征维度作为第一目标维度。比如，图2所示，为用户显示出来了两种特征维度，分别为第一特征维度以及第二特征维度，然后根据第一特征维度以及第二特征维度针对的不同信息类型进行选择。可以理解的是，本实施例中提供的图2仅为示意，实际中可以采用不同的方式为用户显示所述特征维度，并且可以不将特征维度显示出来，可以仅提示用户“搜音乐”或者“搜视频”，这样能进一步提升用户使用的便利性。
所述音频指纹特征可以为识别所述多媒体信息的特征信息。
特征提取单元，具体用于将多媒体信息即音频信息首先划分为多个音频数据帧；针对每一个音频数据帧计算得到一组特征；然后将计算得到的特征组装为特征向量；将得到的特征向量进行主成分分析等计算，得到分析之后的特征向量；对分析后的特征向量进行量化得到音频指纹信息。其中，所述计算可以为利用快速傅里叶变换洗漱、梅而顿率倒普系数、谱平坦度等方式计算。
相对应的，查询单元，用于基于第一目标维度以及音频指纹特征信息，从所述第一目标维度对应的信息源中进行查询；在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询 结果。
其中，本实施例中所述查询的方式可以有以下几种：
方式一、将终端设备中存储的所有的视频类型的文件作为第一信息源，在所述第一信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式二、将服务器侧存储的所有的视频类型的文件作为第二信息源，在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式三、将终端设备中存储的所有的视频类型的文件作为第一信息源，将服务器侧存储的所有的视频类型的文件作为第二信息源；
首先，在所述第一信息源中进行查询，若查询得到与所述音频指纹特征信息匹配的视频文件，则将该视频文件作为查询结果；
若为查询到匹配的视频文件，则在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询结果，具体可以为：利用苏搜狐音频指纹特征信息，与所述信息源中各个视频文件的至少一个音频指纹特征信息进行匹配，得到匹配的视频文件，将匹配的视频文件的标识信息作为查询结果显示在所述终端设备的显示屏幕上。
如此，通过本实施例中提供的基于音频指纹特征信息，获取到目标视频文件作为查询结果的方式，能够增加视频文件搜索的方式，提升用户的使用体验。
结合图3，对本实施例进行场景描述：当用户开启电视机时，当前播放 这一个节目，用户需要知道电视中所播放的节目是什么的时候，就点击终端设备即智能手机上的“搜索”按钮，然后，智能手机就进行音频采集，得到音频信息；从音频信息中提取到音频指纹特征信息；基于得到的音频指纹特征信息从多个视频文件组成的信息源中进行搜索，选取到与音频指纹特征信息匹配的一个视频文件；然后如图4所示，为用户输出该视频文件的名称。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
实施例六、
本发明实施例提供了一种终端设备，如图5所示，包括：
采集单元51，用于采集得到多媒体信息；
特征提取单元52，用于从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
查询单元53，用于基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
特征提取单元，具体用于从所述至少一个特征维度中选取第一目标维度，所述第一目标维度表征需要从多媒体信息中提取到的特征为音频指纹特征信息、并且对应的信息源中文件类型为视频文件；基于选取的所述第一目标维度，从所述多媒体信息中提取到音频指纹特征信息。
其中，特征提取单元，具体用于通过终端设备的显示屏幕为用户显示出至少一个特征维度，并且提供至少一种特征维度所要查询的信息源中的类型；然后，用户从显示出来的多种目标维度中选取一个特征维度作为第一目标维度。比如，图2所示，为用户显示出来了两种特征维度，分别为第一特征维度以及第二特征维度，然后根据第一特征维度以及第二特征维度针对的不同信息类型进行选择。可以理解的是，本实施例中提供的图2仅为示意，实际中可以采用不同的方式为用户显示所述特征维度，并且可以不将特征维度显示出来，可以仅提示用户“搜音乐”或者“搜视频”，这样能进一步提升用户使用的便利性。
所述音频指纹特征可以为识别所述多媒体信息的特征信息。
特征提取单元，具体用于将多媒体信息即音频信息首先划分为多个音频数据帧；针对每一个音频数据帧计算得到一组特征；然后将计算得到的特征组装为特征向量；将得到的特征向量进行主成分分析等计算，得到分析之后的特征向量；对分析后的特征向量进行量化得到音频指纹信息。其中，所述计算可以为利用快速傅里叶变换洗漱、梅而顿率倒普系数、谱平坦度等方式计算。
相对应的，查询单元，用于逐个基于至少一个目标维度以及音频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息匹配的音频文件；基于所述音频文件，获取到与所述音频文件对应的目标对象相关的至少一个查询结果。
其中，本实施例中所述查询的方式可以有以下几种：
方式一、将终端设备中存储的所有的视频类型的文件作为第一信息源，在所述第一信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式二、将服务器侧存储的所有的视频类型的文件作为第二信息源，在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式三、将终端设备中存储的所有的视频类型的文件作为第一信息源，将服务器侧存储的所有的视频类型的文件作为第二信息源；
首先，在所述第一信息源中进行查询，若查询得到与所述音频指纹特征信息匹配的视频文件，则将该视频文件作为查询结果；
若为查询到匹配的视频文件，则在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述目标对象可以为所述音频文件对应的产品信息、或者所述音频文件对应的标识信息、或者音频文件对应的制作者的信息。
所述获取到与音频文件对应的目标对象相关的至少一个查询结果，可以包括：所述音频文件对应的演唱者，以及所述演唱者的其他信息。
或者，所述获取到与音频文件对应的目标对象相关的至少一个查询结果，可以包括：基于所述音频文件从包含有服务信息的信息源中进行搜索， 得到所述音频文件对应的目标对象的至少一个服务信息。其中，所述服务信息可以至少包括以下之一：目标对象的至少一个网址链接信息，所述目标对象对应的应用标识，所述目标对应的应用下载链接。比如，采集音频时，得到多媒体信息为音频信息，基于音频指纹特征信息，确定音频文件，该音频文件为苹果的铃音，那么目标对象就是苹果产品，对应的搜索结果可以是苹果官网、京东的苹果购物页面、手机配置信息、苹果的热门软件等结果。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
实施例七、
本发明实施例提供了一种终端设备，如图5所示，包括：
采集单元51，用于采集得到多媒体信息；
特征提取单元52，用于从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
查询单元53，用于基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
优选地，特征提取单元52，用于基于所述多媒体信息的类型，确定至少一个特征维度。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
本实施例特征提取单元52，用于若所述多媒体信息的类型为视频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息和/或视频指纹特征信息。
其中，特征提取单元52，用于通过终端设备的显示屏幕为用户显示出至少一个特征维度，并且提供至少一种特征维度所要查询的信息源中的类型；然后，用户从显示出来的多种目标维度中选取一个特征维度作为第一目标维度。比如，图2所示，为用户显示出来了两种特征维度，分别为第一特征维度以及第二特征维度，然后根据第一特征维度以及第二特征维度针对的不同信息类型进行选择。可以理解的是，本实施例中提供的图2仅为示意，实际中可以采用不同的方式为用户显示所述特征维度，并且可以不将特征维度显示出来，可以仅提示用户“搜音乐”或者“搜视频”，这样能进一步提升用户使用的便利性。
所述音频指纹特征可以为识别所述多媒体信息的特征信息。
特征提取单元52，用于将多媒体信息即音频信息首先划分为多个音频数据帧；针对每一个音频数据帧计算得到一组特征；然后将计算得到的特征组装为特征向量；将得到的特征向量进行主成分分析等计算，得到分析之后的特征向量；对分析后的特征向量进行量化得到音频指纹信息。其中， 所述计算可以为利用快速傅里叶变换洗漱、梅而顿率倒普系数、谱平坦度等方式计算。
特征提取单元52，用于除了分理出音频单独提取指纹还可以对视频中的图像帧进行离散余弦变化，得到每个图像帧的能量特征作为指纹，或者，图像帧间的能量特征的差分作为视频指纹特征信息。
相对应的，查询单元，用于逐个基于至少一个目标维度以及音频指纹特征信息和/或视频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息和/或视频指纹特征信息对应的目标对象相关的至少一个查询结果。
其中，本实施例中所述查询的方式可以有以下几种：
方式一、将终端设备中存储的所有的视频类型的文件作为第一信息源，在所述第一信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式二、将服务器侧存储的所有的视频类型的文件作为第二信息源，在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式三、将终端设备中存储的所有的视频类型的文件作为第一信息源，将服务器侧存储的所有的视频类型的文件作为第二信息源；
首先，在所述第一信息源中进行查询，若查询得到与所述音频指纹特征信息匹配的视频文件，则将该视频文件作为查询结果；
若为查询到匹配的视频文件，则在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述目标对象可以为所述音频文件对应的产品信息、或者 所述音频文件对应的标识信息、或者音频文件对应的制作者的信息。
查询单元，用于所述音频指纹特征信息对应的演唱者，以及所述演唱者的其他信息。
或者，查询单元，用于基于所述音频指纹特征信息从包含有服务信息的信息源中进行搜索，得到所述音频文件对应的目标对象的至少一个服务信息。其中，所述服务信息可以至少包括以下之一：目标对象的至少一个网址链接信息，所述目标对象对应的应用标识，所述目标对象对应的应用下载链接。比如，采集音频时，得到多媒体信息为音频信息，基于音频指纹特征信息，确定音频文件，该音频文件为苹果的铃音，那么目标对象就是苹果产品，对应的搜索结果可以是苹果官网、京东的苹果购物页面、手机配置信息、苹果的热门软件等结果。
另外，本实施例中视频指纹特征信息对应的目标对象可以为一帧图像中的一个人物或者一个产品；
获取到与视频指纹特征信息对应的目标对象相关的至少一个查询结果可以为：获取到与人物特征对应的人物名称、人物简介等信息；或者，或者去与产品对应的产品名称、产品购物网站、产品的介绍等信息。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
实施例八、
本发明实施例提供了一种信息查询系统，如图6所示，所述系统包括：
终端设备61，用于采集得到多媒体信息；从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；基于所提取的至少一个特征参数在对应的特征维 度从服务器中进行查询，得到在所述至少一个特征维度对应的查询结果；
服务器62，用于接收终端设备的信息查询并提供查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
优选地，终端设备51，用于基于所述多媒体信息的类型，确定至少一个特征维度。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
终端设备，用于若所述多媒体信息的类型为音频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息。
其中，特征提取单元，具体用于通过终端设备的显示屏幕为用户显示出至少一个特征维度，并且提供至少一种特征维度所要查询的信息源中的类型；然后，用户从显示出来的多种目标维度中选取一个特征维度作为第一目标维度。比如，图2所示，为用户显示出来了两种特征维度，分别为第一特征维度以及第二特征维度，然后根据第一特征维度以及第二特征维度针对的不同信息类型进行选择。可以理解的是，本实施例中提供的图2 仅为示意，实际中可以采用不同的方式为用户显示所述特征维度，并且可以不将特征维度显示出来，可以仅提示用户“搜音乐”或者“搜视频”，这样能进一步提升用户使用的便利性。
所述音频指纹特征可以为识别所述多媒体信息的特征信息。
终端设备，用于将多媒体信息即音频信息首先划分为多个音频数据帧；针对每一个音频数据帧计算得到一组特征；然后将计算得到的特征组装为特征向量；将得到的特征向量进行主成分分析等计算，得到分析之后的特征向量；对分析后的特征向量进行量化得到音频指纹信息。其中，所述计算可以为利用快速傅里叶变换洗漱、梅而顿率倒普系数、谱平坦度等方式计算。
相对应的，终端设备，用于基于第一目标维度以及音频指纹特征信息，从所述第一目标维度对应的信息源中进行查询；在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
其中，本实施例中所述查询的方式可以有以下几种：
方式一、将终端设备中存储的所有的视频类型的文件作为第一信息源，在所述第一信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式二、将服务器侧存储的所有的视频类型的文件作为第二信息源，在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式三、将终端设备中存储的所有的视频类型的文件作为第一信息源，将服务器侧存储的所有的视频类型的文件作为第二信息源；
首先，在所述第一信息源中进行查询，若查询得到与所述音频指纹特征信息匹配的视频文件，则将该视频文件作为查询结果；
若为查询到匹配的视频文件，则在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询结果，具体可以为：利用苏搜狐音频指纹特征信息，与所述信息源中各个视频文件的至少一个音频指纹特征信息进行匹配，得到匹配的视频文件，将匹配的视频文件的标识信息作为查询结果显示在所述终端设备的显示屏幕上。
如此，通过本实施例中提供的基于音频指纹特征信息，获取到目标视频文件作为查询结果的方式，能够增加视频文件搜索的方式，提升用户的使用体验。
结合图3，对本实施例进行场景描述：当用户开启电视机时，当前播放这一个节目，用户需要知道电视中所播放的节目是什么的时候，就点击终端设备即智能手机上的“搜索”按钮，然后，智能手机就进行音频采集，得到音频信息；从音频信息中提取到音频指纹特征信息；基于得到的音频指纹特征信息从多个视频文件组成的信息源中进行搜索，选取到与音频指纹特征信息匹配的一个视频文件；然后如图4所示，为用户输出该视频文件的名称。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述目标对象可以为所述音频文件对应的产品信息、或者所述音频文件对应的标识信息、或者音频文件对应的制作者的信息。
所述获取到与音频文件对应的目标对象相关的至少一个查询结果，可以包括：所述音频文件对应的演唱者，以及所述演唱者的其他信息。
或者，所述获取到与音频文件对应的目标对象相关的至少一个查询结果，可以包括：基于所述音频文件从包含有服务信息的信息源中进行搜索，得到所述音频文件对应的目标对象的至少一个服务信息。其中，所述服务信息可以至少包括以下之一：目标对象的至少一个网址链接信息，所述目标对象对应的应用标识，所述目标对应的应用下载链接。比如，采集音频时，得到多媒体信息为音频信息，基于音频指纹特征信息，确定音频文件，该音频文件为苹果的铃音，那么目标对象就是苹果产品，对应的搜索结果可以是苹果官网、京东的苹果购物页面、手机配置信息、苹果的热门软件等结果。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
实施例九、
本发明实施例提供了一种信息查询系统，如图6所示，所述系统包括：
终端设备61，用于采集得到多媒体信息；从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；基于所提取的至少一个特征参数在对应的特征维度从服务器中进行查询，得到在所述至少一个特征维度对应的查询结果；
服务器62，用于接收终端设备的信息查询并提供查询结果。
这里，所述多媒体信息可以为以下任意一种类型：音频信息、视频信息、图像信息。
所述特征维度可以由以下元素组成：进行搜索所需的至少一个特征信息，以及对应的信息源。
优选地，特征提取单元42，用于基于所述多媒体信息的类型，确定至 少一个特征维度。
比如，所述多媒体信息为视频信息，那么就可以确定特征维度为：需要获取到音频指纹特征信息、图像帧中的特征信息，对应的信息源的信息类型则为视频文件；
或者，所述多媒体信息为音频信息，那么确定特征维度可以有以下几种：第一特征维度为：需要获取到音频指纹特征信息，对应的信息源类型为音频文件；第二特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型为视频文件；第三特征维度为：需要获取到音频指纹特征信息，对应的信息源的类型包含音频文件以及视频文件两种。
本实施例特征提取单元42，用于若所述多媒体信息的类型为视频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息和/或视频指纹特征信息。
其中，特征提取单元42，用于通过终端设备的显示屏幕为用户显示出至少一个特征维度，并且提供至少一种特征维度所要查询的信息源中的类型；然后，用户从显示出来的多种目标维度中选取一个特征维度作为第一目标维度。比如，图2所示，为用户显示出来了两种特征维度，分别为第一特征维度以及第二特征维度，然后根据第一特征维度以及第二特征维度针对的不同信息类型进行选择。可以理解的是，本实施例中提供的图2仅为示意，实际中可以采用不同的方式为用户显示所述特征维度，并且可以不将特征维度显示出来，可以仅提示用户“搜音乐”或者“搜视频”，这样能进一步提升用户使用的便利性。
所述音频指纹特征可以为识别所述多媒体信息的特征信息。
特征提取单元42，用于将多媒体信息即音频信息首先划分为多个音频数据帧；针对每一个音频数据帧计算得到一组特征；然后将计算得到的特征组装为特征向量；将得到的特征向量进行主成分分析等计算，得到分析 之后的特征向量；对分析后的特征向量进行量化得到音频指纹信息。其中，所述计算可以为利用快速傅里叶变换洗漱、梅而顿率倒普系数、谱平坦度等方式计算。
特征提取单元42，用于除了分理出音频单独提取指纹还可以对视频中的图像帧进行离散余弦变化，得到每个图像帧的能量特征作为指纹，或者，图像帧间的能量特征的差分作为视频指纹特征信息。
相对应的，查询单元，用于逐个基于至少一个目标维度以及音频指纹特征信息和/或视频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息和/或视频指纹特征信息对应的目标对象相关的至少一个查询结果。
其中，本实施例中所述查询的方式可以有以下几种：
方式一、将终端设备中存储的所有的视频类型的文件作为第一信息源，在所述第一信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式二、将服务器侧存储的所有的视频类型的文件作为第二信息源，在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
方式三、将终端设备中存储的所有的视频类型的文件作为第一信息源，将服务器侧存储的所有的视频类型的文件作为第二信息源；
首先，在所述第一信息源中进行查询，若查询得到与所述音频指纹特征信息匹配的视频文件，则将该视频文件作为查询结果；
若为查询到匹配的视频文件，则在所述第二信息源中进行查询，得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
优选地，本实施例中所述信息源中所述的视频文件，可以包括：视频文件、视频文件的标识信息、视频文件的至少一个音频指纹特征信息。
本实施例中所述目标对象可以为所述音频文件对应的产品信息、或者所述音频文件对应的标识信息、或者音频文件对应的制作者的信息。
查询单元，用于所述音频指纹特征信息对应的演唱者，以及所述演唱者的其他信息。
或者，查询单元，用于基于所述音频指纹特征信息从包含有服务信息的信息源中进行搜索，得到所述音频文件对应的目标对象的至少一个服务信息。其中，所述服务信息可以至少包括以下之一：目标对象的至少一个网址链接信息，所述目标对象对应的应用标识，所述目标对象对应的应用下载链接。比如，采集音频时，得到多媒体信息为音频信息，基于音频指纹特征信息，确定音频文件，该音频文件为苹果的铃音，那么目标对象就是苹果产品，对应的搜索结果可以是苹果官网、京东的苹果购物页面、手机配置信息、苹果的热门软件等结果。
另外，本实施例中视频指纹特征信息对应的目标对象可以为一帧图像中的一个人物或者一个产品；
获取到与视频指纹特征信息对应的目标对象相关的至少一个查询结果可以为：获取到与人物特征对应的人物名称、人物简介等信息；或者，或者去与产品对应的产品名称、产品购物网站、产品的介绍等信息。
本实施例结合系统的各个单元进行操作的示例如图8所示，首先终端设备基于采集单元进行多媒体信息的采集，然后再从特征提取单元进行音频指纹特征提取或视频特征提取，经由查询单元发送至服务器；
服务器侧从查询单元中获取到音频指纹，然后进行音频指纹的查找得到查询结果，返回给终端设备的查询单元，然后展示给用户；
或者，服务器则进行视频指纹提取，同样进行查找得到查询结果返回给终端设备的查询单元。
可见，通过采用上述方案，就能够针对采集得到的多媒体信息进行至 少一个特征维度的特征提取，进而获取到在至少一个特征维度的查询结果。如此，能够使得搜索的操作更加多元化，提升用户进行信息搜索的操作体验。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例基于上述设备实施例提供一个具体的硬件，如图8所示，所述装置包括处理器82、存储介质84以及至少一个外部通信接口81；所述处理器82、存储介质84以及外部通信接口81均通过总线83连接。所述处理器82可为微处理器、中央处理器、数字信号处理器或可编程逻辑阵列等具有处理功能的电子元器件。所述存储介质中存储有计算机可执行代码。
所述硬件可以为所述服务器。所述处理器执行所述计算机可执行代码时，至少能实现以下功能：采集得到多媒体信息；从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种信息查询方法，所述方法包括：
    采集得到多媒体信息；
    从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
    基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
  2. 根据权利要求1所述的方法，其中，从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数，包括：
    若所述多媒体信息的类型为音频信息，则选取至少一个目标维度；
    基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息。
  3. 根据权利要求2所述的方法，其中，基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果，包括：
    基于第一目标维度以及音频指纹特征信息，从所述第一目标维度对应的信息源中进行查询；
    在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
  4. 根据权利要求2所述的方法，其中，基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果，包括：
    逐个基于至少一个目标维度以及音频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息对应的目标对象相关的至少一个 查询结果。
  5. 根据权利要求1所述的方法，其中，从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数，包括：
    若所述多媒体信息的类型为视频信息，则选取至少一个目标维度；
    基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息和/或视频指纹特征信息。
  6. 根据权利要求5所述的方法，其中，基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果，包括：
    逐个基于至少一个目标维度以及音频指纹特征信息和/或视频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息和/或视频指纹特征信息对应的目标对象相关的至少一个查询结果。
  7. 一种终端设备，包括：
    采集单元，配置为采集得到多媒体信息；
    特征提取单元，配置为从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
    查询单元，配置为基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
  8. 根据权利要求7所述的终端设备，其中，
    所述特征提取单元，配置为若所述多媒体信息的类型为音频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息。
  9. 根据权利要求8所述的终端设备，其中，
    所述查询单元，配置为基于第一目标维度以及音频指纹特征信息，从所述第一目标维度对应的信息源中进行查询；在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
  10. 根据权利要求8所述的终端设备，其中，
    所述查询单元，配置为逐个基于至少一个目标维度以及音频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息对应的目标对象相关的至少一个查询结果。
  11. 根据权利要求7所述的终端设备，其中，
    所述特征提取单元，配置为若所述多媒体信息的类型为视频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息和/或视频指纹特征信息。
  12. 根据权利要求11所述的终端设备，其中，
    所述查询单元，配置为逐个基于至少一个目标维度以及音频指纹特征信息和/或视频指纹特征信息，从信息源中进行查询，查询得到与所述音频指纹特征信息和/或视频指纹特征信息对应的目标对象相关的至少一个查询结果。
  13. 一种信息查询系统，所述系统包括：
    终端设备，配置为采集得到多媒体信息；从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；基于所提取的至少一个特征参数在对应的特征维度从服务器中进行查询，得到在所述至少一个特征维度对应的查询结果；
    服务器，配置为接收终端设备的查询并提供查询结果。
  14. 根据权利要求13所述的系统，其中，所述终端设备包括：
    采集单元，配置为采集得到多媒体信息；
    特征提取单元，配置为从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；
    查询单元，配置为基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
  15. 根据权利要求14所述的系统，其中，特征提取单元，配置为若所述多媒体信息的类型为音频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息。
  16. 根据权利要求15所述的系统，其中，查询单元，配置为基于第一目标维度以及音频指纹特征信息，从所述服务器中所述第一目标维度对应的信息源中进行查询；在所述第一目标维度对应的信息源中，查询得到与所述音频指纹特征信息匹配的视频文件作为查询结果。
  17. 根据权利要求15所述的系统，其中，查询单元，配置为逐个基于至少一个目标维度以及音频指纹特征信息，从所述服务器中的信息源中进行查询，查询得到与所述音频指纹特征信息对应的目标对象相关的至少一个查询结果。
  18. 根据权利要求14所述的系统，其中，特征提取单元，配置为若所述多媒体信息的类型为视频信息，则选取至少一个目标维度；基于选取的至少一个目标维度，从所述多媒体信息中提取到音频指纹特征信息和/或视频指纹特征信息。
  19. 根据权利要求18所述的系统，其中，查询单元，配置为逐个基于至少一个目标维度以及音频指纹特征信息和/或视频指纹特征信息，从所述服务器的信息源中进行查询，查询得到与所述音频指纹特征信息和/或视频指纹特征信息对应的目标对象相关的至少一个查询结果。
  20. 一种计算机存储介质，其中存储有计算机可执行指令，该计算机 可执行指令至少用于执行以下处理：采集得到多媒体信息；从至少一个特征维度对所述多媒体信息进行特征提取，得到所述多媒体信息在所述每一个特征维度对应的至少一个特征参数；基于所提取的至少一个特征参数在对应的特征维度进行查询，得到在所述至少一个特征维度对应的查询结果。
PCT/CN2016/081193 2015-06-05 2016-05-05 一种信息查询方法、终端设备、系统及计算机存储介质 WO2016192506A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/625,716 US20170344542A1 (en) 2015-06-05 2017-06-16 Information query method, terminal device, system and computer storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510303236.7A CN104881486A (zh) 2015-06-05 2015-06-05 一种信息查询方法、终端设备及系统
CN201510303236.7 2015-06-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/625,716 Continuation US20170344542A1 (en) 2015-06-05 2017-06-16 Information query method, terminal device, system and computer storage medium

Publications (1)

Publication Number Publication Date
WO2016192506A1 true WO2016192506A1 (zh) 2016-12-08

Family

ID=53948979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/081193 WO2016192506A1 (zh) 2015-06-05 2016-05-05 一种信息查询方法、终端设备、系统及计算机存储介质

Country Status (3)

Country Link
US (1) US20170344542A1 (zh)
CN (1) CN104881486A (zh)
WO (1) WO2016192506A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254706A (zh) * 2021-05-12 2021-08-13 北京百度网讯科技有限公司 视频匹配方法、视频处理方法、装置、电子设备及介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881486A (zh) * 2015-06-05 2015-09-02 腾讯科技（北京）有限公司 一种信息查询方法、终端设备及系统
CN105868238A (zh) * 2015-12-09 2016-08-17 乐视网信息技术（北京）股份有限公司 信息处理方法及装置
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
CN106412715A (zh) * 2016-09-14 2017-02-15 华为软件技术有限公司 一种信息检索方法、终端以及服务器
CN108024145B (zh) * 2017-12-07 2020-12-11 北京百度网讯科技有限公司 视频推荐方法、装置、计算机设备和存储介质
CN108804596B (zh) * 2018-05-28 2022-05-06 北京小米移动软件有限公司 网络信息的推送方法、装置及服务器
CN110674331A (zh) * 2018-06-15 2020-01-10 华为技术有限公司 信息处理方法、相关设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014953A (zh) * 2003-09-23 2007-08-08 音乐Ip公司 音频指纹识别系统和方法
CN101673266A (zh) * 2008-09-12 2010-03-17 未序网络科技（上海）有限公司 音频、视频内容的搜索方法
CN103747277A (zh) * 2014-01-10 2014-04-23 北京酷云互动科技有限公司 一种多媒体节目识别方法和装置
WO2014093749A2 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Local recognition of content
CN104881486A (zh) * 2015-06-05 2015-09-02 腾讯科技（北京）有限公司 一种信息查询方法、终端设备及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082394B2 (en) * 2002-06-25 2006-07-25 Microsoft Corporation Noise-robust feature extraction using multi-layer principal component analysis
US9305060B2 (en) * 2008-07-18 2016-04-05 Steven L. Robertson System and method for performing contextual searches across content sources
US9280598B2 (en) * 2010-05-04 2016-03-08 Soundhound, Inc. Systems and methods for sound recognition
CN102411578A (zh) * 2010-09-25 2012-04-11 盛乐信息技术（上海）有限公司 一种多媒体播放系统和方法
US8886635B2 (en) * 2012-05-23 2014-11-11 Enswers Co., Ltd. Apparatus and method for recognizing content using audio signal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014953A (zh) * 2003-09-23 2007-08-08 音乐Ip公司 音频指纹识别系统和方法
CN101673266A (zh) * 2008-09-12 2010-03-17 未序网络科技（上海）有限公司 音频、视频内容的搜索方法
WO2014093749A2 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Local recognition of content
CN103747277A (zh) * 2014-01-10 2014-04-23 北京酷云互动科技有限公司 一种多媒体节目识别方法和装置
CN104881486A (zh) * 2015-06-05 2015-09-02 腾讯科技（北京）有限公司 一种信息查询方法、终端设备及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254706A (zh) * 2021-05-12 2021-08-13 北京百度网讯科技有限公司 视频匹配方法、视频处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN104881486A (zh) 2015-09-02
US20170344542A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
WO2016192506A1 (zh) 一种信息查询方法、终端设备、系统及计算机存储介质
CN109547819B (zh) 直播列表展示方法、装置以及电子设备
CN110134829B (zh) 视频定位方法和装置、存储介质及电子装置
KR101535579B1 (ko) 증강 현실 인터액션 구현 방법 및 시스템
US20180018319A1 (en) Method and apparatus for sending sticker image during chat session
WO2017000109A1 (zh) 搜索方法、搜索装置、用户设备和计算机程序产品
US12015807B2 (en) System and method for providing image-based video service
CN103999473A (zh) 用于内容识别的音频指纹
WO2019134587A1 (zh) 视频数据处理方法、装置、电子设备和存储介质
US9544655B2 (en) Visual hash tags via trending recognition activities, systems and methods
CN109982106B (zh) 一种视频推荐方法、服务器、客户端及电子设备
WO2016139964A1 (ja) 注目領域抽出装置および注目領域抽出方法
CN108197336B (zh) 一种视频查找的方法及装置
WO2017020779A1 (zh) 一种业务信息推送方法及系统
US20150235264A1 (en) Automatic entity detection and presentation of related content
CN110209780B (zh) 一种问题模板生成方法、装置、服务器及存储介质
WO2022193911A1 (zh) 指令信息获取方法及装置、可读存储介质、电子设备
CN109359203B (zh) 运动轨迹视频的处理方法及装置
CN107665447B (zh) 信息处理方法和信息处理设备
CN110647688A (zh) 信息呈现方法、装置、电子设备和计算机可读介质
JP6822484B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017162158A1 (en) Method and apparatus for recommending data
KR20200024538A (ko) 이미지 검색과 관련한 정보 추천 방법 및 이를 지원하는 서비스 장치
KR20140006440U (ko) 이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템 및 그 방법
CN108322782B (zh) 多媒体信息的推送方法、装置和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16802429

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24.04.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16802429

Country of ref document: EP

Kind code of ref document: A1