WO2018223997A1 - 一种信息采集整理方法及装置 - Google Patents

一种信息采集整理方法及装置 Download PDF

Info

Publication number
WO2018223997A1
WO2018223997A1 PCT/CN2018/090196 CN2018090196W WO2018223997A1 WO 2018223997 A1 WO2018223997 A1 WO 2018223997A1 CN 2018090196 W CN2018090196 W CN 2018090196W WO 2018223997 A1 WO2018223997 A1 WO 2018223997A1
Authority
WO
WIPO (PCT)
Prior art keywords
predetermined object
multimedia file
information
feature information
feature
Prior art date
Application number
PCT/CN2018/090196
Other languages
English (en)
French (fr)
Inventor
黄勤波
杜霁轩
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2018223997A1 publication Critical patent/WO2018223997A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • This document relates to information processing technologies, for example, to an information collection and collation method and apparatus.
  • the embodiment of the present invention provides a method and a device for collecting and sorting information, which can avoid the situation that an effective fast retrieval cannot be performed between a multimedia file and a predetermined object.
  • the embodiment of the present application provides a method for collecting information and collating, including:
  • the embodiment of the present application further provides an information collection and collation apparatus, including:
  • a matching module configured to match feature information of the at least one multimedia file with feature information of the at least one predetermined object according to the feature information of the at least one predetermined object;
  • an association module configured to establish an association relationship between the at least one multimedia file and the at least one predetermined object according to the matching result.
  • the embodiment of the present application further provides an information collection and collation apparatus, including: a memory and a processor, where the memory stores an information collection and collation program, and the information collection and collation program realizes the above information collection and collation when executed by the processor. method.
  • the embodiment of the present application further provides a computer readable storage medium, where an information collection and collation program is stored, and the information collection and collation program implements the foregoing information collection and collation method when executed by a processor.
  • FIG. 1 is a flowchart of an information collection and collation method according to an embodiment of the present application
  • FIG. 2 is a flowchart of an information collection and collation method according to another embodiment of the present application.
  • FIG. 3 is a flowchart of an information collection and collation method according to another embodiment of the present application.
  • FIG. 4 is a schematic diagram of an information collection and collation apparatus according to an embodiment of the present application.
  • the embodiment of the present application provides a method for collecting information and collating, as shown in FIG. 1 , including step S101 and step S102.
  • the feature information of the at least one multimedia file is matched with the feature information of the at least one predetermined object according to the feature information of the at least one predetermined object; in S102, the at least one multimedia file and the at least one predetermined object are established according to the matching result. The relationship between them.
  • the predetermined object may include a contact, a specific object (eg, a user's pet, a plant planted by the user, etc.), a specific place (eg, a user-defined home address), and the like.
  • a contact e.g., a contact, a specific object (eg, a user's pet, a plant planted by the user, etc.), a specific place (eg, a user-defined home address), and the like.
  • a specific object eg, a user's pet, a plant planted by the user, etc.
  • a specific place eg, a user-defined home address
  • the feature information of the predetermined object may include characteristic information possessed by the predetermined object itself, information related to the environment in which the predetermined object is located, and the like.
  • the feature information of the predetermined object may include the identity information of the contact, the biometric information, and the like; for example, the feature information of the contact may include at least one of the following: location information, a face part map, Voiceprint, eye pattern, ear pattern, fingerprint, phone, name, company, usual activity location area, other remarks.
  • the feature information of the predetermined object may include video information of a specific place, bitmap information at a specific place, and the like.
  • the feature information of the predetermined object may be set in advance. Taking a predetermined object as a contact as an example, when a user inputs a contact using a related module (for example, an instant messaging module such as WeChat), the voice pattern, the face part map, and the like of the contact may be collected, or may be edited. The corresponding feature information is added to the contact.
  • a related module for example, an instant messaging module such as WeChat
  • the feature information of the predetermined object may be saved in a separate area, and a predetermined object feature database is established, and associated by the corresponding field mapping within the database.
  • the predetermined object feature database may include the following fields: name, phone number, company, face part map, voice print, eye pattern; wherein the name, phone number, and field corresponding to the company may be The text information corresponding to the features is recorded; the fields corresponding to the face part map, the voiceprint, and the eye pattern can record information such as the storage address and the file name corresponding to the feature information.
  • the feature information that can be recorded by the simple text can be directly stored in the predetermined object feature database
  • the feature information recorded by the file for example, picture, audio or video, etc.
  • the attribute information for example, the file name, the storage address, and the like, so that when the feature information of the predetermined object is searched, the feature information of the predetermined object can be acquired by searching the predetermined object feature database.
  • the multimedia file may include, but is not limited to, a photo, an audio, and a video file.
  • the file format of the multimedia file is not limited in this application.
  • the feature information of the multimedia file may include information about the creation of the multimedia file, a picture, a sound, and the like included in the multimedia file.
  • the feature information of the multimedia file may include at least one of the following: a production time of the multimedia file, an author, a place, a face part map information included in the multimedia file, and scene bitmap information.
  • the feature information of the multimedia file may include at least one of the following: a production time, a place, an author, and voiceprint information included in the multimedia file.
  • this application is not limited thereto.
  • S101 may include:
  • the feature information of each of the at least one multimedia file is matched with the feature information of the at least one predetermined object during the production of the at least one multimedia file.
  • recording, photographing, and recording have the geographic location of the current recording, photographing, and recording, so that the location information of the contact can be matched; the recording can match the voiceprint of the contact, or the voice in the recording can be matched to Contact notes or keywords in certain messages; photos and videos can also match the face maps of certain contacts.
  • S102 may include at least one of the following:
  • the multimedia file is recorded in the media feature database and the predetermined object is associated with the predetermined object;
  • the media feature database may include at least one of the following information or an index thereof: identification information of the multimedia file, feature information matched by the multimedia file, a predetermined object to which the feature information to which the multimedia file matches, and multimedia The location information that the feature information matched by the file appears in the multimedia file.
  • the identification information of the multimedia file may include a name of the multimedia file, a storage address, and the like, for uniquely indicating a multimedia file.
  • the feature information matched by the multimedia file and the location of the predetermined object to which the feature information belongs in the predetermined object feature database may be indicated by an index manner, thereby establishing a media index database and a predetermined object feature database. the relationship between. For example, according to the identification information of the multimedia file, the feature information matched by the multimedia file may be found in the media feature database, and then the predetermined object corresponding to the feature information and other feature information of the predetermined object are searched from the predetermined object feature database.
  • association relationship of the multimedia file-feature information-predetermined object may be recorded, or the association relationship of the multimedia file-predetermined object may be directly recorded.
  • This application is not limited thereto. In practical applications, it can be determined according to actual conditions.
  • the location where the predetermined object appears in the multimedia file may also be recorded, for example, the position where the contact appears in the video or audio is recorded, so that the user can quickly locate the contact.
  • the feature information of the predetermined object matched by the multimedia file may be recorded in the media feature database, and then the relationship between the multimedia file and the predetermined object may be established according to the association relationship between the predetermined object and the feature information thereof. connection relation.
  • the multimedia file may be associated with a media feature database, and the media feature database may include feature information of the predetermined object to which the multimedia file is matched and a location where the predetermined object appears in the multimedia file.
  • a media feature database may be created for multiple or all multimedia files.
  • the background attribute information may be added to the multimedia file for indicating the predetermined object to which the multimedia file is matched and the feature information of the predetermined object.
  • the feature information of the contact A may include a voiceprint
  • the multimedia file B is a recording file. After detecting the voiceprint information of the recorded file, the contact person The voiceprints of A are compared. When the two are matched, the recording file can be directly marked as the recording of the contact A, so that the multimedia file B can be conveniently found after searching for the recording of the contact A. In this way, the recording, recording and photo saving are no longer isolated documents, but contain live characters information, which is convenient for users to find their background and related person information through photos, videos and recordings, and provide relevant links for work and social interaction. Human reference.
  • the multimedia file and the predetermined object may have a one-to-many relationship, for example, the voiceprint information of one audio file may match the voiceprint of multiple contacts; or, a many-to-one relationship, such as , you can match the face part map of a contact in multiple pictures.
  • This application is not limited thereto.
  • the information collection and collation method of this embodiment may further include at least one of the following:
  • the corresponding multimedia file may be acquired according to the association relationship.
  • the predetermined object P includes feature information P1, P2, and P3, and the feature information P1 matches the corresponding feature information of the multimedia file L1, and the feature information P2 matches the corresponding feature information of the multimedia files L2 and L3, and the feature information P3 and the multimedia file L1 If the corresponding feature information of L2 matches, it can be determined that the multimedia files associated with the predetermined object P are the multimedia files L1, L2, and L3.
  • the corresponding predetermined object may be determined according to the above-mentioned association relationship. For example, if the background attribute information of the multimedia file L4 records that the file is associated with the predetermined objects N1, N2, and N3, the predetermined objects associated with the multimedia file L4 can be found to be the predetermined objects N1, N2, and N3.
  • the media feature database corresponding to each multimedia file may be retrieved and obtained.
  • the multimedia file corresponding to the media feature database of the contact information of the contact For example, after obtaining the face part map of the contact, it is found in which media feature database the face part map appears, and the corresponding multimedia file corresponding to the media feature database is obtained.
  • the contact corresponding to the face part map may be determined according to the face part map, and the multimedia feature database of the multimedia files in which the contact appears is obtained, thereby obtaining the associated multimedia file.
  • the information collection and collation method of the embodiment may further include:
  • the information collection and collation method of this embodiment may be executed locally at the terminal or by a server in the cloud.
  • the terminal may collect the feature information of the predetermined object before the S101;
  • the server in the cloud performs the information collection and collation method of the embodiment, the server may receive the message before the S101 The feature information of the predetermined object collected by the terminal.
  • the terminal When the terminal performs the information collection and collation method of the embodiment locally, when the multimedia file is locally generated, the feature information is matched and the association relationship is established.
  • the terminal may send the completed multimedia file to the server in the cloud, and the cloud server receives the multimedia file, performs feature information matching and association, and then sends the determined association relationship.
  • the matching workload is relatively large, it is placed in the cloud server, which can speed up the processing and reduce the occupation of the terminal memory.
  • the retrieved multimedia file may be searched locally by the terminal, or the terminal may send the query request to the server in the cloud, the server in the cloud, or both.
  • the terminal acquires the locally stored multimedia file associated with the feature information of the predetermined object to be searched according to the feature information of the predetermined object to be searched; or the terminal sends the query request to the server, and the receiving server returns A multimedia file associated with a predetermined object to be found.
  • the multimedia file when the user has more multimedia files, or when the multimedia file is produced for a long time, in order to reduce the occupation of the terminal memory, the multimedia file may be stored in the server. Therefore, when the associated file of the contact is retrieved, it is also retrieved by the server and sent to the terminal.
  • the user may be prompted to create a new contact.
  • the association relationship may also be manually established by the user. For example, if the user knows that a video is directed to a certain contact, the user may manually establish an association relationship between the video and the contact.
  • the information collection and collation method of the embodiment may further include: collecting feature information of the predetermined object to be searched.
  • the feature information of the predetermined object may be input by voice or text; for example, the name of the contact is input and then searched, or the face part map or voiceprint of the contact may be directly collected, according to the face.
  • the part map or voiceprint retrieves the associated multimedia file. For those who are unfamiliar or have not been contacted for a long time, if you forget the name of the contact, you can directly find the multimedia file related to the contact by collecting the face map or voiceprint of the contact, so as to quickly obtain the relevant information of the contact. information.
  • this application is not limited thereto.
  • the associated multimedia file after the associated multimedia file is obtained, it may be displayed to the user.
  • the display manner may be: providing only an icon of the associated multimedia file for the user to click to view, or providing a preview image or a text summary.
  • this application does not limit this.
  • the smart terminal (such as smart glasses, watch or other) recognizes the face feature and voiceprint of the other party, and performs matching search in the terminal local or cloud, and the result will be found (for example) , the video file, picture or audio file associated with the friend, etc.) is presented to the user in the form of a preview. Since the relationship between the contact and the multimedia file has been sorted out, the user can quickly understand the interesting things that happened between the friend and the friend for a long time, and the recent situation of the friend. In this way, the user can reduce a lot of unnecessary chills when talking with the friend. After simple greeting, the user can communicate in depth, reduce unnecessary familiar time, and avoid the embarrassment caused by forgetting important information such as name.
  • the embodiment of the present application further provides an information collection and collation device, as shown in FIG. 4, including:
  • the matching module 201 is configured to match the feature information of the at least one multimedia file with the feature information of the at least one predetermined object according to the feature information of the at least one predetermined object;
  • the association module 202 is configured to establish an association relationship between the at least one multimedia file and the predetermined object according to the matching result.
  • the association module 202 may be configured to establish an association relationship between the at least one multimedia file and the at least one predetermined object according to the matching result by using at least one of the following manners.
  • the file is a predetermined object associated with the feature information.
  • the apparatus of this embodiment may further include a retrieval module 203 configured to perform at least one of the following:
  • the apparatus of this embodiment may further include at least one of the following:
  • the feature collection module 204 is configured to collect feature information of at least one predetermined object
  • the feature receiving module 205 is configured to receive feature information of at least one predetermined object.
  • the foregoing apparatus may be disposed in the terminal.
  • the terminal may further include: a predetermined object feature database, configured to store feature information of the predetermined object; and a multimedia file preparation module configured to prepare a multimedia file;
  • the matching module can perform feature matching in the process of preparing the multimedia file in the multimedia file preparation module.
  • the device may be configured in a cloud server.
  • the cloud server may further include: a predetermined object feature database configured to store feature information of the predetermined object; wherein the information of the predetermined object feature database on the cloud server It can be synchronized with information in a predetermined object feature database on the terminal.
  • the embodiment of the present application further provides an information collection and collation device, including: a memory and a processor, where the memory stores an information collection and collation program, and the information collection and collation program implements the information collection and collation method when executed by the processor.
  • the embodiment of the present application further provides a computer readable storage medium, where an information collection and collation program is stored, and the information collection and collation program implements the foregoing information collection and collation method when executed by a processor.
  • Computer storage medium includes volatile and nonvolatile, removable and non-removable implemented in any method or technology for storing information, such as computer readable instructions, data structures, program modules or other data.
  • Computer storage media includes, but is not limited to, random access memory (RAM), read only memory (ROM), electrically erasable programmable read only memory (EEPROM), flash memory or other memory technology, compact disk (CD-ROM), digital A versatile disc (DVD) or other disc storage, magnetic box, magnetic tape, disk storage or other magnetic storage device, or any other medium that can be used to store desired information and that can be accessed by a computer.
  • communication media typically embodies computer readable instructions, data structures, program modules or other data in a modulated data signal, such as a carrier wave or other transport mechanism, and can include any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种信息采集整理方法及装置，所述信息采集整理方法包括：根据至少一个预定对象的特征信息，将至少一个多媒体文件的特征信息与至少一个预定对象的特征信息进行匹配（S101）；根据匹配结果，建立至少一个多媒体文件与至少一个预定对象之间的关联关系（S102）。所述方法提高了用户的信息查找效率。

Description

一种信息采集整理方法及装置 技术领域
本文涉及信息处理技术，例如涉及一种信息采集整理方法及装置。
背景技术
在当前高节奏的工作和社交生活中，信息数量日益增长，在工作和生活中如何对其进行有效利用需要深入挖掘。
信息社会的最主要特征是信息大爆炸，用户经常会发现平时录制的海量录音、照片和录像等联系人相关的影像录音资料，在真正需要要用的时候非常不方便寻找，在关键时刻并不能及时起到作用。比如，用户在微信朋友圈、QQ空间或论坛发布的大量照片、小视频，可以留下很多的社交印记，但是随着时间的流逝，用户会逐渐遗忘当时的场景，遗忘与某些故人的“交集”，如果多年以后与某个故人相遇，一时忘了与这个人的交集，不免产生尴尬。
目前，若用户需要在社交和工作中找到与某个人或某个地点的“交集”，需要在以前的海量视频、照片和录音等资料中去逐一寻找与这个人或这个地点相关的资料。然而，人工查找过程费时费力。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供一种信息采集整理方法及装置，可以避免在多媒体文件与预定对象之间无法进行有效快速检索的情况。
本申请实施例提供一种信息采集整理方法，包括：
根据至少一个预定对象的特征信息，将至少一个多媒体文件的特征信息与所述至少一个预定对象的特征信息进行匹配；
根据匹配结果，建立所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系。
本申请实施例还提供一种信息采集整理装置，包括：
匹配模块，设置为根据至少一个预定对象的特征信息，将至少一个多媒体文件的特征信息与所述至少一个预定对象的特征信息进行匹配；
关联模块，设置为根据匹配结果，建立所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系。
本申请实施例还提供一种信息采集整理装置，包括：存储器和处理器，所述存储器存储有信息采集整理程序，所述信息采集整理程序在被所述处理器执行时实现上述的信息采集整理方法。
本申请实施例还提供一种计算机可读存储介质，存储有信息采集整理程序，所述信息采集整理程序在被处理器执行时实现上述的信息采集整理方法。
在本申请实施例中，通过将预定对象的特征信息与多媒体文件的特征信息进行匹配，建立多媒体文件与预定对象之间的关联关系，后续可以根据建立的关联关系查找相应的多媒体文件或预定对象，如此，方便用户在社交生活和工作中参考与预定对象存在关联关系的多媒体文件，帮助用户实现信息的充分利用，进而提升了用户的信息查找效率。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请一实施例提供的信息采集整理方法的流程图；
图2为本申请另一实施例提供的信息采集整理方法的流程图；
图3为本申请另一实施例提供的信息采集整理方法的流程图；
图4为本申请一实施例提供的信息采集整理装置的示意图。
具体实施方式
以下结合附图对本申请实施例进行详细说明，应当理解，以下所说明的实施例仅用于说明和解释本申请，并不用于限定本申请。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供一种信息采集整理方法，如图1所示，包括步骤S101和步骤S102。
在S101中，根据至少一个预定对象的特征信息，将至少一个多媒体文件的特征信息与至少一个预定对象的特征信息进行匹配；在S102中，根据匹配结果，建立至少一个多媒体文件与至少一个预定对象之间的关联关系。
其中，预定对象可以包括联系人、特定物体(比如，用户的宠物、用户种植的植物等)、特定地点(比如，用户自定义的家庭地址)等。本申请对此并不限定，在实际应用中，用户可以根据实际需要设置预定对象。
其中，预定对象的特征信息可以包括预定对象自身所具备的特性信息、与预定对象所处环境相关的信息等。比如，以预定对象为联系人为例，预定对象的特征信息可以包括联系人的身份信息、生物特征信息等；例如，联系人的特征信息可以包括以下至少之一：位置信息、脸部位图、声纹、眼纹、耳纹、指纹、电话、姓名、所在公司、平时活动位置区域、其他备注信息。以预定对象为特定地点为例，预定对象的特征信息可以包括特定地点的视频信息、特定地点处的位图信息等。
其中，预定对象的特征信息可以预先设置。以预定对象为联系人为例，可以在用户使用相关模块(比如，微信等即时通信模块)录入联系人时，采集该联系人的声纹、脸部位图等特征，或者也可以在编辑已有联系人时加入相应的特征信息。
在示例性实施方式中，预定对象的特征信息可以保存在单独的区域，并建立预定对象特征数据库，通过该数据库内的相应字段映射进行关联。比如，以预定对象为联系人为例，预定对象特征数据库中可以包括以下字段：姓名、电话、所在公司、脸部位图、声纹、眼纹；其中，姓名、电话、所在公司对应的字段可以记录这些特征相应的文本信息；脸部位图、声纹、眼纹对应的字段可以记录这些特征信息对应的存储地址、文件名称等信息。换言之，能够通过简单文本进行记录的特征信息可以直接存储在预定对象特征数据库中，通过文件 (比如，图片、音频或视频等)进行记录的特征信息可以在预定对象特征数据库中记录该文件相关的属性信息(比如，文件名称、存储地址等)，如此，在查找预定对象的特征信息时，可以通过查找预定对象特征数据库，获取到预定对象的特征信息。
其中，多媒体文件可以包括但不限于：照片、音频、视频文件。本申请对于多媒体文件的文件格式并不限定。
其中，多媒体文件的特征信息可以包括多媒体文件的制作信息、多媒体文件内包括的图片、声音等信息。比如，以多媒体文件为图片为例，多媒体文件的特征信息可以包括以下至少之一：多媒体文件的制作时间、作者、地点、多媒体文件内包括的脸部位图信息、场景位图信息。以多媒体文件为音频文件为例，多媒体文件的特征信息可以包括以下至少之一：制作时间、地点、作者、多媒体文件内包括的声纹信息。然而，本申请对此并不限定。
在示例性实施方式中，S101可以包括：
在至少一个多媒体文件的制作过程中，将至少一个多媒体文件中的每个多媒体文件的特征信息与至少一个预定对象的特征信息进行匹配。
比如，以预定对象为联系人为例，在录制一段视频的过程中，调用存储的联系人特征信息进行匹配(比如，调用脸部位图、声纹等进行匹配)，并记录匹配到的特征信息，进行关联；如此，视频制作完成后，匹配操作也执行完毕，与联系人建立了关联。然而，本申请对此并不限定，也可以在视频制作完毕后，在后期进行特征匹配和关联。
举例来说，录音、拍照和录像时有当前录音、拍照和录像的地理位置，从而可以匹配到联系人的位置信息；录音可以匹配到联系人的声纹，也可以是录音中的语音匹配到联系人备注或某些信息中的关键字；照片和录像还可以匹配到某些联系人的脸部位图。
在示例性实施方式中，S102可以包括以下至少之一：
在至少一个多媒体文件中的一个多媒体文件的特征信息匹配到至少一个预定对象中的一个预定对象的特征信息时，在媒体特征数据库记录该多媒体文件与预定对象通过该特征信息进行关联；
在至少一个多媒体文件中的一个多媒体文件的特征信息匹配到至少一个预定对象中的一个预定对象的特征信息时，设置该多媒体文件的背景属性信息，其中，该背景属性信息用于指示该多媒体文件通过该特征信息关联的预定对象。
在示例性实施方式中，媒体特征数据库可以包括以下至少一项信息或其索引：多媒体文件的标识信息、多媒体文件所匹配到的特征信息、多媒体文件所匹配到的特征信息所属的预定对象、多媒体文件所匹配到的特征信息在该多媒体文件中出现的位置信息。其中，多媒体文件的标识信息可以包括多媒体文件的名称、存储地址等，用于唯一指示一个多媒体文件。需要说明的是，在媒体特征数据库中，可以通过索引方式指示多媒体文件所匹配到的特征信息以及该特征信息所属的预定对象在预定对象特征数据库的位置，从而建立媒体索引数据库与预定对象特征数据库之间的联系。比如，根据多媒体文件的标识信息可以在媒体特征数据库查找到该多媒体文件所匹配到的特征信息，进而从预定对象特征数据库查找到该特征信息所对应的预定对象及该预定对象的其他特征信息。
需要说明的是，在建立多媒体文件与预定对象之间的关联关系时，可以记录多媒体文件-特征信息-预定对象的关联关系，或者，也可以直接记录多媒体文件-预定对象的关联关系。本申请对此并不限定。在实际应用中，可以根据实际情况确定。
其中，如果多媒体文件比较大，为了方便用户查找，也可以记录预定对象在多媒体文件中出现的位置，比如记录视频或音频中联系人出现的位置，方便用户迅速定位到联系人。
在一示例性实施方式中，可以通过在媒体特征数据库记录多媒体文件所匹配到的预定对象的特征信息，进而根据预定对象与其特征信息之间的关联关系，可以建立多媒体文件与预定对象之间的关联关系。其中，一个多媒体文件可以对应建立一个媒体特征数据库，在该媒体特征数据库中可以包括该多媒体文件匹配到的预定对象的特征信息以及预定对象在该多媒体文件中出现的位置。然而，本申请对此并不限定。在其他实现方式中，针对多个或所有多媒体文件可以对应建立一个媒体特征数据库。
在另一示例性实施方式中，可以通过给多媒体文件增加背景属性信息，用 于指示多媒体文件所匹配到的预定对象及预定对象的特征信息。举例而言，以预定对象为联系人A为例，联系人A的特征信息可以包括声纹，多媒体文件B为一份录音文件，在检测到这份录音文件的声纹信息后，与联系人A的声纹进行比对，发现两者匹配后，可以直接将该份录音文件标记为联系人A的录音，如此，后续在查找联系人A的录音时，即能够方便地找到多媒体文件B。如此，录音，录像和照片的保存不再是孤立的文件，而是包含活生生的人物信息，方便用户通过照片、视频、录音找到它们的背景及相关的人物信息，为工作及社交中提供相关联系人的参考。
在本实施例中，多媒体文件与预定对象之间可以是一对多的关系，比如，一个音频文件的声纹信息可以匹配到多个联系人的声纹；或者，多对一的关系，比如，可以在多个图片中匹配到一个联系人的脸部位图。本申请对此并不限定。
在示例性实施方式中，如图2或图3所示，S102之后，本实施例的信息采集整理方法还可以包括以下至少之一：
在S103中，接收到查找预定对象关联的多媒体文件的查询请求后，根据至少一个多媒体文件与至少一个预定对象之间的关联关系，获取与待查找的预定对象关联的多媒体文件；
在S104中，接收到查找多媒体文件关联的预定对象的查询请求后，根据至少一个多媒体文件与至少一个预定对象之间的关联关系，确定与待查找的多媒体文件关联的预定对象。
在本实施例中，在获知多媒体文件与预定对象之间的关联关系后，在查找预定对象关联的多媒体文件时，可以根据上述关联关系，获取相应的多媒体文件。比如，预定对象P包括特征信息P1、P2及P3，且特征信息P1与多媒体文件L1的相应特征信息匹配，特征信息P2与多媒体文件L2和L3的相应特征信息匹配，特征信息P3与多媒体文件L1、L2的相应特征信息匹配，则可以确定预定对象P关联的多媒体文件为多媒体文件L1、L2及L3。
或者，在查找多媒体文件关联的预定对象时，可以根据上述关联关系，确定相应的预定对象。比如，多媒体文件L4的背景属性信息中记录有该文件关联有预定对象N1、N2和N3，则可以据此查找到多媒体文件L4关联的预定对象为预定对象N1、N2和N3。
举例而言，以预定对象为联系人、一个多媒体文件对应一个媒体特征数据库为例，在接收到查询请求，获取到联系人的特征信息后，可以检索每个多媒体文件对应的媒体特征数据库，获取出现该联系人的特征信息的媒体特征数据库所对应的多媒体文件。比如，获取到联系人的脸部位图后，查找该脸部位图出现在哪些媒体特征数据库中，获取相应的媒体特征数据库对应的多媒体文件。或者，也可以根据脸部位图确定该脸部位图对应的联系人，查找该联系人出现在哪些多媒体文件的媒体特征数据库中，从而得到关联的多媒体文件。
在示例性实施方式中，S101之前，本实施例的信息采集整理方法还可以包括：
采集至少一个预定对象的特征信息；
接收至少一个预定对象的特征信息。
本实施例的信息采集整理方法可以在终端本地执行或者由云端的服务器执行。当终端本地执行本实施例的信息采集整理方法时，在S101之前，终端可以采集预定对象的特征信息；在云端的服务器执行本实施例的信息采集整理方法时，在S101之前，服务器可以接收由终端采集到的预定对象的特征信息。
其中，当终端本地执行本实施例的信息采集整理方法时，在本地制作多媒体文件时，进行特征信息匹配，并建立关联关系。在云端的服务器执行本实施例的信息采集整理方法时，终端可以将制作完成的多媒体文件发送给云端的服务器，云端的服务器接收多媒体文件后进行特征信息匹配和关联，然后将确定的关联关系发送给终端。其中，由于匹配工作量比较大，将其放在云端的服务器进行，可以加快处理速度，减少对终端内存的占用。
本实施例中，检索关联的多媒体文件可以是终端本地进行检索，也可以是终端将查询请求发送给云端的服务器，由云端的服务器进行检索，或者二者均有。比如，终端接收到查询请求后，根据待查找的预定对象的特征信息，获取本地存储的与待查找的预定对象的特征信息关联的多媒体文件；或者，终端将查询请求发送至服务器，接收服务器返回的与待查找的预定对象关联的多媒体文件。
其中，当用户的多媒体文件比较多时，或者，多媒体文件的制作时间较久时，为了减少对终端内存的占用，可以将多媒体文件存储到服务器。因此，检 索联系人的关联文件时，也由服务器进行检索并发送给终端。
在本实施例中，以预定对象为联系人为例，在进行匹配的过程中，如果从多媒体文件中提取到的视频或声纹没有匹配到联系人，还可以提示用户是否新建联系人。而且，也可以由用户手动建立关联关系，比如，用户自己知道某个视频针对某个联系人，可以自己手动建立该视频与该联系人之间的关联关系。
在示例性实施方式中，所述获取与待查找的预定对象关联的多媒体文件之前(即S103之前)，本实施例的信息采集整理方法还可以包括：采集待查找的预定对象的特征信息。其中，在进行查询时，可以通过语音或文本方式输入预定对象的特征信息；比如，输入联系人的姓名后进行检索，或者，也可以直接采集联系人的脸部位图或者声纹，根据脸部位图或声纹检索关联的多媒体文件。对于查找不熟悉或者很久未联系的联系人，忘记联系人的姓名时，可以直接通过采集联系人的脸部位图或者声纹来查找该联系人相关的多媒体文件，从而迅速获取联系人的相关信息。或者，也可以采集脸部位图或声纹后，与本地存储的联系人特征信息进行匹配，查找到对应的联系人，再查找联系人关联的多媒体文件。然而，本申请对此并不限定。
本实施例中，在获取到关联的多媒体文件后，可以展示给用户。其中，展示方式可以是：仅提供关联的多媒体文件的图标供用户点击查看，或者提供预览图或文本总结。然而，本申请对此不作限定。
下面通过一个场景说明本申请的应用。
用户偶遇多年未见的好友时，通过智能终端(比如，智能眼镜、手表或其它)识别到对方的脸部特征和声纹等，在终端本地或云端进行匹配查找，将查找到的结果(比如，与该好友关联的视频文件、图片或音频文件等)以预览的形式展示给用户。由于联系人与多媒体文件之间的关联关系已经进行了梳理，因此用户可以迅速了解到之前很长时间与该好友之间发生的有趣的事，以及最近好友的近况。如此，用户与该好友进行交谈时可以减少很多不必要的寒喧，简单问候后，可以深入交流，减少很多不必要的熟悉时间，也避免了由于忘记姓名等重要信息带来的尴尬。
本申请实施例还提供一种信息采集整理装置，如图4所示，包括：
匹配模块201，设置为根据至少一个预定对象的特征信息，将至少一个多媒 体文件的特征信息与至少一个预定对象的特征信息进行匹配；
关联模块202，设置为根据匹配结果，建立至少一个多媒体文件与预定对象之间的关联关系。
其中，关联模块202可以设置为通过以下至少之一方式根据匹配结果，建立至少一个多媒体文件与至少一个预定对象之间的关联关系。
在至少一个多媒体文件中的一个多媒体文件的特征信息匹配到至少一个预定对象中的一个预定对象的特征信息时，在媒体特征数据库记录所述多媒体文件与所述预定对象通过所述特征信息进行关联。
在至少一个多媒体文件中的一个多媒体文件的特征信息匹配到至少一个预定对象中的一个预定对象的特征信息时，设置所述多媒体文件的背景属性信息，所述背景属性信息用于指示所述多媒体文件通过所述特征信息关联的预定对象。
在示例性实施方式中，本实施例的装置还可以包括检索模块203，设置为执行以下至少之一：
接收到查找预定对象关联的多媒体文件的查询请求后，根据所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系，获取与待查找的预定对象关联的多媒体文件；
接收到查找多媒体文件关联的预定对象的查询请求后，根据所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系，确定与待查找的多媒体文件关联的预定对象。
在示例性实施方式中，本实施例的装置还可以包括以下至少之一：
特征采集模块204，设置为采集至少一个预定对象的特征信息；
特征接收模块205，设置为接收至少一个预定对象的特征信息。
关于本实施例的装置的相关说明可以参照上述方法实施例，故于此不再赘述。
在示例性实施例中，上述装置可以设置于终端中，此时，终端还可以包括：预定对象特征数据库，设置为存储预定对象的特征信息；多媒体文件制备模块， 设置为制备多媒体文件；此时，匹配模块可以在多媒体文件制备模块进行多媒体文件的制备过程中进行特征匹配。
在示例性实施方式中，上述装置可以设置于云端服务器，此时，云端服务器还可以包括：预定对象特征数据库，设置为存储预定对象的特征信息；其中，云端服务器上的预定对象特征数据库的信息可以和终端上的预定对象特征数据库中的信息同步。
本申请实施例还提供一种信息采集整理装置，包括：存储器和处理器，存储器存储有信息采集整理程序，所述信息采集整理程序在被所述处理器执行时实现上述信息采集整理方法。
本申请实施例还提供一种计算机可读存储介质，存储有信息采集整理程序，所述信息采集整理程序在被处理器执行时实现上述信息采集整理方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(RAM)，只读存储器(ROM)，带电可擦可编程只读存储器(EEPROM)，闪存或其他存储器技术，只读光盘(CD-ROM)，数字多功能盘(DVD)或其他光盘存储，磁盒，磁带，磁盘存储或其他磁存储装置，或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (12)

  1. 一种信息采集整理方法，包括：
    根据至少一个预定对象的特征信息，将至少一个多媒体文件的特征信息与所述至少一个预定对象的特征信息进行匹配；
    根据匹配结果，建立所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系。
  2. 根据权利要求1所述的方法，所述根据匹配结果，建立所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系，包括以下至少之一：
    在所述至少一个多媒体文件中的一个多媒体文件的特征信息匹配到所述至少一个预定对象中的一个预定对象的特征信息时，在媒体特征数据库记录所述多媒体文件与所述预定对象通过所述特征信息进行关联；
    在所述至少一个多媒体文件中的一个多媒体文件的特征信息匹配到所述至少一个预定对象中的一个预定对象的特征信息时，设置所述多媒体文件的背景属性信息，所述背景属性信息用于指示所述多媒体文件通过所述特征信息关联的预定对象。
  3. 根据权利要求2所述的方法，所述媒体特征数据库包括以下至少一项信息或其索引：多媒体文件的标识信息、所述多媒体文件所匹配到的特征信息、所述多媒体文件所匹配到的特征信息所属的预定对象、所述多媒体文件所匹配到的特征信息在所述多媒体文件中出现的位置信息。
  4. 根据权利要求1所述的方法，所述建立所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系之后，所述方法还包括以下至少之一：
    接收到查找预定对象关联的多媒体文件的查询请求后，根据所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系，获取与待查找的预定对象关联的多媒体文件；
    接收到查找多媒体文件关联的预定对象的查询请求后，根据所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系，确定与待查找的多媒体文件关联的预定对象。
  5. 根据权利要求1所述的方法，所述根据至少一个预定对象的特征信息，将至少一个多媒体文件的特征信息与所述至少一个预定对象的特征信息进行匹配之前，所述方法还包括以下至少之一：
    采集所述至少一个预定对象的特征信息；
    接收所述至少一个预定对象的特征信息。
  6. 根据权利要求1所述的方法，其中，所述根据至少一个预定对象的特征信息，将至少一个多媒体文件的特征信息与所述至少一个预定对象的特征信息进行匹配，包括：
    在所述至少一个多媒体文件的制作过程中，将所述至少一个多媒体文件中的每个多媒体文件的特征信息与所述至少一个预定对象的特征信息进行匹配。
  7. 一种信息采集整理装置，包括：
    匹配模块，设置为根据至少一个预定对象的特征信息，将至少一个多媒体文件的特征信息与所述至少一个预定对象的特征信息进行匹配；
    关联模块，设置为根据匹配结果，建立所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系。
  8. 根据权利要求7所述的装置，所述关联模块设置为通过以下至少之一方式根据匹配结果，建立所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系：
    在所述至少一个多媒体文件中的一个多媒体文件的特征信息匹配到所述至少一个预定对象中的一个预定对象的特征信息时，在媒体特征数据库记录所述多媒体文件与所述预定对象通过所述特征信息进行关联；
    在所述至少一个多媒体文件中的一个多媒体文件的特征信息匹配到所述至少一个预定对象中的一个预定对象的特征信息时，设置所述多媒体文件的背景属性信息，所述背景属性信息用于指示所述多媒体文件通过所述特征信息关联的预定对象。
  9. 根据权利要求7所述的装置，所述装置还包括：检索模块，设置为执行以下至少之一：
    接收到查找预定对象关联的多媒体文件的查询请求后，根据所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系，获取与待查找的预定对象关联的多媒体文件；
    接收到查找多媒体文件关联的预定对象的查询请求后，根据所述至少一个多媒体文件与所述至少一个预定对象之间的关联关系，确定与待查找的多媒体文件关联的预定对象。
  10. 根据权利要求7所述的装置，所述装置还包括以下至少之一：
    特征采集模块，设置为采集所述至少一个预定对象的特征信息；
    特征接收模块，设置为接收所述至少一个预定对象的特征信息。
  11. 一种信息采集整理装置，包括：存储器和处理器，所述存储器存储有信息采集整理程序，所述信息采集整理程序在被所述处理器执行时实现如权利要求1至6中任一项所述的信息采集整理方法。
  12. 一种计算机可读存储介质，存储有信息采集整理程序，所述信息采集整理程序在被处理器执行时实现如权利要求1至6中任一项所述的信息采集整理方法。
PCT/CN2018/090196 2017-06-07 2018-06-07 一种信息采集整理方法及装置 WO2018223997A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710423433.1A CN109002447A (zh) 2017-06-07 2017-06-07 一种信息采集整理方法及装置
CN201710423433.1 2017-06-07

Publications (1)

Publication Number Publication Date
WO2018223997A1 true WO2018223997A1 (zh) 2018-12-13

Family

ID=64566448

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/090196 WO2018223997A1 (zh) 2017-06-07 2018-06-07 一种信息采集整理方法及装置

Country Status (2)

Country Link
CN (1) CN109002447A (zh)
WO (1) WO2018223997A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427017A (zh) * 2017-08-24 2019-03-05 中兴通讯股份有限公司 一种提示方法及装置
CN111309679A (zh) * 2020-04-02 2020-06-19 广东电网有限责任公司 一种文件管理方法、文件索引方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633670A (zh) * 2002-02-14 2005-06-29 皇家飞利浦电子股份有限公司 采用视频－语音匹配进行人员认证的方法和系统
CN101535994A (zh) * 2006-09-17 2009-09-16 诺基亚公司 提供标准真实世界到虚拟世界的链接的方法、装置和计算机程序产品
CN103076879A (zh) * 2012-12-28 2013-05-01 中兴通讯股份有限公司 基于人脸信息的多媒体交互方法及装置及终端
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118885A (zh) * 2009-12-30 2011-07-06 比亚迪股份有限公司 一种移动装置中多媒体文件与通讯录的匹配方法及系统
CN103701875A (zh) * 2013-12-11 2014-04-02 乐视网信息技术（北京）股份有限公司 一种多媒体文件推送方法及装置
CN105095211B (zh) * 2014-04-22 2019-03-26 北大方正集团有限公司 多媒体数据的获取方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633670A (zh) * 2002-02-14 2005-06-29 皇家飞利浦电子股份有限公司 采用视频－语音匹配进行人员认证的方法和系统
CN101535994A (zh) * 2006-09-17 2009-09-16 诺基亚公司 提供标准真实世界到虚拟世界的链接的方法、装置和计算机程序产品
CN103076879A (zh) * 2012-12-28 2013-05-01 中兴通讯股份有限公司 基于人脸信息的多媒体交互方法及装置及终端
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition

Also Published As

Publication number Publication date
CN109002447A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
EP2973013B1 (en) Associating metadata with images in a personal image collection
US9031953B2 (en) Method and system to curate media collections
US9904723B2 (en) Event based metadata synthesis
US8270684B2 (en) Automatic media sharing via shutter click
US20200019756A1 (en) Private Photo Sharing System, Method and Network
US9530067B2 (en) Method and apparatus for storing and retrieving personal contact information
US8396246B2 (en) Tagging images with labels
CN108255915B (zh) 一种文件管理方法、装置及机器可读存储介质
JP2017526032A (ja) 場所に基づいた情報処理の方法及び装置
TWI591575B (zh) 用於增進已擷取資料的方法及系統
US10157190B2 (en) Image action based on automatic feature extraction
CN105243084A (zh) 拍摄图像文件的保存方法和系统及其检索方法和系统
WO2018223997A1 (zh) 一种信息采集整理方法及装置
JP5023398B2 (ja) 電子アルバム作成装置、方法、プログラム、システム、サーバー、情報処理装置、端末装置、及び撮像装置
US9767097B2 (en) Disclosure range determination method, disclosure range determination apparatus, and medium
US10817557B1 (en) System and displaying digital media
US10521693B1 (en) System for displaying digital media
WO2019206090A1 (zh) 媒体文件备注方法、装置、移动终端和存储介质
US9547731B2 (en) Merging sets of data objects for display
US20200026731A1 (en) Systems and Methods for Archiving and Accessing of Image Content
US20140082023A1 (en) Associating an identity to a creator of a set of visual files
CN109462624B (zh) 一种网络相册的共享方法及系统
CN114117095A (zh) 一种基于图像识别的声像档案著录方法及装置
Zhong et al. i-Memory: An intelligence Android-based photo management system
US9183232B1 (en) Systems and methods for organizing content using content organization rules and robust content information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18813945

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18813945

Country of ref document: EP

Kind code of ref document: A1