WO2023277790A1 - 图像处理方法、装置及可读存储介质 - Google Patents

Abstract

本公开涉及一种图像处理方法、装置及可读存储介质，其中，该方法通过对至少一个图像素材进行特征分析，获取内容特征集合，其中，内容特征集合包括的每个内容特征用于表示图像素材在对应特定维度所要表达的内容；接着，根据内容特征集合，并依据特定维度的不同内容特征与不5 同剪辑操作类型包括的不同操作方式之间的映射关系，从而确定上述至少一个图像素材的剪辑策略；按照剪辑策略包括的各目标剪辑操作方式对上述至少一个图像素材进行合成，从而获得具有内容连续性的多媒体资源。本公开提供的方法，依据图像素材本身的特征，有针对性地确定出与图像素材所要表达的内容更加匹配的目标剪辑操作方式，从而进一步使获得的10 多媒体资源的故事性更强。

Description

图像处 理方法 、 装匯及可 读存储 介质 本 公开要 求于 2021年 06月 30日提交 中国国家 知识产 权局 、 申请号为 202110738116.5、发明名 称为“ 图像处理 方法 、装置及 可读存 储介质 ’’的中国 专利 申请 的优先权 ，其全部内 容通过 引用结 合在本 公开 中。 技术 领域 本公 开涉及图 像处理技 术领域 ，尤其涉及 一种图像处 理方法 、装置及可读 存储 介质。 背景 技术 目 前 ，人们可以使用 具有拍 摄功能 的电 子设备 拍摄各 种各样 的图像 素 材 ，有时 人们还 会利用 处理 工具对这 些图 像素材 进行 一些后 期处理 ，以获 得更 具趣 味性的 视频 ，例如 添加特 效、 合并、 添加背景音乐 等。 为了方便 人们 进行视 频创作 ， 一些处理工具会 提供 剪辑模 板 ，用户可 以通过 选择剪 辑模 板 ，选择自 己喜欢 的图像 素材 ，从而获 得合成 的视频 。 然 而 ，通过剪辑模板合 成的视 频可能 效果 较差。 发明 内容 为 了解决 上述技 术问题 或者 至少部 分地解 决上 述技术 问题 ，本公开 实 施例 提供 了一种 图像处 理方法 、 装置及可读 存储介 质。 第 一方面 ，本公 开实施 例提供 了一 种图像处 理方 法 ，包括 ： 获取 至少 一个图 像素材 ； 对所 述至 少一个 图像 素材进 行特征 分析 ，获取 内容特 征集合 ；其中 ， 所述 内容 特征集 合中包 含至 少一个 特定 维度的 内容特 征 ，所述内 容特征 用 于表 示所 述图像 素材在 对应特 定维度 所要表 达的 内容 ； 根 据内容 特征集 合 ，获取至 少一个 图像 素材的 剪辑策 略 ； 剪辑策略包 括 一个或 多个剪 辑操作 类型分 别对应 的目标 剪辑操 作方式 ； 按 照所述 目标剪 辑操作 方式 ，将所述至 少一个 图像素 材剪 辑成多 媒体 资源 。 在 一些可 能的设 计中 ，所述根据所 述内 容特征 集合 ，获取所 述至 少一 个 图像素材 的剪 辑策略 ，包括 ： 针对 第一 剪辑操 作类型 ，根据第一 目标维 度的 内容特 征以及 第一 预设 映射 关系 ，获取所述第 一剪 辑操作 类型对 应的 目标剪辑 操作 方式 ；其中 ， 所述 第一 目标维 度的内 容特征 属于所 述内 容特征 集合 ； 其 中 ，第一预设映射关 系包 括所述 第一 目标维 度对应 的不同 内容特 征 与所 述第 一剪辑 操作类 型包括 的不 同操作 方式之 间的映 射关系 。 在 一些可 能的设 计中 ，所述根据所 述内 容特征 集合 ，获取 所述至 少一 个 图像素材 的剪 辑策略 ，包括 ： 获 取第一 目标背 景音乐 对应 的音乐 内容特 征 ；其中 ，所述第一目标 背 景 音乐与 第二 目标背景 音乐 具备关 联关系 ，所述第二 目标背 景音乐 用于与 所述 至少 一个图 像素材 一起剪 辑成多 媒体 资源 ； 针对 第二 剪辑操 作类型 ，根据内容 特征集 合包 括的第 二目标 维度 的内 容特 征、 所述第一目标 背景 音乐对 应的音 乐内容 特征 以及第 二预设 映射关 系 ，获取所 述第 二剪辑 操作类 型对应 的目标 剪辑操 作方式 ； 其 中 ，所述第二预设 映射关 系包括 所述 第二 目标维度 对应的 不同 内容 特征 、 不同的音 乐内容 特征 与所述 第二 剪辑操 作类型 包括 的不同 操作方 式 之 间的映射 关系 。 在 一些可 能的设 计中 ，所述第一 目标背景 音乐 属于至 少一个 候选 背景 音乐 ，所述至少 一个候 选背 景音乐 是根据 所述 内容特 征集合 包括 的第三 目 标维 度的 内容特 征确定 的 ；或者 ，所述第一 目标背景 音乐是 根据用 户输 入 的音 乐选择 操作确 定的 。 在 一些可 能的设 计中 ，所述按照所 述目标 剪辑 操作方 式 ，将所述 至少 一个 图像 素材剪 辑成多 媒体资 源 ，包括 ： 按 照所述 第二剪 辑操 作类型 包括的 目标 剪辑操 作方式 ，将所 述至 少一 个 图像素材 和第 二目标 背景音 乐一起 剪辑成 多媒体 资源 ； 其 中 ，所述第二目标 背景音 乐的音 乐内容 特征 与所述 第一 目标背 景音 乐的 音乐 内容特征 满足 预设相 似度。 在 一些可 能的设 计中 ，所述对所述 至少 一个图 像素材 进行特 征分析 ， 获取 内容特 征集 合 ，包括 ： 对所 述至 少一个 图像 素材包 括的第 一图像 素材 进行特 征分析 ，得到所 述第 一图像 素材 对应的 第一内 容特征 集合 ； 所 述根据 所述 内容 特征 集合 ， 获取所述至少 一个 图像 素材的 剪辑 策 略 ，包括 ： 针对 所述 至少一 个图像 素材 包括的 第一 图像素 材 ，根据所述 第一 图像 素材 对应 的第一 内容特 征集合 ，获取所 述第一 图像素 材的剪 辑策 略；其中 ， 所述 第一 图像素 材的剪 辑策 略用于 指示针 对所述 第一 图像素 材执行 的目标 剪辑 操作方 式。 在 一些可 能的设 计中 ，所述对所述 至少 一个图 像素材 进行特 征分析 ， 获取 内容特 征集 合 ，包括 ： 对所 述至 少两个 图像 素材进 行分组 ，获得至少 一个图 像素材 分组 ， 其 中 ，所述至少_ 个 图像 素材分 组包括 第_ 图像 素材 分组 ，所述第 _图像 素 材分 组包括 两个 或两个 以上的 图像素 材 ； 对所 述第 一图像 素材 分组分 别进行 特征分 析 ，得到所 述第 一图像 素材 分组 分对应 的第 二内容 特征集 合 ； 所 述根据 所述 内容 特征 集合 ， 获取所述至少 一个 图像 素材的 剪辑 策 略 ，包括 ： 针对 所述 至少一 个图像 素材 分组包 括的第 一图像 素材 分组 ，根据第一 图像 素材 分组对 应的第 二内容 特征 集合 ，获取所 述第 一图像 素材分 组的剪 辑策 略 ；所述第 一图像 素材 分组的 剪辑策 略用于 指示 针对所 述第一 图像素 材分 组包括 的每 个图像 素材执 行的 目标剪辑 操作方 式。 在 一些可 能的设 计中 ，所述特征分析 包括 ： 显著 性特 征分析 、 图像场景 特征分 析、 人脸特 征分析 、 图像主题特 征 分析 、 图像情绪特 征分 析中的 一种或 多种。 在 一些可 能的设 计中 ，所述至少一个 特定 维度包 括 ： 图像 场景 维度、 图像主题维度 、 图像情绪 维度、 图像人物关系 维度 、 图像 显著性 特征 维度、 图像属性维度 中的一 个或多 个。 第 二方面 ，本公 开实施 例提供 了一种 图像处 理装 置 ，包括 ： 获取 模块 ，用于 获取至 少一个 图像素 材 ； 特 征分析 模块 ，用于对 所述 至少一 个图像 素材 进行特 征分析 ，获取内 容特 征集 合 ；其中 ，所述内容特征 集合 中包含 至少 一个维度 的内 容特征 ， 所述 内容 特征用 于表示 所述 图像素材 在对应 维度所 要表 达的内 容 ； 剪 辑策略 确定模 块 ，用于根 据所述 内容 特征集 合 ，获取所述 至少 一个 图像 素材 的剪辑 策略 ；所述 剪辑策 略包括 一个 或多个 剪辑操 作类型 分别对 应的 目标剪 辑操作 方式 ； 合 成模块 ，用于 按照所 述 目标剪辑 操作方 式 ，将所述 至少 一个图 像素 材剪 辑成 多媒体 资源。 第 三方面 ，本公 开实施 例提 供了一 种电子 设备 ，包括 ：存储 器、 处理 器以 及计算 机程 序 ； 所述 存储 器被配 置为存 储所述 计算机 程序 ； 所 述处理 器被配 置为执 行所 述计算 机程序 ，以实现如 第一方 面任 一项 所述 的图像 处理方 法。 第 四方面 ，本公 开实施 例提 供了一 种可读 存储介 质 ，包括 ： 计算机程 序 ； 所 述计算 机程序 被电 子设备 的至少 一个处 理器执 行时 ，以执行第一 方 面任 一项所 述的 图像处理 方法 。 第 五方面 ，本公 开实施 例提 供一种 程序产 品 ，所述程序产 品包括 计算 机程 序 ，所述计算机程 序存 储在可 读存储 介质 中 ， 电子设备的至少一个处 理器 可以 从所述 可读存 储介质 中读 取所述 计算机 程序 ，所述至少 一个处理 器执 行所述 计算 机程序 使得所 述电 子设备 实现如 第一方 面任 一项所 述的图 像处 理方法 。 本 公开实施 例提 供了 _种 图像处 理方法 、 装置及可读存 储介质。 其中 ， 该方 法通过 对至少 一个 图像素 材进行 特征分 析 ，获取内容特 征集合 。 其中 ， 内容 特征 集合包 括的每 个内 容特征 用于表 示所 述图像 素材在 对应 特定维 度 所要 表达 的内容 。 接着 ，根据内容 特征集 合 ，并依据 特定 维度的 不同 内容 特征 与不 同剪辑 操作类 型包括 的不 同操作 方式 之间的 映射关 系 ，从而确 定 上述 至少 一个图 像素材 的剪 辑策略 。 按照剪辑策 略包 括的各 目标剪 辑操 作 方式 对上述 至少 一个 图像素材 进行 合成 ，从而获 得具 有内容 连续性 的多 媒 体资 源。 本 公开实 施例提 供的方 法 ，依据图 像素材 本身 的特征 ，有针对性 地确 定 出与图像 素材 所要表 达的 内容更 加匹配 的 目标剪辑 操作方 式 ，从而进 _ 步使 获得 的多媒 体资源 的故 事性更 强。 另外 ，采用本 公开实 施例提 供的 方 法能 够解决 利用 剪辑模 板合成 多媒体 资源导 致的 同质化严 重的 问题。 附图 说明 此处 的附 图被并 入说明 书中并 构成本 说明书 的一部 分 ， 示出了符合本 公开 的实施 例 ，并与说明书一 起用于 解释本 公开实 施例的 原理 。 为 了更清 楚地说 明本公 开实施 例或现 有技术 中的技 术方 案 ， 下面将对 实施 例或现 有技术 描述 中所需 要使用 的附 图作简单 地介绍 ，显而易见地 ， 对于 本领域 普通技 术人 员而言 ，在不付出创 造性劳 动性的 前提 下 ，还可以 根据 这些 附图获得 其他 的附图 。 图 1为本公开一实施 例提 供的图 像处理 方法 的流程 图 ； 图 2为本公开 一实施 例提 供的图 像处理 方法 的流程 图 ； 图 3为本公开 一实施 例提 供的图 像处理 装置 的架构 图 ； 图 4为本公开 另一 实施例 提供的 图像处 理方法 的流程 图 ； 图 5为本公开 另一 实施例 提供的 图像处 理装 置的架构 图 ； 图 6为本公开 一实施 例提 供的图 像处理 装置 的结构示 意图 ； 图 7为本公开_ 实施 例提供 的电子 设备的 结构示 意图。 具体 实施方 式 为了 能够更清 楚地理解 本公开实 施例的 上述目的 、特征和优 点 ，下面将对 本公 开实施例 的方案进 行进一步 描述。 需要说明的 是 ，在不冲突的情 况下 ，本 公开 的实施例 及实施例 中的特征 可以相 互组合。 在下 面的描述 中阐述 了很多具 体细节以 便于充分 理解本 公开实施例 ，但本 公开 实施例还 可以采用 其他不 同于在此 描述的方 式来实 施 ；显然，说明书中的 实施 例只是本 公开的 一部分实 施例 ，而不是全 部的实施 例。 为 了方便人们 进行视频 创作 ，一些处理工具 会提供剪 辑模板 ，用户可以通 过选 择剪辑模 板 ，选择自己喜欢 的图像素材 ，从而获得合成的 视频。 由于剪辑 模板 采用的 剪辑操 作方式 通常是 固定不变 的 ，无论用户上传什么 样的图 像素 材 ，均是利用剪 辑模板所 使用固 定的剪辑 操作方 式对图像 素材进行 编辑 ，可能 存在 剪辑模 板使用 的固定 的剪辑操 作方式 与图像 素材所 要表达 的内容 不匹配 的现 象。进一步 会导致合 成的多 媒体资源 效果较差 ，无法很好 地表达 出图像素 材所 要表达 的内容。 另外 ，由于剪辑 模板使用 固定的 剪辑操作 方式 ，利用剪辑模板 合成多 媒体 资源 ，同质化 严重 ，可能降低 用户进行 视频创作 的积极性 。 基于 上述问题 ，本公开 实施例提 供一种 图像处理 方法、 装置、 电子设备、 可读 存储介质 以及计算 机程序 。其中 ，该方法的核心思想是 ：通过特定 的手段 分析 图像素材 在特定 维度所要 表达的 内容 ，获得图像在各个特 定维度 的内容特 征。再 根据图像 素材在各 个特定 维度的 内容特征 ，依据特定 维度的不 同内容特 征与 不同剪 辑操作类 型分别包 括的各剪 辑操作方 式之间 的映射关 系 ，确定图像 素材 的剪辑策 略 ：从而保证按照剪辑 策略包括 的各 目标剪辑操 作方式对 上述图 像素 材进行合 成的多 媒体资源 具有较强 的内容连 续性 （即故事性 ）b 本公 开实施例 提供的方 法是从 图像素材 的角度 出发 ，依据图像素材本身 的 特征 ，有针对性地确 定出与 图像素材 所要表达 的内容 更加匹 配的目标 剪辑操作 方式 ，从而 使合成的 多媒体资 源的故 事性更强 。 本公 开实施 例提供 的图像处 理方法 可以由 本公开 实施例提 供的图 像处理 装 置执行 ，该图像处 理装置 可以通过 任意的 软件和 /或硬件的方 式实现。 示例 性地 ，图像处 理装置 是平板 电脑、 手机（如折 叠屏手 机、 大屏手机等 ） _^ 可穿 戴设 备、车载设备、增强现 实（ augmented reality ,AR）/虚拟现实（ virtual reality , VR ）设备、笔记本 电脑、超级 移动个人 计算机 （ ultra-mobile personal computer , UMPC X 上网本、 个人数字助 理（ personal digital assistant , PDA X 智能电视、 智慧 屏、 高清电视、 4K电视 、 智能音箱、 智能投影仪等物 联网 （the internet of things , IOT）设备，本公开实施例 对图像处 理装置 的具体类 型不作任 何限制 。 其 中 ，本公开实施例对 图像处理 装置的 操作系统 的类型不 做限定 。 例如， Android系统 、 Linux系统、 Windows系统、 iOS系统等。 图像处 理装置 也可以通 过软件实 现 ，例如，图像处理装置可以 为程序产 品。 下面 通过几个 实施例对 本公开实 施例提供 的图像 处理方法 进行详细 介绍。 在下 述实施例 中 ，均以执行主体为图像 处理装 置为例进行 说明。 图 1 为本公开_ 实施 例提供 的图像处 理方法 的框架。 具体地，参照 图 1 所示 ，本公开实施例 提供的 图像处理 方法通过 对图像素 材进行特 征分析 。例如， 图像 场景特征 分析、人脸特 征分析 、图像显著性 特征分析 、图像主题特 征分析 、 图像 情绪特征 分析等 等特征分 析中的 一种或多 种 ，获取图像素材的内容 特征集 合。 若图 像素材不 需要配乐 ，可根据内容特征 集合中 的内容特 征 ，利用调度与 组合 算法 ，确定图像 素材的剪 辑策略 ；并根据 剪辑策略 对图像素 材进行合 成。 若图 像素材 需要配乐 （即背景 音乐 ），结合曲库中各音 乐在不 同音乐维 度 的音 乐内容特 征以及 图像素材 的内容特 征集合 ，利用调度 与组合算 法 ，确定要 使用 的背景 音乐以及 图像素材 的剪辑策 略 ；再根据图像素材 的剪辑 策略 ，将图 像素 材和背 景音乐进 行合成。 其 中 ，图像素材需要配乐和 不需要配 乐两种情 况下分 别使用的 调度与组 合 算法 可以不 同。 在图 1所示实施 例的基础 上 ，下面通过图 2和图 4所示实施例对 图像素材 需要 配乐和不 需要配 乐两种场 景下分别 进行介绍 。其中 ，图 2所示实施例为图 像素 材不需 要配乐的 情况。 图 4所示实施例为图像 素材需 要配乐的 情况。 图 2为本公开一 实施例提 供的图像 处理方法 的流程 图。参照图 2所示 ，本 实施 例的方法 包括 ： S201、 获取至少_ 个 图像素材 。 其 中 ，图像素材可以是 照片、 图片、 视频片段等等。本 公开实施 例对于 图 像素 材的存储 格式、 时长（图像素材为 视频片段 时 X 数量等参数不作 限制。 若图像 素材的 数量为多 个时 ，一种情况，多个图像素材 可以是 同一类型 的 ， 例如 ，多个图像 素材可 以全部 是照片、 或者 ，全部是图片 ，或者 ，全部是视频 片段 。 另一种情况 ，多个图像素材 也可以 分别属于 不同类型 ，例如 ，多个图像 素材 可以同 时包括照 片以及视 频片段 ，或者 ，可以同时包括 照片、 图片以及视 频片 段。 一种 可能的实 现方式 ，图像处理装 置可以提 供素材 展示界面 ，素材展示 页 面可 以缩略展 示各个 素材以及 素材的_ 些相关信 息 （例如 ，视频时长等等 ＞ 图像处 理装置 可以获取 用户在素 材展示 界面上输 入的选择 指令 ，获取上述至少 一个 图像素材 。 在实 际应用中 ，素材展示页面可以 不区分类 型 ，并按照时间先后 顺序缩 略 展示 素材。或者 ，素材展示页 面也可以 按照片、图片 以及视频 等划分 多种类型 ， 每个 类型对应 一个展示 入口标签 。基于用户 针对展示 入口标签 的操作 ，图像处 理装 置根据用 户针对展 示入 口标签的操作 ，展示缩略展示相 应类型的 素材。接 着 ，根据用户 的选择指 令 ，获取上述至 少一个 图像素材 。 另_ 种 可能的实现 方式 ，图像处理装置 可以根据 用户输入 的拍摄指 令拍摄 图片 或者视频 片段 ，拍摄的图像 或者视频 片段即 为图像素 材。 图像处 理装置 还可以通 过其他方 式获取 上述至少 一个图像 素材 ，本公开实 施例 对图像处 理装置获 取上述至 少一个 图像素材 的具体 实现方式 不作限制 。

S202、对所述至 少一个 图像素材 进行特征 分析 ，获取内容特征 集合 ：其中 ， 内容 特征集合 中包含 至少一个 特定维度 的内容 特征 ，所述内容特征用 于表示 图 像素 材在对应 特定维度 所要表达 的内容 。 这里 先介绍内 容特征集 合 ： 内容 特征集 合可以 包括上述 至少 一个图像 素材在 至少一 个特定 维度的 内 容特 征。 每个内容特 征用于表 示图像素 材在对 应特定维 度所要表 达的内 容。 图像 素材可以 为照片、 图片以及视频片段 这几种类 型。 若图像 素材为 照片或者 图片 ，则内容特征集合 中可以包 括照片 或者图片 在 这些 特定维度 上的内容 特征。若 图像素材 为视频片 段时 ，则可以将视频帧 序列 中的 每个视频 帧作为 一个对象进 行特征 分析 ，获取每个视频帧在 这些特定 维度 上的 内容特征 。或者 ，也可从视频 帧序列 中抽取部 分视频帧 ，并将抽取 的视频 帧分 别作为一 个对象进 行特征分 析 ，获取抽取的这些视 频帧对象 在这些特 定维 度上 的内容特 征。 其中 ，上述至少_ 个特定 维度可以 包括但不 限于 ：图像场景维 度、 图像主 题维 度、 图像情绪维度、 图像人物关系维度 、 图像显著性特征 维度、 图像属性 维度 中的一个 或多个 。 示例 性地 ，预先可以划分 多种不 同的图像场 景 ，例如图像场景 可以包括 但 不 限于 ：室内场景 、 室外场景、 自然风景 /地貌等等场景 类别。 其中 ，室内场 景进 _步可划分 为咖啡馆 、 健身房、 教室、 商场等等子场景类别 。 室外场景也 可以 类似地进 一步划 分为操场 、 马路等等子场 景类别 。 自然风景 /地貌可进一 步划 分为 ：陆地地貌风景、 水域、 天空、 植物等等子场景类 别。 上述每 _种子 场景 类别可进 _步细化 ，例如 ，陆地地貌风景 可进一步 划分为沙 漠、 雪山、 山 洞、 草地等等子类别 。 相应地，图像场 景维度的 内容特征 可以包 括但不 限于 ： 室 内场景、 室外场景 等等场景 类别信息 。 示例 性地 ，预先可以划分 多种不 同的图像 主题 ，例如图像主题 可以包括 但 不 限于 ：旅游、 逛街、 聚会、 节日、 美食等等。 相应地，图像主题维度 的内容 特征 可以包括 但不限 于 ：旅游、 逛街、 聚会、 节日、 美食等等主题类别 信息。 示例 性地 ，预先可以划分 多种不 同的图像情 绪 ，例如图像情绪 可以包括 但 不 限于 ：伤心、 难过、 中性、 积极、 开心等等。 相应地，图像情绪维度 的内容 特征 可以包括 但不限 于 ：伤心、 难过、 中性、 积极、 开心等等类别信息。 示例 性地 ，预先可以划分 多种不 同的图像 人物关系 ，例如图像 人物关系 可 以包 括但不 限于 ：父母、 朋友、 姐妹、 兄弟等等。 相应地，图像人物 关系维度 的 内容特征 可以包括 但不限于 ：父母 、 朋友、 姐妹、 兄弟等等人物关系 信息。 示例 性地 ，图像显著性特 征即为图 像的显著 性区域 ，图像显示性 特征维度 的 内容特征 可以包括 图像的显 著性区域 的相关信 息 ，例如，图像的显著 性区域 在图 像中的位 置、 显著性区域 的尺寸等 等信息 。 示例 性地 ，图像属性维度的 内容特征 可以包括 图像素材 的属性信 息 ，例如， 图像 素材的分 辨率、 图像的亮度等等。 应理解 ，上述关于各特 定维度 的不同内 容特征仅 是示例 ，在实际 应用中 ， 可根 据需求设 置各特定 维度包 括的内容 特征。 可选地 ，在_些特 定维度上 ，可以针对 单个图像 素材 ，根据该图像 素材在 特定 维度上的 特征信息 ，获得该图像素 材在该特 定维度 的内容特 征。 例如 ，在图像情 绪维度 ，可针对每个 图像素材 进行特征 分析 ，输出图像素 材在 图像情绪 维度上的 内容特 征。 又如，在图像主题 维度 ，可针对每个 图像素 材进 行特征分 析 ，输出图像素材 在图像 主题维度 上的内容 特征。 可选地 ，在_些特 定维度上 ，若图像 素材的数 量为多个 ，可以对全 部或者 部分 图像素材 进行分组 ，获得至少 一个图 像素材分 组 ，其中 ，至少有一个图像 素材 分组包括 两个或 者两个以 上的图像 素材。也就 是说 ，若有多个图像 素材分 组的情 况 ，一些图像素材 分组可以 只包括 一个图像 素材。针对 包括两个 或者两 个以 上的图像 素材的 图像素材 分组 ，根据该图像素材分 组包括 的两个或 两个以 上图 像素材分 别在该特 定维度 的特征信 息 ，获取该图像素材分组 在该特定 维度 的 内容特征 。这样的情况 下 ，也可以理解为 图像素材 分组包括 的每个 图像素材 在该 特定维度 上对应的 内容特征 是相同 的。针对包括 一个图像素 材的图像 素材 分组 ，实质上 就是针对 图像素材 输出相应 的内容特 征。 例如 ，在图像人 物关系维 度 ，可按照图像素材 中的人物 识别结果 对多个 图 像素 材进行分 组 ，针对每个图像素材 分组输出 一个图像 人物关系 维度的 内容特 征。 又如 ，在图像主题维度 ，可按照图像素材 中包括 的对象的 相似程度 对多个 图像 素材进 行分组 ，针对每 个图像 素材分组 输出一 个图像 主题维度 的内容 特 征。 可选 地 ，可针对上述 至少一 个图像 素材包括 的第 一图像素 材进行 特征分 析 ，获得第一 图像素材对 应的第 一内容特 征集合 。其中 ，第一内容特征集合包 括第 一图像素 材在上述 至少一 个特定维 度的内 容特征。 第_ 图像 素材可 以是上述 至少 _个 图像素材 中 ，可以单独进行分析的图像 素材 。 例如，上述至 少一个 图像素材包 括 ： 3张天空的照片 、 1张人物合 照 ， 那么 ，可针对 这 1张任务合 照单独 输出第 一内容特征 集合。 本公 开实施例 对于第 一图像素材 的数量 不做限制 。 可选 地 ，也可以从图像素 材的角 度出发 ，根据图像素 材的相 似程度 ，对多 个 图像素材 中的全 部或者 部分图像 素材进 行分组 ，获得至 少一个 图像素 材分 组。其 中 ，至少 _个图像素材分组包 括第_ 图像 素材分组 ，第 _图像素 材分组 包括 两个或 者两个以 上的图像 素材。接着 ，针对第一 图像素材 分组进行 特征分 析 ，获得第 一图像素材 分组对应 的第二 内容特征 集合。 例如 ，上述至 少_ 个图像 素材包 括了用户 针对天空 连续拍摄 了多张照 片 ， 这多 张照片 内容所要表 达的内 容较为接 近。因此 ，可将这多张 照片划分 至一个 图像 素材分组 ，进行特征 分析时 ，针对该图像 素材分组 输出一个 整体的第 二内 容特 征集合 即可。 在进 行图像素 材分组时 ，还可以基 于图像 素材的其 他信息 ，例如 ：地理位 置、 图像素材中的物 体等等信 息。 本公 开实施例 对于第 一图像素材 分组的数 量不做 限制。 在实 际应用中 ，针对单个图像素 材分别输 出内容特 征或者 内容特征 集合 ， 还是 针对图像 素材分组 整体输 出一个内 容特征或 者一个 内容特征 集合 ，可以灵 活设 置。 本步 骤中 ，内容特征集合是通过对 图像素材 进行特 征分析获 得的 ，特征分 析的 具体方 式包括但 不限于 ：显著性特征 分析、 图像场景特征分析 、 人脸特征 分析 、 图像主题特征分析 、 图像场景特征分 析、 图像情绪特征 分析中的 一种或 多种 。 其中 ，上述特征分析均 可以采用 机器学 习技术实现 ，利用相应 的机器学 习 模型 获得特征 分析结果 。例如 ，图像场景特征分析可 以利用场 景分类模 型实现 ， 场景 分类模型 可以输 出图像素材 的图像场 景分类 特征 ，则可以基于图像场 景分 类特 征获取图 像场景维 度的内容 特征。 继续介 绍图像处 理装置 如何获取 内容特征 集合 ： 示例 性地 ，首先，提取上述 至少一个 图像素材 分别在 至少一个 特定维度 上 的特 征信息 ：接着 ，根据至少一个 图像素材 分别在这 些特定维 度上的特 征信息 进行 上述特征 分析 ，并根据特 征分析结 果 ，获取内容特 征集合。 一种 可能的实 现方式 ，通过机器学习技 术 ，获取图像素材的内容 特征集合 。 其中 ，图 3示例性地示出了利用 机器学 习模型实 现本公开 提供的 图像处理 方法 的架构 图。请参照图 3所示 ，可预先在图像 处理装置 中部署用 于获取 内容 特征 集合的 机器学 习模型 301 ,将上述至 少一个 图像素 材输入 机器学 习模型 301 中 ，获取机器学习模型 301输出的内容特 征集合 。 由于 在实际应用 中 ，需要获取至少一个图像素 材在不 同的特定 维度的内 容 特征 ，因此 ，机器学习模 型 301可以包 括 ：不同的特定维 度分别对 应的内容 识 别子 模型 302。将上述至少 _个图像 素材分 别输入至 不同特定 维度对应 的内容 识别 子模型 302 ,获取内容识别子模 型 302输出的 图像素材 在相应特 定维度 的 内容 特征。 其中 ，一些内容识别子 模型 302可以输出每个 图像素 材对应的 内容特征 。 _ 些内 容识别子 模型 302可以针对每个 图像素材 分组输 出 _个内容 特征。 在实 际应用中 ，多个不同维度的内容识 别子模 型 302用到的 特征信息 之间 可能 存在交集 ，例如 ，图像人物关系 维度对应 的内容识 别子模型 302可能需 要 利用 人脸特征 分析的 结果 ；若图像素材中 包括人物 ，则图像情 绪维度对 应内容 识别 子模型 302需要对图像 素材进行 情绪分析 ，并结合人 脸特征分 析结果 ，从 而准 确地确定 图像素材 的图像情 绪。这样 的情况下 ，执行人脸特 征分析 的模块 可以 与需要使 用人脸 特征分析 结果的 内容识别 子模型 302连接，向相应的内 容 识别 子模型 302提供数据。 针对类 似的情况 ，在机器学习模型 301中 ，一些执行特征分析的模块 可以 与需 要使用该 特征分析 模块输 出的特征 分析结果 的内容 识别子模 型连接 ，向相 连接 的内容识 别子模型 302提供特征 分析结 果。

S203、 根据内容特 征集合 ，获取所 述至少 一个图像 素材的剪 辑策略。 其中 ，剪辑策略可以包括 ：一个或多 个剪辑操 作类型 分别对应 的目标剪 辑 操作 方式。剪 辑操作类型 可以包 括但不 限于 ：转场、 特效、滤镜、 动画、贴纸、 文案 内容、 画幅尺寸、 文案位置、 歌词样式、 歌词位置等等中 的一种或 多种。 每种 剪辑操作 类型可以 包括多种 剪辑操作 方式。例 如 ，转场（转场即剪辑 操作 类型 ）可以包括 ：运镜转场 、 基础转场、 特效转场等多种转 场子类型 （转 场子 类型可以 理解为 剪辑操作 类型下 的剪辑操作 子类型 ），每个转场子 类型中 可以 包括一 种或多种 转场方式 （转场方 式即剪 辑操作方 式 ）₆ 又如，滤镜可以 包括 ：风景、 复古、 美食、 清新、 电影、 油画等多种滤镜子类 型 ，每种滤镜子 类型 可以包括 一种或 多种滤镜方 式。一些 剪辑操作 类型、剪辑操 作方式 可以与 转场 、 滤镜类似，此处不 __举 例说明。 _些剪辑操 作类型 ，也可以不 划分剪 辑操 作子类型 。 本步 骤的目的 在于 ：确定至少一个图 像素材使 用的剪 辑操作类 型以及每 种 剪辑 操作类型 对应的 目标剪辑操 作方式 。 一种 可能的实 现方式 ，图像处理装置 中可以预 先部署每 个特定 维度的不 同 内容 特征与 剪辑操作 类型包括 的各剪辑 操作方 式之间的 映射关系 ：获取图像素 材在 这些特定 维度上 的内容特 征集合后 ，针对每个 图像素材 ，查询相应 的映射 关系 ，从而确 定各剪 辑操作类 型下 ，所要使用 的目标剪 辑操作方 式。 在步 骤 S202中可以 针对单个 第一图像 素材输 出第一内 容特征集 合 ，因此， 可选 地 ，图像处理装置可 以根据 第一图像 素材对应 的第一 内容特征集 合 ，确定 第 一图像素材 的剪辑策 略。该第一图 像素材 的剪辑策 略用于指 示针对该 第一图 像素 材所采用 的目标 剪辑操作 方式。 在步 骤 S202中可以 针对第 _图像素材分 组输出第 二内容 特征集合 ，因此， 可选 地 ，图像处理装 置可以根 据第 _图像 素材分组 对应的第 二内容特 征集合 ， 确定 第一图像 素材分 组的剪辑 策略。该第一 图像素材 分组的剪 辑策略用 于指示 针对 第一图像 素材分组 包括的 每个图像 素材所采 用的 目标剪辑操 作方式。这种 情况 ，可以理解 为 ，第 _图像素材分组包括的每 个图像 素材所采 用的目标 剪辑 操作 方式相 同。 下面 以一个具 体的示例 来说明 ： 假设 有 3个图像 素材 ，通过特征分析 ，获得的内 容特征集 合包括 3个图像 素材 分别在 图像主题维 度、图像情绪 维以及图像 显著性 特征维度 分别对应 的内 容特 征、以及 3个图像素材 在图像 人物关系 维度对应 的一个 内容特征 。假设需 要根 据上述 内容特征 确定 3个图像素材 的剪辑策 略 ，剪辑策略包括 ：转场和滤 镜两 种剪辑操 作类型对 应的目标 剪辑操作 方式。

_ 、 转场 图像处 理装置 中可以预 先部署有 图像场景 维度、图像情 绪维度与 转场之间 的映 射关系。 示例 性地 ，该映射关系 可以如 下表 1所示： 表 1

假设 图像素材 1的图像主 题维度的 内容特征 为开车 ，图像素材 2和图像 素 材 3的图像主题 维度的 内容特征均 为咖啡 馆 ，图像素材 1至图像素材 3的图像 情绪 维度的 内容特征均 为开心 。通过查询上述 表 1可知图 像素材 1采用的 目标 转场 方式为分 割转场 ，图像素材 2和图像 素材 3采用的目标 转场方式 为快门转 场。 需要 说明的是 ，表 1仅是示 例性地说 明图像场 景维度 的内容特 征、 图像情 绪维 度的内 容特征 与转场这 一剪辑 操作类型 所包括 的各转 场方式 之间的映 射 关系 ，在实际应用 中确定 目标转场 方式可能 使用更 多的维度 的内容特 征 ，且映 射关 系也可以 更复杂。 二、 滤镜 图像处 理装置 中可以预 先部署有 图像主 题维度、图像情 绪维度与 滤镜方式 之间 的映射关 系。 示例 性地 ，该映射关系 可以如 下表 2所示 ： 表 2

假设 图像素材 1的图像主 题维度的 内容特征 为风景 ，图像素材 2和图像 素 材 3的图像主题 维度的 内容特征均 为美食 ，图像素材 1和图像素材 3的图像情 绪维度 的内容 特征均 为开心 ，图像素材 2的图像情 绪维度的 内容特征 为中性 。 通过 查询上述 表 2可知图 像素材 1要使用的 目标滤镜方 式为晴 空滤镜 ，图像素 材 2要使用的 目标滤镜方 式为可 口滤镜 ，图像素材 3要使用 的目标滤 镜方式为 暖食 滤镜。 需要 说明的是 ，表 2仅是示 例性地说 明图像主 题维度 的内容特征 、 图像情 绪维 度的内 容特征 与滤镜这 一剪辑操 作类型 所包括 的各滤 镜方式之 间的映 射 关系 ，在实际应用 中确定 目标滤镜方 式可能 使用更 多的维度 的内容特 征 ，且映 射关 系也可以 更复杂。 在实 际应用中 ，还可以预先在图像处理 装置中部 署用于 确定剪辑 策略的机 器学 习模型 ，将内容特征 集合输入 至机器 学习模型 中 ，获取机器学习模型输出 的剪 辑策略 ，能够提 高处理效 率。 示例 性地 ，请继续参照 图 3所示 ，用于确定 剪辑策略 的机器学 习模型 303 中可 以包括不 同剪辑 操作类型 分别对应 的剪辑操 作方式确 定子模 型 304。在应 用的 过程中 ，将上述内容特征集 合输入 至机器学 习模型 303 ,各剪辑操作方式 确定 子模型 304从内容特征 集合 中提取所 需特定维 度的内容 特征 ，各剪辑操作 方式 确定子模 型 304并根据 各自提 取所需特 定维度 的内容特 征 ，输出相应剪辑 操作 类型所要 使用的 目标剪辑 操作方式 。 实际应 用中 ，可能存在一些情况 ，例如 ，确定剪 辑操作类 型 A所要 使用 的 目标剪辑操 作方式 需要参考 剪辑操作 类型 B所 要使用 的目标剪 辑操作方 式。 那么 ，上述各剪 辑操作方 式确定 子模型 304之间可根据 实际需求 进行连接 ，以 便一 些剪辑操 作方式 确定子模 型 304 能够获得其他 剪辑操作 方式确定 子模型 304 输出的结 果。 其中 ，针对第一图像素材 分组 ，获取第一图像 素材分组 的剪辑策 略的实现 方式 与针对单 个的图像 素材 ，获取图像素材 的剪辑策 略的实现 方式类似 ，简明 起见 ，此处不 再赘述。 S204、按照所 述目标 剪辑操作 方式 ，将所述至少一 个图像素 材剪辑成 多媒 体资 源。 一种 可能的实 现方式 ，可基于预先设定 的规则确 定至少 一个图像 素材的剪 辑顺 序 ；并按照确定 的剪辑顺 序 (如用户添加图像 素材的 顺序 )，以及剪辑策 略包 括的目标 剪辑操作 方式 ，对上述至少 一个图像 素材进行 合成 ，获得多媒体 资源 。 上述 预先设定 的规则可 以但不 限于为 ：

( 1 )用户选择图像素 材的顺序 。

( 2 )按照图像素材 的类型的 顺序。 例如 ，照片在 图片之前 ，且图片在 视频片段 之前的顺 序 ；或者，视频片 段 在照 片之前 ，且照片 在图片之 前的顺序 。

( 3 )按照图像素材携 带的时 间信息 (如拍摄时间信 息) 和 /或地理位置信 息等 等 ，确定图像素材 的剪辑顺 序。 例如 ，按照照片 、 视频片段的拍摄 时间先后 顺序 ；或者 ，按照照片或者 视 频片 段中的地 理位置信 息对照 片或者视 频片段进 行分类 ，并结合同一地 理位置 的照 片和视频 片段的数 量 ，确定各图像 素材的剪 辑顺序 。 本实施 例提供 的方法 ，通过对至少 一个图像 素材进行 特征分 析 ，获取内容 特征 集合。其 中 ，内容特征集合包括 的每个 内容特征 用于表 示所述 图像素材在 对应特 定维度 所要表达 的内容 。接着 ，根据内容特征 集合 ，并依据特定 维度的 不同 内容特征 与不同 剪辑操作 类型包括 的不同 操作方式 之间的映 射关系 ，从而 确定 上述至少 一个图像 素材的 剪辑策 略。按照剪辑策 略包括 的各目标剪 辑操作 方式 对上述至 少一个 图像素材 进行合成 ，从而获得具 有内容连 续性的多 媒体资 源。 本公 开实施例 提供的方 法 ，依据图像素材本 身的特 征 ，有针对性地确定 出 与图 像素材所 要表达 的内容更 加匹配 的目标剪 辑操作方 式 ，从而进一步使获得 的多 媒体资源 的故事 性更强。另外 ，采用本公开实施 例提供 的方法能够 解决利 用剪 辑模板合 成多媒体 资源导 致的同质 化严重的 问题。 至少 一个图像 素材进行 剪辑时 ，可以添 加背景 音乐 （即配乐 ），使获得的 多媒 体资源更 具趣味 性 ，感染能力更强 ，也能够更好 地表达 图像素材 想要表达 的 内容。下面通过 图 4所示的 实施例详 细介绍如何 为图像 素材添加 匹配的 背景 音乐 以及其他 剪辑方式 。 图 4为本公开另 一实施例提 供的图 像处理方 法的流程 图。 参照图 4所示 ， 本实 施例的方 法包括 ：

5401、 获取至少_ 个 图像素材 。

5402、对所述至 少一个 图像素材 进行特征 分析 ，获取内容特征 集合 ：其中 ， 内容 特征集合 中包含 至少一个 特定维度 的内容 特征 ，所述内容特征用 于表示 图 像素 材在对应 特定维度 所要表达 的内容 。 本实施 例中 S401和 S402分别与图 2所示实施 例中的 S201和 S202类似 ， 可参 照图 2所示实施例 的详细描述 ，简明起 见 ，此处不再赘 述。

5403、获取 第 _目标背 景音乐的 音乐内容 特征 ：其中 ，第 _目标背景音乐 与第 二目标背 景音乐具 备关联关 系 ，第二目标背景音乐 用于与至 少一个 图像素 材合 成多媒体 资源。 _ 种可能 的实现方 式 ，第 _目标背景音乐 属于至 少_ 个候选 背景音乐 ，其 中 ，上述至少一个候选背景 音乐是根 据内容特 征集合 中第三 目标维度 的内容特 征确 定的。其 中 ，第三目标维度可以 为上述至 少一个 特定维度 的全部或 者部分 特定 维度。 示例 性地 ，假设确定至少 一个候选 背景音 乐时需要 使用图像 主题维度 、 图 像场 景维度以 及图像人 物关系 维度这三个 维度的 内容特征 。图像处理装 置通过 步骤 S402获取内 容特征集 合后 ，可以根据 所有图像 素材分 别对应的 图像主题 维度 的内容特 征、 图像场景维度 的内容特 征、以及图像 人物关 系维度的 内容特 征 ，自动在曲库中进 行匹配 ，确定适合上述 图像素材 的至少 _个候选背景 音乐。 其 中 ，曲库可以包括至少 一个音 乐 ，曲库中的音乐对应 不同音 乐维度的 音乐内 容特 征 ，这里的 “音乐维度”可以包括 但不限 于 ：音乐风格、 音乐情绪、 音乐主 题以 及音乐人 物关系 中的一个 或多个维 度。上述这些 音乐维度 分别对应 的音乐 内容 特征可 以但不限 于通过分 析音乐 的节拍、歌词 、音效等 一个或多个 音乐特 征获 得。 图像处 理装置 在曲库 中进行匹配 时 ，可将图像素材在图 像主题维 度的内容 特征 、 图像场景维度的 内容特征 、 以及图像人物关系 维度 ，与音乐对应 的各音 乐维 度的音乐 内容特征 进行匹 配 ，从而确定出与 图像素材 在主题、场 景、 人物 关系 等维度契 合度较 高的一个 或多个背 景音乐 。 可选 地 ，可以直接将契合 度最高 的背景音 乐确定为 第一目标 背景音乐 ，或 者 ，也可以将契 合度靠 前的多个 背景音乐 确定为候 选背景 音乐 ，并从候选背景 音乐 中随机选 择一个作 为第一 目标背景 音乐。 另_ 种 可能的实 现方式 ，第_ 目标背 景音乐 可以是用 户指定的 。 具体地， 图像 处理装置 可以根据 用户输 入的添加 音频的操 作 ，显示音频素 材展示界 面 ； 接着 ，图像处理装 置可以接 收用户在 音频素材 展示界 面中输入 的音乐选 择操作 （如点击某个 音乐的标 签区域 ），并将音乐选择 操作指 示的音乐 确定为 第一目 标背 景音乐。图像 处理装 置进一步 从曲库 中 ，获取该第一目标背 景音乐对 应的 音乐 内容特征 。 其中 ，关于曲库中各音乐 对应的音 乐内容特 征可参见 前文描 述 ，此处不再 赘述 。

S404、针对第 一剪辑操 作类型 ，根据第一 目标维度 的内容特 征以及第 一预 设映 射关系 ，获取第 一剪辑操作 类型对应 的目标 剪辑操作 方式。 其中 ，第一目标维度的内 容特征属 于所述 内容特征 集合。即第 一目标维 度 属于 上述至少 _个特定 维度。

S405、针对 第二剪辑 操作类型 ，根据第 二目标维度 的内容 特征、 第一目标 背景 音乐对应 的音乐 内容特征以 及第二 预设映射 关系 ，获取第二剪辑操作 类型 对应 的目标剪 辑操作方 式。 其中 ，第二目标维度的内 容特征属 于所述 内容特征 集合 ：第一目标背景 音 乐与 第二目标 背景音乐 具备关联 关系 ，第二目标背景音 乐用于与 至少一个 图像 素材 合成多媒 体资源 。 本实施 例中 ，可将剪辑操作类型划 分为两大 类 ，一种是与第二 目标背景 音 乐无 关的 ，另一种是与第二目标背 景音乐 有关的。其 中 ，第二目标背景音乐是 用于 与至少 一个图像 素材合成 多媒体资 源的音乐 。 其中 ，确定与第二目标背景 音乐有关 的剪辑操 作类型所 要使用 的目标剪 辑 操作 方式时 ，需要考虑第 二目标背 景音乐 的影响。确定 与第二 目标背景 音乐无 关的 剪辑操作 类型所要 使用的 目标剪辑 操作方式 时 ，无需考虑第二目标 背景音 乐的 影响。 需要 说明的是 ，确定与第二 目标背景 音乐有关 的剪辑操 作类型所 要使用 的 目标 剪辑操作 方式时 ，可以根据 第二目标 背景音乐 实现。这样 的情况 下 ，第一 目标 背景音乐 与第二 目标背景 音乐为同 一音乐。或 者 ，也可以利用音乐 内容特 征与 第二 目标背景 音乐的音 乐内容 特征满 足预设相 似度的 第一 目标背景 音乐 实现 。 这样的情况下 ，第一目标 背景音乐 与第二 目标背景 音乐是不 同的音 乐。 例如 ，假设图像处理 装置根据 第三 目标维度的 内容特征 从曲库 中确定 了至少一 个候 选背景音 乐 ，则可以将与图像素 材契合度 最高的候 选背景 音乐确定 为第一 目标 背景音乐 和第二 目标背景 音乐。或者 ，候选背景 音乐数量 为多个 时 ，第一 目标 背景音 乐和第 二目标背 景音乐 可以是从 多个候 选背景 音乐随 机确定 的不 同音 乐。假设图像处 理装置是 根据用 户输入的 音乐选择 操作确定 的第一 目标背 景音 乐 ，则可将第一 目标音乐确 定为第 二目标背 景音乐。 前述 S404中的“第_ 剪辑操作 类型 ’’，表示与第二目标背景 音乐无关 的剪 辑操 作类型。针对 这类剪辑 操作类型 ，图像处理 装置预先 存储相应 的第一 预设 映射 关系 ，其中 ，第一预设映射关系 包括第 一目标维度 对应的不 同内容 特征与 第一 剪辑操作 类型包括 的各剪 辑操作方 式之间 的映射关系 。 第一 目标维度 包括上述 至少一个 特定维 度中的部 分或者全 部特定 维度。 第一 剪辑操作 类型对应 的第一预 设映射关 系 ，示例性地如表 1和表 2所示 的情 况。根据第一 预设映射 关系确定 第一剪辑 操作类型 所要使 用的目标 剪辑操 作方 式的具体 实现方式 可参照 图 2所示实 施例 ，此处不再赘 述。 前述 S405中的 “第二剪辑操 作类型 ’’，表示与第二目标 背景音乐 有关的剪 辑操 作类型。针对 这类剪辑 操作类型 ，图像处理 装置预先 存储相应 的第二 预设 映射 关系 ，第二预设映射 关系包括 所述第 二目标维 度对应的 不同内容 特征、不 同的 音乐内 容特征 与第二 剪辑操作 类型包 括的各 剪辑操作 方式之 间的映 射关 系。 第二 目标维度 包括上述 至少一个 特定维 度中的部 分或者全 部特定 维度。 示例 性地 ，假设第二剪 辑操作类 型为 “动画 ’’，其中 ， “动画 ’’是图像素材在 相应 的时长内 的变化方 式 ，例如，动画可以包 括 ：轻微放大、轻微缩 小、渐隐、 向左 滑动、 向右滑动等等 。 “动画 ’’这一剪辑操作类型所要使用的 目标剪辑 操作 方式 需要考 虑第二 目标背景 音乐的 音乐情 绪、 音乐风格这 两个维度 。 下表 3 示例 性示出 了动画这 一剪辑操作 类型对 应的第二 预设映射 关系。 表 3

其中 ，通过第二预设映射 关系 ，确定第二剪 辑操作类 型（动画 ）所要使 用 的 目标剪辑操 作方式 （即目标 动画方 式），与通过第 一预设映射 关系 ，确定第 一剪 辑操作类 型所要使 用的 目标剪辑操 作方式 的实现方式 类似。 需要 说明的是 ，表 3仅是示例性 地说明 第二剪辑 操作类型 对应的第 二预设 映射 关系 ，在实际应用 中第二预 设映射关 系可能 使用更多 的维度 的内容特 征 ， 且映 射关系也 可以更 复杂。

S406、按照所 述目标 剪辑操作 方式 ，将所述至少 一个图像素 材和第 二目标 背景 音乐剪辑 成多媒体 资源。

S406 中的目标剪辑 操作方 式包括 ：第一剪辑 操作类 型对应的 目标剪辑 操 作方 式和第 二剪辑操 作类型对 应的目标 剪辑操作 方式。 一种 可能的实 现方式 ，首先 ，根据图像素材的 数量确定 第二 目标背景音 乐 的音 乐点 ，根据音乐点 将第二 目标背景 音乐划分 为多个音 频片段 。 例如，有 5 个图 像素材 ，则需要在第 二目标背 景音乐 中确定 4个音乐点 ，将第二目标 背景 音乐 划分 5个音乐片段 ，图像素材 的剪辑顺序 与音频片 段的顺 序相对应 。按照 图像 素材的剪 辑顺序与 音频片段 的顺序 之间的对 应关系 ，并利用确定的 各种目 标剪 辑操作方 式 ，将图像素材与第二 目标背景 音乐进行 合成 ，获得多媒体资源。 也就 是说 ，在进行多媒体 资源合成 时 ，各目标剪辑操作 方式在 多媒体资 源 中的 时间位置 可以根据 音乐点 确定。 本实施 例提供 的方法 ，通过对至少 一个图像 素材进 行特征分 析 ，获取内容 特征 集合 ，其中 ，内容特征集合包括 的每个 内容特征 用于表 示所述 图像素材在 一个 特定维度 所要表 达的内容 。接着 ，根据内容特 征集合 ，确定合成 多媒体 资 源要 使用的 第二 目标背景 音乐以及 与第二 目标背 景音乐相 似度较 高的第 一目 标背 景音乐的 音乐内容 特征。再依 据特定 维度的不 同内容特 征、不同 音乐内容 特征 、以及不 同剪辑操作 类型的 剪辑操作 方式之间 的映射关 系 ，从而确定上述 至少 一个图像 素材的 剪辑策略 。按照剪辑策 略包括的 各目标剪 辑操作方 式对上 述至 少 _个图像 素材以及 第二 目标背景音 乐进行合 成 ，从而获得多 媒体资源 。 本实 施例提供 的方法 ，依据图像 素材本身 的特征 ，有针对性地 确定出 与图像素 材所 要表达 的内容更 加匹配 的目标剪 辑操作方 式 ，从而进一步使获得 的多媒体 资源 的故事性 更强。且在 确定 目标剪辑操 作方式 时，考虑了合 成多媒体 资源所 使用 的第二 目标背景 音乐这一 因素 ，使确定的目标剪 辑操作方 式不仅与 上述至 少 一个图像素 材匹配 ，且与第二 目标背景 音乐匹配 ，能够使获 得的多媒 体资源 效果 更佳。 另外 ，采用本公开实 施例提供 的方法 能够解决 利用剪 辑模板合 成多媒体 资 源所 导致的 同质化严重 的问题 。 可选 地 ，图 4所示实施例的方法 可利用机 器学习技 术实现 。参照图 5所示 ， 可预 先在图像 处理装 置中部署 以下模型 ： 机器 学习模型 501 :用于获取图像 素材的 内容特征 集合的。 机器 学习模型 502 :用于执行获取第一 目标背景 音乐、第二 目标背景音 乐、 第 一目标背景 音乐的 音乐内容 特征、第二 目标背景 音乐的音 乐内容特 征、以及 确定 第二 目标背景音 乐的剪辑 操作方式 （音乐点 、 音量大小、 音效等 ）_b 剪辑 策略确定 模型 503 :用于确定各剪辑操作 类型所 要使用 的目标剪辑 操 作方 式的。 其中 ，机器学习模型 501与图 3所示实 施例中 的机器学 习模型 301类似 ， 可参 照图 3所示实施例 的详细描述 。 机器 学习模型 502可以 包括背 景音乐获 取子模型 502a、 音乐剪辑操作方 式确 定子模型 502b。 可选 地 ，背景音乐获取 子模型 502a能够从机 器学习模 型 501输出 的内容 特征 集合 中提取所 需特定 维度的 内容特征 ，并根据提取 的这些 维度的 内容特 征 ，从曲库中确 定至少 一个候选背 景音乐 ，并获取 目标背景音 乐在音乐 维度的 音乐 内容特征 。 可选 地 ，背景音乐获取 子模型 502a还可以根 据用户 输入的音 乐选择操作 从 曲库中确定 第二 目标背景音 乐 ，并获取第二 目标背景 音乐的音 乐内容特 征。 这样情 况 ，第二目标背 景音乐与 第一 目标背景音 乐为同一 音乐。 音乐 剪辑操作 方式确定 子模型 502b能够根据 音乐节 拍、 图像素材的数 量 等信 息 ，确定音乐剪 辑操作方 式 ，例如 ，音乐点、 音量大小、 音效等等 。 剪辑策 略确定 模型 503，用于从机器学习模 型 502获取第 _目标背 景音乐 在音 乐维度的 音乐内容 特征、以及从 机器学 习模型 501获取图像素材 的内容 特 征集 合。剪辑策略确 定模型 503中包括各 个剪辑操 作类型 分别对应 的剪辑操作 方式 确定子模 型 503a。 其中 ，_些剪辑操作 类型与 第二目标 背景音乐 相关 ，如图 5中_ 种剪辑 操 作方 式确定 子模型 503a。 这类剪辑操作类型 对应的剪 辑操作方 式确定 子模型 503a 用于从 第一 目标背景音 乐对应 的音乐内 容特征和 图像素材 的内容 特征集 合 中提取所 需特定维 度的内容 特征 ，并根据提取的 内容特征 输出该剪 辑操作类 型所 要使用 的目标剪 辑操作方 式。 另_ 些 剪辑操作 类型与第 二目标背 景音乐 无关 ，如图 5中另 _种剪辑操作 方式 确定 子模型 503a。 这类剪辑操作 类型对 应的剪 辑操作 方式确 定子 模型 503a 用于从 图像素 材的内容 特征集 合中提取 所需特 定维度 的标签 ，并根据提 取的 内容特征 输出该剪 辑操作类 型所要 使用的 目标剪辑操 作方式 。 剪辑策 略确定 模型 503 将确定各剪 辑操作类 型的 目标剪辑操作 方式输 入 至合 成模块 504，机器学习模型 502将确定的 第二目标 背景音乐 以及第 二目标 背景 音乐的音 乐剪辑操 作方式 输入至合 成模块 504 ,以使合成模块 504根据剪 辑策 略包括的 各目标剪 辑操作 方式和第 二目标背 景音乐 的音乐剪 辑操作方 式 ， 将上 述至少 一个图像 素材和第 二目标背 景音乐合 成为多 媒体资源 。 需要 说明的是 ，图 5所示的 图像处理 装置的架 构仅是 一种示例 ，在实际应 用 中 ，由于剪辑操作类型 的种类不 同、各剪辑 操作类型 包括的 剪辑操作 方式的 不同 、 图像素材的不 同等等各 种因素 ，图像处理 装置的 架构可能 不同。 示例 性地 ，本公开实施 例还提供 一种图像 处理装 置。 图 6为本公 开一实施 例提供 的图像处理 装置的 结构示意 图。参照图 6所示 ， 本实 施例提供 的图像处 理装置 600 ,包括： 获取模 块 601 ,用于获取至 少一个 图像素材 。 特征 分析模块 602 ,用于对所述至少 一个图 像素材进 行特征 分析 ，获取内 容特 征集合 ；其中 ，所述内容特征集合中 包含至少 一个维度 的内容 特征 ，所述 内容 特征用 于表示所 述图像素 材在对应 维度所要 表达的 内容。 剪辑策 略确定 模块 603 ,用于根据所述内容 特征集合 ，获取所 述至少 一个 图像 素材的剪 辑策略 ：所述剪辑策略 包括一个 或多个 剪辑操作 类型分别 对应的 目标 剪辑操作 方式。 合成 模块 604 ,用于按照所述目标 剪辑操作 方式 ，将所述至少 _个图像素 材剪 辑成多媒 体资源 。 在一 些可能的 设计中 ，剪辑策略确定模块 603 ,具体用于针对 第一剪辑 操 作类 型 ，根据第一目标维 度的内容 特征以 及第一预 设映射关 系 ，获取所述第一 剪辑 操作类型 对应的 目标剪辑操 作方式 ；其中 ，所述第一目标维度的内 容特征 属于 所述内容 特征集 合 ：其中 ，第一预设映射关系包 括第一 目标维度对 应的不 同 内容特征与 第一剪 辑操作类 型包括 的不同操作 方式之 间的映射 关系。 在_ 些 可能的设 计中 ，剪辑策略确定模块 603 ,具体用于获取第_ 目标背 景音 乐对应的 音乐内容 特征 ；其中 ，所述第一目标背景 音乐与 第二目标 背景音 乐具 备关联关系 ，所述第二 目标背景音 乐用于 与所述至 少一个 图像素材 一起剪 辑成 多媒体资 源 ：针对第二剪辑操 作类型 ，根据所述 内容特征 集合包括 的第二 目标 维度的 内容特征 、所述第一目标 背景音乐 对应的音 乐内容特 征以及 第二预 设映 射关系 ，获取所述第 二剪辑操 作类型 对应的 目标剪辑操 作方式 ；其中 ，第 二预 设映射关 系包括第 二目标维 度对应 的不同内 容特征、不同 的音乐内 容特征 与第 二剪辑操 作类型包 括的不 同操作方 式之间 的映射关 系。 在_ 些 可能的设 计中 ，第 _目标背景音乐属于至 少_ 个候选 背景音乐 ，所 述至 少一个 候选背 景音乐是 根据所 述内容 特征集 合包括 的第三 目标维度 的内 容特 征确定 的：或者 ，所述第一目标 背景音 乐是根据 用户输入 的音乐选 择操作 确定 的。 在一 些可能的 设计中 ，合成模块 604 ,具体用于按照所 述目标 剪辑操作 方 式 ，将所述至 少一个 图像素材 和第二 目标背景 音乐一起 剪辑成多 媒体资源 ； 其中 ，所述第二目标背景音乐 的音乐 内容特征 与所述 第一目标 背景音乐 的 音乐 内容特征 满足预设 相似度 。 在_ 些 可能的设 计中 ，特征分析模块 602 ,具体用于对所 述至少 _个图像 素材 包括的 第一图像 素材进行 特征分析 ，得到第一图 像素材对 应的第 一内容特 征集 合。 相应 地 ，剪辑策略确定 模块 603 ,具体用于针对至少 一个图像 素材包括 的 第 一图像素材 ，根据第 一图像素材 对应的 第一内容 特征集合 ，获取所述第一图 像素 材的剪 辑策略 ；其中 ，所述第一图像素材的剪辑 策略用 于指示针对 所述第 一图 像素材执 行的 目标剪辑操作 方式。 在一 些可能 的设计中 ，特征分析模块 602 ,具体用于对所述至 少两个 图像 素材 进行分组 ，获得至少 _个图像 素材分组 ，其中 ，所述至少 _个图像素材 分 组包 括第一 图像素材 分组 ，所述第一图像素材 分组包括 两个或 两个以 上的图像 素材 ； 对所述 第一图 像素材分 组进行特 征分析 ，得到所述第 一图像素 材分组对 应 的第 二内容特 征集合 。 相应 地 ，剪辑策略确定 模块 603 ,具体用于针对所述至 少一个 图像素材 分 组包 括的第 一图像素材 分组 ，根据所述第一 图像素材 分组对应 的第二 内容特征 集合 ，获取所述 第一图像 素材分组 的剪辑 策略 ：所述第一图像 素材分组 的剪辑 策 略用于指 示针对所 述第 一图像素 材分组 包括的 每个图像 素材执 行的 目标剪 辑操 作方式。 在一 些可能 的设计中 ，所述特征分析包括 ：显著性 特征分析 、 图像场景特 征分 析、 人脸特征分析 、 图像主题特征分析 、 图像情绪特征分 析中的 一种或多 种。 在_ 些 可能的设 计中 ，所述至少 _个特定维度 包括 ：图像场景维度 、 图像 主题 维度、 图像情绪维度 、 图像人物关系维 度、 图像显著性特 征维度、 图像属 性维 度中的 一个或多 个。 本实 施例提 供的图像 处理装 置可以 用于执 行前述任 一方 法实施例 的技术 方案 ，其实现原 理以及技 术效果 类似 ，可参照前述 方法实施 例的描述 ，简明起 见 ，此处不再 赘述。 图 7为本公开一 实施例提 供的电子 设备的结 构示意 图。参照图 7所示 ，本 实施 例提供 的电子设备 700包括 ：存储器 701和处理器 702。 其 中 ，存储器 701 可以是独立 的物理单 元 ，与处理器 702可以通 过总线 703 连接。 存储器 701、 处理器 702也可以集成在 _起 ，通过硬 件实现等 。 存储 器 701用于存 储程序指 令 ，处理器 702调用该程 序指令 ，执行以上任

^_ 方法 实施例 的技术方 案。 可选 地 ，当上述实施例的 方法中 的部分或 全部通过 软件实现 时 ，上述电子 设备 700也可以只 包括处理 器 702。用于存储程 序的存 储器 701位于电子设备 700 之外 ，处理器 702通过电路 /电线与存储器连接 ，用于读取并执 行存储 器中 存储 的程序 。 处理 器 702可以是 中央处理 器 ( central processing unit , CPU ) , 网络处理 器 ( network processor , NP )或者 CPU和 NP的组合。 处理 器 702还可以 进一步包 括硬件芯 片。上述硬件 芯片可 以是专用 集成电 路｛ application-specific integrated circuit ASIC )，可编程逻辑器件 ( programmable logic device ,PLD )或其组合。上述 PLD可以是复 杂可编程 逻辑器件 ( complex programmable logic device ,CPLD )，现场可编程逻辑门阵列 ( field-programmable gate array , FPGA ) ,通用阵列逻辑 ( generic array logic , GAL )或其任意组合。 存储 器 701可以包 括易失性 存储器( volatile memory )，例如随机存取存储 器 ( random-access memory , RAM ) : 存储器也可以包 括非 易失性 存储 器 ( non-volatile memory )，例如快闪存储器 ( flash memory )，硬盘 ( hard disk drive ,

HDD )或 固态硬盘 ( solid-state drive , SSD ) ;存储器还可以包括上述种类的存 储器 的组合。 本公 开实施 例还提供 一种可 读存储 介质 ，可读存储介质中包 括计算 机程 序 ，所述计算机 程序在被 电子设备 的至少 一个处理 器执行 时，以实现以 上任一 方法 实施例 的技术方 案。 本公 开实施例 还提供 一种程序产 品 ，所述程序产品包括计算 机程序 ，所述 计算 机程序存 储在可 读存储介质 中 ，所述电子设备的至少一个处 理器可 以从所 述可 读存储介 质中读取 所述计算 机程序 ，所述至少一个 处理器执 行所述 计算机 程序 使得所述 电子设备 实现如上 任一方 法实施例 的技术方 案。 需要 说明的是 ，在本文 中 ，诸如“第一”和“第二”等之类的关 系术语仅 仅用 来将 一个实体 或者操作 与另一 个实体或 操作区 分开来 ，而不一定要求 或者暗示 这些 实体或操 作之间存 在任何这 种实际 的关系或 者顺序。 而且，术语“包括”、 “包含 ”或者其任何 其他变体 意在涵 盖非排他 性的包 含 ，从而使得包括一 系列要 素的 过程、 方法、 物品或者设备不 仅包括那 些要素 ，而且还包 括没有 明确列出 的其 他要素 ，或者是 还包括为 这种过程 、 方法、 物品或者设备所 固有的要 素。 在没 有更多 限制的情 况下 ，由语句 “包括 _个 ...... ’’限定的要素，并不排除在包 括所 述要素 的过程、 方法、 物品或者设备中还存 在另外 的相同要 素。 以上 所述仅是 本公开的 具体实施 方式 ，使本领域技术人 员能够理 解或实现 本公 开。 对这些实施例 的多种修 改对本领 域的技 术人员来 说将是显 而易见的 ， 本文 中所定义 的一般 原理可以 在不脱离 本公开 的精神或 范围的情 况下 ，在其它 实施 例中实现 。 因此，本公开将不 会被限制 于本文所 述的这 些实施例 ，而是要 符合 与本文所 公开的 原理和新 颖特点相 一致的 最宽的范 围。

Claims

权 利 要 求

1、 _种图像 处理方 法 ，其特征在 于 ，包括 ： 获取 至少 一个图 像素材 ； 对所 述至 少一个 图像 素材进 行特征 分析 ，获取 内容特 征集合 ；其中 ， 所述 内容 特征集 合中包 含至 少一个 特定 维度的 内容特 征 ，所述内 容特征 用 于表 示所述 图像 素材在 对应特 定维度 所要表 达的 内容 ； 根 据所述 内容特 征集 合 ，获取所述 至少 一个图 像素材 的剪 辑策略 ；所 述剪 辑策 略包括 一个或 多个剪 辑操作 类型分 别对应 的目标 剪辑操 作方 式 ； 按 照所述 目标剪 辑操作 方式 ，将所述至 少一个 图像素 材剪 辑成多 媒体 资源 。

2、 根据权利 要求 1所述的 方法 ，其特征 在于 ，所述根据所述 内容特 征 集合 ，获取所述 至少一 个图像 素材的 剪辑策 略 ，包括 ： 针对 第一 剪辑操 作类型 ，根据第一 目标维 度的 内容特 征以及 第一预 设 映射 关系 ，获取所述第 一剪 辑操作 类型对 应的 目标剪辑 操作 方式 ；其中 ， 所述 第一 目标维度 的内 容特征 属于所 述内容 特征 集合 ； 其 中 ，所述第一预设 映射关 系包括 所述第 一 目标维度 对应的 不同 内容 特征 与所述 第一 剪辑操 作类型 包括的 不同操 作方 式之间 的映射 关系。

3、 根据权利 要求 1所述的 方法 ，其特征 在于 ，所述根据所述 内容特 征 集合 ，获取所述 至少一 个图像 素材的 剪辑策 略 ，包括 ： 获取 第一 目标背 景音乐 对应 的音乐 内容特 征 ；其中 ，所述第一目标 背 景音 乐与 第二 目标背景 音乐具 备关联 关系 ，所述第二 目标背 景音乐 用于与 所述 至少 一个图 像素材 一起剪 辑成多 媒体 资源 ； 针对 第二 剪辑操 作类型 ，根据所述 内容特 征集 合包括 的第 二目标 维度 的 内容特 征、 所述第 一目标 背景音 乐对应 的音乐 内容 特征以 及第 二预设 映 射关 系 ，获取所述 第二 剪辑操 作类型 对应的 目标剪 辑操作 方式 ； 其 中 ，所述第二预设 映射关 系包括 所述第 二 目标维度 对应的 不同 内容 特征 、 不同的音 乐内容 特征 与所述 第二剪 辑操 作类型 包括的 不同 操作方 式 之 间的映射 关系 。

4、 根据权利 要求 3所述的 方法 ，其特征 在于 ，所述第一目标 背景音 乐 属 于至少 一个候 选背景 音乐 ，所述 至少 一个候 选背景 音乐是 根据所 述内 容 特征 集合 包括的 第三 目标维 度的内 容特征 确定 的 ；或者，所述第 一目标 背 景音 乐是根 据用 户输入 的音乐 选择操 作确定 的。

5、 根据权利 要求 3所述的 方法 ，其特征 在于 ，所述按照所述 目标剪 辑 操作 方式 ，将所 述至少 一个 图像素材 剪辑成 多媒 体资源 ，包括 ： 按 照所述 目标剪 辑操作 方式 ，将所述至 少一个 图像素 材和 第二 目标背 景音 乐一起 剪辑成 多媒 体资源 ； 其 中 ，所述第二目标 背景音 乐的音 乐内容 特征 与所述 第一 目标背 景音 乐的 音乐 内容特征 满足 预设相似 度。

6、 根据权利 要求 1所述的 方法 ，其特征 在于 ，所述对所述至 少一个 图 像素 材进行 特征 分析 ，获取内 容特征 集合 ，包括 ： 对所 述至 少一个 图像 素材包 括的第 一图像 素材 进行特 征分析 ，得到所 述第 一图像 素材 对应的 第一内 容特征 集合 ； 所述 根据 所述内 容特征 集合 ，获取所述 至少 一个图像 素材 的剪辑 策略 ， 包括 ： 针对 所述 至少一 个图像 素材 包括的 第一 图像素 材 ，根据所述 第一 图像 素材 对应 的第一 内容特 征集合 ，获取所 述第 一图像 素材的 剪辑策 略 ：其中 ， 所述 第一 图像素 材的剪 辑策 略用于 指示针 对所述 第一 图像素 材执行 的目标 剪辑 操作方 式。

7、 根据权利 要求 1所述的 方法 ，其特征 在于 ，所述对所述至 少一个 图 像素 材进行 特征 分析 ，获取内 容特征 集合 ，包括 ： 对所 述至 少两个 图像 素材进 行分组 ，获得至少 一个图 像素材 分组 ， 其 中 ，所述至少_ 个 图像 素材分 组包括 第_ 图像 素材 分组 ，所述第 _图像 素 材分 组包括 两个 或两个 以上的 图像素 材 ； 对所 述第 一图像 素材 分组分 别进行 特征分 析 ，得到所 述第 一图像 素材 分组 分对应 的第 二内容 特征集 合 ； 所述 根据 所述内 容特征 集合 ，获取所述 至少 一个图像 素材 的剪辑 策略 ， 包括 ： 针对 所述 至少一 个图像 素材 分组包 括的第 一图像 素材 分组 ，根据所述 第 一图像 素材分 组对应 的第 二内容 特征集 合 ，获取所述 第一 图像素 材分 组 的剪 辑策 略 ；所述第 一图像 素材分 组的剪 辑策 略用于 指示针 对所述 第一 图 像素 材分 组包括 的每个 图像素 材执行 的目标 剪辑操 作方 式。

8、 根据权利 要求 1至 7任一 项所述 的方法 ，其特征在于 ，所述特征分 析包 括 ： 显著 性特 征分析 、 图像场景 特征分 析、 人脸特 征分析 、 图像主题特 征 分析 、 图像情绪特 征分 析中的 一种或 多种。

9、 根据权利 要求 1至 7任_ 项 所述的 方法 ，其特征 在于 ，所述至少_ 个特 定维度 包括 ： 图像 场景 维度、 图像主题维度 、 图像情绪 维度、 图像人物关系 维度 、 图像 显著性 特征 维度、 图像属性维度 中的一 个或多 个。

10、 _种图像 处理装 置 ，其特征在 于 ，包括： 获取 模块 ，用于 获取至 少一个 图像素 材 ； 特 征分析 模块 ，用于对 所述 至少一 个图像 素材 进行特 征分析 ，获取内 容特 征集 合 ；其中 ，所述内容特征 集合 中包含 至少 一个维度 的内 容特征 ， 所述 内容 特征用 于表示 所述 图像素材 在对应 维度所 要表 达的内 容 ； 剪 辑策略 确定模 块 ，用于根 据所述 内容 特征集 合 ，获取所述 至少 一个 图像 素材 的剪辑 策略 ；所述 剪辑策 略包括 一个 或多个 剪辑操 作类型 分别对 应的 目标剪 辑操作 方式 ； 合 成模块 ，用于 按照所 述 目标剪辑 操作方 式 ，将所述 至少 一个图 像素 材剪 辑成 多媒体 资源。

11、 一种电子设备 ，其特 征在 于 ，包括：存储器 、 处理器以及 计算机 程序 ； 所述 存储 器被配 置为存 储所述 计算机 程序 ； 所述 处理 器被配 置为执 行所述 计算机 程序 ，以实现 如权利 要求 1 至 9 任 一项所述 的图像 处理 方法。

12、 一种可读存储 介质 ，其特征在于 ，包括： 计算机程序 ； 所 述计算 机程序 被电 子设备 的至少 一个处 理器执 行时 ，以实现如权 利 要求 1至 9任_ 项所述 的图像 处理方 法。

13、 一种程序产品 ，其特征在于 ，所述程序产品包 括计算 机程序 ，所述 计算 机程序存 储在可读 存储介质 中 ，电子设备的至少一个处理器 从所述 可读存 储介质 中读取 所述计算 机程序 ，所述至少一个 处理器执 行所述 计算机程 序使得 所述 电子设备 实现如权 利要求 1至 9任一项所 述的图 像处理 方法。