WO2022093111A1 - 基于用户交互的音乐播放方法、装置、设备及存储介质 - Google Patents

Abstract

一种基于用户交互的音乐播放方法、装置、设备及存储介质，涉及音乐视频技术领域。该方法包括：通过视频捕捉装置采集目标视频；当所述目标视频中识别到目标对象呈现目标动作，确定所述目标动作对应的音频处理方式；按照所述音频处理方式播放音乐。通过视频捕捉装置采集目标视频，当识别到目标视频中的目标对象产生目标动作时，基于该目标动作确定对应的音频处理方式，并根据该音频处理方式播放音乐，用户可以通过视频根据自己的操作随心所欲的创造个性化音乐，音乐创作不受拘束，同时提升音乐创作的趣味，提升用户体验。

Description

基于用 户交互的 音乐播放方 法、 装置、 设备及存储介质 本申请 要求于 2020年 10月 27日提交的中国专利 申请第 202011163846.9 的优 先权， 该中国专利 申请的全文 通过引用 的方式结合 于此以作 为本申请 的 一部 分。 技术领 域 本公 开涉及一种 基于用户 交互的音 乐播放方 法、装置、设备及存 储介质。 背景技 术 目前 ， 多媒体交互平台 已经成为人 们生成中 的一个重要 的组成部 分， 用 户可 以在这些 平台上进行 视频录制 ， 可以根据不同的 音乐创作不 同的视频 内 容 。 但是 ， 已知的这些平台上 ， 用户在进行视频 录制时， 只能够根据 用户选 择的 音乐进行视 频内容的 创作， 对于所有用户 而言， 大家只能依据系统提 供 的 、 自己从本地选择或者 网上下载 的音乐进 行视频的创 作， 不能够满足音 乐 爱好 者想要根据 自己的 喜好随意 编辑音乐 ， 创造出属于自己的 个性化音 乐的 需求 。 由此 可见， 用户在通过多媒 体交互 平台选择音 乐进行创作 时， 选择的音 乐都 只能是 已知的， 导致用户创作 音乐的个 性化不够 ， 用户体验不佳。 发明 内容 本公 开的目的 旨在至少 能解决上述 的技术缺 陷之一 ， 特别是用户在通过 多媒 体交互平 台选择音 乐进行创作 时， 选择的音乐都只 能是已知 的， 导致用 户创作 音乐的个 性化不够 ， 用户体验不佳的技 术缺陷 。 第一 方面， 提供了一种基 于用户交 互的音 乐播放方法 ， 该方法包括： 通过视 频捕捉装 置采集 目标视频； 当所 述目标视频 中识别到 目标对象呈 现目标动作 ， 确定所述目标动作 对 应的 音频处理方 式； 按照 所述音频处 理方式播放 音乐。 第二 方面， 提供了一种基 于用户操 作的音 乐播放装置 ， 该装置包括： 目标视 频采集模 块， 用于通过视频捕捉 装置采 集目标视频 ； 目标动 作识别模 块， 用于当所述 目标视频中识别 到目标对 象呈现 目标动 作 ， 确定所述目标动作对 应的音频 处理方式 ； 音乐播 放模块 ， 用于按照所述音频 处理方式播 放音乐 。 第三 方面， 提供了一种 电子设备， 该电子设备 包括： 一个或 多个处理 器； 存储器 ； 一个或 多个应用 程序， 其中所述一 个或多个 应用程序被 存储在 所述存储 器 中并被配置 为由所述 一个或多 个处理器执 行， 所述一个或多 个程序配 置用 于： 执行上述的基于用 户交互的音 乐播放方 法。 第四 方面， 提供了一种存 储介质， 所述存储介质存储有 至少一条 指令、 至少 一段程序 、 代码集或指令集 ， 所述至少一条指令 、 所述至少一段程 序、 所述 代码集或指 令集由 所述处理 器加载并执 行以实现上 述的基 于用户交互 的 音 乐播放方法 。 本公开 实施例通 过视频捕捉 装置采集 目标视频 ， 当识别到目标视频 中的 目标 对象产生 目标动作时 ， 基于该目标动作确 定对应的音 频处理方 式， 并根 据该 音频处理方 式播放音 乐， 用户可以通过视 频根据 自己的操作 随心所欲 的 创造 个性化音 乐， 音乐创作不受拘 束， 同时提升音乐创 作的趣味 ， 提升用户 体验 。 附图说 明 为了更 清楚地说 明本公开 实施例中 的技术方案 ， 下面将对本公开 实施例 描述 中所需要 使用的附 图作简单地 介绍。 图 1为本公开实施例 提供的一 种基于用 户交互的 音乐播放方 法的流程 示 意 图； 图 2为本公开实施例 提供的一 种音乐素 材标识显示 示意图； 图 3为本公开实施例 提供的一 种音乐素 材标识选择 方法的流程 示意图 ； 图 4为本公开实施例 提供的一 种音乐素 材选择选项 示意图； 图 5为本公开实施例 提供的一 种交互操 作获取示 意图； 图 6为本公开实施例 提供的一 种基于用 户交互的 音乐播放装 置的结构 示 意 图； 图 7为本公开实施例 提供的一 种设备的 结构示意 图。 结合 附图并参考 以下具体 实施方式 ，本公开各实施例 的上述和其 他特征 、 优点 及方面将 变得更加 明显。 贯穿附图中， 相同或相似的附图标 记表示相 同 或相 似的元素 。应当理解附 图是示意性 的，原件和元 素不一 定按照比例 绘制。 具体 实施方式 下面将 参照附 图更详细地 描述本公 开的实施例 。 虽然附图中显示 了本公 开的 某些实施 例， 然而应当理解 的是， 本公开可以通 过各种形 式来实现 ， 而 且不 应该被解释 为限于这 里阐述的 实施例， 相反提供这 些实施例 是为了更加 透彻 和完整地 理解本公 开。 应当理解的是 ， 本公开的附图及实施 例仅用 于示 例性 作用 , 并非用于限制 本公开的保 护范围 。 应当理 解， 本公开的方法 实施方式 中记载的各 个步骤可 以按照不 同的顺 序执 行， 和/或并行执行。 此外， 方法实施方式可以 包括附加 的步骤和 /或省 略执 行示出的 步骤。 本公开的范 围在此方面 不受限制 。 本文使 用的术语 “包括” 及其变形 是开放性 包括， 即 “包括但不限于” 。 术语 “基于” 是 “至少部分地基 于” 。 术语 “一个实施例” 表示 “至少一个 实施 例” ； 术语 “另一实施例” 表示 “至少一个另外的 实施例” ； 术语 “一 些 实施例” 表示 “至少一些实施例” 。 其他术语的相关定义将 在下文描 述中 给 出。 需要 注意， 本公开中提及 的 “第一” 、 “第二” 等概念仅用于对 装置、 模块 或单元进行 区分， 并非用于 限定这些装 置、 模块或单元一 定为不同 的装 置 、 模块或单元， 也并非用于限 定这些装置 、 模块或单元所执行 的功能 的顺 序或 者相互依 存关系。 需要 注意， 本公开中提及 的 “一个” 、 “多个” 的修饰是示意性 而非限 制性 的， 本领域技术人 员应当理解 ， 除非在上下文另 有明确指 出， 否则应该 理解 为 “一个或多个” 。 本公 开实施方式 中的多个 装置之 间所交互的 消息或者信 息的名 称仅用于 说明 性的目的 ， 而并不是用于对这 些消息或 信息的 范围进行限 制。 本公 开提供的基 于用户交 互的音 乐播放方法 、装置、电设备和存 储介质， 旨在 解决已知 技术的如 上技术问题 。 下面 以具体地 实施例对本 公开的技 术方案以及 本公开 的技术方案 如何解 决上 述技术问题 进行详细说 明。 下面这几个具 体的实施 例可以相 互结合， 对 于相 同或相似 的概念或 过程可能 在某些实施 例中不再 赘述。下面将结合 附图， 对本 公开的实施 例进行描 述。 本公 开实施例 中提供了一 种基于用 户交互的 音乐播放方 法，如图 1所示， 该方 法包括： 步骤 S101 , 通过视频捕捉装置采集目标 视频； 步骤 S102, 当所述目标视频中识 别到目标对 象呈现 目标动作， 确定所述 目标 动作对应 的音频处理 方式； 步骤 S103, 按照所述音频处理 方式播放 音乐。 本公 开实施例提 供的基于 用户交互 的音乐播放 方法应用 于终端设 备， 可 以是 该终端设备 中的一个 APP（ Application,应用程序），也可以是某个 APP 中的 一个功能 ； 该用户终端可以 配置有视频 捕捉装置 ， 可选的， 可以是前置 摄像 头，用户可以通过该 终端设备触 发该音 乐播放方法 的音乐播放 触发操作 ， 该终 端设备基于 该音乐播放 触发操作 通过视频 捕捉装置捕 捉目标视 频， 当该 目标 视频中识别 到目标对 象呈现 目标动作时， 根据该 目标动作确定 对应的音 频处 理方式， 并按照该音频处理方 式播放音 乐， 用户可以根据 自己的操作 随 心所 欲的创造 个性化音 乐， 音乐创作不受拘 束， 同时提升音 乐创作的趣味 ， 提升 用户体验 。 在本公 开实施例 中， 音乐播放触发操 作是指 用户打开基 于本公开 提供的 实现基 于用户 交互的音 乐播放方法 的 APP 的操作 ， 或者开启该 APP 中的基 于该 方法实现 的某项功 能的操作 ， 其中， 该功能能够实现本公开 提供的基 于 用户 操作的音 乐播放方 法。 在本公开实施例 中， 目标对象可以是 目标视频 中 人物 身体的某 个部位 ， 如手、 脚、 嘴巴等， 目标动作可以是手、 脚的运动或 者嘴 巴的张开 闭合等。 在本公开 实施例中， 可以根据目标对象呈 现的目标 动 作确 定对应的 音频处理方 式， 并按照该音频 处理方式播 放音乐 。 对于本 公开实施 例， 为方便说明， 以一个具体实施例为 例， 可以将本公 开实施 例所提供 的该基 于用户交 互的音乐播 放方法 实现为某 APP 中的一项 音 乐编辑功能 ， 用户的音乐生成触 发操作可 以为打开 该 APP 中该功能的 操 作 ， 如点击该 APP界面的该 功能对应 的虚拟按钮 ， 或者通过语音或者手 势等 操作 开启该功 能， 终端设备响应于 该音乐生成 触发操作 ， 通过视频捕捉装置 采集 目标视频 ， 可选的可以通过终端 设备的显 示界面显 示该目标视 频， 并对 目标视 频中的 内容进行识 别。 作为本公开一个 实施例， 当识别到目标视频中 存在 目标对象 ， 且目标对象呈现 目标动作时 ， 确定该目标动作对应 的音频处 理方 式， 可选的， 目标对象可以是 目标视频 中人物身体 的某个部 位， 如手、 脚 、 嘴巴等， 目标动作可以是手 、 脚的运动或者嘴 巴的张开闭合 等。 作为本 公开 一个实施例 ， 目标对象呈现 目标动作可 以是目标视 频中人物 的手在视频 中触 碰播放界 面的某个 部位， 可选的， 在确定该 目标动作对应 的音频处理 方 式时 ， 可以基于该目标对 应的部位 ， 确定与该部位关联 的音频处 理方式， 可 选的 ， 不同的部位对应 的音频处理 方式不同 ， 在确定完对应的音 频处理方 式 之后 ， 按照该音频处理方 式播放音 乐。 本公开 实施例通 过视频捕捉 装置捕捉 目标视频 ， 当该目标视频中识别 到 目标 对象呈现 目标动作时 ， 根据该目标动作确 定对应的音 频处理方 式， 并按 照该 音频处理方 式播放音 乐， 用户可以根据 自己的操作 随心所欲 的创造个 性 化音 乐， 音乐创作不受拘 束， 同时提升音 乐创作的趣味 ， 提升用户体验。 本公开 实施例提 供了一种 可能的实现 方式， 在该实现方 式中， 所述音频 处理 方式具体 为：在所述音乐中添 加所述 目标动作对应 的目标音 轨进行播放 。 在本公 开实施例 中， 按照音轨处理方 式播放音 乐时， 可以是在音 乐中添 加该 目标动作对 应的目标 音轨进行播 放。 对于本 公开实施 例， 不同的目标动作 可以对应 不同的音 频处理方 式， 不 同的 音频处理 方式对应播 放不同的 音轨， 可选的， 按照音频处理 方式播放 音 乐时 ， 可以是在音乐中添 加该音频 处理方式对 应的音轨 进行播放 。 作为本公 开一 个实施例 ， 音轨可以是预设的 一段音乐 ， 也可以是预设的一 种乐器演奏 的音 乐， 可选的， 为预设音乐中某个 乐器演奏 的段落 ， 在基于目标动作确 定 对应 的音频处理 方式时， 可以是基于目标动作 确定对应 的音轨， 并在音乐中 添加 该音轨进行 播放。 作为本公开 一个实施例 ， 基于目标动作确 定的音轨 为 钢琴 演奏的一段 音乐， 则按照音频处理方式播 放音乐 时， 可以在音乐中添 加 该段 钢琴演奏 的音乐进行 播放。 本公开 实施例基 于目标动作 确定对应 的音频处 理方式， 并确定对应的音 轨， 在按照音频处理方式 播放音 乐时， 将对应的音轨加 入音乐进行 播放， 用 户可 以通过动作 在音乐 中加入不 同的音轨， 音乐可创作性强。 本公开 实施例提 供了一种 可能的实现 方式， 在该实现方 式中， 所述目标 动作 具体为： 在所述 目标视频的播放 界面上 所述目标对 象对所述 播放界面 上 的 目标位置的触 碰动作 ； 所述目标位置与所 述目标音 轨是相对应 的。 在本公 开实施例 中， 目标视频会通过 播放界面 进行展示 ， 目标对象为目 标视频 中人物 的手， 对应的， 目标动作为手触 碰播放界 面中的某 个位置 ， 可 选的 ， 目标动作触碰不 同的位置 ， 对应的目标音轨不 同。 对于本 公开实施 例， 目标音轨与播放 界面的 目标位置对应 ， 可选的， 当 目标 动作为触碰 到播放界 面的某个 位置时 ， 确定该目标动作对应 的音频处理 方式 为播放该位 置对应的 音轨。 作为本公开一 个实施例 ， 播放界面的左上 角 对应 的音轨为 吉他演奏的 一段音 乐， 则当识别到目标动作 为触碰到 播放界 面 的左 上角时， 在音乐中加 入该段 吉他演奏的 音乐进行播 放。 本公开 实施例通 过将音轨 与播放界 面的位置对 应， 通过视频中 目标对象 对播放 界面的触 碰， 触发音轨播放 ， 进行音乐创作。 本公开 实施例提 供了一种 可能的实现 方式， 在该实现方 式中， 所述目标 音轨 用于承载 目标音乐素 材的音频 ； 在所述播放界面 上的目标位 置标注有 所 述 目标音乐素材 的标识 。 在本公 开实施例 中， 播放界面， 如图 2所示， 在播放界 面 201中显示有 至少 一种音乐素 材标识 202, 其中， 一种音乐素材标识 代表着一 种乐器， 如 钢琴 、 架子鼓、 口琴等， 基于目标视频中 目标对象的 目标动作确 定其对应 的 音 乐标识， 在本公开实施 例中， 播放界面中 显示的音 乐素材标识 可以是预先 配置 好的， 该预配置好 的音乐素材 标识可以 是固定的 一种或多种 音乐素材 的 标识 ， 也可以是才艮据不同音乐或者不同音 乐类型 自动配置的 一种或多种 音乐 素材 的标识， 如用户可 以选择其想要 编辑的音 乐或者音 乐类型， 终端设备在 介绍 的用户的选 择操作后 ， 根据其选择的音 乐或者音 乐类型， 显示对应的至 少一 种音乐素材 标识。 可选的， 播放的音乐可 以是用户 提前选择 一首歌曲 ， 或者 APP提供 的预配置 的歌曲，当目标 动作对应 的事播放界 面中钢琴 的标识 时， 则将该音乐 中钢琴的音轨 加入音 乐并播放 ， 可选的， 用户可以选择音乐， 基于 用户的音 乐选择操作 ， 显示音乐选择界 面， 该音乐选择界面 中显示有待 选音 乐， 用户可以选择该待 选音乐 中的至少一 首， 则音乐素材标识 可以包括 用户 选择的音 乐包含的音 轨对应的音 乐素材 的标识， 并且， 该音乐素材标识 中还 可以包含 其它的音 乐素材的标 识。 可选的， 用户可以同时点 击多个音 乐 素材 标识， 这时会输出多 个音乐素材 对应的音 轨。 本公 开实施例通 过在播放 界面的 目标位置显示 音乐素材 的标识， 用户可 以根 据音乐需 求， 选择不同音乐素 材对应的 音轨对音 乐进行处理 。 本公 开实施例提 供了一种 可能的实现 方式， 在该实现方 式中， 所述音频 处理 方式具体 为： 按照所述目标动 作对应的 目标音效对 所述音 乐处理后进行 播放 ， 所述目标动作具体 为： 与预设姿势相 匹配的动作 ； 所述预设姿势与 所 述 目标音效是相 对应的 。 在本公 开实施例 中， 可以通过识别用 户视频中 的目标动作 ， 对音乐添加 特定 特效。 对于本 公开实施 例， 为方便说明， 以一个具体实施例为 例， 目标对象可 以是 用户的手 、 嘴、 头、 眼睛等， 基于目标对象的目标动作为音 乐添加音 乐 特效 。 可选的， 可以才艮据该目标对象的动作， 为该目标对象对 应的音乐素 材 标识对 应的音 乐进行特定 处理， 如对于用户的 手在钢琴 的标识的显 示区域停 留时 ， 手指的伸张动作 ， 基于该伸张动作调整 钢琴音轨 的响度 、 音调等。 又 或者 ， 目标对象为用户的嘴 ，基于用户嘴 的打开 闭合， 为音乐增加颤音效 果, 如在 用户的嘴 张开时， 为音乐增加 颤音效果 。 当然， 增加音乐特效的方式 并 不局 限于本公 开提供的 实施例。 本公 开实施例通 过目标动作 为音乐增 加音乐特 效，音乐创作更加 多样化。 本公 开实施例 中提供了一 种可能的 实现方式 ， 如图 3所示， 在该实现方 式种 ， 播放界面中显示有 音乐素材 选择选项 ， 该方法还包括： 步骤 S301 , 在接收到用户针对音乐素材选择 选项的触 发操作时 ， 显示各 候选 音乐素材 标识列表 ； 步骤 S302, 通过各候选 音乐素材 标识列表 接收用 户的音 乐素材选择 操 作 ， 根据音乐素材选择操 作所对应 的候选音 乐素材标识 ， 确定至少一种音 乐 素材 标识。 在本公 开实施例 中，播放界面中显 示的音 乐素材标识可 以是用户 选择的。 对于本 公开实施 例， 为方便说明， 以一个具体实施 例为例， 如图 4所示， 终端设 备在显示 播放界 面 401时， 该播放界面 401中显示有音乐素 材选择选 项 402, 在接收到用户 针对该音 乐素材选择选 项的触发操 作时， 显示各候选 音 乐素材标识 列表， 并通过该候选 音乐素材标 识列表接 收用户的 音乐素材选 择操 作， 并根据该音乐素 材选择操 作所对应 的音乐素材 标识， 确定至少一种 音 乐素材标识 。 具体的， 可以根据用户的选择 操作， 将用户选择 的所有的 音 乐素 材标识作 为显示在音 乐生成交 互及界面 的音乐素材 ， 在用户选择了音 乐 的前 提下， 也可以根据 用户选择 的音乐中 包含的音 乐素材， 当用户选择的音 乐素 材中没有 全部包含 该音乐所 包含的音 乐素材时， 可以将用户选择的音 乐 素材 的标识显示 在播放界 面的同 时， 将用户没有选择但 是该音 乐包含了的 音 乐素 材也显示在 播放界 面。 对于本公开实施 例， 为方便说明， 以一个具体实 施例 为例， 终端设备在响 应与用户 的音乐生成 触发操作 时， 打开视频捕捉装 置 ，并通过该视频捕 捉装置获 取用户视频 ，并将该用户 视频显示在 播放界面 ， 如 图 5所示， 在播放界面 501中显示有用 户视频 502以及至少一个音 乐素材 标识 503,识别该用户视 频中目标对 象 504,并获取该 目标对象 504与音乐素 材标 识 503的交互操 作 o 可选的， 该目标对象与音 乐素材标识之 间的交互 操 作可 以是目标 对象停留在 该音乐素 材标识的显 示区域 ， 也可以是该目标对 象 在音 乐素材标识 的显示 区域的动作 ， 根据该交互操作 涉及的音 乐素材标识 对 应的 音轨生成 音乐。 本公 开实施例通 过在播放 界面显示音 乐素材选 择选项 , 并接收用户对 音 乐素 材的选择操 作， 基于该选择操作 确定需要 在播放界 面显示 的音乐素材 标 识， 用户可以根据自身喜 好选择不 同的音 乐素材去生 成音乐， 个性化更强。 本公 开实施例 中提供了一 种可能的 实现方式 ， 在该实施方式中， 当所述 触碰 动作的持 续时长达到 预设的阈值 时， 确定所述触碰 动作为 目标动作。 在本公 开实施例 中， 通过目标对象 的触碰动作 的持续时 间判定该触 碰动 作是 否为目标 动作。 对于本 公开实施 例， 为方便说明， 以一个具体实施例为 例， 目标对象为 用户 视频中用户 的双手 ，根据用户的手在音 乐素材标识 显示区域 的停留时 间， 判定 是否将该 音乐素材 标识对应的 音轨作为音 乐输出， 具体的， 当用户的手 在该 音乐素材 标识显示的 区域停 留时间大于 0.3秒时， 才艮据该音乐素材标识 的音 轨生成音 乐。 当然， 该时间阈值可以由本 领域技术 人员根据 实际情况设 定 ， 对此， 本公开不作限定。 本公 开实施例 中提供了一 种可能的 实现方式 ， 在该实施方式中， 根据交 互操 作所针对 的目标音 乐素材标识 的音轨生成 音乐， 包括： 若在 同一时间所 述目标动作 对应的 目标音效至 少为两个 ， 将所述至少两 个 目标音效进行 节拍对 齐， 并同时播放进行 节拍对齐后 的所述至 少两个 目标 音效 。 在本公 开实施例 中， 目标对象交互操 作的对 象可能同 时存在多个 ， 当同 时存 在多个与 目标对象存 在交互操 作的音 乐素材标识 时， 将该多个音乐素 材 标识对 应的音轨 进行节拍对 齐， 并将对齐后的 音轨合成音 乐。 对于本 公开实施 例， 为方便说明， 以一个具体实施例为 例， 终端设备在 通过 视频捕捉装 置捕捉到 用户视频之 后，在播放界 面显示该 用户视频 ，其中， 用户 视屏中的 目标对象为 用户的双 手， 用户的双手可 能同时与 两个音乐素 材 标识有 交互操作 ， 则将该两个音 乐素材标识对 应的音轨 进行节拍对 齐， 并将 对齐后 的两个 音轨合成音 乐。 具体的， 如用户的双手 同时与钢琴 和架子鼓 的 标识有 交互操作 ， 则根据用户与该 两个标识 的交互操作 开始时刻 ， 将钢琴和 架子 鼓的音轨 进行节拍对 齐， 具体的， 如用户先与钢琴 的标识有 交互操作 ， 则开 始播放钢琴 对应的音 轨， 在播放钢琴对应 音轨的时候 ， 用户的手又与架 子鼓 的标识产生 交互操作 ， 则在钢琴的音轨 中用户的手 与架子鼓 产生交互 操 作的 下一个节 拍开始播放 架子鼓对 应的音轨 ， 完成两个音轨的 节拍对齐 ， 并 将对 齐后的两 个音轨合成 音乐。 本公 开实施例针 对交互操作 对应的音 乐素材标 识同时有多 个时， 将多个 音 乐素材标识对 应的音 乐进行节拍对 齐， 并将对齐后的音 轨合成音 乐， 用户 可以 同时与多 个音乐素材 标识交互 ， 形成更加多元化 的音乐。 本公 开实施例提 供了一种基 于用户 交互的音 乐播放装置 ， 如图 6所示， 该基 于用户交 互的音乐播 放装置 60可以包括： 界面显示模 块 601、 操作获取 模块 602以及音乐生 成模块 603, 其中， 界面显 示模块 ， 用于响应于用户的音 乐生成触 发操作 ， 显示播放界面， 其 中， 播放界面中显示 有至少一种 音乐素材 标识； 目标视 频采集模 块 601, 用于通过视频捕 捉装置采 集目标视 频； 目标动 作识别模 块 602, 用于当所述目标视频 中识别到 目标对象呈 现目 标动作 ， 确定所述目标动 作对应的音 频处理方 式； 音乐播 放模块 603, 用于按照所述音频 处理方式播 放音乐 。 可选 的， 音乐播放模块 603在按照所述音 频处理方 式播放音 乐时， 所述 音频 处理方式具 体为： 在所述音 乐中添加所 述目标动作 对应的 目标音轨进行 播放 。 可选 的， 目标动作识别模块 602在当所述 目标视频中 识别到 目标对象呈 现 目标动作， 确定所述 目标动作对应 的音频处 理方式时 ， 所述目标动作具体 为： 在所述目标视频的播 放界面上 所述目标 对象对所述 播放界面 上的目标 位 置的 触碰动作 ； 所述 目标位置与 所述目标 音轨是相对 应的。 可选 的， 所述目标音轨用 于承载 目标音乐素材 的音频； 在所述 播放界 面上的 目标位置标注 有所述 目标音乐素材 的标识。 可选 的， 音乐播放模块 603在按照所述音 频处理方 式播放音 乐时， 所述 音频 处理方式具 体为： 按照所述 目标动作对应 的目标音 效对所述 音乐处理后 进行播 放。 可选 的， 目标动作识别模块 602在当所述 目标视频中 识别到 目标对象呈 现 目标动作， 确定所述 目标动作对应 的音频处 理方式时 ， 所述目标动作具体 为： 与预设姿势相匹配的 动作； 所述预 设姿势与 所述目标音 效是相对 应的。 可选 的， 目标动作识别模块 602还用于： 在接 收到用户针 对音乐素材 选择选项 的触发操作 时， 显示各候选音 乐素 材标 识列表； 通过所 述各候选 音乐素材 标识列表接 收用户的 音乐素材选 择操作 ， 根据 所述 音乐素材选 择操作所 对应的候 选音乐素材 标识， 确定所述 目标音乐素材 标识 。 可选 的， 当所述触碰动作 的持续时长 达到预设 的阈值时 ， 确定所述触碰 动作 为目标动作 。 可选 的， 音乐播放模块 603按照所述目标 动作对应 的目标音效 对所述音 乐处 理后进行播 放时， 用于： 若在 同一时间所 述目标动作 对应的 目标音效至 少为两个 ， 将所述至少两 个 目标音效进行 节拍对 齐， 并同时播放进行 节拍对齐后 的所述至 少两个 目标 音效 。 本公 开实施例的 基于用户 交互的音 乐播放装 置可执行本 公开前述 实施例 所示 的基于用 户交互的 音乐播放 方法， 其实现原理相 类似， 此处不再赘述 。 本公 开实施例通 过基于用 户的音乐生 成触发操 作显示播放 界面， 在该播 放界 面显示音 乐素材标识 ， 并基于该播放界 面获取用 户对显示的 音乐素材 标 识的 交互操作 ， 根据该交互操作对 应的目标 音乐素材 标识的音轨 生成音 乐， 用户 可以根据 自己的操 作随心所欲 的创造个 性化音 乐， 音乐创作不受拘 束， 同时 提升音 乐创作的趣味 ， 提升用户体验。 下面 参考图 7, 其示出了适于用 来实现本公 开实施例 的电子设备 700的 结构 示意图。 本公开实施例中的终 端设备可 以包括但 不限于诸如 移动电话 、 笔记 本电脑、 数字广播接 收器、 PDA （个人数字助理 ）、 PAD（平板电脑 ）、 PMP （便携式多媒体 播放器 ） 、 车载终端 （例如车载导航终端）等等 的移动 终端 以及诸如数 字 TV、 台式计算机等等的 固定终端 。 图 7示出的电子设 备 仅仅是 一个示 例， 不应对本公开 实施例的功 能和使用 范围带来任 何限制 。 电子设 备包括： 存储器以及处理器 ， 其中， 这里的处理器可以称 为下文 的处 理装置 701 , 存储器可以包括下文 中的只读存 储器 （ROM ） 702、 随机 访问存 储器 （RAM ） 703以及存储装 置 708中的至 少一项， 具体如下 所示： 如图 7所示， 电子设备 700可以 包括处理装 置 （例如中央处理 器、 图形 处理 器等 ） 701 , 其可以根据存储在只读存储器 （ROM ） 702 中的程序或者 从存 储装置 708加载到随机访 问存储器 （ RAM） 703中的程序 而执行各 种适 当的 动作和处 理。 在 RAM 703中， 还存储有电子设 备 700操作 所需的各种 程序 和数据 。 处理装置 701、 ROM 702以及 RAM 703通过总线 704彼此相 连。 输入 /输出 （ I/O）接口 705也连接至总线 704_o 通常 ， 以下装置可以连接 至 I/O接口 705: 包括例如触摸 屏、 触摸板、 键盘 、 鼠标、 摄像头、 麦克风、 加速度计、 陀螺仪等的输入装置 706; 包括 例如 液晶显示 器 （LCD） 、 扬声器、 振动器等的输出装置 707; 包括例如磁 带、硬盘 等的存储 装置 708; 以及通信装置 709。通信装置 709可以允许 电子 设备 700与其他设备 进行无线或 有线通信 以交换数据 。 虽然图 7示出了具 有 各种 装置的电 子设备 700, 但是应理解的是 ， 并不要求实施或 具备所有 示出 的装 置。 可以替代地 实施或具备 更多或更 少的装置 。 特别地 ， 根据本公开的 实施例， 上文参考流程 图描述 的过程可 以被实现 为计 算机软件程 序。 例如， 本公开的实施例 包括一种计 算机程序 产品， 其包 括承 载在非暂 态计算机可 读介质上 的计算机程 序， 该计算机程序 包含用于 执 行流 程图所示 的方法的 程序代码 。 在这样的实施例中 ， 该计算机程序可 以通 过通 信装置 709从网络上被下 载和安装 ， 或者从存储装置 708被安装， 或者 从 ROM 702被安装 。 在该计算机程序被 处理装置 701执行时 ， 执行本公开 实施 例的方法 中限定的 上述功能 。 需要说 明的是 ，本公开上述的计算 机可读介质 可以是计 算机可读 信号介 质或 者计算机 可读存储介 质或者是 上述两者 的任意组合 。 计算机可读存储 介 质例 如可以是 - 但 不限于 - 电 、 磁、 光、 电磁、 红外线、 或半导体的系 统、 装置或器件， 或者任意以上 的组合。 计算机可读 存储介质 的更具体 的例 子可 以包括但 不限于： 具有一个或多个导 线的电连接 、 便携式计算机磁盘 、 硬盘 、 随机访问存储器 （RAM ） 、 只读存储器（ROM ） 、 可擦式可编程只 读存 储器（ EPROM 或闪存 ）、光纤、便携式紧凑磁盘只读存 储器（ CD-ROM ）、 光存 储器件、 磁存储器件 、 或者上述的任 意合适的组 合。 在本公开中， 计算 机可 读存储介质 可以是任 何包含或 存储程序 的有形介 质， 该程序可以被指 令 执行 系统、 装置或者器件 使用或者 与其结合 使用。 而在本公开中， 计算机可 读信 号介质可 以包括在基 带中或者 作为载波 一部分传播 的数据信 号， 其中承 载 了计算机可读 的程序代 码。 这种传播的数据 信号可 以采用多种 形式， 包括 但不 限于电磁信 号、 光信号或上 述的任意合 适的组合 。 计算机可读信号 介质 还可 以是计算机 可读存储 介质以外 的任何计 算机可读介 质， 该计算机可读信 号介 质可以发 送、 传播或者传输用 于由指令 执行系统 、 装置或者器件使用 或 者与 其结合使 用的程序 。 计算机可读介质上 包含的程 序代码可 以用任何 适当 的介 质传输， 包括但不限于： 电线、 光缆、 RF（射频）等等， 或者上述的任 意合 适的组合 。 在一 些实施 方式中 ， 客户端、 服务器可以利 用诸如 HTTP （ HyperText Transfer Protocol, 超文本传输协议）之类的任何当前已知 或未来研发 的网络 协议进 行通信 ， 并且可以与任意形 式或介质 的数字数 据通信 （例如， 通信网 络 ）互连。 通信网络的示例 包括局域 网 （ “LAN” ） , 广域网（ “WAN” ） , 网际 网 （例如， 互联网） 以及端对端网络（例如， ad hoc端对端网络 ） ， 以 及任 何当前 已知或未来 研发的网 络。 上述计 算机可读 介质可以 是上述电子 设备中所 包含的； 也可以是单独存 在 ， 而未装配入该电子设 备中。 上述计 算机可读 介质承载有 一个或者 多个程序 ， 当上述一个或者 多个程 序被 该电子设备 执行时，使得 该电子设备 ： 响应于用户的音乐生成 触发操作 ， 显示播 放界面 ， 其中， 播放界面中显示有至 少一种音 乐素材标识 ； 基于播放 界面 ， 获取用户对于所显 示的音 乐素材标识 的交互操作 ； 根据交互操作所 针 对的 目标音乐素 材标识的 音轨生成音 乐。 可以 以一种或多 种程序设 计语言或其 组合来编 写用于执行 本公开 的操作 的计 算机程序代 码， 上述程序设计 语言包括但 不限于 面向对象 的程序设计 语 言一 诸如 Java、 Smalltalk. C++, 还包括常规的过程式程序设计语言一诸如 “C” 语言或类似 的程序设 计语言。 程序代码 可以完全 地在用户 计算机上 执 行 、 部分地在用户计算机 上执行 、 作为一个独立的软件 包执行 、 部分在用户 计算机 上部分在 远程计算 机上执行 、或者完全在远程 计算机或服 务器上执 行。 在涉 及远程计 算机的情形 中， 远程计算机可 以通过任 意种类的 网络 — 包括 局域 网（LAN）或广域网（WAN）一连接到用 户计算机 ， 或者， 可以连接到外部 计算机 （例如利用因特 网服务提供 商来通过 因特网连接 ） 。 附图 中的流程 图和框图， 图示了按照本公开各 种实施例 的系统、 方法和 计算机 程序产 品的可能 实现的体 系架构、 功能和操作 。 在这点上， 流程图或 框 图中的每个 方框可以 代表一个模 块、 程序段、 或代码的一部 分， 该模块、 程序 段、 或代码的一部 分包含一 个或多个用 于实现规 定的逻辑功 能的可执 行 指令 。 也应当注意， 在有些作为替 换的实现 中， 方框中所标注 的功能也可 以 以不 同于附 图中所标注 的顺序发生 。 例如， 两个接连地表示的 方框实际上 可 以基 本并行地 执行， 它们有时也可 以按相反 的顺序执行 ， 这依所涉及的功 能 而定 。 也要注意的是 ， 框图和 /或流程图中的每个方 框、 以及框图和 /或流程 图中 的方框的组 合， 可以用执行规 定的功能 或操作的 专用的基 于硬件的 系统 来 实现， 或者可以用专用 硬件与计 算机指令 的组合来 实现。 描述 于本公 开实施例 中所涉 及到的模 块或单 元可以 通过软件 的方式 实 现， 也可以通过硬件的 方式来实现 。 其中， 模块或单元的名称在 某种情况 下 并不 构成对该单 元本身 的限定。 本文 中以上描述 的功能可 以至少部 分地由一 个或多个 硬件逻辑 部件来执 行。 例如， 非限制性地， 可以使用的示范 类型的硬件 逻辑部件 包括： 现场可 编程 门阵列 （FPGA） 、 专用集成电路（ ASIC） 、 专用标准产品（ ASSP） 、 片上 系统 （SOC） 、 复杂可编程逻辑设备 （ CPLD）等等。 在本公 开的上下 文中， 机器可读介 质可以是有 形的介质 ， 其可以包含或 存储 以供指令执 行系统 、 装置或设备使用或 与指令执行 系统、 装置或设备 结 合地 使用的程 序。 机器可读介质可 以是机 器可读信号 介质或机 器可读储存 介 质。 机器可读介 质可以 包括但不 限于电子的 、 磁性的、 光学的、 电磁的、 红 夕卜的、 或半导体系统、 装置或设备， 或者上述内容 的任何合 适组合。 机器可 读存储 介质的更 具体示例 会包括基 于一个或 多个线的 电气连接 、 便携式计算 机盘 、 硬盘、 随机存取存储器 （RAM ） 、 只读存储器（ROM ） 、 可擦除可 编程 只读存储 器 （EPROM 或快闪存储 器） 、 光纤、 便捷式紧凑盘只读存储 器 （CD-ROM ）、 光学储存设备、 磁储存设备、 或上述内容的任何 合适组合 。 根据本 公开提供 的一个或 多个实施 例， 提供了一种可 能的实现方 式， 提 供 了一种基于 用户交互 的音乐播放 方法， 该方法包括 ： 通过视 频捕捉装 置采集 目标视频； 当所述 目标视频 中识别到 目标对象呈 现目标动作 ， 确定所述目标动作 对 应的 音频处理方 式； 按照 所述音频处 理方式播放 音乐。 进一步 的， 所述音频处理 方式具体 为： 在所述音乐中添 加所述 目标动作 对应 的目标音轨 进行播放 。 进一步 的， 所述目标动作 具体为： 在所述 目标视频的播放 界面上 所述目 标对 象对所述播 放界面上 的目标位 置的触碰 动作； 所述 目标位置与 所述目标 音轨是相对 应的。 进一步 的， 所述目标音轨 用于承载 目标音乐素 材的音频 ； 在所述 播放界 面上的 目标位置标注 有所述 目标音乐素材 的标识。 进一步 的， 所述音频处理 方式具体 为： 按照所述目标动 作对应的 目标音 效对 所述音 乐处理后进行 播放。 进一 步的， 所述目标动作 具体为： 与预设姿势相匹配的 动作； 所述预 设姿势与 所述目标 音效是相对 应的。 进一 步的， 所述方法还 包括： 在接 收到用户针 对音乐素材 选择选项 的触发操作 时， 显示各候选音 乐素 材标 识列表； 通过所 述各候选 音乐素材 标识列表接 收用户 的音乐素材 选择操作 ， 根据 所述 音乐素材 选择操作所 对应的候 选音乐素材 标识， 确定所述 目标音乐素材 标识 。 进一 步的， 当所述触碰动 作的持续 时长达到预 设的阈值 时， 确定所述触 碰动 作为目标动 作。 进一 步的， 所述按照所述 目标动作 对应的 目标音效对所 述音乐处理 后进 行播 放， 包括： 若在 同一时间所 述目标动作 对应的 目标音效至 少为两个 ， 将所述至少两 个 目标音效进行 节拍对 齐， 并同时播放进行 节拍对齐后 的所述至 少两个 目标 音效 。 根据 本公开实施 例提供的 一个或多 个实施例 ， 提供了一种可能 的实现方 式 ， 提供了一种基于用 户交互的音 乐播放装 置， 包括： 目标视 频采集模 块， 用于通过视频捕 捉装置采 集目标视频 ； 目标动 作识别模 块， 用于当所述 目标视频中识 别到目标对 象呈现 目标动 作 ， 确定所述目标动作对 应的音频 处理方式 ； 音乐播 放模块 ， 用于按照所述音频 处理方式播 放音乐 。 可选 的， 音乐播放模块 603在按照所述音 频处理方 式播放音 乐时， 所述 音频 处理方式 具体为： 在所述音 乐中添加所 述目标动作 对应的 目标音轨进行 播放 。 可选 的， 目标动作识别模块 602在当所述 目标视频 中识别到 目标对象呈 现 目标动作， 确定所述 目标动作对应 的音频处 理方式时 ， 所述目标动作具体 为： 在所述目标视频的播 放界面上 所述目标 对象对所述 播放界 面上的 目标位 置的 触碰动作 ； 所述 目标位置与 所述 目标音轨是相 对应的。 可选 的， 所述目标音轨用 于承载 目标音乐素材 的音频； 在所述 播放界 面上的 目标位置标注 有所述 目标音乐素材 的标识。 可选 的， 音乐播放模块 603在按照所述音 频处理方 式播放音 乐时， 所述 音频 处理方式具 体为： 按照所述 目标动作对应 的目标音 效对所述 音乐处理后 进行播 放。 可选 的， 目标动作识别模块 602在当所述 目标视频中 识别到 目标对象呈 现 目标动作， 确定所述 目标动作对应 的音频处 理方式时 ， 所述目标动作具体 为： 与预设姿势相匹配的 动作； 所述预 设姿势与 所述目标音 效是相对 应的。 可选 的， 目标动作识别模块 602还用于： 在接 收到用户针 对音乐素材 选择选项 的触发操作 时， 显示各候选音 乐素 材标 识列表； 通过所 述各候选 音乐素材 标识列表接 收用户的 音乐素材选 择操作 ， 根据 所述 音乐素材选 择操作所 对应的候 选音乐素材 标识， 确定所述 目标音乐素材 标识 。 可选 的， 当所述触碰动作 的持续时长 达到预设 的阈值时 ， 确定所述触碰 动作 为目标动作 。 可选 的， 音乐播放模块 603按照所述目标 动作对应 的目标音效 对所述音 乐处理 后进行播 放时， 用于： 若在 同一时间所 述目标动作 对应的 目标音效至 少为两个 ， 将所述至少两 个 目标音效进行 节拍对齐 ， 并同时播放进行节 拍对齐后 的所述至 少两个 目标 音效 。 根据本 公开提供 的一个或 多个实施 例， 提供了一种设备 ， 包括： 一个或 多个处理 器； 存储器 ； 一个或 多个应用 程序， 其中一个或 多个应用 程序被存储 在存储器 中并被 配置 为由一个 或多个处理 器执行 ， 一个或多个程序配 置用于： 执行上述的基 于用 户交互的 音乐播放 方法。 根据本 公开提供 的一个或 多个实施 例， 提供了一种存储 介质， 存储介质 存储有 至少一条 指令、 至少一段程序、 代码集或指令 集， 至少一条指令 、 至 少一 段程序 、 代码集或指令集由 处理器加载 并执行上 述的基于 用户交互 的音 乐播放 方法。 以上描 述仅为本 公开的较佳 实施例 以及对所运 用技术原 理的说明 。 本领 域技 术人员应 当理解， 本公开中所 涉及的公 开范围， 并不限于上述技术特 征 的特 定组合而 成的技术 方案，同时也应涵盖 在不脱 离上述公开 构思的情 况下， 由上 述技术特征 或其等 同特征进行 任意组合 而形成的 其它技术 方案。 例如上 述特 征与本公 开中公开 的 （但不限于）具有类似功能 的技术特 征进行互相 替 换而 形成的技 术方案。 此外 ， 虽然采用特定次序 描绘了各 操作， 但是这不应 当理解为要 求这些 操作 以所示 出的特定次 序或以顺序 次序执行 来执行 。 在一定环境下， 多任务 和并 行处理可 能是有利 的。 同样地， 虽然在上面论述 中包含 了若干具体 实现 细节 ， 但是这些不应当被 解释为对本 公开的范 围的限制 。 在单独的实施例 的 上下 文中描述 的某些特 征还可以组 合地实现 在单个实施 例中。 相反地， 在单 个 实施例的上 下文中描 述的各种特 征也可 以单独地或 以任何合 适的子组合 的 方式 实现在多个 实施例 中。 尽管 已经采用特 定于结构 特征和 /或方法逻辑动作 的语言描述 了本主题 ， 但是 应当理解 所附权利要 求书中所 限定的主 题未必局 限于上面描 述的特 定特 征或 动作。 相反， 上面所描述的特 定特征和 动作仅仅 是实现权利 要求书的 示 例形 式。

Claims

权 利要 求 书

1、 一种基于用户 交互的音 乐播放方 法， 包括： 通过视 频捕捉装 置采集 目标视频； 当所述 目标视频 中识别到 目标对象呈 现目标动作 ， 确定所述目标动作 对 应的 音频处理方 式； 按照 所述音频处 理方式播放 音乐。

2、 根据权利要求 1所述的方法 ， 其中， 所述音频处理方式包括 ： 在所述 音 乐中添加所 述目标动作 对应的 目标音轨进行 播放。

3、 根据权利要求 2所述的方法 ， 其中， 所述目标动作包括： 在所述目标 视频 的播放界 面上所述 目标对象对 所述播放 界面上的 目标位置 的触碰动作 ； 所述 目标位置与 所述目标 音轨是相对 应的。

4、根据权 利要求 3所述的方法 ， 其中， 所述目标音轨用于承载目标 音乐 素材 的音频； 在所述 播放界 面上的 目标位置标注 有所述 目标音乐素材 的标识。

5、 根据权利要求 1所述的方法 ， 其中， 所述音频处理方式包括 ： 按照所 述 目标动作对应 的目标音 效对所述音 乐处理后 进行播放 。

6、 根据权利要求 5所述的方法 ， 其中， 所述目标动作包括： 与预设姿势 相 匹配的动作 ； 所述预 设姿势与 所述目标音 效是相对 应的。

7、 根据权利要求 4所述的方 法， 还包括： 在接 收到用户针 对音乐素材 选择选项 的触发操作 时， 显示各候选音 乐素 材标 识列表； 通过所 述各候选 音乐素材 标识列表接 收用户的 音乐素材选 择操作 ， 根据 所述 音乐素材选 择操作所 对应的候 选音乐素材 标识， 确定所述 目标音乐素材 标识 。

8、根据权 利要求 3所述的方法 ， 其中， 当所述触碰动作的持续时长 达到 预设 的阈值时， 确定所述触碰动作 为目标动作 。

9、根据权 利要求 5所述的方法 ， 其中， 所述按照所述目标动作对应 的目 标音 效对所述音 乐处理后 进行播放 ， 包括： 若在 同一时间所 述目标动作 对应的 目标音效至 少为两个 ， 将所述至少两 个 目标音效进行 节拍对齐 ， 并同时播放进行节 拍对齐后 的所述至 少两个 目标 音效 。

10、 一种基于用户 交互的音 乐播放装置 ， 包括： 目标视 频采集模 块， 用于通过视频捕捉 装置采 集目标视频 ； 目标动 作识别模 块， 用于当所述 目标视频中识别 到目标对 象呈现 目标动 作 ， 确定所述目标动作对 应的音频 处理方式 ； 音乐播 放模块 ， 用于按照所述音频 处理方式播 放音乐 。

11、 一种设备， 包括： 一个或 多个处理 器； 存储器 ； 一个或 多个应用 程序， 其中所述一 个或多个 应用程序被 存储在 所述存储 器 中并被配置 为由所述 一个或多 个处理器执 行， 所述一个或多 个程序配 置用 于： 执行根据权利要求 1〜 9任一项所述的基于用户交互 的音乐播放 方法。

12、 一种存储介质 ， 其中， 所述存储介质存储有 至少一条 指令、 至少一 段程 序、 代码集或指令 集， 所述至少一条指 令、 所述至少一段 程序、 所述代 码集 或指令集 由所述处理 器加载并 执行以 实现如权利要 求 1~9任一所 述的基 于用 户交互的 音乐播放 方法。