WO2024008217A1 - 仿人钢琴演奏机器人 - Google Patents

仿人钢琴演奏机器人 Download PDF

Info

Publication number
WO2024008217A1
WO2024008217A1 PCT/CN2023/120387 CN2023120387W WO2024008217A1 WO 2024008217 A1 WO2024008217 A1 WO 2024008217A1 CN 2023120387 W CN2023120387 W CN 2023120387W WO 2024008217 A1 WO2024008217 A1 WO 2024008217A1
Authority
WO
WIPO (PCT)
Prior art keywords
humanoid
piano
robot
arm
piano playing
Prior art date
Application number
PCT/CN2023/120387
Other languages
English (en)
French (fr)
Inventor
宛敏红
顾建军
朱世强
严敏东
黄秋兰
钟灵
高广
张璞
方伟
姚运昌
Original Assignee
之江实验室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 之江实验室 filed Critical 之江实验室
Publication of WO2024008217A1 publication Critical patent/WO2024008217A1/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/003—Manipulators for entertainment
    • B25J11/004—Playing a music instrument
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J17/00—Joints
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

一种仿人钢琴演奏机器人，仿人钢琴演奏机器人可以包括手部（11，12）、手臂（13，14）、腰部（15）、颈部（16）、腿部（19，110）、控制系统（111）以及底座（112），其中，颈部（16）配置有两个自由度，以带动头部进行回转运动与俯仰运动，腰部（15）配置有两个自由度，以带动上半身进行回转运动与俯仰运动，仿人钢琴演奏机器人可以通过视觉感知单元（17），对琴键的位置进行准确定位，并且可以智能化地识别出曲谱的内容，以及自动化地按照曲谱进行钢琴演奏。通过腰部（15）、颈部（16）的两个自由度，以及对两个机械臂位姿的控制，使得钢琴演奏机器人可以灵巧并智能化地弹奏钢琴。

Description

仿人钢琴演奏机器人 技术领域
本公开涉及机器人领域，尤其涉及一种仿人钢琴演奏机器人。
背景技术
随着科技的进步，如扫地机器人、医疗机器人等机器人慢慢地应用在了人们的生活当中。然而，在实际应用中，实现将机器人应用在钢琴演奏中是较为困难的。所以，如何有效地将机器人应用在钢琴演奏中，是一个亟待解决的问题。
发明内容
本公开提供一种仿人钢琴演奏机器人，以解决现有技术存在的上述问题。
本公开采用下述技术方案：
本公开提供了一种仿人钢琴演奏机器人，所述仿人钢琴演奏机器人包括：左手、右手、左手臂、右手臂、腰部、颈部、视觉感知单元、左腿、右腿、控制系统、底座，所述颈部配置有两个自由度，以带动头部进行回转动作和俯仰动作，所述腰部配置有两个自由度，以带动机器人的上半身进行回转动作和俯仰动作；
所述仿人钢琴演奏机器人用于：
通过所述视觉感知单元，获取曲谱图像以及所述仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像，并对所述曲谱图像进行识别，得到曲谱信息，以及根据所述琴键图像，对所述钢琴琴键进行定位，得到定位数据；
通过所述控制系统，根据所述定位数据以及所述曲谱信息，规划出所述仿人钢琴演奏机器人在弹奏所述曲谱信息对应的乐曲时所采用的指法，并确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列；
通过所述控制系统，按照所述指法，对所述左手以及所述右手进行控制，以及根据所述位姿变化序列，对除所述左手以及所述右手之外的身体部位进行控制。
可选地，所述仿人钢琴演奏机器人还用于，通过所述视觉感知单元，将所述曲谱信 息进行编码，得到预设格式的编码信息，并将所述编码信息发送给所述控制系统，所述曲谱信息中至少包括节拍、音符以及修饰符。
可选地，所述仿人钢琴演奏机器人还包括：语音单元；
所述仿人钢琴演奏机器人还用于，通过所述语音单元接收用户发出的语音信息，根据所述语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏，若是，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。
可选地，所述仿人钢琴演奏机器人用于，通过所述语音单元，若根据所述语音信息，判断所述用户的目的为请求所述仿人钢琴演奏机器人进行钢琴演奏，对所述语音信息进行识别，确定所述用户所请求所述仿人钢琴演奏机器人演奏的曲目信息，通过所述控制系统，根据所述曲目信息，控制所述仿人钢琴演奏机器人进行钢琴演奏。
可选地，所述仿人钢琴演奏机器人用于，通过所述语音单元，过滤所述语音信息中的噪声，根据过滤噪声后的语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏。
可选地，所述仿人钢琴演奏机器人用于，通过所述控制系统，根据所述定位数据，确定每一时刻下所述左手臂和/或所述右手臂按照所述指法弹奏所述曲谱信息对应的乐曲所需的手臂末端位姿，根据所述手臂末端位姿，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列。
可选地，所述仿人钢琴演奏机器人用于，通过所述控制系统，针对所述位姿变化序列中的每个手臂末端位姿，进行逆运动学解算，分别确定出所述左手臂或右手臂达到该手臂末端位姿所需的关节角；根据每个手臂末端位姿对应的关节角，控制所述左手臂或所述右手臂进行移动。
可选地，所述仿人钢琴演奏机器人用于，通过所述控制系统，针对所述位姿变化序列中的每个手臂末端位姿，确定该手臂末端位姿所属的手臂，并根据该手臂末端位姿所属的手臂对应的肩部与腰部之间的固定转角、腰部在该时刻的偏摆角和俯仰角以及该手臂末端位姿所属的手臂对应的肩部在腰部的俯仰关节的局部坐标系下的坐标，将该手臂末端位姿转换到该手臂末端位姿所属的手臂的肩部坐标系下，得到转换后位姿；根据所述转换后位姿，控制所述左手臂和/或所述右手臂进行移动。
本公开提供了一种仿人钢琴演奏机器人的控制方法，所述方法应用在仿人钢琴演奏机器人，所述仿人钢琴演奏机器人包括：左手、右手、左手臂、右手臂、腰部、颈部、 视觉感知单元、左腿、右腿、控制系统、底座，所述颈部配置有两个自由度，以带动头部进行水平转动以及以竖直方向为轴线的摆动动作，所述腰部配置有两个自由度，以进行转体动作以及以竖直方向为轴线的摆动动作，所述方法包括：
通过所述视觉感知单元，获取曲谱图像以及所述仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像；
通过所述视觉感知单元，对所述曲谱图像进行识别，得到曲谱信息，以及根据所述琴键图像，对所述钢琴琴键进行定位，得到定位数据；
通过所述控制系统，根据所述定位数据以及所述曲谱信息，规划出所述仿人钢琴演奏机器人在弹奏所述曲谱信息对应的乐曲时所采用的指法，并确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列；
通过所述控制系统，按照所述指法，对所述左手以及所述右手进行控制，以及根据所述位姿变化序列，对除所述左手以及所述右手之外的身体部位进行控制。
可选地，所述方法还包括：
通过所述视觉感知单元，将所述曲谱信息进行编码，得到预设格式的编码信息，并将所述编码信息发送给所述控制系统，所述曲谱信息中至少包括节拍、音符以及修饰符。
可选地，所述仿人钢琴演奏机器人还包括：语音单元；
所述方法还包括：
通过所述语音单元接收用户发出的语音信息；
通过所述语音单元，根据所述语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏，若是，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。
可选地，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏，具体包括：
通过所述语音单元，若根据所述语音信息，判断所述用户的目的为请求所述仿人钢琴演奏机器人进行钢琴演奏，对所述语音信息进行识别，确定所述用户所请求所述仿人钢琴演奏机器人演奏的曲目信息；
通过所述控制系统，根据所述曲目信息，控制所述仿人钢琴演奏机器人进行钢琴演 奏。
可选地，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列，具体包括：
根据所述定位数据，确定每一时刻下所述左手臂和/或所述右手臂按照所述指法弹奏所述曲谱信息对应的乐曲所需的手臂末端位姿；
根据所述手臂末端位姿，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列。
本公开提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述仿人钢琴演奏机器人的控制方法。
本公开提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述仿人钢琴演奏机器人的控制方法。
本公开采用的上述至少一个技术方案能够达到以下有益效果：
从上述仿人钢琴演奏机器人中可以看出，仿人钢琴演奏机器人可以包括左手、右手、左手臂、右手臂、腰部、颈部、视觉感知单元、左腿、右腿、控制系统、底座，其中，颈部配置有两个自由度，以带动头部进行回转动作和俯仰动作，腰部配置有两个自由度，以带动上半身进行回转动作和俯仰动作；该仿人钢琴演奏机器人用于，通过视觉感知单元获取曲谱图像以及仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像，并对曲谱图像进行识别，得到曲谱信息，以及根据琴键图像，对钢琴琴键进行定位，得到定位数据；并根据定位数据以及曲谱信息，规划出仿人钢琴演奏机器人在弹奏曲谱信息对应的乐曲时所采用的指法，并确定仿人钢琴演奏机器人在按照该指法弹奏乐曲时仿人钢琴演奏机器人的身体部位对应的位姿变化序列；通过控制系统，按照指法，对左手以及右手进行控制，以及根据位姿变化序列，对除左手以及所述右手之外的身体部位进行控制。
从上述内容中可以看出，本公开提供的仿人钢琴演奏机器人，该仿人钢琴演奏机器人中的腰部与颈部均配置有两个自由度，因此可以灵活地达到拟人进行弹奏钢琴的目的，并且，通过视觉感知单元，可以对琴键的位置进行准确定位，并且可以智能化地识别出曲谱的内容，以及自动化地按照曲谱进行钢琴演奏。通过腰部、颈部的两个自由度，以及对两个机械臂位姿的控制，使得本公开中的钢琴演奏机器人可以灵巧并智能化地弹奏钢琴。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例提供的一种仿人钢琴演奏机器人与钢琴组合成的演奏系统示意图。
图2为本公开实施例提供的一种仿人钢琴演奏机器人的结构示意图。
图3为本公开实施例提供的一种仿人钢琴演奏机器人的腰部与颈部联合运动的示意图。
图4为本公开实施例提供的一种视觉感知单元的系统框图。
图5为本公开实施例提供的一种语音单元的具体的系统框图。
图6为本公开实施例提供的一种世界坐标系和左手臂所对应的局部坐标系的示意图。
图7为本公开实施例提供的一种仿人钢琴演奏机器人的控制方法的流程示意图。
图8为本公开实施例提供的一种电子设备的结构示意图。
其中，图1中的1表示仿人钢琴演奏机器人，2表示钢琴，图2中的11表示仿人钢琴演奏机器人的左手、12表示仿人钢琴演奏机器人的右手、13表示仿人钢琴演奏机器人的左手臂、14表示仿人钢琴演奏机器人的右手臂、15表示仿人钢琴演奏机器人的腰部、16表示仿人钢琴演奏机器人的颈部、17表示仿人钢琴演奏机器人的视觉感知单元、18表示仿人钢琴演奏机器人的语音单元、19表示仿人钢琴演奏机器人的左腿、110表示仿人钢琴演奏机器人的右腿、111表示仿人钢琴演奏机器人的控制系统、112表示仿人钢琴演奏机器人的底座。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开具体实施例及相应的附图对本公开技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
以下结合附图，详细说明本公开各实施例提供的技术方案。
在本公开中，提供一种仿人钢琴演奏机器人，仿人钢琴演奏机器人与钢琴组合成的演奏系统可以如图1所示。
图1为本公开实施例提供的一种仿人钢琴演奏机器人与钢琴组合成的演奏系统示意图。
其中，1为仿人钢琴演奏机器人，2为钢琴，通过控制左右臂爪在空间中移动，将手指定位于相应的琴键上方，并驱动手指按压琴键，可以实现通过该仿人钢琴演奏机器人进行钢琴演奏，下面说明该仿人钢琴演奏机器人的具体结构以及进行钢琴演奏的实现方式，如图2所示。
图2为本公开实施例提供的一种仿人钢琴演奏机器人的结构示意图。
其中，该仿人钢琴演奏机器人可以包括：左手11、右手12、左手臂13、右手臂14、腰部15、颈部16、视觉感知单元17、语音单元18、左腿19、右腿110、控制系统111、底座112。
其中，颈部16配置有两个自由度，包括回转与俯仰自由度，均由电机、例如伺服电机驱动，以带动头部进行回转动作和俯仰动作，实现拟人的头部摇晃效果。
腰部15配置有两个自由度，包括回转与俯仰自由度，均由电机、例如伺服电机驱动，以带动上半身进行回转动作和俯仰动作，实现拟人化的腰身摆动效果。
通过对颈部16和腰部15分别配置的两个自由度，可以实现在钢琴演奏的过程中，腰部15与颈部16联合运动达到拟人的“摇头晃脑”的动作，如图3所示。
图3为本公开实施例提供的一种仿人钢琴演奏机器人的腰部15与颈部16联合运动的示意图。
从图3中可以看出，在仿人钢琴演奏机器人进行钢琴演奏时，腰部15和颈部16均可向下摆动。当然，通过配置的两个自由度，还可以实现身体与头部的向左、向右、向前下方的摆动等等，具体如何控制腰部15和颈部16的运动在后续内容中将会说明。
由于通过配置两个自由度，腰身可以转动以及俯仰，那么在仿人钢琴演奏机器人进行钢琴演奏的过程中，可以使得仿人钢琴演奏机器人的手部更加灵活地到达所需按动的琴键的位置。
左手臂13与右手臂14为多自由度仿人机械臂，该机械臂具体可以配置有7个自由度，即，存在有7个关节，手臂根据手部弹琴动作需要，进行位姿解算与运动规划，实 现对手部在空间的精确定位。
左腿19与右腿110均仿人腿外观设计，其中在右腿110下部配置一个俯仰自由度，可以用于踩钢琴踏板。
控制系统111可以用于规划机器人的运动轨迹，并向驱动系统(图中未示出)发送控制指令，控制各个关节运动。
底座112用于安装机器人的主体，具有调节高度、多方向移动以及锁定功能。
在需要进行钢琴演奏时，仿人钢琴演奏机器人可以通过视觉感知单元17获取曲谱图像以及仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像，并对曲谱图像进行识别，得到曲谱信息，以及根据琴键图像，对钢琴琴键进行定位，得到定位数据。
视觉感知单元17可以接有深度相机(RGB-D相机)，通过该相机来采集曲谱图像以及琴键图像，视觉感知单元17的系统框图具体可以如图4所示。
图4为本公开实施例提供的一种视觉感知单元的系统框图。
视觉感知单元17中可以包括输入模块以及图像处理模块，其中，该图像处理模块包括钢琴琴键定位子模块和琴谱识别子模块(图中未示出)。
在视觉感知单元17中，当输入模块获取到读谱指令时，基于RGB-D相机获取图像作为输入，图像处理模块的琴谱识别子模块检测琴谱并提取琴谱中的语义信息，并将其编码成MusicXML格式的信息流，发送给控制系统111。其中，琴谱中的语义信息可以包括曲目名称、速度、节拍、调号、音符、修饰符等。
当输入模块获取到演奏指令时，可以通过RGB-D相机采集琴键图像，再由钢琴琴键定位子模块针对该琴键图像进行计算，得到钢琴相对仿人钢琴演奏机器人的相对位姿，从而确定钢琴琴键的定位数据，并将该定位数据发送给控制系统111，以使控制系统111规划指法和位姿变化序列，以控制该仿人钢琴演奏机器人进行钢琴演奏。钢琴琴键定位子模块在获取到琴键图像后，通过与标准琴键模板对比，还可以判断琴键是否异常，例如检测琴键是否缺失、是否被物体遮挡或者机器人与钢琴之间位置关系是否变化。当钢琴琴键定位子模块确定琴键相对位姿异常时，可以将判断结果发送至输入模块，以使输入模块重新获取琴键图像，实时更新琴键相对机器人的相对位姿。或者，钢琴琴键定位子模块可以将判断结果发送至控制系统111，以使控制系统111发出琴键异常的警告，及时结束琴键演奏进程，实现对钢琴和机器人左右手的保护。
在确定上述定位数据时，可以确定出每个琴键对应的琴键位置，也可以确定出初始弹奏音符对应的琴键位置，通过预先配置的每个钢琴琴键之间的相对位置关系，确定出每个琴键对应的琴键位置。
而后，可以根据上述定位数据(包括琴键位置)以及上述曲谱信息，规划出该仿人钢琴演奏机器人在弹奏该曲谱信息对应的乐曲时所采用的指法，并确定仿人钢琴演奏机器人在按照指法弹奏上述乐曲时该仿人钢琴演奏机器人的身体部位对应的位姿变化序列。
上述提到的弹奏该曲谱信息对应的乐曲时所采用的指法可以是指，规划出的针对曲谱信息中的每个音符，通过左手11和/或右手12中的一个或多个手指进行弹奏的规则。具体确定上述指法的方式可以是：采用基于评分的规划方法进行指法规划，针对某一首乐曲，规划出所能弹奏该乐曲的最优的臂爪动作序列(即，指法)。即，对于一首乐曲来说，可以规划出多种指法，然后选取出最优的指法。也就是说，可以规划出多种能够实现演奏该乐曲的臂爪动作序列，并对每个臂爪动作序列进行评分，获得评分最高的臂爪动作序列，作为所采用的指法。针对臂爪动作序列的评分可以是通过臂爪动作序列所需移动的代价来确定的，代价越高，则评分越低。
而后，可以确定出按照该指法弹奏该乐曲时该仿人钢琴演奏机器人的身体部位对应的位姿变化序列，这里提到的位姿变化序列中可以包括多个时间点下的位姿，而每个时间点对应的位姿可以包括各个部位对应的位姿：如左手臂13、右手臂14分别对应的位姿，以及腰部15、颈部16和右腿110分别对应的位姿。
最终，通过控制系统111，可以按照上述规划出的指法，对左手11以及右手12进行控制，以及根据位姿变化序列，对除左手11以及右手12之外的身体部位进行控制。
其中，手部(左手11以及右手12)可以采用五指形式，其中拇指、食指均可以配置俯仰、侧摆两个自由度，其它三指均可以配置一个俯仰自由度。所有手指均由电机、例如微型行星减速电机进行驱动，同时采用连杆传动方式将电机转动转化为指尖的按压运动。
每根手指均可以配置有按压力检测模块，实时检测指尖对琴键的压力，提升了弹琴过程中的感知检测能力。按压力检测模块的作用存在多种，例如，可以根据按压力检测模块检测出指尖对琴键的压力过大(如大于指定阈值)，则可以实施对机器人的断电处理，以对琴键进行保护。再例如，还可以根据乐谱中的声强信息，来确定出机器人指尖 针对琴键所需实施的压力，并在控制手指按压琴键的同时，通过按压力检测模块与手指上配置的电机(微型行星减速电机)的配合，使得达到确定出的机器人指尖针对琴键所需实施的压力。
通过动作规划，可以根据曲谱内容自动生成上述指法，即，每个音符对应的手指按压琴键的动作序列。通过控制手指按压相对应的琴键产生声音。
手臂(左手臂13与右手臂14)采用多自由度仿人构型，可模仿人类手臂的灵巧运动，以实现拟人化弹奏的效果。手臂的所有关节均由电机、例如伺服电机驱动，能实现高精度运动控制。
上述提到的位姿变化序列中包括了手臂末端的位姿，手臂末端的位姿可以用于引导手部的某个手指停留在所需弹奏的琴键上，因此，可以通过上述定位数据，确定每一时刻下左手臂13和/或右手臂14按照上述指法弹奏曲谱信息对应的乐曲所需的手臂末端位姿，并根据手臂末端位姿，确定仿人钢琴演奏机器人在按照指法弹奏乐曲时仿人钢琴演奏机器人的身体部位对应的位姿变化序列。
当然，该位姿变化序列中还可以包括有其他部位对应的位姿，如腰部和颈部对应的位姿，可以通过曲谱信息中的节奏进行确定，从而按照确定出的位姿，来控制腰部和颈部分别对应的两个自由度，以使腰部和颈部达到拟人的弹琴时摆动的效果。当然，也可以按照预先设定出的腰部和颈部的摆动规则，来确定出腰部和颈部对应的位姿，从而控制腰部和颈部的运动，具体的方式不进行限定。
从上述内容中可以看出，手部在空间的定位，是通过控制手臂运动实现的。弹琴过程中，需要根据琴键位置与手指位置，计算手臂末端位姿，再通过运动学逆解计算得到每个手臂关节的运动角度，从而通过控制手臂运动，以使手指达到所需按动琴键的位置。
上述提到的语音单元18主要用于实现语音识别与语音交互，通过该语音单元18可以接收用户发出的语音信息，仿人钢琴演奏机器人可以根据该语音信息，判断用户的目的是否为请求仿人钢琴演奏机器人进行钢琴演奏，若是，则可以通过控制系统111，控制该仿人钢琴演奏机器人进行钢琴演奏。
其中，接收演奏指令的时机可以是指在确定用户的目的为请求仿人钢琴演奏机器人进行钢琴演奏的时机，当然，也可以是用户通过配置在仿人钢琴演奏机器人身上的按键所发起的演奏指令的时机，该演奏指令的具体接收时机不进行限定。
还需说明的是，若根据上述语音信息，判断该用户的目的为请求仿人钢琴演奏机器 人进行钢琴演奏，对语音信息进行识别，确定用户所请求仿人钢琴演奏机器人演奏的曲目信息，根据曲目信息，通过控制系统111，控制仿人钢琴演奏机器人进行钢琴演奏。这里提到的曲目信息可以包括曲目名称、曲目类型等。
图5为本公开实施例提供的一种语音单元的具体的系统框图。
如图5所示。首先麦克风可以将原始的语音信息输入预处理模块，原始的语音信息经过语音降噪和回声消除后，滤除了噪声和本机自身播放的音频数据，可以得到过滤噪声后的语音信息，将过滤噪声后的语音信息发送给自然语言处理模块。
自然语言处理模块部署有语音识别算法、语音分类算法和语义理解算法。语音识别算法将语音转写成文字；语音分类算法将语音类型分类为任务类、闲聊类和问答类；语义理解算法可以提取出语音的目的以及一些重要参数(如曲目信息)。
语音分类后，如是闲聊问答类，则可以由智能化答案生成模块生成智能化答案，然后由语音合成模块进行合成，最终输出至喇叭发出声音。如是任务类且语音的目的是弹琴，则弹琴模块提取出弹琴的曲目信息后，可以将曲目信息发送给控制系统111，控制系统111可以通过曲目信息获取到相应曲谱信息(具体方式不进行限定，如可以通过公共网络获取，也可以在机器人内部存储有固定的曲目信息所对应的曲谱信息以使控制信息可以直接获取到曲谱信息)，进而，由控制系统111驱动机器人运动弹琴。
从上述内容中可以看出，控制系统111可以负责运动规划与执行控制，分两步进行，第一步首选需要根据曲目规划弹琴动作，实现音乐节拍到手指在空间的位姿映射(可以理解为，哪一个手指来弹奏哪一个音符的对应关系)；第二步根据第一步确定的手指空间位姿，规划机械臂(手臂)末端的轨迹，并进行逆运动学求解，驱动手臂的所有关节运动。
这里需要具体说明一下第二步，在第二步中，需要确定出手臂末端位姿的序列，并依据手臂末端位姿的序列，来确定出手臂各个关节角的角度，从而控制手臂运动。
即，需要针对位姿变化序列中的每个手臂末端位姿，进行逆运动学解算，分别确定出左手臂13或右手臂14达到该手臂末端位姿所需的关节角；并根据每个手臂末端位姿对应的关节角，控制左手臂13或右手臂14进行移动。对于一个手臂末端位姿来说，该手臂末端位姿若是属于左手臂，则需要确定左手臂的关节角，若是该手臂末端位姿属于右手臂，则需要确定右手臂的关节角。
还需说明的是，由于存在左手臂和右手臂的区别，并且，确定出的手臂末端位姿通 常是在一个坐标系(如，中心在机器人的腰部中心的世界坐标系)下，因此，可以针对该位姿变化序列中的每个手臂末端位姿，确定该手臂末端位姿所属的手臂，并根据该手臂末端位姿所属的手臂对应的肩部与腰部15之间的固定转角、腰部15在该时刻的偏摆角和俯仰角、以及该手臂末端位姿所属的手臂对应的肩部在腰部15的俯仰关节的局部坐标系下的坐标，将该手臂末端位姿转换到该手臂末端位姿所属的手臂的肩部坐标系下，得到转换后位姿。这样，控制系统111可以根据转换后位姿，控制左手臂13和/或右手臂14进行移动。
需要说明的是，可以通过手臂末端位姿，确定出手臂每个关节所需到达的位姿，进而确定出每个关节的关节角，这些位姿也可以通过类似上述方式，转换到肩部坐标系下。
世界坐标系和左手臂所对应的肩部坐标系具体可以如图6所示。
图6为本公开实施例提供的一种世界坐标系和左手臂所对应的肩部坐标系的示意图。
双机械臂的控制采用了笛卡尔空间的位姿控制，笛卡尔空间的世界坐标系的坐标原点位于腰部中心。X轴正方向指向机器人正前方，Y轴正方向指向机器人左侧，Z轴正方向指向机器人正上方，上述提到的腰部15的俯仰关节的局部坐标系可以是指该世界坐标系。
双机械臂的两个肩部坐标系的坐标原点分别位于左肩和右肩的中心(在上述描述中以肩部坐标系进行的描述)，坐标轴方向与世界坐标系平行。以右臂为例，控制系统111可以接收由琴谱转换的右臂末端在世界坐标系中的手臂末端位姿，通过倒抛物线方式规划机械臂末端从当前位置到目标位置的路径，且整条路径上的点均可完成逆运动学解算。
对于一个时间点来说，该机械臂的手臂末端位姿均可被转换到肩部坐标系中，通过如下公式(1)～(2)，可以将机械臂的手臂末端位姿(wp7，wR7)转换到右肩的局部坐标系中的位姿(sp7，sR7)，其中，αyaw和αpitch为腰部在该时刻的偏摆角和俯仰角，βyaw为肩部与腰部之间的固定转角，waist_pitchps为机械臂肩部在腰部的俯仰关节的局部坐标系下的坐标。
sp7＝Rz -1(βyaw)*(Rz -1(αyaw)*Ry -1(αpitch)*wp7-waist_pitchps)   (1)
sR7＝Rz -1(αyaw)*Ry -1(αpitch)*Rz -1(βyaw)*wR7    (2)
其中，各旋转矩阵如下公式(3)～(5)表示：


最终经逆运动学解算，可以求解出右臂在关节空间的七个关节角，下发给驱动系统，控制机械臂移动到目标位姿。逆运动学解算方式可采用目前使用较多的基于臂角的冗余机械臂的逆运动学解法。
图7为本公开实施例提供的一种仿人钢琴演奏机器人的控制方法的流程示意图，所述方法应用在仿人钢琴演奏机器人，具体包括以下步骤：
S701：通过所述视觉感知单元，获取曲谱图像以及所述仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像；
S702：通过所述视觉感知单元，对所述曲谱图像进行识别，得到曲谱信息，以及根据所述琴键图像，对所述钢琴琴键进行定位，得到定位数据；
S703：根据所述定位数据以及所述曲谱信息，规划出所述仿人钢琴演奏机器人在弹奏所述曲谱信息对应的乐曲时所采用的指法，并确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列；
S704：通过所述控制系统，按照所述指法，对所述左手以及所述右手进行控制，以及根据所述位姿变化序列，对除所述左手以及所述右手之外的身体部位进行控制。
由于本公开实施例提供的仿人钢琴演奏机器人的控制方法已在上述对仿人钢琴演奏机器人的描述中基本说明，在此不再详细赘述。
从上述内容中可以看出，本公开实施例提供的仿人钢琴演奏机器人，该仿人钢琴演奏机器人中的腰部与颈部均配置有两个自由度，因此可以灵活地达到拟人进行弹奏钢琴的目的，并且，通过视觉感知单元，可以对琴键的位置进行准确定位，并且可以智能化地识别出曲谱的内容，并且自动化地按照曲谱进行钢琴演奏。
另外，语音单元可以使得仿人钢琴演奏机器人智能地识别用户所需其弹奏的钢琴曲目，从而自动化地进行钢琴弹奏，通过腰部、颈部的两个自由度，以及对两个机械臂位姿的控制，使得本公开实施例中的钢琴演奏机器人可以灵巧并智能化地弹奏钢琴。
本公开还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述仿人钢琴演奏机器人的控制方法。
本公开还提供了一种电子设备。如图8所示，在硬件层面，该电子设备包括处理器、 内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述仿人钢琴演奏机器人的控制方法。
当然，除了软件实现方式之外，本公开并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除 了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本公开时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框 图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(Random Access Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read-Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase Change RAM，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(Compact Disc Read Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc，DVD)或其他光学存储、磁盒式磁带，磁带及磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本公开可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本公开，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本公开的实施例而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。

Claims (15)

  1. 一种仿人钢琴演奏机器人，其特征在于，所述仿人钢琴演奏机器人包括：左手、右手、左手臂、右手臂、腰部、颈部、视觉感知单元、左腿、右腿、控制系统、底座，所述颈部配置有两个自由度，以带动头部进行回转动作和俯仰动作，所述腰部配置有两个自由度，以带动上半身进行回转动作和俯仰动作；
    所述仿人钢琴演奏机器人用于：
    通过所述视觉感知单元，获取曲谱图像以及所述仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像，并对所述曲谱图像进行识别，得到曲谱信息，以及根据所述琴键图像，对所述钢琴琴键进行定位，得到定位数据；
    通过所述控制系统，根据所述定位数据以及所述曲谱信息，规划出所述仿人钢琴演奏机器人在弹奏所述曲谱信息对应的乐曲时所采用的指法，并确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列；
    通过所述控制系统，按照所述指法，对所述左手以及所述右手进行控制，以及根据所述位姿变化序列，对除所述左手以及所述右手之外的身体部位进行控制。
  2. 如权利要求1所述的机器人，其特征在于，所述仿人钢琴演奏机器人还用于，通过所述视觉感知单元，将所述曲谱信息进行编码，得到预设格式的编码信息，并将所述编码信息发送给所述控制系统，所述曲谱信息中至少包括节拍、音符以及修饰符。
  3. 如权利要求1所述的机器人，其特征在于，所述仿人钢琴演奏机器人还包括：语音单元；
    所述仿人钢琴演奏机器人还用于，通过所述语音单元接收用户发出的语音信息，根据所述语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏，若是，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。
  4. 如权利要求3所述的机器人，其特征在于，所述仿人钢琴演奏机器人用于，通过所述语音单元，若根据所述语音信息，判断所述用户的目的为请求所述仿人钢琴演奏机器人进行钢琴演奏，对所述语音信息进行识别，确定所述用户所请求所述仿人钢琴演奏机器人演奏的曲目信息，通过所述控制系统，根据所述曲目信息，控制所述仿人钢琴演奏机器人进行钢琴演奏。
  5. 如权利要求3所述的机器人，其特征在于，所述仿人钢琴演奏机器人用于，通过所述语音单元，过滤所述语音信息中的噪声，根据过滤噪声后的语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏。
  6. 如权利要求1所述的机器人，其特征在于，所述仿人钢琴演奏机器人用于，通过所述控制系统，根据所述定位数据，确定每一时刻下所述左手臂和/或所述右手臂按照所述指法弹奏所述曲谱信息对应的乐曲所需的手臂末端位姿，根据所述手臂末端位姿，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列。
  7. 如权利要求6所述的机器人，其特征在于，所述仿人钢琴演奏机器人用于，通过所述控制系统，针对所述位姿变化序列中的每个手臂末端位姿，进行逆运动学解算，分别确定出所述左手臂或右手臂达到该手臂末端位姿所需的关节角；根据每个手臂末端位姿对应的关节角，控制所述左手臂或所述右手臂进行移动。
  8. 如权利要求6所述的机器人，其特征在于，所述仿人钢琴演奏机器人用于，通过所述控制系统，针对所述位姿变化序列中的每个手臂末端位姿，确定该手臂末端位姿所属的手臂，并根据该手臂末端位姿所属的手臂对应的肩部与腰部之间的固定转角、腰部在该时刻的偏摆角和俯仰角、以及该手臂末端位姿所属的手臂对应的肩部在腰部的俯仰关节的局部坐标系下的坐标，将该手臂末端位姿转换到该手臂末端位姿所属的手臂的肩部坐标系下，得到转换后位姿；根据所述转换后位姿，控制所述左手臂和/或所述右手臂进行移动。
  9. 一种仿人钢琴演奏机器人的控制方法，其特征在于，所述方法应用在仿人钢琴演奏机器人，所述仿人钢琴演奏机器人包括：左手、右手、左手臂、右手臂、腰部、颈部、视觉感知单元、左腿、右腿、控制系统、底座，所述颈部配置有两个自由度，以带动头部进行回转动作和俯仰动作，所述腰部配置有两个自由度，以带动上半身进行回转动作和俯仰动作，所述方法包括：
    通过所述视觉感知单元，获取曲谱图像以及所述仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像；
    通过所述视觉感知单元，对所述曲谱图像进行识别，得到曲谱信息，以及根据所述琴键图像，对所述钢琴琴键进行定位，得到定位数据；
    通过所述控制系统，根据所述定位数据以及所述曲谱信息，规划出所述仿人钢琴演奏机器人在弹奏所述曲谱信息对应的乐曲时所采用的指法，并确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列；
    通过所述控制系统，按照所述指法，对所述左手以及所述右手进行控制，以及根据所述位姿变化序列，对除所述左手以及所述右手之外的身体部位进行控制。
  10. 如权利要求9所述的方法，其特征在于，所述方法还包括：
    通过所述视觉感知单元，将所述曲谱信息进行编码，得到预设格式的编码信息，并将所述编码信息发送给所述控制系统，所述曲谱信息中至少包括节拍、音符以及修饰符。
  11. 如权利要求9所述的方法，其特征在于，所述仿人钢琴演奏机器人还包括：语音单元；
    所述方法还包括：
    通过所述语音单元接收用户发出的语音信息；
    通过所述语音单元，根据所述语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏，若是，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。
  12. 如权利要求11所述的方法，其特征在于，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏，包括：
    通过所述语音单元，若根据所述语音信息，判断所述用户的目的为请求所述仿人钢琴演奏机器人进行钢琴演奏，对所述语音信息进行识别，确定所述用户所请求所述仿人钢琴演奏机器人演奏的曲目信息；
    通过所述控制系统，根据所述曲目信息，控制所述仿人钢琴演奏机器人进行钢琴演奏。
  13. 如权利要求9所述的方法，其特征在于，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列，包括：
    根据所述定位数据，确定每一时刻下所述左手臂和/或所述右手臂按照所述指法弹奏所述曲谱信息对应的乐曲所需的手臂末端位姿；
    根据所述手臂末端位姿，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列。
  14. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求9～13任一项所述的方法。
  15. 一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求9～13任一项所述的方法。
PCT/CN2023/120387 2023-06-08 2023-09-21 仿人钢琴演奏机器人 WO2024008217A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310676079.9 2023-06-08
CN202310676079.9A CN116394277B (zh) 2023-06-08 2023-06-08 一种仿人钢琴演奏机器人

Publications (1)

Publication Number Publication Date
WO2024008217A1 true WO2024008217A1 (zh) 2024-01-11

Family

ID=87014665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/120387 WO2024008217A1 (zh) 2023-06-08 2023-09-21 仿人钢琴演奏机器人

Country Status (2)

Country Link
CN (1) CN116394277B (zh)
WO (1) WO2024008217A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116394277B (zh) * 2023-06-08 2023-08-25 之江实验室 一种仿人钢琴演奏机器人
CN116728419B (zh) * 2023-08-09 2023-12-22 之江实验室 弹琴机器人的连续弹琴动作规划方法、系统、设备及介质
CN117207204B (zh) * 2023-11-09 2024-01-30 之江实验室 一种弹琴机器人的控制方法及控制装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130076394A (ko) * 2011-12-28 2013-07-08 한국기술교육대학교 산학협력단 피아노 로봇 제어 방법 및 장치
CN108010504A (zh) * 2017-12-26 2018-05-08 昆山塔米机器人有限公司 一种由机器人控制的钢琴演奏系统及方法
CN108053815A (zh) * 2017-12-12 2018-05-18 广州德科投资咨询有限公司 一种机器人的演奏控制方法及机器人
CN210998752U (zh) * 2020-04-07 2020-07-14 北京建筑大学 钢琴演奏机器人
CN111531562A (zh) * 2020-05-12 2020-08-14 北京木甲天枢文化科技有限公司 箜篌演奏机器人
CN114952868A (zh) * 2022-07-26 2022-08-30 之江实验室 7自由度srs型机械臂控制方法及装置、弹琴机器人
CN217943361U (zh) * 2022-07-18 2022-12-02 华强方特（深圳）科技有限公司 一种模拟演奏弹拨乐器机器人
CN115870980A (zh) * 2022-12-09 2023-03-31 北部湾大学 一种基于视觉的弹琴机器人控制方法及装置
CN116394277A (zh) * 2023-06-08 2023-07-07 之江实验室 一种仿人钢琴演奏机器人

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2720305B2 (ja) * 1994-06-16 1998-03-04 博 太田 少数鍵盤電子ピアノでのロボット指打演奏装置
US6982375B2 (en) * 2003-06-06 2006-01-03 Mcgregor Rob Musical teaching device and method
US20210387346A1 (en) * 2016-10-22 2021-12-16 Carla R. Gillett Humanoid robot for performing maneuvers like humans
CN106956277B (zh) * 2017-04-07 2019-07-05 温州职业技术学院 一种智能娱乐机器人的机械结构
US11498206B2 (en) * 2017-12-14 2022-11-15 Sony Interactive Entertainment Inc. Entertainment system, robot device, and server device
CN110394784B (zh) * 2019-07-18 2022-07-05 天津大学 一种应用于钢琴教学的机械手欠驱动结构及设计方法
CN111421563A (zh) * 2020-05-12 2020-07-17 北京木甲天枢文化科技有限公司 一种竹笛演奏机器人
WO2021258117A1 (en) * 2020-06-18 2021-12-23 Loc Vo Gia A robotic arm, a robotic hand, a robotic system for playing the piano
CN114227707A (zh) * 2021-12-16 2022-03-25 东北林业大学 一种用于乐谱识别和钢琴自动演奏的智能化嵌入式设备
CN114347070B (zh) * 2022-03-18 2022-07-12 之江实验室 基于仿人臂爪机器人的弹琴动作控制方法、系统及装置
CN115431251B (zh) * 2022-09-16 2023-03-21 哈尔滨工业大学 一种仿人机器人上肢
CN115781733A (zh) * 2022-12-01 2023-03-14 之江实验室 机械手和机器人

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130076394A (ko) * 2011-12-28 2013-07-08 한국기술교육대학교 산학협력단 피아노 로봇 제어 방법 및 장치
CN108053815A (zh) * 2017-12-12 2018-05-18 广州德科投资咨询有限公司 一种机器人的演奏控制方法及机器人
CN108010504A (zh) * 2017-12-26 2018-05-08 昆山塔米机器人有限公司 一种由机器人控制的钢琴演奏系统及方法
CN210998752U (zh) * 2020-04-07 2020-07-14 北京建筑大学 钢琴演奏机器人
CN111531562A (zh) * 2020-05-12 2020-08-14 北京木甲天枢文化科技有限公司 箜篌演奏机器人
CN217943361U (zh) * 2022-07-18 2022-12-02 华强方特（深圳）科技有限公司 一种模拟演奏弹拨乐器机器人
CN114952868A (zh) * 2022-07-26 2022-08-30 之江实验室 7自由度srs型机械臂控制方法及装置、弹琴机器人
CN115870980A (zh) * 2022-12-09 2023-03-31 北部湾大学 一种基于视觉的弹琴机器人控制方法及装置
CN116394277A (zh) * 2023-06-08 2023-07-07 之江实验室 一种仿人钢琴演奏机器人

Also Published As

Publication number Publication date
CN116394277B (zh) 2023-08-25
CN116394277A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
WO2024008217A1 (zh) 仿人钢琴演奏机器人
Mahmud et al. Interface for human machine interaction for assistant devices: A review
JP6505748B2 (ja) 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット
Garg et al. Vision based hand gesture recognition
Wachs et al. Vision-based hand-gesture applications
CN108453742A (zh) 基于Kinect的机器人人机交互系统及方法
JP6841232B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Loper et al. Mobile human-robot teaming with environmental tolerance
CN106896796A (zh) 基于数据手套的工业机器人主从式示教编程方法
JP5252393B2 (ja) 動作学習装置
CN105867595A (zh) 联合语音信息与手势信息的人机交互方式以及实施装置
US20200269421A1 (en) Information processing device, information processing method, and program
Chang et al. A kinect-based gesture command control method for human action imitations of humanoid robots
Wang et al. A method of automatically generating Labanotation from human motion capture data
CN106625697A (zh) 一种基于机器视觉技术的智能桌面式机械臂系统
Korayem et al. Design and implementation of the voice command recognition and the sound source localization system for human–robot interaction
Ismail et al. Vision-based technique and issues for multimodal interaction in augmented reality
CN112621715B (zh) 一种基于语音输入上肢外骨骼控制方法及控制装置
Ikeuchi et al. Applying learning-from-observation to household service robots: three common-sense formulation
JP4433273B2 (ja) ロボット装置及びロボット装置の制御方法
CN109960404A (zh) 一种数据处理方法及装置
CN202751805U (zh) 一种语音定位与智能避障识别玩具
Dhamanskar et al. Human computer interaction using hand gestures and voice
JP7201984B2 (ja) アンドロイドのジェスチャ生成装置及びコンピュータプログラム
Goerick et al. Interactive online multimodal association for internal concept building in humanoids

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23834982

Country of ref document: EP

Kind code of ref document: A1