WO2024002255A1 - 对象的控制方法、装置、设备、存储介质及车辆 - Google Patents

对象的控制方法、装置、设备、存储介质及车辆 Download PDF

Info

Publication number
WO2024002255A1
WO2024002255A1 PCT/CN2023/103951 CN2023103951W WO2024002255A1 WO 2024002255 A1 WO2024002255 A1 WO 2024002255A1 CN 2023103951 W CN2023103951 W CN 2023103951W WO 2024002255 A1 WO2024002255 A1 WO 2024002255A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
scene
switching
interest
display area
Prior art date
Application number
PCT/CN2023/103951
Other languages
English (en)
French (fr)
Inventor
张子琦
黄天健
姚玥祺
Original Assignee
华人运通(上海)云计算科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202210764194.7A external-priority patent/CN117369678A/zh
Priority claimed from CN202210761033.2A external-priority patent/CN117369912A/zh
Application filed by 华人运通(上海)云计算科技有限公司 filed Critical 华人运通(上海)云计算科技有限公司
Publication of WO2024002255A1 publication Critical patent/WO2024002255A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开至少提供一种对象的控制方法，包括：采集对兴趣点的操作信息；基于预先建立的映射关系，确定与兴趣点对应的3D实体对象组件，以及与操作信息对应的实体动作；生成控制命令，控制命令用于控制3D实体对象组件执行实体动作。根据本公开实施例的技术方案，可以还原物理世界真实反馈以及操作方式，用户通过操作兴趣点即可完成复杂的控制；通过显示和交互分离的技术方案实现兴趣点功能，同时满足画面表现和交互体验的需求，从而提升用户体验。

Description

对象的控制方法、装置、设备、存储介质及车辆
本申请要求于2022年6月29日提交至国家知识产权局、申请号为2022107641947、名称为“实体对象和虚拟对象的控制方法以及虚拟场景的绘制方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请要求于2022年6月29日提交至国家知识产权局、申请号为2022107610332、名称为“一种场景切换的显示方法、装置、设备以及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及图像处理技术领域，尤其涉及一种对象的控制方法、装置、设备、存储介质及车辆。
背景技术
由于三维(3Dimensions，3D)空间的坐标系和用户交互界面的坐标系不一致，因此用户交互操作和3D对象操作需要进行坐标系转换，非常不直观，不利于用户交互体验。通过分场景显示，可以区分不同的功能或者区分不同的显示效果。一来可以便于用户的观赏和操作，二来也可以有效的提升科技感。现有的场景的切换多为单一的3D显示切换，或单一的2D显示切换，相对单一。
发明内容
本公开实施例提供一种3D实体对象和3D虚拟对象的控制方法以及3D虚拟场景的绘制方法、装置以及车辆，以解决相关技术存在的问题，技术方案如下：
第一方面，本公开实施例提供一种3D实体对象的控制方法，包括：
采集对兴趣点的操作信息；
基于预先建立的映射关系，确定与兴趣点对应的3D实体对象组件，以及与操作信息对应的实体动作；
生成控制命令，控制命令用于控制3D实体对象组件执行实体动作。
第二方面，本公开实施例提供一种3D虚拟对象的控制方法，包括：
采集对兴趣点的操作信息；
基于预先建立的第一映射关系，确定与兴趣点对应的3D虚拟对象组件，以及与操作信息对应的虚拟动作；
控制3D虚拟对象组件展示虚拟动作。
第三方面，本公开实施例提供一种3D虚拟场景的绘制方法，包括：
绘制3D虚拟对象，3D虚拟对象包括至少一个3D虚拟对象组件；
根据3D虚拟对象组件的位置，确定兴趣点UI平面的位置，其中，兴趣点UI平面上设置有与3D虚拟对象组件对应的兴趣点；兴趣点用于接收用户的操作；兴趣点UI平面与3D虚拟对象组件相对静止；
根据3D虚拟对象组件的观察视点的欧拉角，确定兴趣点UI平面的欧拉角，其中，兴趣点UI平面与3D虚拟对象组件的观察视点相对静止；
基于兴趣点UI平面的位置和欧拉角，绘制兴趣点UI平面。
第四方面，本公开实施例提供一种3D实体对象的控制装置，包括：
操作信息采集模块，用于采集对兴趣点的操作信息；
实体对象组件和动作确定模块，用于基于预先建立的映射关系，确定与兴趣点对应的3D实体对象组件，以及与操作信息对应的实体动作；
控制命令生成模块，用于生成控制命令，控制命令用于控制3D实体对象组件执行实体动作。
第五方面，本公开实施例提供一种3D虚拟对象的控制装置，包括：
操作信息采集模块，用于采集对兴趣点的操作信息；
虚拟对象组件和动作确定模块，用于基于预先建立的第一映射关系，确定与兴趣点对应的3D虚拟对象组件，以及与操作信息对应的虚拟动作；
控制模块，用于控制3D虚拟对象组件展示虚拟动作。
第六方面，本公开实施例提供一种3D虚拟场景的绘制装置，包括：
虚拟对象绘制模块，用于绘制3D虚拟对象，3D虚拟对象包括至少一个3D虚拟对象组件；
位置确定模块，用于根据3D虚拟对象组件的位置，确定兴趣点UI平面的位置，其中，兴趣点UI平面上设置有与3D虚拟对象组件对应的兴趣点；兴趣点用于接收用户的操作；兴趣点UI平面与3D虚拟对象组件相对静止；
欧拉角确定模块，用于根据3D虚拟对象组件的观察视点的欧拉角，确定兴趣点UI平面的欧拉角，其中，兴趣点UI平面与3D虚拟对象组件的观察视点相对静止；
兴趣点UI平面绘制模块，用于基于兴趣点UI平面的位置和欧拉角，绘制兴趣点UI平面。
第七方面，本公开实施例提供了一种场景切换的显示方法，该方法可以包括以下步骤：根据获取到的场景切换触发信息，确定下个显示场景；显示场景包括3D显示区域和2D显示区域；确定场景切换速度曲线，场景切换速度曲线是用于控制由当前显示场景切换至下个显示场景的切换速率的；根据场景变化曲线，从当前显示场景切换至下个显示场景。
第八方面，本公开实施例提供了一种场景切换的显示装置，该装置可以包括：
下个显示场景确定模块，用于根据获取到的场景切换触发信息，确定下个显示场景；显示场景包括3D显示区域和2D显示区域；
场景切换速度曲线确定模块，用于确定场景切换速度曲线，场景切换速度曲线是用于控制由当前显示场景切换至下个显示场景的切换速率的；
场景切换模块，用于根据场景变化曲线，从当前显示场景切换至下个显示场景。
第九方面，本公开实施例提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
第十方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
第十一方面，本公开实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。
第十二方面，本公开实施例提供一种车辆，包括控制器，该控制器用于执行本公开任一实施例的方法，或包括本公开任一实施例的装置。
根据本公开实施例的技术方案，可以还原物理世界真实反馈以及操作方式，用户通过操作兴趣点即可完成复杂的控制；通过显示和交互分离的技术方案实现兴趣点功能，同时满足画面表现和交互体验的需求，从而提升用户体验。另外，根据本公开的技术，每个场景可以同时包含3D显示区域和2D显示区域。所显示的内容更为丰富。由于场景变化曲线约束了切换速率，使得在场景切换过程中，借助于场景变化曲线，可以使得场景切换的过程更为自然，3D显示区域的切换和2D显示区域的切换之间作为一个整体切换过程，视觉效果更佳。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本公开进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开公开的一些实施方式，而不应将其视为是对本公开范围的限制。
图1示出根据本公开实施例一的流程图；
图2-1和2-2示出根据本公开实施例的应用场景图；
图3示出根据本公开实施例的应用示例图；
图4示出根据本公开实施例二的流程图；
图5示出根据本公开实施例二的应用示例图；
图6-1至6-4示出根据本公开实施例二的应用示例图；
图7-1至7-3示出根据本公开实施例二的应用示例图；
图8示出根据本公开实施例三的流程图；
图9和图10示出根据本公开实施例三的应用示例图；
图11-1至11-4示出根据本公开实施例三的应用示例图；
图12示出根据本公开实施例四的流程图；
图13示出根据本公开实施例五的3D实体对象的控制装置的结构框图；
图14示出根据本公开实施例五的3D虚拟对象的控制装置的结构框图；
图15示出根据本公开实施例五的3D虚拟场景的绘制装置的结构框图；
图16是根据本公开场景切换的显示方法的流程图；
图17是根据本公开显示场景的示意图之一；
图18是根据本公开确定场景切换速度曲线的流程图；
图19是根据本公开显示场景的示意图之二；
图20是根据本公开场景切换速度曲线的示意图；
图21是根据本公开确定切换时长的流程图；
图22是根据本公开3D显示区域的图像生成原理示意图；
图23是根据本公开从当前显示场景切换至下个显示场景的流程图；
图24是根据本公开显示场景的示意图之三；
图25是可以实现本公开实施例的场景切换的显示方法的场景示意图；
图26是根据本公开不同场景类型的示意图；
图27是根据本公开场景切换的显示装置示意图；
图28示出根据本公开实施例的电子设备的方框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本公开的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
实施例一
图1示出根据本实施例的3D实体对象的控制方法的流程图。如图1所示，该控制方法可以包括：
步骤S101：采集对兴趣点的操作信息；
步骤S102：基于预先建立的映射关系，确定与兴趣点对应的3D实体对象组件，以及与操作信息对应的实体动作；
步骤S103：生成控制命令，控制命令用于控制3D实体对象组件执行实体动作。
3D实体对象可以是车辆、玩具、智能设备等真实世界存在的物体，3D实体对象可以由至少一个3D实体对象组件构成，且3D实体对象组件可以被用户操作，从而可以实现用户可以与3D实体对象之间的交互。根据用户的操作可以触发3D实体对象组件执行实体动作。本实施例对3D实体对象、3D实体对象组件以及实体动作均不作具体限定。
兴趣点(Point of Interest，POI)与3D实体对象组件之间具有映射关系。也就是说，当某一个兴趣点被用户操作，可以触发与该兴趣点对应的3D实体对象组件的实体动作。进一步地，兴趣点可以有多个，3D实体对象组件也可以为多个，多个兴趣点与多个3D实体对象之间具有一一对应的映射 关系。
进一步地，用户对兴趣点的操作方式可以有多种，如点击兴趣点、拖拽兴趣点、缩放兴趣点等。其中，点击可以是单击或双击；拖拽轨迹可以是线性或弧形或曲线或圆形等。本实施例对操作方式不作具体限定，本领域技术人员可以根据实际情况进行设置。
当用户在兴趣点用户界面(User Interface，UI)中操作兴趣点时，可以采集用户对兴趣点的操作信息。操作信息除了可以包括操作方式，还可以包括操作量化信息。其中，操作量化信息用于表示在某一操作方式下的操作幅度信息。例如：操作方式可以为拖拽，操作量化信息可以为兴趣点延X方向的滑动变化量，滑动变化量可以定义为0％～100％的变化幅度。
操作信息不同，对应的3D实体对象组件所要执行的实体动作也就不同。也就是说，各操作信息与各实体动作之间具有一一对应的映射关系。
需要说明的是，本实施例中的映射关系(包括之后将要描述的第一映射关系和第二映射关系)是预先建立的，本领域技术人员可以根据实际情况进行设置，本实施例对此不作具体限定。
进一步地，基于预先建立的映射关系，就可以确定与兴趣点对应的3D实体对象组件，以及与操作信息对应的实体动作。基于确定出的3D实体对象组件和实体动作，可以生成控制命令，该控制命令用于控制该3D实体对象组件执行该实体动作。
图2-1和图2-2分别示出根据本实施例的3D实体对象的控制方法的应用场景图。
如图2-1所示，显示设备202可以是为手机、平板等可以通讯且具有显示功能的设备。显示设备202上显示有交互界面，交互界面包括兴趣点，用户203基于显示设备202上显示的交互界面，可以对兴趣点进行操作。
3D实体对象为车辆201，3D实体对象组件为车辆组件，如车门、车窗、座椅、互动信号显示(Interactive signal display，ISD)灯、数字光(Digital Light Processing，DLP)投影灯、机械臂等。
实体动作可以为车门打开一定角度，车窗实现一定开度，座椅平移一定距离或座椅靠背倾斜一定角度，ISD灯作为车辆外灯动态显示动画，DLP投影灯在车外投影视频或图像，机械臂驱动车载显示设备沿X轴或Y轴或Z轴的伸缩动作或沿X轴、Y轴和Z轴的旋转动作等。
在一个示例中，显示设备202可以执行步骤S101～步骤S103，并基于显示设备202与车辆201之间的通讯，向车辆201发送控制命令，进而控制车辆201的车辆组件执行相应的实体动作。
在另一个示例中，显示设备202可以执行步骤S101，并基于显示设备202与车辆201之间的通讯，向车辆201发送采集到的操作信息，车辆201进一步执行步骤S102和步骤S103，并向相应的车辆组件发送控制命令，以控制相应的车辆组件执行相应的实体动作。
需要说明的是，进一步地，显示设备202和车辆201之间的通讯方式可以采用本领域技术人员已知或未来可知的技术手段，本实施例对此不作限定。
如图2-2所示，显示设备202为车辆201的一个车辆组件，即显示设备202位车载显示设备。显示设备202可以为中控屏(Center Informative Display，CID，也可以叫做中央信息显示器)、副驾屏、平视显示器(Head Up Display，HUD)、后排屏等，本实施例对此不作限定。由此，车辆201的控制器通过显示设备202采集对兴趣点的操作信息，并执行步骤S202～步骤S203，并将控制命令发送至相应的车辆组件。
在一个应用示例中，如图3所示，3D实体对象为车辆，3D实体对象组件为车门，把车门的打开定义为车门沿门轴线转动偏航角θ，角度调整范围为0°～N°，其中，N的数值可以根据车辆标定定义。定义车辆引擎和显示画面的通讯协议；把θ角在0°～N°的变化定义为兴趣点在兴趣点操作区域内沿X方向的滑动变化量，滑动变化量定义为0％～100％的变化幅度。例如：兴趣点每向X轴正方向移动10px，车门的开度变化1％，从而实现用户对3D实体车门的打开控制交互。
基于本实施例的3D实体对象的控制方法，用户通过操作兴趣点即可完成复杂的3D实体对象控制，人机交互的体验更加具有趣味性。在3D实体对象为车辆，3D实体对象组件为车辆组件时，可以使车机更加智能化和科技化。
实施例二
图4示出根据本实施例的3D虚拟场景的绘制方法的流程图。如图4所示，该绘制方法可以包括：
步骤S401：绘制3D虚拟对象，3D虚拟对象包括至少一个3D虚拟对象组件；
步骤S402：根据3D虚拟对象组件的位置，确定兴趣点UI平面的位置，其中，兴趣点UI平面上设置有与3D虚拟对象组件对应的兴趣点；兴趣点用于接收用户的操作；兴趣点UI平面与3D虚拟对象组件相对静止；
步骤S403：根据3D虚拟对象组件的观察视点的欧拉角，确定兴趣点UI平面的欧拉角，其中，兴趣点UI平面与3D虚拟对象组件的观察视点相对静止；
步骤S404：基于兴趣点UI平面的位置和欧拉角，绘制兴趣点UI平面。
3D虚拟对象可是虚拟车辆、虚拟玩具等3D虚拟世界中的物体。3D虚拟对象可以由至少一个3D虚拟对象组件构成。根据用户对兴趣点的操作可以触发3D虚拟对象组件执行虚拟动作。本实施例对3D虚拟对象、3D虚拟对象组件以及虚拟动作均不作具体限定。
兴趣点与3D虚拟对象组件之间具有映射关系。也就是说，当某一个兴趣点被用户操作，可以触发与该兴趣点对应的3D虚拟对象组件的虚拟动作。进一步地，兴趣点可以有多个，3D虚拟对象组件也可以为多个，多个兴趣点与多个3D虚拟对象之间具有一一对应的映射关系。
示例性地，3D虚拟对象为虚拟车辆，3D虚拟对象组件为虚拟车辆组件，如虚拟车门、虚拟车窗、虚拟座椅、虚拟ISD灯、虚拟DLP投影灯、虚拟机械臂等。
虚拟动作可以为虚拟车门打开一定角度，虚拟车窗实现一定开度，虚拟座椅平移一定距离或座椅靠背倾斜一定角度，虚拟ISD灯作为车辆外灯动态显示动画，虚拟DLP投影灯在车外投影视频或图像，虚拟机械臂驱动虚拟车载显示设备沿X轴或Y轴或Z轴的伸缩动作或沿X轴、Y轴和Z轴的旋转动作等。
为了实现兴趣点能在任意3D虚拟场景的观察角度都指向被操作的3D虚拟对象，兴趣点所在的兴趣点UI平面需要在3D空间内进行绘制。其中，兴趣点UI平面与3D虚拟对象组件相对静止；兴趣点UI平面与3D虚拟对象组件的观察视点相对静止。示例性地，3D虚拟场景可以显示于车载显示设备中。
本实施例中，3D虚拟对象组件的观察视点可以理解为摄像机，该摄像机相当于人眼，使得观察画面可以正对摄像机。如图5所示，3D虚拟对象可以是虚拟车辆，3D虚拟对象组件可以为车门，观察视点可以为摄像机。其中，兴趣点UI平面始终与摄像机画面平行。
相关技术中，由于3D空间的坐标系和用户交互UI的坐标系不一致，即用户交互是基于欧氏几何的2D平面XY轴上的位移，而被操作3D对象是在3D空间内的通过调整对象的欧拉角(例如通过俯仰角ψ调整座椅椅背；偏航角θ调整车门开关)。因此，用户操作和3D对象操作需要进行坐标系转换，非常不直观，不利于用户交互体验的程序优化。
本实施例中，通过使用2D交互UI对3D空间内的兴趣点UI平面进行映射，实现兴趣点能在任意3D虚拟场景的观察角度都指向被操作的3D虚拟对象，从而实现用户交互逻辑的体验优化。
在一个应用示例中，3D虚拟对象为虚拟车辆，3D虚拟对象组件为虚拟车门。把兴趣点UI平面设置为虚拟车门的子节点，这样在虚拟车门进行位移或转动时，可以保证兴趣点UI平面和虚拟车门相对静止，如图6-1和图6-2所示。进一步地，根据摄像机欧拉角实时调整兴趣点UI平面的欧拉角，如图6-3所示。从而，兴趣点的位置[X,Y,Z]相对虚拟车门静止，兴趣点的欧拉角[φ,θ,ψ]相对摄像机静止，如图6-4所示。
在一种实施方式中，在步骤S404中，绘制兴趣点UI平面，可以包括：在3D虚拟对象组件的显示图层的上层，绘制兴趣点UI平面。也就是说，兴趣点UI平面始终处于3D虚拟对象的上方显示。
示例性地，为了保证兴趣点UI平面始终在3D虚拟对象组件上方显示，需要分两次绘制场景。首先，绘制一次3D虚拟对象，如虚拟车辆，如图7-1所示；然后，绘制兴趣点UI平面，如图7-2所示。由此，可以避免发生图7-3中所示的兴趣点被遮挡的情况发生。
实施例三
图8示出根据本实施例的3D虚拟对象的控制方法的流程图。如图8所示，该控制方法包括：
步骤S801：采集对兴趣点的操作信息；
步骤S802：基于预先建立的第一映射关系，确定与兴趣点对应的3D虚拟对象组件，以及与操作信息对应的虚拟动作；
步骤S803：控制3D虚拟对象组件展示虚拟动作。
其中，步骤S801可以采用与步骤S101相同或相类似的实施方式。
进一步地，基于预先建立的第一映射关系，就可以确定与兴趣点对应的3D虚拟对象组件，以及与操作信息对应的虚拟动作。基于确定出的3D虚拟对象组件和虚拟动作，可以生成控制命令，该控制命令用于控制该3D虚拟对象组件执行该虚拟动作。
在一个应用示例中，如图3所示，3D虚拟对象为车辆，3D虚拟对象组件为虚拟车门，把虚拟车门的打开定义为虚拟车门沿虚拟门轴线转动偏航角θ，角度调整范围为0°～N°，其中，N的数值可以根据3D虚拟场景定义。定义虚拟车辆引擎和兴趣点显示画面之间的通讯协议；把θ角在0°～N°的变化定义为兴趣点在兴趣点操作区域内沿X方向的滑动变化量，滑动变化量定义为0％～100％的变化幅度。例如：兴趣点每向X轴正方向移动10px，虚拟车门的开度变化1％，从而实现用户对3D虚拟车门的打开控制交互。
基于本实施例的3D虚拟对象的控制方法，用户通过操作兴趣点即可完成复杂的3D虚拟对象控制，人机交互的体验更加具有趣味性。在3D虚拟对象为虚拟车辆，3D虚拟对象组件为虚拟车辆组件时，可以使车机更加智能化和科技化。
在一种实施方式中，兴趣点UI平面在3D虚拟场景中绘制，即兴趣点UI平面与3D虚拟对象共处一个3D空间。
示例性地，可以采用实施例二的方法绘制兴趣点UI平面和3D虚拟对象。也就是说，兴趣点所在的兴趣点UI平面与3D虚拟对象组件相对静止，兴趣点UI平面与3D虚拟对象组件的图像采集平面平行。从而，可以实现兴趣点能在任意3D虚拟场景的观察角度都指向被操作的3D虚拟对象。
在一个应用示例中，根据实施例二的绘制方法可以兴趣点UI平面和3D虚拟对象。进一步地，虚拟引擎处理器可以将绘制的兴趣点UI平面的位置和大小发送给操作系统的画面。示例性地，操作系统可以为安卓系统。如图9所示，虚拟引擎将兴趣点UI平面的位置[X,Y]和大小[W,H]发送给安卓窗口。如图10所示，安卓系统在安卓窗口对应位置和大小添加一个透明的视图(View)对象，不绘制内容，仅接受用户的操作事件。3D虚拟场景每次改变3D虚拟对象组件的位置或者改变摄像机的欧拉角，安卓系统都会同步更新View的位置大小，从而保证用户看到的兴趣点和3D虚拟对象组件的交互一致，避免出现随着3D虚拟对象组件的动作，用户看到的兴趣点脱离3D虚拟对象组件在其他区域显示的情况发生。
一种实施方式中，参照实施例二，兴趣点UI平面位于3D虚拟对象组件的显示图层的上层。从而，在3D虚拟对象组件执行虚拟动作或者摄像头欧拉角调整的情况下，兴趣点UI平面始终处于3D虚拟对象的上方显示。
在一个应用示例中，如图11-1至11-4所示，3D虚拟对象为虚拟车辆。其中，兴趣点可以包括一级兴趣点。一级兴趣点可以调整虚拟车辆的观察视点，如转动虚拟车辆，或者，进入相应的虚拟车辆组件的观察画面，如图11-1中的三个圆点为一级兴趣点。一级兴趣点还可以防止因为用户的误操作而触发错误的虚拟车辆组件被触发。当操作主驾虚拟车门对应的兴趣点时，可以打开主驾虚拟车门，如图11-3所示；当操作虚拟尾门对应的兴趣点时，可以打开虚拟尾门，如图11-4所示。
实施例四
图12示出根据本实施例的3D虚拟对象的控制方法的流程图。如图12所示，该控制方法包括：
步骤S1201：采集对兴趣点的操作信息；
步骤S1202：基于第一映射关系，确定与兴趣点对应的3D虚拟对象组件，以及与操作信息对应的虚拟动作；
步骤S1203：基于第二映射关系，确定与3D虚拟对象组件对应的3D实体对象组件，以及与虚 拟动作对应的实体动作；
步骤S1204：生成控制命令，控制命令用于控制3D实体对象组件执行实体动作。
其中，步骤S1201可以采用与步骤S101相同或相类似的实施方式；步骤S1202可以采用与步骤S802相同或相类似的实施方式；步骤S1204可以采用与步骤S103相同或相类似的实施方式。
进一步地，3D实体对象与3D虚拟对象之间具有一一对应的映射关系，3D实体对象组件与3D虚拟对象组件之间具有一一对应的映射关系，3D实体对象组件的实体动作与3D虚拟对象组件的虚拟动作之间具有一一对应的映射关系。例如：3D虚拟场景中的虚拟车门转动，真实世界中的车门随之转动。
在一种实施方式中，本实施例的控制方法还可包括：根据3D实体对象组件的位置，调整3D虚拟对象组件的位置。从而，3D虚拟对象可以实时反馈并展示真实世界中的3D实体对象的状态。
在一个应用示例中，如图2-2所示，车载显示设备202显示3D虚拟场景，该虚拟场景的绘制方法可采用实施例二的方法。参照实施例四的控制方法，用户基于车载显示设备202中的兴趣点UI，操作兴趣点，进而触发虚拟车辆组件的虚拟动作，然后触发真实世界中的实体车辆组件的实体动作。进一步地，真实世界中的实体车辆或实体车辆组件的变化或动作，可以实时反馈至3D虚拟场景中。
基于本应用示例的方法，在3D虚拟车辆上放置兴趣点，通过点击或者滑动兴趣点进行控制虚拟车辆或实体车辆；通过构建游戏化操作场景(如门窗、座椅控制等)，根据用户的操作信息，3D虚拟车辆实时反馈实体车辆状态，可精确展示门窗开度及座椅状态等。
根据本实施例的方法，可以基于虚拟引擎将真实物理世界数字孪生于3D虚拟场景中，并且还原物理世界真实反馈以及操作方式。例如：用户通过操作兴趣点即可完成复杂的虚拟车辆控制和真实车辆控制，人机交互的体验更加具有趣味性，使车机更加智能化和科技化。
实施例五
图13示出本实施例的3D实体对象的控制装置的结构框图。如图13所示，包括：
操作信息采集模块1301，用于采集对兴趣点的操作信息；
实体对象组件和动作确定模块1302，用于基于预先建立的映射关系，确定与兴趣点对应的3D实体对象组件，以及与操作信息对应的实体动作；
控制命令生成模块1303，用于生成控制命令，控制命令用于控制3D实体对象组件执行实体动作。
在一种实施方式中，3D实体对象为车辆，3D实体对象组件为车辆组件。
在一种实施方式中，映射关系包括第一映射关系和第二映射关系，实体对象组件和动作确定模块1302包括：
第一确定单元，用于基于第一映射关系，确定与兴趣点对应的3D虚拟对象组件，以及与操作信息对应的虚拟动作；
第二确定单元，用于基于第二映射关系，确定与3D虚拟对象组件对应的3D实体对象组件，以及与虚拟动作对应的实体动作。
在一种实施方式中，兴趣点所在的兴趣点用户界面UI平面与3D虚拟对象组件相对静止，兴趣点UI平面与3D虚拟对象组件的观察视点相对静止。
在一种实施方式中，兴趣点UI平面位于3D虚拟对象组件的显示图层的上层。
在一种实施方式中，该3D实体对象的控制装置还包括：
调整模块，用于根据3D实体对象组件的位置，调整3D虚拟对象组件的位置。
图14示出本实施例的3D虚拟对象的控制装置的结构框图。如图14所示，包括：
操作信息采集模块1401，用于采集对兴趣点的操作信息；
虚拟对象组件和动作确定模块1402，用于基于预先建立的第一映射关系，确定与兴趣点对应的3D虚拟对象组件，以及与操作信息对应的虚拟动作；
控制模块1403，用于控制3D虚拟对象组件展示虚拟动作。
图15示出本实施例的3D虚拟场景的绘制装置的结构框图，如图15所示，包括：
虚拟对象绘制模块1501，用于绘制3D虚拟对象，3D虚拟对象包括至少一个3D虚拟对象组件；
位置确定模块1502，用于根据3D虚拟对象组件的位置，确定兴趣点UI平面的位置，其中，兴趣点UI平面上设置有与3D虚拟对象组件对应的兴趣点；兴趣点用于接收用户的操作；兴趣点UI平面与3D虚拟对象组件相对静止；
欧拉角确定模块1503，用于根据3D虚拟对象组件的观察视点的欧拉角，确定兴趣点UI平面的欧拉角，其中，兴趣点UI平面与3D虚拟对象组件的观察视点相对静止；
兴趣点UI平面绘制模块1504，用于基于兴趣点UI平面的位置和欧拉角，绘制兴趣点UI平面。
在一种实施方式中，兴趣点UI平面绘制模块1504具体用于：在3D虚拟对象组件的显示图层的上层，绘制兴趣点UI平面。
本实施例各装置中的各模块的功能可以参见上述实施例一至四中的对应描述，在此不再赘述。
实施例六
本公开的应用场景可以是在车机的显示设备中进行不同场景的切换。也可以是在智能设备上运行的应用程序中的不同场景的切换。
下面以具体地实施例对本申请的技术方案进行具体说明。
如图16所示，本公开涉及一种场景切换的显示方法，该方法可以包括以下步骤：
S1601：根据获取到的场景切换触发信息，确定下个显示场景；显示场景包括3D显示区域和2D显示区域。
场景切换触发信息可以是场景切换的触发指令。在获取到场景切换触发信息的情况下，可以确定需要进行场景切换。
场景切换触发信息的获取方式可以是通过接收用户下达的控制指令获取。例如，通过接收用户利用语音、动作，或者接收到用户利用其他设备发出的指令等方式获取场景切换的指令。
以应用场景为车机的显示设备为示例，不同的应用场景可以包括车辆上电场景、车辆充电场景(电量不足、充电中、电量已充满等)、自动泊车场景、行驶场景、娱乐场景等。
例如，检测到用户开启车门，或者检测到用户坐到驾驶舱，在此情况下，可以显示上电场景或者娱乐场景等。在检测到用户发动引擎的情况下，可以触发由上电场景切换至行驶场景。
每个场景对应的画面可以包括3D显示区域和2D显示区域。结合图17所示，示例性地，图17中所示的场景可以表示为上电场景。在上电场景中，图17中所示中间中部位置的3D显示区域所显示的图像可以是目标车辆的3D图像。2D显示区域所显示的图像可以是图像的中间下部位置横向排列所呈现出的控制图标组件。
在上电场景中，2D显示区域的控制图标组件可以是基础类的控制图标，也可以是上次下电时的控制图标。图17所示示例中为音乐播放器控制组件对应的图标。在行驶场景中，2D显示区域的控制图标可以与上电场景有所差异。例如，在行驶场景中，2D显示区域的控制图标可以包括手动换挡图标组件、雨刷图标组件等。不同场景的2D显示区域的控制图标组件可以部分相同，也可以完全不同。
另外，不同场景下，3D显示区域也可以有所差异。例如，在上电场景中，3D显示区域所显示的内容可以为虚化环境背景的目标车辆的3D图像。在自动泊车场景，所显示的内容可以为目标车辆的3D图像，以及目标车辆预定范围内的环境图像。在娱乐场景，3D显示区域所显示的内容可以车辆内部的3D图像。同理，不同场景的3D显示区域的显示可以部分相同，也可以完全不同。
另外，结合图17所示在目标车辆的3D图像中，还可以设置有控制入口组件(图17中对应的车身以及车身周围的圆圈图案)。在(各)车门位置、车窗位置、后备箱位置设置控制入口组件。在接收到用户的选择指令的情况下，可以切换对应的显示内容。例如，在车们位置的控制入口组件被选中的情况下，3D显示区域可以从整车视角切换至车门特写视角。此时，2D显示区域的控制图标可以是车门控制相关的组件。示例性地，2D显示区域可以包括开启驾驶侧车门的控制图标组件、开启副驾驶侧车门的控制图标组件、车门全开的组件、车窗全开的组件、车窗半开的组件等。即，根据不同的场景，可以有对应的3D显示区域，以及与3D显示区域对应的2D显示区域。
即，不同场景下，3D显示区域所显示的内容有所差异；且不同场景下，2D显示区域中的控制图标组件也会有所差异。并且，显示场景的切换过程可以中一个应用进程内实现。每个显示场景相互解耦，实现了一种单应用进程多功能实现的应用软件框架。
S1602：确定场景切换速度曲线，场景切换速度曲线是用于控制由当前显示场景切换至下个显示场景的切换速率的。
场景切换速度曲线可以用于控制由当前显示场景切换至下个显示场景的切换速率。具体而言，场景切换速度曲线可以表征时间与切换过程之间的关系。例如，如果将整个切换过程看做包含N1帧图像，切换过程所需时间是M，那么每个时间单位变化N1/M帧图像。其中，N1为正整数，时长M的单位可以是秒、毫秒等。较佳的，在N/M不为整数的情况下，可以四舍五入选取整数计算结果。将剩余帧图像放置于最后一秒。
根据场景切换速度曲线，可以满足3D显示区域的切换速率和2D显示区域的切换速率相同，或者二者切换速率的差异在预定的范围内。
S1603：根据场景变化曲线，从当前显示场景切换至下个显示场景。
场景变化曲线约束了3D显示区域的切换速率和2D显示区域的切换速率。基于此，可以根据场景变化曲线从当前显示场景切换至下个显示场景。
通过上述过程，每个场景可以同时包含3D显示区域和2D显示区域。所显示的内容更为丰富。由于场景变化曲线约束了切换速率，使得在场景切换过程中，借助于场景变化曲线，可以使得场景切换的过程更为自然，3D显示区域的切换和2D显示区域的切换之间作为一个整体切换过程，视觉效果更佳。
如图18所示，在一种实施方式中，确定场景切换速度曲线，可以包括以下过程：
S1801：确定下个显示场景3D显示区域的第二显示状态，以及下个显示场景2D显示区域的第四显示状态。
S1802：根据第一切换过程，确定切换时长；第一切换过程为由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态的切换过程。
S1803：建立切换时长与第二切换过程的对应关系；第二切换过程为由当前显示场景2D显示区域的第三显示状态切换至下个显示场景2D显示区域的第四显示状态的切换过程。
S1804：利用第一切换过程、第二切换过程和切换时长，确定场景切换速度曲线。
每个场景可以有不同的显示状态。示例性地，结合图17和图19所示。图17和图19分别对应两个不同的场景。假设图17所对应的场景为当前显示场景，图19所对应的场景为下个显示场景。
例如，图19所对应场景可以是车门控制场景，在车门控制场景，如用户在2D显示区域中选择了开驾驶侧车门的控制图标组件，则在3D显示区域会同时显示出驾驶侧车门开启的3D动态视图。并且，在驾驶侧车门开启后，3D显示区域中还会增加车门开启后，车辆内部空间的控制入口组件。例如图19所示为增加了驾驶侧座椅位置的控制入口组件。在驾驶侧座椅位置的控制入口组件被选中的情况下，可以进入座椅控制场景。由此，对应的3D显示区域和2D显示区域的显示内容会再次发生变化。例如，3D显示区域可以变更为车内的视图，2D显示区域可以变更为与座椅控制相关的控制图标组件。
通过图17和图19所示的示例可以看出，当前显示场景3D显示区域的第一显示状态与下个显示场景3D显示区域的第二显示状态的差异在于观测角度不同。而当前显示场景2D显示区域的第三显示状态与下个显示场景2D显示区域的第四显示状态的差异在于控制图标组件不同。其中，当前显示场景2D显示区域的第三显示状态中，控制图标组件为音乐播放器控制组件。下个显示场景2D显示区域的第四显示状态中，控制图标组件包括车门和车窗的不同功能的控制图标组件。
一般而言，3D显示区域的切换过程所需时长会大于2D显示区域的切换过程所需时长。基于此，可以以3D显示区域的切换过程所需时长为基准，作为切换时长。3D显示区域的切换过程可以包括显示区域的切换、显示位置的切换。以车辆为例，显示区域的切换可以包括车内、车外的切换。显示位置的切换包括不同显示角度或不同显示距离等。
第二切换过程即为由当前显示场景2D显示区域的第三显示状态切换至下个显示场景2D显示区域的第四显示状态的切换过程。以车辆的控制为例，在2D显示区域，切换过程可以包括控制图标组件的变换、平移、缩放、透明度调整等切换过程。在确定出切换时长后，便可以建立切换时长与第二切换过程的对应关系。如果将整个切换过程看做包含N2帧图像，整个切换过程所需时间是M，那么每个时间单位变化N2/M帧图像。其中，N2为正整数。
以切换时长为关联因子，分别确定切换时长与第一切换过程的对应关系，以及切换时长与第二切换过程的对应关系，从而可以构建出场景切换速度曲线。结合图20所示，图中场景切换速度曲线的横坐标为时间，纵坐标为切换过程。不难理解，纵坐标可以包括第一切换过程和第二切换过程。
通过上述过程，利用切换时长为关联因子，可以控制第一切换过程和第二切换过程在相同时长内完成。可以使得场景切换的过程更为自然，3D显示区域的切换和2D显示区域的切换之间作为一个整体切换过程。
结合图21所示，在3D显示区域的显示状态包括对目标对象的显示角度以及显示距离的情况下，步骤S302可以包括以下过程：
S601：获取第一显示状态对应的对目标对象的第一显示角度以及第一显示距离，以及获取第二显示状态对应的对目标对象的第二显示角度以及第二显示距离。
S602：根据第一显示角度、第一显示距离、第二显示角度和第二显示距离，确定显示状态切换轨迹。
S603：利用预设的切换速度，将由切换轨迹起点移动至切换轨迹终点所用时长作为由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态的时长。
结合图22所示为3D显示区域的图像生成原理示意图。3D显示区域显示的(动态)图像可以通过3D空间图像采集设备拍摄。在图22所示的实施方式中，3D空间图像采集设备为3D空间相机。通过3D空间图像采集设备在预设的虚拟轨道(图22中所示的相机位移轨道1、相机位移轨道2)上的位移，可以实现3D显示区域不同状态的切换。在图22所示的示例中，3D空间图像采集设备始终朝向目标对象.例如，3D空间图像采集设备可以在车辆外部，目标对象可以是车辆；另外，3D空间图像采集设备也可以在车辆内部，目标对象可以是车辆内部的仪表盘或车机显示屏等。
3D空间图像采集设备在预设的虚拟轨道上的位移，可以对应对目标对象的显示角度以及显示距离的变化。
第一显示状态对应的对目标对象的第一显示角度以及第一显示距离可以作为移动轨迹的起点。第二显示状态对应的对目标对象的第二显示角度以及第二显示距离可以作为移动轨迹的终点。根据起点、终点和预设的虚拟轨道，即可确定显示状态切换轨迹。
切换速度可以是预先设置的，可以是动态调整的。根据显示状态切换轨迹与切换速度的比例，即可得到切换时长。切换时长可以是由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态的时长。
通过上述过程，可以得出整个场景切换过程所需的时长。
在一种实施方式中，场景切换触发信息的生成方式，包括：
在传感器检测到目标对象的状态发生变化，或接收到用户的控制指令的情况下，确定生成场景切换触发信息。
场景切换触发信息可以是主动生成，也可以是被动生成。
所谓主动生成可以是通过传感器检测生成。例如传感器检测到车辆或者智能设备出现室内/室外的转移，可以生成场景切换触发信息。或者，传感器检测到车辆的状态发生变化，也可以生成场景切换触发信息。车辆状态变化可以是由行驶模式切换至泊车模型，由泊车模式切换至娱乐模式等。
所谓被动生成可以是接收到用户的指令生成的。例如，接收到用户的语音、触控、动作等表示出的场景切换指令的情况下，可以生成场景切换触发信息。
在一种实施方式中，目标对象包括具有自动驾驶功能的车辆。
目标对象的状态发生变化包括：车辆由未上电状态变化为上电状态、车辆的档位发生变化、车 辆是否充电的变化、车辆的泊车功能是否启动的变化、车辆是否处于闲置状态的变化中的至少一种。
车辆状态的每一次变化，可以对应一次场景的切换。由此可以满足用户在不同场景下对车辆进行控制的诉求。
结合图17所示，在一种实施方式中，根据场景变化曲线，从当前显示场景切换至下个显示场景，包括：
S1701：确定显示场景的变化区域和固定区域；变化区域包括3D显示区域和2D显示区域，固定区域为用于显示指定信息的区域。
S1702：在固定区域显示指定信息。
S1703：根据场景变化曲线，在变化区域，由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态；以及，
根据场景变化曲线，在变化区域，由当前显示场景2D显示区域的第三显示状态切换至下个显示场景2D显示区域的第四显示状态。
固定区域可以是指在场景切换过程中不发生切换的区域。例如图17、图19中所示的图像上部横向展示的车速、当前档位情况、信号强度情况等信息的第一固定区域，以及图17、图19中所示的图像左侧纵向展示的空调控制图标组件、座椅调节图标组件等的第二固定区域。
每个固定区域，可以用于显示指定信息。例如，第一固定区域中，指定信息可以是车速、当前档位情况、信号强度情况、时间信息、环境温度信息等。第二固定区域中，指定信息可以是常规的控制组件，也可以是用户(常用的)手动添加至第二固定区域的控制组件。
而图17、图19中所示中间中部位置的车辆的显示区域可以作为3D显示区域。图17中、图19中所示中间下部位置的2D显示区域。图17所示示例，2D显示区域中为音乐播放器控制组件。图19所示示例，2D显示区域中为车门和车窗的不同功能的控制图标组件。
根据前述实施方式中已经确定的场景变化曲线，在变化区域，由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态；以及根据场景变化曲线，在变化区域，由当前显示场景2D显示区域的第三显示状态切换至下个显示场景2D显示区域的第四显示状态。
通过上述过程，场景变化曲线约束了2个显示区域的切换速率。即，基于此，可以根据切换时长与3D显示区域的切换过程的关系，以及该切换时长与2D显示区域切换过程的关系。由此可以使得从当前显示场景切换至下个显示场景。
在一种实施方式中，3D显示区域作为显示场景的背景层。
2D显示区域作为用户交互界面UI图层，叠加在3D显示区域的上层进行显示。
结合图24所示，图24中左右两侧其中之一可以表示当前显示场景，另一可以表示下一显示场景。
在显示场景中，3D显示区域可以作为背景层。在当前实施方式中，3D显示区域可以通过3D虚幻引擎(3D Unreal Engine)技术制作。
此外2D显示区域可以作为前景，叠加在3D显示区域的上层进行显示。
2D显示区域可以通过碎片(Fragment)技术制作，以呈现出用户交互界面。即，可以响应用户的触控操作。
2D显示区域和3D显示区域的叠加，可以利用图形界面系统服务(SurfaceFlinger)实现。最终可以呈现出图17或图19中的显示效果。
图25所示为本申请的场景示意图。
自动驾驶域控制器(ADCM)、车身域控制器(BDCM)、底盘与动力控制域控制器(VDCM)可以作为场景切换触发信息的接收端，获取场景切换触发信息，从而确定出下个显示场景。ADCM、BDCM、VDCM可以执行前述步骤S101所涉及的各个步骤的过程。
场景切换触发信息通过接入网关(AGW)传输至信息娱乐域控制器(IDCM)。在IDCM中可以执行前述步骤S102和步骤S103所涉及的过程。IDCM中，可以预先存储不同的场景。示例性地，场景可以包括车辆上电场景、车辆充电场景(电量不足、充电中、电量已充满等)、自动泊车场景、 行驶场景、娱乐场景等。每个场景，可以对应有3D显示区域和2D显示区域。不同场景的3D显示区域的显示内容可以部分相同，也可以完全不同。以部分相同为例，在车辆上电场景的3D显示区域所显示的内容可以是目标车辆外部的3D视图。门窗控制场景的3D显示区域所显示的内容可以是目标车辆外部的3D视图(或者可以是门窗视角的特写)，以及车门、车窗的开闭效果动图等。不同场景的2D显示区域的显示内容可以部分相同，也可以完全不同。以完全不同为例，在车辆上电场景的2D显示区域的显示内容可以是音乐播放器控制组件，在门窗控制场景的2D显示区域的显示内容可以是门窗控制图标组件。
在显示场景中，3D显示区域可以作为背景层。在当前实施方式中，3D显示区域可以通过3D虚幻引擎(3D Unreal Engine)技术制作。2D显示区域可以通过碎片(Fragment)技术制作，以呈现出用户交互界面。即，可以响应用户的触控操作。
2D显示区域可以作为前景，叠加在3D显示区域的上层进行显示。2D显示区域和3D显示区域的叠加，可以利用图形界面系统服务实现。
2D显示区域、3D显示区域的状态显示、变化可以通过场景状态机进行控制。
场景可以分成不同类型。结合图26所示，在当前实施方式中，可以包括“桌面级场景”类型、“应用级场景”类型和“卡片级场景”类型等。
其中，“桌面级场景”可以作为基础功能场景。例如，基础功能场景可以是初始状态场景。在无其他类型的场景时，可以返回“桌面级场景”。在“桌面级场景”中，可以根据检测到的车辆状态切换至对应的具体场景。例如图26中所示，“桌面级场景”的起始画面可以是欢迎场景，而后可以在3D显示区域显示目标对象(车辆)的3D图像，在2D显示区域可以显示固定、常用或上次使用的控制图标组件。在检测到车辆连接充电枪(例如检测到充电信号)的情况下，可以进入充电场景。在充电场景下，在检测到充电枪断开，且未检测到其他信号的情况下，可以从充电场景返回“欢迎”相关画面。或者，在在充电场景下，在检测到充电枪断开，且车辆启动(走形状态)的情况下，可以切换到行车场景。在车辆停止(非走形状态)后，可以切换回欢迎场景。
在欢迎场景下，还可以检测到用户输入的控制指令执行对应操作或者切换至对应场景。例如，检测到控制指令为门窗控制指令(例如3D显示区域的车辆门窗位置被点击)，可以切换至门窗控制场景。
“应用级场景”可以是独立的车控功能场景，可以具有功能入口、功能出口。例如，在“应用级场景”中，存在“泊车场景”的控制图标组件，该控制图标组件被点击的情况下，可以表示功能入口被触发(对应图27中的“满足指定条件OR入口被触发”)。或者，在接收到用户对应的语音、动作等控制指令的情况下，也可以表示功能入口被触发。又或者，在检测到车辆挂倒挡的情况下，同样可以表示功能入口被触发。在功能入口被触发的情况下，可以展示对应的场景入口画面。在进入或切换场景时，都可以首先进入场景入口画面。在退出场景时(对应图27中的“满足指定条件OR出口被触发”)，可以退回至“桌面级场景”。示例性地，“应用级场景”还可以包括“座舱画师”、“电池场景”等
“卡片级场景”可以是包括具有交互行为的场景。例如，可以是空调场景、座椅场景等。交互场景可以通过点击控制图标组件、动作或语音等方式触发入口(对应图27中的“入口被触发”)。在进入具有交互行为的场景后，可以启动计时。在超过预定时间未接收到交互指令的情况下，可以主动退出“卡片级场景”(对应图27中的“出口被触发”)，返回“桌面级场景”或“应用级场景”。
在当前实施方式中，通过对场景进行类型划分，可以降低场景状态机的复杂程度，提升单个场景的内聚性。后续随着场景的增加，可以对不同场景划分类型，以便于对新业务场景的扩展。
如图27所示，本公开提供一种场景切换的显示装置，该装置可以包括：
下个显示场景确定模块2701，用于根据获取到的场景切换触发信息，确定下个显示场景；显示场景包括3D显示区域和2D显示区域。
场景切换速度曲线确定模块2702，用于确定场景切换速度曲线，场景切换速度曲线是用于控制由当前显示场景切换至下个显示场景的切换速率的。
场景切换模块2703，用于根据场景变化曲线，从当前显示场景切换至下个显示场景。
在一种实施方式中，场景切换速度曲线确定模块2702，可以包括：
显示状态确定子模块，用于确定下个显示场景3D显示区域的第二显示状态，以及下个显示场景2D显示区域的第四显示状态；
切换时长确定子模块，用于根据第一切换过程，确定切换时长；第一切换过程为由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态的切换过程；
对应关系建立子模块，用于建立切换时长与第二切换过程的对应关系；第二切换过程为由当前显示场景2D显示区域的第三显示状态切换至下个显示场景2D显示区域的第四显示状态的切换过程；
场景切换速度曲线确定执行子模块，用于利用第一切换过程、第二切换过程和切换时长，确定场景切换速度曲线。
在一种实施方式中，在3D显示区域的显示状态包括对目标对象的显示角度以及显示距离的情况下，切换时长确定子模块，可以包括：
显示信息获取单元，用于获取第一显示状态对应的对目标对象的第一显示角度以及第一显示距离，以及获取第二显示状态对应的对目标对象的第二显示角度以及第二显示距离；
显示状态切换轨迹确定单元，用于根据第一显示角度、第一显示距离、第二显示角度和第二显示距离，确定显示状态切换轨迹；
切换时长确定单元，用于利用预设的切换速度，将由切换轨迹起点移动至切换轨迹终点所用时长作为由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态的时长。
在一种实施方式中，场景切换触发信息的生成方式，包括：
在传感器检测到目标对象的状态发生变化，或接收到用户的控制指令的情况下，确定生成场景切换触发信息。
在一种实施方式中，目标对象包括具有自动驾驶功能的车辆；
目标对象的状态发生变化包括：车辆由未上电状态变化为上电状态、车辆的档位发生变化、车辆是否充电的变化、车辆的泊车功能是否启动的变化、车辆是否处于闲置状态的变化中的至少一种。
在一种实施方式中，场景切换模块2703，可以包括：
区域区分子模块，用于确定显示场景的变化区域和固定区域；变化区域包括3D显示区域和2D显示区域，固定区域为用于显示指定信息的区域；
指定信息显示子模块，用于在固定区域显示指定信息；
切换子模块，用于根据场景变化曲线，在变化区域，由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态；以及，
用于根据场景变化曲线，在变化区域，由当前显示场景2D显示区域的第三显示状态切换至下个显示场景2D显示区域的第四显示状态。
在一种实施方式中，3D显示区域作为显示场景的背景层；
2D显示区域作为用户交互界面UI图层，叠加在3D显示区域的上层进行显示。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
实施例七
本公开还提供一种车辆，包括控制器，该控制器可以用于执行本实施例一至四的方法，或者该控制器可以包括本实施例五的装置。
本实施例的车辆的其他构成，如车架和车轮的具体结构以及连接紧固部件等，可以采用于本领域普通技术人员现在和未来知悉的各种技术方案，这里不再详细描述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图28示出了可以用来实施本公开的实施例的示例电子设备2800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图28所示，设备2800包括计算单元2810，其可以根据存储在只读存储器(ROM)2820中的计算机程序或者从存储单元2880加载到随机访问存储器(RAM)2830中的计算机程序，来执行各种适当的动作和处理。在RAM 2830中，还可存储设备2800操作所需的各种程序和数据。计算单元2810、ROM 2820以及RAM 2830通过总线2840彼此相连。输入/输出(I/O)接口2850也连接至总线2840。
设备2800中的多个部件连接至I/O接口2850，包括：输入单元2860，例如键盘、鼠标等；输出单元2870，例如各种类型的显示器、扬声器等；存储单元2880，例如磁盘、光盘等；以及通信单元2890，例如网卡、调制解调器、无线通信收发机等。通信单元2890允许设备2800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元2810可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元2810的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元2810执行上文所描述的各个方法和处理。例如，在一些实施例中，上文所描述的各个方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元2880。在一些实施例中，计算机程序的部分或者全部可以经由ROM 2820和/或通信单元2890而被载入和/或安装到设备2800上。当计算机程序加载到RAM 2830并由计算单元2810执行时，可以执行上文所描述的各个方法的一个或多个步骤。备选地，在其他实施例中，计算单元2810可以通过其他任何适当的方式(例如，借助于固件)而被配置为上文所描述的各个方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘 和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

  1. 一种对象的控制方法，其特征在于，包括：
    采集对兴趣点的操作信息；
    基于预先建立的映射关系，确定与所述兴趣点对应的3D实体对象组件，以及与所述操作信息对应的实体动作；
    生成控制命令，所述控制命令用于控制所述3D实体对象组件执行所述实体动作。
  2. 根据权利要求1所述的控制方法，其特征在于，所述3D实体对象为车辆，所述3D实体对象组件为车辆组件。
  3. 根据权利要求1所述的控制方法，其特征在于，所述映射关系包括第一映射关系和第二映射关系，基于预先建立的映射关系，确定与所述兴趣点对应的3D实体对象组件，以及与所述操作信息对应的实体动作，包括：
    基于所述第一映射关系，确定与所述兴趣点对应的3D虚拟对象组件，以及与所述操作信息对应的虚拟动作；
    基于所述第二映射关系，确定与所述3D虚拟对象组件对应的所述3D实体对象组件，以及与所述虚拟动作对应的所述实体动作。
  4. 根据权利要求3所述的控制方法，其特征在于，所述兴趣点所在的兴趣点用户界面UI平面与所述3D虚拟对象组件相对静止，所述兴趣点UI平面与所述3D虚拟对象组件的观察视点相对静止。
  5. 根据权利要求3所述的控制方法，其特征在于，所述兴趣点UI平面位于所述3D虚拟对象组件的显示图层的上层。
  6. 根据权利要求3所述的控制方法，其特征在于，还包括：
    根据所述3D实体对象组件的位置，调整所述3D虚拟对象组件的位置。
  7. 根据权利要求3所述的方法，其特征在于，还包括：
    控制所述3D虚拟对象组件展示所述虚拟动作。
  8. 根据权利要求1所述的方法，其特征在于，还包括：
    绘制3D虚拟对象，所述3D虚拟对象包括至少一个3D虚拟对象组件；
    根据所述3D虚拟对象组件的位置，确定兴趣点UI平面的位置，其中，所述兴趣点UI平面上设置有与所述3D虚拟对象组件对应的兴趣点；所述兴趣点用于接收用户的操作；所述兴趣点UI平面与所述3D虚拟对象组件相对静止；
    根据所述3D虚拟对象组件的观察视点的欧拉角，确定所述兴趣点UI平面的欧拉角，其中，所述兴趣点UI平面与所述3D虚拟对象组件的观察视点相对静止；
    基于所述兴趣点UI平面的位置和欧拉角，绘制所述兴趣点UI平面。
  9. 根据权利要求1至8任一项所述的方法，还包括：
    根据获取到的场景切换触发信息，确定下个显示场景；所述显示场景包括3D显示区域和2D显示区域；
    确定场景切换速度曲线，所述场景切换速度曲线是用于控制由当前显示场景切换至下个显示场景的切换速率的；
    根据所述场景切换速度曲线，从当前显示场景切换至下个显示场景。
  10. 根据权利要求9所述的方法，其中，所述确定场景切换速度曲线，包括：
    确定下个显示场景3D显示区域的第二显示状态，以及下个显示场景2D显示区域的第四显示状态；
    根据第一切换过程，确定切换时长；所述第一切换过程为由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态的切换过程；
    建立所述切换时长与第二切换过程的对应关系；所述第二切换过程为由当前显示场景2D显示区域的第三显示状态切换至下个显示场景2D显示区域的第四显示状态的切换过程；
    利用第一切换过程、第二切换过程和所述切换时长，确定所述场景切换速度曲线。
  11. 根据权利要求10所述的方法，在所述3D显示区域的显示状态包括对目标对象的显示角度以及显示距离的情况下，所述根据第一切换过程，确定切换时长，包括：
    获取第一显示状态对应的对所述目标对象的第一显示角度以及第一显示距离，以及获取第二显示状态对应的对所述目标对象的第二显示角度以及第二显示距离；
    根据所述第一显示角度、所述第一显示距离、所述第二显示角度和所述第二显示距离，确定显示状态切换轨迹；
    利用预设的切换速度，将由所述切换轨迹起点移动至所述切换轨迹终点所用时长作为所述由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态的时长。
  12. 根据权利要求9所述的方法，其中，所述场景切换触发信息的生成方式，包括：
    在传感器检测到目标对象的状态发生变化，或接收到用户的控制指令的情况下，确定生成场景切换触发信息。
  13. 根据权利要求12所述的方法，其中，所述目标对象包括具有自动驾驶功能的车辆；
    所述目标对象的状态发生变化包括：所述车辆由未上电状态变化为上电状态、所述车辆的档位发生变化、所述车辆是否充电的变化、所述车辆的泊车功能是否启动的变化、所述车辆是否处于闲置状态的变化中的至少一种。
  14. 根据权利要求9所述的方法，其中，所述根据所述场景变化曲线，从当前显示场景切换至下个显示场景，包括：
    确定显示场景的变化区域和固定区域；所述变化区域包括所述3D显示区域和所述2D显示区域，所述固定区域为用于显示指定信息的区域；
    在所述固定区域显示所述指定信息；
    根据所述场景变化曲线，在所述变化区域，由当前显示场景3D显示区域的第一显示状态切换至下个显示场景3D显示区域的第二显示状态；以及，
    根据所述场景变化曲线，在所述变化区域，由当前显示场景2D显示区域的第三显示状态切换至下个显示场景2D显示区域的第四显示状态。
  15. 根据权利要求9所述的方法，其中，所述3D显示区域作为所述显示场景的背景层；
    所述2D显示区域作为用户交互界面UI图层，叠加在所述3D显示区域的上层进行显示。
  16. 一种对象的控制装置，其特征在于，包括：
    操作信息采集模块，用于采集对兴趣点的操作信息；
    实体对象组件和动作确定模块，用于基于预先建立的映射关系，确定与所述兴趣点对应的3D实体对象组件，以及与所述操作信息对应的实体动作；
    控制命令生成模块，用于生成控制命令，所述控制命令用于控制所述3D实体对象组件执行所述实体动作。
  17. 一种电子设备，包括：
    至少一个处理器；以及
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至16中任一项所述的方法。
  18. 一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至16中任一项所述的方法。
  19. 一种车辆，其特征在于，包括控制器，所述控制器用于执行权利要求1至16任一项所述的方法，或所述控制器包括权利要求16的装置，或所述控制器包括权利要求17所述的电子设备。
PCT/CN2023/103951 2022-06-29 2023-06-29 对象的控制方法、装置、设备、存储介质及车辆 WO2024002255A1 (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202210764194.7 2022-06-29
CN202210764194.7A CN117369678A (zh) 2022-06-29 2022-06-29 实体对象和虚拟对象的控制方法以及虚拟场景的绘制方法
CN202210761033.2A CN117369912A (zh) 2022-06-29 2022-06-29 一种场景切换的显示方法、装置、设备以及存储介质
CN202210761033.2 2022-06-29

Publications (1)

Publication Number Publication Date
WO2024002255A1 true WO2024002255A1 (zh) 2024-01-04

Family

ID=89383311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/103951 WO2024002255A1 (zh) 2022-06-29 2023-06-29 对象的控制方法、装置、设备、存储介质及车辆

Country Status (1)

Country Link
WO (1) WO2024002255A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104627094A (zh) * 2013-11-08 2015-05-20 现代自动车株式会社 识别用户手势的车辆和用于控制该车辆的方法
CN108388142A (zh) * 2018-04-10 2018-08-10 百度在线网络技术（北京）有限公司 用于控制家居设备的方法、装置和系统
CN112249005A (zh) * 2020-10-23 2021-01-22 广州小鹏汽车科技有限公司 一种车辆自动泊车的交互方法和装置
CN112667139A (zh) * 2020-12-11 2021-04-16 深圳市越疆科技有限公司 基于增强现实的机器人操作方法、装置、设备和存储介质
CN112686998A (zh) * 2021-01-07 2021-04-20 腾讯科技（深圳）有限公司 一种信息展示方法、装置、设备及计算机可读存储介质
US20210379491A1 (en) * 2019-08-30 2021-12-09 Tencent Technology (Shenzhen) Company Limited Virtual object control method and related apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104627094A (zh) * 2013-11-08 2015-05-20 现代自动车株式会社 识别用户手势的车辆和用于控制该车辆的方法
CN108388142A (zh) * 2018-04-10 2018-08-10 百度在线网络技术（北京）有限公司 用于控制家居设备的方法、装置和系统
US20210379491A1 (en) * 2019-08-30 2021-12-09 Tencent Technology (Shenzhen) Company Limited Virtual object control method and related apparatus
CN112249005A (zh) * 2020-10-23 2021-01-22 广州小鹏汽车科技有限公司 一种车辆自动泊车的交互方法和装置
CN112667139A (zh) * 2020-12-11 2021-04-16 深圳市越疆科技有限公司 基于增强现实的机器人操作方法、装置、设备和存储介质
CN112686998A (zh) * 2021-01-07 2021-04-20 腾讯科技（深圳）有限公司 一种信息展示方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US20200066055A1 (en) Shared environment for a remote user and vehicle occupants
KR101199852B1 (ko) 이미지 조작 장치 및 방법
WO2022083135A1 (zh) 一种车辆自动泊车的交互方法和装置
WO2020151431A1 (zh) 一种智能看车的数据处理方法及系统
US11256104B2 (en) Intelligent vehicle point of focus communication
WO2024002297A1 (zh) 车载机械臂的控制的方法、装置、车载显示设备及车辆
CN114416000A (zh) 一种应用于智能汽车的多屏互动方法、多屏互动系统
JP7174030B2 (ja) 超音波レーダアレイ、障害物検出方法及びシステム
CN113391734A (zh) 图像处理方法和图像显示设备、存储介质和电子设备
KR20210072737A (ko) 차량 기계 맵의 조작방법, 장치, 기기 및 판독가능 저장 매체
KR20210030384A (ko) 3d 전환
CN114089784B (zh) 一种基于mr眼镜的无人机控制方法及系统
US20210072818A1 (en) Interaction method, device, system, electronic device and storage medium
CN110413113A (zh) 一种车载机器人及交互方法
WO2024002255A1 (zh) 对象的控制方法、装置、设备、存储介质及车辆
CN110163977B (zh) 多世界虚拟场景中的虚拟通道渲染方法及装置
CN108701440A (zh) 信息处理设备、信息处理方法和程序
Soares et al. Designing a highly immersive interactive environment: The virtual mine
WO2024041198A1 (zh) 智能驾驶方法、装置、域控制器、介质、系统及车辆
WO2024001091A1 (zh) 控制车辆组件的方法、装置、电子设备及可读存储介质
WO2023025203A1 (zh) 云台相机的变焦控制方法、装置及终端
CN115034949A (zh) 车机系统、实现增强现实和虚拟现实的方法以及存储介质
CN117369678A (zh) 实体对象和虚拟对象的控制方法以及虚拟场景的绘制方法
CN117369912A (zh) 一种场景切换的显示方法、装置、设备以及存储介质
CN114615556B (zh) 虚拟直播增强互动方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23830420

Country of ref document: EP

Kind code of ref document: A1