WO2023137990A1 - 一种汽车座舱交互方法、装置及车辆 - Google Patents

一种汽车座舱交互方法、装置及车辆 Download PDF

Info

Publication number
WO2023137990A1
WO2023137990A1 PCT/CN2022/103015 CN2022103015W WO2023137990A1 WO 2023137990 A1 WO2023137990 A1 WO 2023137990A1 CN 2022103015 W CN2022103015 W CN 2022103015W WO 2023137990 A1 WO2023137990 A1 WO 2023137990A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
gesture
user
interaction
interactive
Prior art date
Application number
PCT/CN2022/103015
Other languages
English (en)
French (fr)
Inventor
韩新立
关忠旭
王鹏鹏
苏雯
任田园
杨慧凯
Original Assignee
中国第一汽车股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国第一汽车股份有限公司 filed Critical 中国第一汽车股份有限公司
Publication of WO2023137990A1 publication Critical patent/WO2023137990A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Definitions

  • the present application relates to the technical field of automobile human-computer interaction, and in particular to an automobile cockpit interaction method, an automobile cockpit interaction device and a vehicle.
  • the existing gesture interaction method is based on the somatosensory technology of the camera technology.
  • the control system is used to segment the image area of the camera for gesture recognition, and divide the image area into a recognition area and an unrecognition area; recognize the gestures appearing in the recognition area, and obtain the confidence level of the gesture image appearing in the gesture detection frame; collect the current vehicle speed to obtain the confidence threshold of gesture recognition at the current speed.
  • the gesture corresponding to the gesture image is judged as an invalid gesture; if the confidence degree is greater than the confidence threshold, the gesture corresponding to the gesture image is judged as a valid gesture, and the control system recognizes the valid gesture to judge the driver's intention.
  • this technology requires relatively high brightness and cannot be controlled in dim conditions.
  • the object of the present invention is to provide an automobile cockpit interaction method to at least solve the above-mentioned one technical problem.
  • One aspect of the present invention provides an automobile cockpit interaction method, the automobile cockpit interaction method comprising:
  • Obtaining a user gesture projection library including a plurality of preset gesture information and an interactive projection screen corresponding to each preset gesture information;
  • An interactive projection screen corresponding to preset gesture information identical to the gesture information is acquired.
  • the vehicle cockpit interaction method further includes:
  • the vehicle cockpit interaction method further includes:
  • the interaction information action library includes a plurality of preset interaction information and interaction action information corresponding to each preset interaction information
  • the interactive action information is delivered to the execution mechanism capable of executing the interactive action information.
  • said automobile cockpit interaction method further includes:
  • the interactive action information is delivered to the execution mechanism capable of executing the interactive action information.
  • the acquiring user gesture information includes:
  • the infrared gesture library includes a plurality of infrared gestures and the meaning of the infrared gesture represented by each infrared gesture
  • the camera gesture library includes a plurality of camera gestures and the meaning of the camera gesture represented by each camera gesture
  • the gesture information to be determined is acquired as user gesture information.
  • the acquiring user gesture information further includes:
  • the acquiring user gesture information further includes:
  • the present application also provides a vehicle cockpit interaction device, the vehicle cockpit interaction device comprising:
  • a user gesture information acquisition module the user gesture information acquisition module is used to acquire user gesture information
  • the gesture projection library acquisition module is used to acquire user gesture projection library, the user gesture projection library includes a plurality of preset gesture information and each preset gesture information Corresponding interactive projection screen;
  • a judging module the judging module is used to judge whether the user gesture information is the same as one of the preset gesture information
  • An interactive projection screen acquisition module configured to acquire an interactive projection screen corresponding to preset gesture information identical to the gesture information.
  • the present application also provides a vehicle, the vehicle comprising:
  • An automobile cockpit interaction device the automobile cockpit interaction device is connected with the gesture acquisition device, and the automobile cockpit interaction device is the automobile cockpit interaction device according to claim 8 .
  • the vehicle further includes:
  • a projection device the projection device is connected with the vehicle cockpit interaction device, and is used to acquire the interactive projection screen delivered by the vehicle cockpit interaction device and project the interactive projection screen to the central position of the steering wheel.
  • the automobile cockpit interaction method of the present application first obtains user gesture information, and then interacts with the user through the interactive projection screen. On the one hand, the basic needs of the user can be understood through the gesture information.
  • FIG. 1 is a schematic flow chart of an automobile cockpit interaction method according to an embodiment of the present application.
  • FIG. 2 is a schematic diagram of electronic equipment for realizing the car door opening collision warning method shown in FIG. 1 .
  • Fig. 3 is a device schematic diagram of an automobile cockpit interaction device according to an embodiment of the present application.
  • FIG. 1 is a schematic flow chart of an automobile cockpit interaction method according to an embodiment of the present application.
  • the car cockpit interaction method shown in Figure 1 includes:
  • Step 1 Obtain user gesture information
  • Step 2 Obtain a user gesture projection library, which includes a plurality of preset gesture information and an interactive projection screen corresponding to each preset gesture information;
  • Step 3 Determine whether the user gesture information is the same as one of the preset gesture information, if so, then
  • Step 4 Obtain an interactive projection screen corresponding to preset gesture information identical to the gesture information.
  • the automobile cockpit interaction method of the present application first obtains user gesture information, and then interacts with the user through the interactive projection screen. On the one hand, the basic needs of the user can be understood through the gesture information.
  • the user gesture projection library includes a plurality of preset gesture information.
  • the gesture information can be fist-clenching information or circle-drawing information.
  • Each preset gesture information corresponds to an interactive projection screen.
  • the interactive projection screen is A interactive projection screen.
  • the A interactive projection screen mainly reflects car window control. After the interactive projection screen is projected, multiple car window buttons will appear. When the user interacts with these car window buttons, corresponding interactive actions can be generated.
  • the interactive projection screen is B interactive projection screen
  • the B interactive projection screen is mainly for emergency phone interaction.
  • multiple phone numbers will appear on the interactive projection screen after projection, and corresponding interactive actions can be generated when the user interacts with these phone numbers.
  • the automobile cockpit interaction method of the present application divides the entire interaction process into two steps, one step is the step of exhaling the interactive projection screen, and the second is the step of specific interaction.
  • This method has the following advantages:
  • the number of gestures that can be interacted with is generally small, and the number of simple gestures is small, which makes it difficult to complete complex interactions through gestures.
  • a large category for example, emergency call, car window control
  • detailed action interactions through a specific interactive projection screen.
  • the vehicle cockpit interaction method further includes:
  • the interactive projection screen may be sent to a projection device, such as a projector, and the projector projects a corresponding screen according to the interactive projection screen for use by the user.
  • a projection device such as a projector
  • the capture device during the interaction can be an infrared sensor, a video camera, a thermal camera, etc.
  • the vehicle cockpit interaction method further includes:
  • the interaction information action library includes a plurality of preset interaction information and interaction action information corresponding to each preset interaction information;
  • the interactive action information is delivered to the execution mechanism capable of executing the interactive action information.
  • the interactive action information specifically required by the user is obtained according to the interactive action information. For example, there is a button for closing doors and windows in the interactive projection screen.
  • the automobile cockpit interaction method before transmitting the interactive action information to the actuator capable of executing the interactive action information, the automobile cockpit interaction method further includes:
  • the voice information it is judged whether to transmit the interactive action information to the actuator, and if so, then
  • the interactive action information is delivered to the execution mechanism capable of executing the interactive action information.
  • the user in order to prevent the user from accidentally touching a position on the interactive projection screen to generate interactive information that is not required by the user, at this time, the user can further confirm with the user through voice inquiry.
  • an interaction message is generated at this time.
  • an interactive action message for example, to control the air conditioner to turn on
  • a voice question message is first generated based on the interactive action information (for example, do you need to turn on the air conditioner?), and after the user answers the voice question message (for example, the answer is yes), if it is judged based on the voice information that the interactive action information needs to be transmitted to the actuator, then it is handed over to the actuator for execution.
  • the following methods may be used to determine whether the interactive action information needs to be transmitted to the executive agency based on the voice information:
  • the action confirmation database includes a plurality of preset phrases
  • acquiring user gesture information includes:
  • the infrared gesture library includes a plurality of infrared gestures and the meaning of the infrared gesture represented by each infrared gesture
  • the camera gesture library includes a plurality of camera gestures and the meaning of the camera gesture represented by each camera gesture
  • the gesture information to be determined is acquired as user gesture information.
  • the user's gesture can be judged by the above two methods, preventing the occurrence of misjudgment in one method.
  • acquiring user gesture information further includes:
  • the user can be asked whether the gesture information is used as user gesture information by way of voice inquiry.
  • judging whether the user needs to change the gesture information according to the semantic information as user gesture information includes:
  • the preset semantic information base includes multiple preset semantics
  • acquiring user gesture information further includes:
  • the present application also provides a car cockpit interaction device, which includes a user gesture information acquisition module 101, a gesture projection library acquisition module 102, a judgment module 103 and an interactive projection screen acquisition module 104,
  • the user gesture information acquisition module 101 is used to acquire user gesture information
  • the gesture projection library acquisition module 102 is used to acquire a user gesture projection library, and the user gesture projection library includes a plurality of preset gesture information and an interactive projection screen corresponding to each preset gesture information
  • the judgment module 103 is used to judge whether the user gesture information is consistent with each preset gesture information One of the information is the same
  • the interactive projection screen acquiring module 104 is configured to acquire the interactive projection screen corresponding to the preset gesture information identical to the gesture information.
  • the present application also provides a vehicle, the vehicle includes a gesture acquisition device and a car cockpit interaction device, the car cockpit interaction device is connected to the gesture acquisition device, and the car cockpit interaction device is the car cockpit interaction device as described above.
  • the vehicle further includes a projection device connected to the vehicle cockpit interaction device for acquiring the interactive projection screen delivered by the vehicle cockpit interaction device and projecting the interactive projection screen to the center of the steering wheel.
  • projecting the interactive projection screen to the center of the steering wheel can facilitate the user's operation, thereby preventing the user from affecting driving due to interaction with the interactive projection screen.
  • the present application also provides an electronic device, including a memory, a processor, and a computer program stored in the memory and capable of running on the processor.
  • the processor executes the computer program, the above automobile cockpit interaction method is realized.
  • the present application also provides a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and when the computer program is executed by a processor, the above automobile cockpit interaction method can be realized.
  • Fig. 2 is an exemplary structural diagram of an electronic device capable of implementing an automobile cockpit interaction method according to an embodiment of the present application.
  • the electronic device includes an input device 501 , an input interface 502 , a central processing unit 503 , a memory 504 , an output interface 505 and an output device 506 .
  • the input interface 502, the central processing unit 503, the memory 504, and the output interface 505 are connected to each other through the bus 507, and the input device 501 and the output device 506 are respectively connected to the bus 507 through the input interface 502 and the output interface 505, and then connected to other components of the electronic device.
  • the input device 504 receives input information from the outside, and transmits the input information to the central processor 503 through the input interface 502; the central processor 503 processes the input information based on the computer-executable instructions stored in the memory 504 to generate output information, temporarily or permanently stores the output information in the memory 504, and then transmits the output information to the output device 506 through the output interface 505; the output device 506 outputs the output information to the outside of the electronic device for use by the user.
  • the electronic device shown in FIG. 2 can also be implemented to include: a memory storing computer-executable instructions; and one or more processors, which can implement the automobile cockpit interaction method described in conjunction with FIG. 1 when executing the computer-executable instructions.
  • the electronic device shown in FIG. 2 may be implemented to include: a memory 504 configured to store executable program codes; one or more processors 503 configured to run the executable program codes stored in the memory 504 to execute the vehicle cockpit interaction method in the above-mentioned embodiments.
  • a computing device includes one or more processors (CPUs), input/output interfaces, network interfaces, and memory.
  • processors CPUs
  • input/output interfaces network interfaces
  • memory volatile and non-volatile memory
  • Memory may include non-permanent storage in computer readable media, in the form of random access memory (RAM) and/or nonvolatile memory such as read-only memory (ROM) or flash RAM. Memory is an example of computer readable media.
  • RAM random access memory
  • ROM read-only memory
  • flash RAM flash random access memory
  • Computer-readable media include both permanent and non-permanent, removable and non-removable media, which may be implemented by any method or technology for storage of information.
  • Information may be computer readable instructions, data structures, modules of a program, or other data.
  • Examples of storage media for computers include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read only memory (ROM), electrically erasable programmable read only memory (EEPROM), flash memory or other memory technology, compact disc read only memory (CD-ROM), data versatile disc (DVD) or other optical storage, magnetic Media that can be used to store information that can be accessed by a computing device.
  • PRAM phase change memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • RAM random access memory
  • ROM read only memory
  • EEPROM electrically erasable programmable read only memory
  • flash memory or other memory technology
  • CD-ROM compact disc read only memory
  • DVD data
  • the embodiments of the present application may be provided as methods, systems or computer program products. Accordingly, the present application can take the form of an entirely hardware embodiment, an entirely software embodiment or an embodiment combining software and hardware aspects. Furthermore, the present application may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
  • a computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • each block in the flowchart or block diagram may represent a module, program segment, or a portion of code that includes one or more executable instructions for implementing specified logical functions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks identified in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • the processor referred to in this embodiment may be a central processing unit (Central Processing Unit, CPU), and may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), off-the-shelf programmable gate arrays (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • a general-purpose processor may be a microprocessor, or the processor may be any conventional processor, or the like.
  • the memory can be used to store computer programs and/or modules, and the processor realizes various functions of the device/terminal device by running or executing the computer programs and/or modules stored in the memory and calling the data stored in the memory.
  • the memory can mainly include a program storage area and a data storage area, wherein the program storage area can store an operating system, at least one required application program for a function (such as a sound playback function, an image playback function, etc.);
  • the memory may include a high-speed random access memory, and may also include a non-volatile memory, such as a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash memory card (Flash Card), at least one magnetic disk storage device, a flash memory device, or other volatile solid-state storage devices.
  • the integrated module/unit of the device/terminal device is implemented in the form of a software function unit and sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • the present invention realizes all or part of the processes in the methods of the above-mentioned embodiments, and can also use a computer program to instruct related hardware to complete.
  • the computer program can be stored in a computer-readable storage medium.
  • the computer program is executed by a processor, it can realize the steps of the above-mentioned various method embodiments.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file or some intermediate form.
  • Computer-readable media may include: any entity or device capable of carrying computer program code, recording media, U disk, removable hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), electrical carrier signals, telecommunication signals, and software distribution media, etc. It should be noted that the content contained in the computer readable medium can be appropriately increased or decreased according to the requirements of legislation and patent practice in the jurisdiction.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • electrical carrier signals telecommunication signals
  • software distribution media etc.
  • the embodiments of the present application may be provided as methods, systems or computer program products. Accordingly, the present application can take the form of an entirely hardware embodiment, an entirely software embodiment or an embodiment combining software and hardware aspects. Furthermore, the present application may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
  • a computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种汽车座舱交互方法、装置及车辆。所述汽车座舱交互方法包括：获取使用者手势信息；获取使用者手势投影库，使用者手势投影库包括多个预设手势信息以及每个预设手势信息对应的交互投影屏幕；判断使用者手势信息是否与各个预设手势信息中的一个相同，若是，则获取与该手势信息相同的预设手势信息所对应的交互投影屏幕。本申请的汽车座舱交互方法首先获取使用者手势信息，继而通过交互投影屏幕与使用者进行互动，通过手势信息可以了解使用者的基本需求，例如使用者通过手势表明其需要控制门窗，而后通过交互投影屏幕进行交互从而能够为使用者提供更多的门窗控制选择，交互投影屏幕不需要较高的灯光要求，从而方便使用者选择和使用。

Description

一种汽车座舱交互方法、装置及车辆 技术领域
本申请涉及汽车人机交互技术领域，具体涉及一种汽车座舱交互方法、汽车座舱交互装置以及车辆。
背景技术
车机大屏幕化，减少物理按键，是如今汽车行业发展的大趋势。但是存在触控难掌握，数量众多的按键在驾驶途中极易按错；在南方潮湿的天气中，手指控制甚至可能没有反应，特殊恶劣环境中，存在触控武反馈，多人操控时容易产生混乱等。本专利基于超声定位交互技术，可实现悬浮、压力触控、触觉及手势检测等多种交互方式，精准控制大屏，驾驶员的操作更方便。还支持手指潮湿和佩戴手套感应模式，告别常见的控制障碍，同时也为高级辅助驾驶、自动驾驶和人工智能等技术提供技术支持，提高驾驶员及乘客舒适体验。
目前现有手势交互方法是基于摄像头技术的体感技术，利用控制系统对摄像头进行手势识别的图像区域进行分割处理,将图像区域划分为识别区域和不识别区域；对出现在识别区域的手势进行识别,获取出现在手势检测框内手势图像的置信度；采集当前车速获取当前车速下手势识别的置信阈值,置信阈值为车速越大数值越小的设定值；将置信度与置信阈值进行比对,若置信度≤置信阈值,则对应该手势图像的手势被判断为无效手势；若置信度＞置信阈值,则对应该手势图像的手势被判断为有效手势,控制系统识别有效手势判断驾驶员意图。但是，这种技术对亮度要求比较高，在昏暗的条件下无法进行控制。
因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。
发明内容
本发明的目的在于提供一种汽车座舱交互方法来至少解决上述的一个技术问题。
本发明的一个方面，提供一种汽车座舱交互方法，所述汽车座舱交互方法包括：
获取使用者手势信息；
获取使用者手势投影库，所述使用者手势投影库包括多个预设手势信息以及每个预设手势信息对应的交互投影屏幕；
判断使用者手势信息是否与各个预设手势信息中的一个相同，若是，则
获取与该手势信息相同的预设手势信息所对应的交互投影屏幕。
可选地，所述汽车座舱交互方法进一步包括：
将所述交互投影屏幕发送给投射装置；
获取使用者与交互投影屏幕互动所反馈的交互信息。
可选地，所述汽车座舱交互方法进一步包括：
获取交互信息动作库，所述交互信息动作库包括多个预设交互信息以及每个预设交互信息对应的交互动作信息；
判断交互信息是否与所述交互信息动作库中的各个预设交互信息中的一个预设交互信息相同，若是，则
获取该预设交互信息对应的交互动作信息；
将交互动作信息传递给能够执行该交互动作信息的执行机构。
可选地，在所述将交互动作信息传递给能够执行该交互动作信息的执行机构之前，所述汽车座舱交互方法进一步包括：
根据所述交互动作信息生成语音提问信息；
获取使用者根据所述语音提问信息反馈的语音信息；
根据所述语音信息判断是否将所述交互动作信息传递给所述执行机构，若是，则
将交互动作信息传递给能够执行该交互动作信息的执行机构。
可选地，所述获取使用者手势信息包括：
分别获取通过摄像装置以及红外装置获取的使用者的待判断手势信息；
获取红外手势库以及摄像手势库，所述红外手势库包括多个红外手势以及每个红外手势所代表的红外手势含义，所述摄像手势库包括多个摄像手势以及每个摄像手势所代表的摄像手势含义；
根据红外手势库以及通过红外装置获取的使用者的待判断手势信息获取该手势信息所对应的红外手势含义；
根据摄像手势库以及通过摄像装置获取的使用者的待判断手势信息获取该手势信息所对应的摄像手势含义；
判断所述红外手势含义与所述摄像手势含义是否相同，若是，则
获取该待判断手势信息作为使用者手势信息。
可选地，所述获取使用者手势信息进一步包括：
判断所述红外手势含义与所述摄像手势含义是否相同，若否，则
根据所述红外手势含义生成红外手势语音提问信息；
获取使用者根据所述红外手势语音提问信息所反馈的语音信息；
获取使用者根据所述红外手势语音提问信息所反馈的语音信息中的语义信息；
根据语义信息判断使用者是否需要改待判断手势信息作为使用者手势信息。
可选地，所述获取使用者手势信息进一步包括：
判断所述红外手势含义与所述摄像手势含义是否相同，若否，则
根据所述摄像手势含义生成摄像手势语音提问信息；
获取使用者根据所述摄像手势语音提问信息所反馈的语音信息；
获取使用者根据所述摄像手势语音提问信息所反馈的语音信息中的语义信息；
根据语义信息判断使用者是否需要改待判断手势信息作为使用者手势信息。
本申请还提供了一种汽车座舱交互装置，所述汽车座舱交互装置包括：
使用者手势信息获取模块，所述使用者手势信息获取模块用于获取使用者手势信息；
手势投影库获取模块，所述手势投影库获取模块用于获取使用者手势投影库，所述使用者手势投影库包括多个预设手势信息以及每个预设手势信息 对应的交互投影屏幕；
判断模块，所述判断模块用于判断使用者手势信息是否与各个预设手势信息中的一个相同；
交互投影屏幕获取模块，所述交互投影屏幕获取模块用于获取与该手势信息相同的预设手势信息所对应的交互投影屏幕。
本申请还提供了一种车辆，所述车辆包括：
手势获取装置；
汽车座舱交互装置，所述汽车座舱交互装置与所述手势获取装置连接，所述汽车座舱交互装置为如权利要求8所述的汽车座舱交互装置。
可选地，所述车辆进一步包括：
投影装置，所述投影装置与所述汽车座舱交互装置连接，用于获取所述汽车座舱交互装置所传递的交互投影屏幕并将交互投影屏幕投影至方向盘的中央位置。
有益效果
本申请的汽车座舱交互方法首先获取使用者手势信息，继而通过交互投影屏幕与使用者进行互动，一方面，通过手势信息可以了解使用者的基本需求，例如使用者通过手势表明其需要控制门窗，而后通过交互投影屏幕进行交互从而能够为使用者提供更多的门窗控制选择，其次，交互投影屏幕不需要较高的灯光要求，从而方便使用者选择和使用。
附图说明
图1是本申请一实施例的汽车座舱交互方法的流程示意图。
图2是用于实现图1所示的汽车开门碰撞预警方法的电子设备示意图。
图3是本申请一实施例的汽车座舱交互装置的装置示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似 功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
图1是本申请一实施例的汽车座舱交互方法的流程示意图。
如图1所示的汽车座舱交互方法包括：
步骤1：获取使用者手势信息；
步骤2：获取使用者手势投影库，使用者手势投影库包括多个预设手势信息以及每个预设手势信息对应的交互投影屏幕；
步骤3：判断使用者手势信息是否与各个预设手势信息中的一个相同，若是，则
步骤4：获取与该手势信息相同的预设手势信息所对应的交互投影屏幕。
本申请的汽车座舱交互方法首先获取使用者手势信息，继而通过交互投影屏幕与使用者进行互动，一方面，通过手势信息可以了解使用者的基本需求，例如使用者通过手势表明其需要控制门窗，而后通过交互投影屏幕进行交互从而能够为使用者提供更多的门窗控制选择，其次，交互投影屏幕不需要较高的灯光要求，从而方便使用者选择和使用。
在本实施例中，使用者手势投影库包括多个预设手势信息，例如，手势信息可以是握拳信息或者画圈信息，每个预设手势信息对应一个交互投影屏幕，例如，当手势信息是握拳信息时，交互投影屏幕为A交互投影屏幕，该A交互投影屏幕主要体现的是车窗控制，交互投影屏幕在投影后会出现多个车窗按钮，当使用者与这些车窗按钮进行互动时可以生成对应的交互动作。
又例如，当手势信息是画圈信息时，交互投影屏幕为B交互投影屏幕，该B交互投影屏幕主要是紧急电话互动，例如，交互投影屏幕在投影后会出现多个电话号码，当使用者与这些电话号码进行互动时可以生成对应的交互动作。
本申请的汽车座舱交互方法将整个交互过程分成两个步骤，一个步骤是呼出交互投影屏幕的步骤，第二个是具体互动的步骤，采用这种方式，有如下好处：
1、手势通常能够交互的数量较少，简单的手势较少，导致很难通过手势完成复杂的交互，通过本申请的方法，可以首先呼出大类(例如，紧急呼叫、车窗控制)，然而通过具体的交互投影屏幕进行详细动作的交互。
2、单纯用交互投影屏幕进行交互，一个投影屏幕中可交互动作过多，导致投影屏幕过于庞大且不方便使用者寻找，通过这种方式，可以分类进行投影屏幕的设计，从而使每个投影屏幕的布局相应简单，方便使用者交互。
在本实施例中，所述汽车座舱交互方法进一步包括：
将交互投影屏幕发送给投射装置；
获取使用者与交互投影屏幕互动所反馈的交互信息。
在本实施例中，交互投影屏幕可以发送给投射装置，例如投影仪，投影仪根据交互投影屏幕投影出相对应的屏幕供使用者使用。
使用者可以直接使用双脚或双手与普通投影幕上的虚拟场景进行交互，具体地，交互时的捕捉设备可以是红外感应器、视频摄录机、热力拍摄器等。
在本实施例中，汽车座舱交互方法进一步包括：
获取交互信息动作库，交互信息动作库包括多个预设交互信息以及每个预设交互信息对应的交互动作信息；
判断交互信息是否与交互信息动作库中的各个预设交互信息中的一个预设交互信息相同，若是，则
获取该预设交互信息对应的交互动作信息；
将交互动作信息传递给能够执行该交互动作信息的执行机构。
当获取到使用者与交互投影屏幕互动后的交互动作信息后，根据交互动作信息获取使用者具体需要的交互动作信息，例如，交互投影屏幕中具有一个门窗关上的按钮，使用者的交互动作信息是按下了该按钮，且交互信息动作库具有该预设交互信息以及该预设交互信息对应的交互动作信息(例如，控制门控制器驱动门窗关上)，此时，将该交互动作信息传递给门控制器即可。
在本实施例中，在将交互动作信息传递给能够执行该交互动作信息的执行机构之前，汽车座舱交互方法进一步包括：
根据交互动作信息生成语音提问信息；
获取使用者根据语音提问信息反馈的语音信息；
根据语音信息判断是否将交互动作信息传递给执行机构，若是，则
将交互动作信息传递给能够执行该交互动作信息的执行机构。
在一个实施例中，为了防止使用者误触碰某个交互投影屏幕中的位置导 致生成了不是使用者需要的交互信息，此时，通过语音询问的方式，可以进一步跟使用者进行确认。
举例来说，当使用者不小心进行了个交互动作为打开空调，此时即生成了一个交互信息，该交互信息通过交互信息动作库识别后会生成一个交互动作信息(例如，控制空调打开)，此时，首先先根据该交互动作信息生成一个语音提问信息(例如，请问您是否需要打开空调？)，当使用者根据该语音提问信息回答后(例如，回答为是的)，如果根据该语音信息判断为需要将交互动作信息传递给执行机构，则交给执行机构执行。
在本实施例中，根据语音信息判断是否需要将交互动作信息传递给执行机构可以采用如下方法：
识别语音信息，获取文字信息；
获取动作确认数据库，动作确认数据库包括多个预设词组；
判断文字信息分别与各个预设词组中的至少一个预设词组的相似度是否超过预设阈值，若是，则判断为将所述交互动作信息传递给所述执行机构。
在本实施例中，获取使用者手势信息包括：
分别获取通过摄像装置以及红外装置获取的使用者的待判断手势信息；
获取红外手势库以及摄像手势库，所述红外手势库包括多个红外手势以及每个红外手势所代表的红外手势含义，所述摄像手势库包括多个摄像手势以及每个摄像手势所代表的摄像手势含义；
根据红外手势库以及通过红外装置获取的使用者的待判断手势信息获取该手势信息所对应的红外手势含义；
根据摄像手势库以及通过摄像装置获取的使用者的待判断手势信息获取该手势信息所对应的摄像手势含义；
判断红外手势含义与摄像手势含义是否相同，若是，则
获取该待判断手势信息作为使用者手势信息。
采用这种方式，可以通过上述两种方式去判断使用者的手势，防止一种方式出现误判断的情况出现。
在本实施例中，获取使用者手势信息进一步包括：
判断红外手势含义与摄像手势含义是否相同，若否，则
根据红外手势含义生成红外手势语音提问信息；
获取使用者根据红外手势语音提问信息所反馈的语音信息；
获取使用者根据红外手势语音提问信息所反馈的语音信息中的语义信息；
根据语义信息判断使用者是否需要该待判断手势信息作为使用者手势信息。
采用这种方式，当其中一种方式不准确的情况下(例如，摄像装置由于灯光问题导致手势获取不准确)，可以通过语音询问的方式询问使用者是否是将该手势信息作为使用者手势信息。
在本实施例中，根据语义信息判断使用者是否需要改待判断手势信息作为使用者手势信息包括：
获取预设语义信息库，预设语义信息库包括多个预设语义；
判断获取的语义信息与预设语义是否相同或者相似，若是，则
根据语义信息判断使用者需要将该待判断手势信息作为使用者手势信息。
在一个备选实施例中，获取使用者手势信息进一步包括：
判断红外手势含义与所述摄像手势含义是否相同，若否，则
根据摄像手势含义生成摄像手势语音提问信息；
获取使用者根据摄像手势语音提问信息所反馈的语音信息；
获取使用者根据摄像手势语音提问信息所反馈的语音信息中的语义信息；
根据语义信息判断使用者是否需要改待判断手势信息作为使用者手势信息。
通过上述方式，可以最大程度的保证不会出现误操作，防止出现使用者本身没有需要某种动作而车辆误判某种动作的情况出现，从而提高了交互体验以及防止车辆在行驶过程中可能由于某些误操作出现的问题。
参见图3，本申请还提供了一种汽车座舱交互装置，所述汽车座舱交互装置包括使用者手势信息获取模块101、手势投影库获取模块102、判断模块103以及交互投影屏幕获取模块104，使用者手势信息获取模块101用于获取使用者手势信息；手势投影库获取模块102用于获取使用者手势投影库，所述使用者手势投影库包括多个预设手势信息以及每个预设手势信息对应的交互投影屏幕；判断模块103用于判断使用者手势信息是否与各个预设手势信息中的一个相同；交互投影屏幕获取模块104用于获取与该手势信息相同的预设手势信息所对应的交互投影屏幕。
本申请还提供了一种车辆，所述车辆包括手势获取装置以及汽车座舱交 互装置，汽车座舱交互装置与手势获取装置连接，所述汽车座舱交互装置为如上所述的汽车座舱交互装置。
在本实施例中，车辆进一步包括投影装置，投影装置与汽车座舱交互装置连接，用于获取汽车座舱交互装置所传递的交互投影屏幕并将交互投影屏幕投影至方向盘的中央位置。
在本实施例中，将交互投影屏幕投影至方向盘的中央位置可以方便使用者操作，从而防止使用者由于要与交互投影屏幕进行交互而影响驾驶。
需要说明的是，前述对方法实施例的解释说明也适用于本实施例的装置，此处不再赘述。
本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的汽车座舱交互方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的汽车座舱交互方法。
图2是能够实现根据本申请一个实施例提供的汽车座舱交互方法的电子设备的示例性结构图。
如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的汽车座舱交互方法。
在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的汽车座舱交互方法。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存 储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

  1. 一种汽车座舱交互方法，其特征在于，所述汽车座舱交互方法包括：
    获取使用者手势信息；
    获取使用者手势投影库，所述使用者手势投影库包括多个预设手势信息以及每个预设手势信息对应的交互投影屏幕；
    判断使用者手势信息是否与各个预设手势信息中的一个相同，若是，则
    获取与该手势信息相同的预设手势信息所对应的交互投影屏幕。
  2. 如权利要求1所述的汽车座舱交互方法，其特征在于，所述汽车座舱交互方法进一步包括：
    将所述交互投影屏幕发送给投射装置；
    获取使用者与交互投影屏幕互动所反馈的交互信息。
  3. 如权利要求2所述的汽车座舱交互方法，其特征在于，所述汽车座舱交互方法进一步包括：
    获取交互信息动作库，所述交互信息动作库包括多个预设交互信息以及每个预设交互信息对应的交互动作信息；
    判断交互信息是否与所述交互信息动作库中的各个预设交互信息中的一个预设交互信息相同，若是，则
    获取该预设交互信息对应的交互动作信息；
    将交互动作信息传递给能够执行该交互动作信息的执行机构。
  4. 如权利要求3所述的汽车座舱交互方法，其特征在于，在所述将交互动作信息传递给能够执行该交互动作信息的执行机构之前，所述汽车座舱交互方法进一步包括：
    根据所述交互动作信息生成语音提问信息；
    获取使用者根据所述语音提问信息反馈的语音信息；
    根据所述语音信息判断是否将所述交互动作信息传递给所述执行机构，若是，则
    将交互动作信息传递给能够执行该交互动作信息的执行机构。
  5. 如权利要求1所述的汽车座舱交互方法，其特征在于，所述获取使用者手势信息包括：
    分别获取通过摄像装置以及红外装置获取的使用者的待判断手势信息；
    获取红外手势库以及摄像手势库，所述红外手势库包括多个红外手势以及每个红外手势所代表的红外手势含义，所述摄像手势库包括多个摄像手势以及每个摄像手势所代表的摄像手势含义；
    根据红外手势库以及通过红外装置获取的使用者的待判断手势信息获取该手势信息所对应的红外手势含义；
    根据摄像手势库以及通过摄像装置获取的使用者的待判断手势信息获取该手势信息所对应的摄像手势含义；
    判断所述红外手势含义与所述摄像手势含义是否相同，若是，则
    获取该待判断手势信息作为使用者手势信息。
  6. 如权利要求5所述的汽车座舱交互方法，其特征在于，所述获取使用者手势信息进一步包括：
    判断所述红外手势含义与所述摄像手势含义是否相同，若否，则
    根据所述红外手势含义生成红外手势语音提问信息；
    获取使用者根据所述红外手势语音提问信息所反馈的语音信息；
    获取使用者根据所述红外手势语音提问信息所反馈的语音信息中的语义信息；
    根据语义信息判断使用者是否需要该待判断手势信息作为使用者手势信息。
  7. 如权利要求5所述的汽车座舱交互方法，其特征在于，所述获取使用者手势信息进一步包括：
    判断所述红外手势含义与所述摄像手势含义是否相同，若否，则
    根据所述摄像手势含义生成摄像手势语音提问信息；
    获取使用者根据所述摄像手势语音提问信息所反馈的语音信息；
    获取使用者根据所述摄像手势语音提问信息所反馈的语音信息中的语义信息；
    根据语义信息判断使用者是否需要改待判断手势信息作为使用者手势信息。
  8. 一种汽车座舱交互装置，其特征在于，所述汽车座舱交互装置包括：
    使用者手势信息获取模块，所述使用者手势信息获取模块用于获取使用者手势信息；
    手势投影库获取模块，所述手势投影库获取模块用于获取使用者手势投影库，所述使用者手势投影库包括多个预设手势信息以及每个预设手势信息对应的交互投影屏幕；
    判断模块，所述判断模块用于判断使用者手势信息是否与各个预设手势信息中的一个相同；
    交互投影屏幕获取模块，所述交互投影屏幕获取模块用于获取与该手势信息相同的预设手势信息所对应的交互投影屏幕。
  9. 一种车辆，其特征在于，所述车辆包括：
    手势获取装置；
    汽车座舱交互装置，所述汽车座舱交互装置与所述手势获取装置连接，所述汽车座舱交互装置为如权利要求8所述的汽车座舱交互装置。
  10. 如权利要求9所述的车辆，其特征在于，所述车辆进一步包括：
    投影装置，所述投影装置与所述汽车座舱交互装置连接，用于获取所述汽车座舱交互装置所传递的交互投影屏幕并将交互投影屏幕投影至方向盘的中央位置。
PCT/CN2022/103015 2022-01-24 2022-06-30 一种汽车座舱交互方法、装置及车辆 WO2023137990A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210081226.3A CN114564102A (zh) 2022-01-24 2022-01-24 一种汽车座舱交互方法、装置及车辆
CN202210081226.3 2022-01-24

Publications (1)

Publication Number Publication Date
WO2023137990A1 true WO2023137990A1 (zh) 2023-07-27

Family

ID=81713306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/103015 WO2023137990A1 (zh) 2022-01-24 2022-06-30 一种汽车座舱交互方法、装置及车辆

Country Status (2)

Country Link
CN (1) CN114564102A (zh)
WO (1) WO2023137990A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564102A (zh) * 2022-01-24 2022-05-31 中国第一汽车股份有限公司 一种汽车座舱交互方法、装置及车辆
CN115231398A (zh) * 2022-07-05 2022-10-25 北京北投智慧城市科技有限公司 一种基于ai手势、语音识别的方法及系统
CN115514942A (zh) * 2022-08-02 2022-12-23 合壹(上海)展览有限公司 多交互形式的智能投影方法、系统、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
CN106200904A (zh) * 2016-06-27 2016-12-07 乐视控股（北京）有限公司 一种手势识别装置、电子设备以及手势识别方法
CN106394439A (zh) * 2015-07-28 2017-02-15 比亚迪股份有限公司 汽车的控制方法和系统
CN110045825A (zh) * 2018-03-27 2019-07-23 杭州凌感科技有限公司 用于车辆交互控制的手势识别系统
CN111190520A (zh) * 2020-01-02 2020-05-22 北京字节跳动网络技术有限公司 菜单项选择方法、装置、可读介质及电子设备
CN112162688A (zh) * 2020-08-20 2021-01-01 江苏大学 一种基于手势识别的车载虚拟屏交互信息系统
CN114564102A (zh) * 2022-01-24 2022-05-31 中国第一汽车股份有限公司 一种汽车座舱交互方法、装置及车辆

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158457A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种基于手势识别的车载hud人机交互系统
CN113065383B (zh) * 2020-01-02 2024-03-29 中车株洲电力机车研究所有限公司 一种基于三维手势识别的车载交互方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
CN106394439A (zh) * 2015-07-28 2017-02-15 比亚迪股份有限公司 汽车的控制方法和系统
CN106200904A (zh) * 2016-06-27 2016-12-07 乐视控股（北京）有限公司 一种手势识别装置、电子设备以及手势识别方法
CN110045825A (zh) * 2018-03-27 2019-07-23 杭州凌感科技有限公司 用于车辆交互控制的手势识别系统
CN111190520A (zh) * 2020-01-02 2020-05-22 北京字节跳动网络技术有限公司 菜单项选择方法、装置、可读介质及电子设备
CN112162688A (zh) * 2020-08-20 2021-01-01 江苏大学 一种基于手势识别的车载虚拟屏交互信息系统
CN114564102A (zh) * 2022-01-24 2022-05-31 中国第一汽车股份有限公司 一种汽车座舱交互方法、装置及车辆

Also Published As

Publication number Publication date
CN114564102A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
WO2023137990A1 (zh) 一种汽车座舱交互方法、装置及车辆
US20190317725A1 (en) Speech-based interaction with a display window
WO2018098912A1 (zh) 屏幕录像的录制、播放方法、录屏终端及播放终端
WO2023273064A1 (zh) 对象说话检测方法及装置、电子设备和存储介质
WO2020019616A1 (zh) 触控数据处理的方法、装置、智能设备和存储介质
WO2022237268A1 (zh) 头戴式显示设备的信息输入方法、装置及头戴式显示设备
CN109725868A (zh) 纯语音交互的车机系统的实现方法、适用于车机系统的语音交互装置及系统
WO2023273063A1 (zh) 乘员说话检测方法及装置、电子设备和存储介质
WO2022205159A1 (zh) 一种车辆控制方法及装置
CN111737670A (zh) 多模态数据协同人机交互的方法、系统及车载多媒体装置
CN111427454A (zh) 一种手势控制系统及方法
CN115291724A (zh) 人机交互的方法、装置、存储介质和电子设备
CN111142655A (zh) 交互方法、终端及计算机可读存储介质
CN114187637A (zh) 车辆控制方法、装置、电子设备及存储介质
WO2022089197A1 (zh) 信息提示方法、装置、电子设备及存储介质
KR20210040856A (ko) 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체
CN115171692A (zh) 一种语音交互方法和装置
CN114898749A (zh) 一种汽车电子手册交互方法、装置及车辆
CN106201699A (zh) 在机器人操作系统中启动应用的方法及装置
CN112951216B (zh) 一种车载语音处理方法及车载信息娱乐系统
WO2023071610A1 (zh) 一种执行方法、电子设备及计算机存储介质
WO2023142378A1 (zh) 一种基于指纹解锁的驾乘位置座椅控制方法、装置及车辆
CN106020850A (zh) 在机器人操作系统中关闭应用的方法及装置
CN116225229A (zh) 基于可穿戴肌电采集设备的车辆控制方法及装置
CN109524010A (zh) 一种语音控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22921421

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE