WO2024140441A1 - 录像方法、装置及电子设备 - Google Patents

录像方法、装置及电子设备 Download PDF

Info

Publication number
WO2024140441A1
WO2024140441A1 PCT/CN2023/140865 CN2023140865W WO2024140441A1 WO 2024140441 A1 WO2024140441 A1 WO 2024140441A1 CN 2023140865 W CN2023140865 W CN 2023140865W WO 2024140441 A1 WO2024140441 A1 WO 2024140441A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sound information
sound
image
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/140865
Other languages
English (en)
French (fr)
Inventor
王晓雷
段闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Publication of WO2024140441A1 publication Critical patent/WO2024140441A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Definitions

  • the present application belongs to the field of image processing technology, and specifically relates to a video recording method, device and electronic equipment.
  • New smart terminal devices such as augmented reality (AR) are developing very rapidly, and consumers are also quickly adapting to such products and even regard them as necessities of life.
  • AR augmented reality
  • the micro-projection system projects virtual information such as text and images onto optical elements, and then sends the virtual information to the human eye through reflection and total reflection.
  • the real scene in the real world can directly enter the human eye through the optical element, so that the user can see the "overlap" of virtual and real, thereby realizing augmented reality.
  • the virtual information and real scenes displayed by AR devices exist independently, when it is necessary to record or videotape the display content of the AR device, the virtual content can only be processed by the AR device itself, and external devices such as mobile phones cannot synchronously process the virtual content of the AR device when recording or videotaping.
  • the purpose of the embodiments of the present application is to provide a recording method, device and electronic device to solve the problem that existing external devices such as mobile phones cannot synchronize the virtual content of AR devices during recording and video recording.
  • an embodiment of the present application provides a recording method, which is applied to a first device, wherein the first device is wirelessly connected to a second device, and the recording method includes:
  • Acquire information to be fused comprising: first image information displayed by the second device, first sound information corresponding to the first image information, second image information displayed by the first device, and second sound information corresponding to the second image information;
  • An image corresponding to the first multimedia file is displayed.
  • an embodiment of the present application provides a recording method, which is applied to a second device, where the second device is wirelessly connected to the first device, and the recording method includes:
  • Acquire information to be fused comprising: first image information displayed by the second device, first sound information corresponding to the first image information, second image information displayed by the first device, and second sound information corresponding to the second image information;
  • the information to be fused is fused to obtain a fused second multimedia file.
  • an embodiment of the present application provides a video recording device, which is applied to a first device, the first device is wirelessly connected to a second device, and the video recording device includes:
  • a first acquisition module is used to acquire information to be fused, wherein the information to be fused includes: first image information displayed by the second device, first sound information corresponding to the first image information, second image information displayed by the first device, and second sound information corresponding to the second image information;
  • a first fusion module used for performing fusion processing on the information to be fused to obtain a fused first multimedia file
  • the display module is used to display the image corresponding to the first multimedia file.
  • an embodiment of the present application provides a video recording device, which is applied to a second device, the second device is wirelessly connected to the first device, and the video recording device includes:
  • a second acquisition module is used to acquire information to be fused, where the information to be fused includes: first image information displayed by the second device, first sound information corresponding to the first image information, second image information displayed by the first device, and second sound information corresponding to the second image information;
  • the second fusion module is used to perform fusion processing on the information to be fused to obtain a fused second multimedia file.
  • an embodiment of the present application provides a chip, comprising a processor and a communication interface, wherein the communication interface is coupled to the processor, and the processor is used to run a program or instruction to implement the method described in the first aspect or the second aspect.
  • an embodiment of the present application provides a computer program product, wherein the computer program product is stored in a non-volatile storage medium, and the computer program product is executed by at least one processor to implement the method described in the first aspect or the second aspect.
  • an embodiment of the present application provides an electronic device, wherein the electronic device is configured to execute the method described in the first aspect or the second aspect.
  • the first device fuses the first image information and the corresponding first sound information displayed by the second device with the second image information and the corresponding sound information displayed by the first device to obtain a first multimedia file, and displays the image in the first multimedia file, thereby realizing the fusion and superposition of images and sounds of different devices.
  • the obtained multimedia file has not only real recorded images and sounds, but also superimposed virtual images and sounds.
  • the first device can simultaneously synchronize the virtual content of the second device when recording audio or video, thereby strengthening the connection between the second device and the first device.
  • the interaction between devices makes augmented reality more realistic.
  • FIG1 is a schematic diagram of a flow chart of a video recording method according to an embodiment of the present application.
  • FIG2 is a schematic diagram of the working principle of the second device in the embodiment of the present application.
  • FIG3 is a schematic diagram of the structure of the first device and the second device of the embodiment of the present application.
  • FIG4 is a second flow chart of the video recording method according to an embodiment of the present application.
  • FIG6 is a third flow chart of the video recording method according to an embodiment of the present application.
  • FIG11 is a sixth flow chart of the video recording method according to an embodiment of the present application.
  • FIG12 is a schematic diagram of a structure of a video recording device according to an embodiment of the present application.
  • FIG13 is a second structural schematic diagram of the video recording device according to an embodiment of the present application.
  • FIG14 is a schematic diagram of a structure of an electronic device according to an embodiment of the present application.
  • Step 101 Acquire information to be fused, where the information to be fused includes: first image information displayed by a second device, first sound information corresponding to the first image information, second image information displayed by the first device, and second sound information corresponding to the second image information.
  • the first sound information and the second sound information may be sound signals, and the first image information and the second image information may be image signals.
  • the first device may be a mobile terminal (eg, a mobile phone terminal), the second device may be an AR device (eg, AR glasses), and the first device and the second device are wirelessly connected.
  • a mobile terminal eg, a mobile phone terminal
  • the second device may be an AR device (eg, AR glasses)
  • the first device and the second device are wirelessly connected.
  • Step 102 performing fusion processing on the information to be fused to obtain a fused first multimedia file
  • Step 103 display an image corresponding to the first multimedia file.
  • a first device fuses the first image information and the corresponding first sound information displayed by a second device with the second image information and the corresponding sound information displayed by the first device to obtain a first multimedia file, and displays the image in the first multimedia file, thereby realizing the fusion and superposition of images and sounds of different devices.
  • the obtained multimedia file has not only real recorded images and sounds, but also superimposed virtual images and sounds.
  • the first device can simultaneously synchronize the virtual content of the second device during audio and video recording, thereby strengthening the interaction between the second device and the first device, and making augmented reality more realistic.
  • the method also includes sending the first multimedia file to the second device.
  • the first device may send the file to the second device, and the second device may play and/or store the first multimedia file.
  • the obtaining the information to be fused includes:
  • Mode three when the second device plays the first sound information in the headphone mode, the second sound information is collected by the microphone of the first device, and the first sound information sent by the second device is received;
  • Method 4 When the second device plays the first sound information in headphone mode, the first sound information and the second sound information sent by the second device are received.
  • the mobile terminal superimposes the virtual picture sent by the AR device on the real scene image, and superimposes the sound information recorded by the mobile terminal on the image.
  • the mobile terminal realizes the superposition and fusion of the virtual image, the real scene image, and the recorded sound information, and saves the fused image file, realizing the perfect synchronization between the image information, sound information and the saved file during recording.
  • the image fusion process is implemented by an AR device, which superimposes virtual image information on the display image sent by the mobile phone terminal according to the relative position, and fuses the sound information and image information recorded by the mobile phone terminal to complete the fusion processing and transmission of real and virtual sound information.
  • Step 31 The AR glasses transmit virtual image information to the mobile terminal in real time.
  • Step 42 The mobile terminal receives the image information and sound information transmitted by the AR glasses.
  • the microphone of the mobile terminal acquires the sound in the real environment, and the AR glasses transmit the virtual image and the corresponding sound information to the mobile terminal in real time.
  • the mobile terminal can superimpose the virtual image on the real scene image according to the relative position of the virtual image and the real scene image (recognized and sent to the mobile terminal by the AR device), and superimpose the sound information recorded by the mobile terminal on the image.
  • the mobile terminal sends the real image information and the sound information corresponding to the real image to the AR device, and the AR glasses realize the superposition and fusion of the virtual image, the real scene image, and the recorded sound information, and preserves the real scene image.
  • the fused image file is stored to complete the recording and fusion of the sound information in the AR virtual information and the sound information in the real environment.
  • the headset microphone on the AR glasses obtains the sound information of the real environment and sends it to the mobile terminal.
  • the mobile terminal superimposes the virtual image on the real scene image according to the relative position relationship between the virtual image information and the real scene image, and matches the sound information recorded by the AR glasses with the image information in time to ensure the synchronization of sound and picture.
  • the mobile terminal sends the real image information to the AR glasses, and the AR glasses realize the superposition and fusion of the virtual image, the real scene image, and the recorded sound information, completing the fusion processing and transmission of the real and virtual sound information during recording.
  • Step c1 If the sound information is recorded through the microphone of the mobile phone terminal, when the AR glasses play the virtual image and the sound information of the virtual image, the mobile phone terminal records the real environment sound.
  • the AR glasses play the first sound information corresponding to the virtual image through the headphone mode, and the AR glasses have the image position recognition function.
  • the mobile terminal 710 when the user needs to focus on a certain picture, he can click on the corresponding picture information with his finger.
  • the mobile terminal 710 detects this action of the user, it is considered that the user is focusing. According to the position of the finger on the picture when focusing, it can be judged whether the user is focusing on the virtual picture information or the real picture information.
  • the mobile terminal 710 detects that the user performs a focus operation 760 on the virtual picture, the mobile terminal 710 amplifies the virtual sound signal corresponding to the virtual image information, suppresses the real environment sound signal transmitted by the mobile terminal (instruction information can be sent to the AR glasses), and then fuses the sound and image information. The specific fusion process is not repeated here.
  • the user's input can also be detected by the second device.
  • the AR glasses have a camera that can monitor the user's gesture operations, and can track the user's hand movements through intelligent recognition technology or SLAM technology to determine whether the user's first input is for virtual picture information or real picture information, thereby amplifying or suppressing the corresponding sound information.
  • the specific implementation process is similar to the directional recording process of the first device, and will not be repeated here.
  • This embodiment may include two implementation modes: performing a first input on a virtual image and performing a first operation on a real input.
  • the method includes:
  • Step 1 A Bluetooth connection is established between the mobile terminal and the AR glasses, and the mobile terminal or the AR glasses starts recording.
  • Step 2 The mobile terminal detects whether there is a focus operation (ie, the first input).
  • Step 31 A focus operation on the virtual image is detected.
  • Step 41 The mobile terminal amplifies the sound signal corresponding to the virtual image and suppresses the real environment sound signal transmitted by the AR device.
  • Step 32 Detect a focus operation on the real image.
  • Step 42 The mobile terminal directionally amplifies the sound signal in the area recorded by the mobile phone camera and suppresses the sound signal in other areas. Optionally, the recorded sound information is transmitted to the AR glasses.
  • Step 43 The AR glasses can also amplify the real environment sound signal transmitted by the mobile phone terminal, and suppress the sound signal corresponding to the virtual image.
  • the AR glasses play the first sound information corresponding to the virtual image in the external speaker mode, and the AR glasses have the image position recognition function.
  • a mobile terminal 910 is used to record real image information 920 and second sound information 921 of a real environment; an AR glasses 940 plays virtual image information 930, and plays first sound information 942 in the virtual image information in an external speaker mode through a speaker 941 of the AR glasses.
  • the AR glasses 940 and the mobile terminal 910 are connected via a predetermined communication method 950, such as via Bluetooth.
  • the user can operate the virtual image information by focusing on the virtual image information through the operation gesture 960, and can also operate the real image by focusing on the real image information through the operation gesture 961.
  • the mobile terminal 910 detects the user's operation gesture, or the AR glasses are provided with a camera 970 for detecting the user's operation gesture.
  • the AR glasses 940 are provided with earphones 943 , and the earphones 943 are provided with a microphone, which can be used to record the sound of the real environment and the sound information in the virtual image information played in the external speaker mode; the AR glasses 940 and the mobile phone terminal 910 are connected via a predetermined communication method 950 .
  • the size and phase of the virtual sound signal picked up by the AR glasses earphone microphone and the mobile phone terminal microphone are different.
  • the direction of the sound source of the virtual sound signal can be located, and the sound signal in that direction can be amplified, while the sound signals in other directions can be suppressed, and then the sound and image information can be fused. The specific fusion process will not be repeated here.
  • the mobile phone terminal 910 or the camera 970 on the AR glasses detects that the user has performed a focus operation 961 on the real picture, the size and phase relationship of the sound signal is recorded by the microphone of the mobile phone terminal, and the sound signal in the recording area of the mobile phone camera is directionally amplified, and the sound signal in the remaining area is suppressed, so as to complete the directional function of the sound signal in the real environment.
  • the mobile phone terminal can transmit the processed sound signal to the AR glasses, and the AR glasses amplify the real environment sound signal transmitted by the mobile phone terminal, suppress the virtual sound signal corresponding to the virtual image information, and then fuse the sound and image information. The specific fusion process is not repeated here.
  • This embodiment may include two implementation modes: performing the first input on a virtual image and performing the first input on a real image.
  • the method includes:
  • Step c1 detecting a focus operation on the virtual image.
  • Step d1 The mobile phone terminal locates the direction of the source of the virtual sound signal, amplifies the sound signal in that direction, and suppresses the sound signals in other directions.
  • Step d3 The AR glasses amplify the real environment sound signal transmitted by the mobile phone terminal, and suppress the virtual sound signal corresponding to the virtual image.
  • Step e fusing the image information and the sound information. The fusing process will not be described in detail here.
  • a first device fuses the first image information and the corresponding first sound information displayed by a second device with the second image information and the corresponding sound information displayed by the first device to obtain a first multimedia file, and displays the image in the first multimedia file, thereby realizing the fusion and superposition of images and sounds of different devices.
  • the obtained multimedia file has not only real recorded images and sounds, but also superimposed virtual images and sounds.
  • the first device can simultaneously synchronize the virtual content of the second device during audio and video recording, thereby strengthening the interaction between the second device and the first device, and making augmented reality more realistic.
  • Method 4 when the second device plays the first sound information in headphone mode, the second sound information is collected by using a microphone of the second device.
  • the first device or the second device when the first device or the second device records sound, if the first sound information of the second device is played in external speaker mode, the first sound information and the second sound information can be recorded by the microphone of the first device and sent to the second device; alternatively, the first sound information and the second sound information can also be recorded by the second device.
  • the relative display position may be a relative coordinate
  • the second device may fuse the first image information and the second image information into one according to the relative coordinates of the first image information and the second image information, thereby realizing image fusion between different devices.
  • the fusion processing of the information to be fused includes: matching the first time code with the third time code in time position, and matching the second time code with the fourth time code in time position; according to the matched time position, fusing the first sound information with the first image information, fusing the second sound information with the second image information, and fusing the first image information with the second image information according to the relative position information to obtain the second multimedia file.
  • the first device and the second device can add time codes to the displayed image information and recorded sound information.
  • the time codes can be clock codes that run in frames.
  • the time codes can track the recording (or display) time of the video and audio, and then store the time code information as metadata in the digital file.
  • the time code on the image can be matched with the time code on the sound, so as to achieve audio and video synchronization and obtain an image file that fuses images of different devices and corresponding sounds.
  • the process by which the second device implements the fusion of the first image information, the second image information, the first sound information and the second sound information is similar to the fusion process of the first device.
  • the only difference is that the first device sends the image information to the second device, and the second device performs the fusion process.
  • the specific fusion process please refer to the method embodiment of the first device, which will not be repeated here.
  • the second device may send instruction information to the first device, and the first device may press or, if the sound information is recorded by the first device and the second device amplifies the first sound information, in order to highlight the first sound information, the second device may send an instruction message to the first device, instructing the first device to suppress the second sound information during recording.
  • the recording method provided in the embodiment of the present application can be executed by a recording device or a control module in the recording device for the recording method.
  • the recording device provided in the embodiment of the present application is described by taking the recording device executing the recording method as an example.
  • the first acquisition module 1210 is used to acquire information to be fused, where the information to be fused includes: first image information displayed by the second device, first sound information corresponding to the first image information, second image information displayed by the first device, and second sound information corresponding to the second image information;
  • the display module 1230 is configured to display an image corresponding to the first multimedia file.
  • Method 1 When the second device plays the first sound information in an external speaker mode, the first sound information and the second sound information are collected by using a microphone of the first device;
  • Mode 2 When the second device plays the first sound information in an external speaker mode, receiving the first sound information and the second sound information collected and sent by the second device;
  • Mode 4 When the second device plays the first sound information in earphone mode, the first sound information and the second sound information sent by the second device are received.
  • the device further comprises:
  • the video recording device provided in the embodiment of the present application can implement each process implemented by the image video recording device in the method embodiments of Figures 1 to 11, and will not be described again here to avoid repetition.
  • the electronic device 150 may also include a power source (such as a battery) for supplying power to each component, and the power source may be logically connected to the processor 160 through a power management system, so that the power management system can manage charging, discharging, and power consumption management.
  • a power source such as a battery
  • the electronic device structure shown in FIG15 does not constitute a limitation on the electronic device, and the electronic device may include more or fewer components than shown, or combine certain components, or arrange components differently, which will not be described in detail here.
  • Method 4 when the second device plays the first sound information in headphone mode, the second sound information is collected by using a microphone of the second device.
  • the fusing process of the information to be fused includes:
  • a first device fuses the first image information and the corresponding first sound information displayed by a second device with the second image information and the corresponding sound information displayed by the first device to obtain a first multimedia file, and displays the image in the first multimedia file, thereby realizing the fusion and superposition of images and sounds of different devices.
  • the obtained multimedia file has not only real recorded images and sounds, but also superimposed virtual images and sounds.
  • the first device can simultaneously synchronize the virtual content of the second device during audio and video recording, thereby strengthening the interaction between the second device and the first device, and making augmented reality more realistic.
  • the input unit 154 may include a graphics processing unit (GPU) 1541 and a microphone 1542, and the graphics processor 1541 processes the image data of the static picture or video obtained by the image capture device (such as a camera) in the video capture mode or the image capture mode.
  • the display unit 156 may include a display panel 1561, and the display panel 1561 may be configured in the form of a liquid crystal display, an organic light emitting diode, etc.
  • the user input unit 157 includes a touch panel 1571 and other input devices 1572.
  • the touch panel 1571 is also called a touch screen.
  • the touch panel 1571 may include two parts: a touch detection device and a touch controller.
  • Other input devices 1572 may include, but are not limited to, a physical keyboard, function keys (such as a volume control key, a switch key, etc.), a trackball, a mouse, and a joystick, which will not be repeated here.
  • the memory 159 can be used to store software programs and various data, including but not limited to application programs and operating systems.
  • the memory 159 may mainly include a first storage area for storing programs or instructions and a second storage area for storing data, wherein the first storage area may store an operating system, an application program or instruction required for at least one function (such as a sound playback function, an image playback function, etc.), etc.
  • the memory 159 may include a volatile memory or a non-volatile memory, or the memory 159 may include both volatile and non-volatile memories.
  • the non-volatile memory may be a read-only memory (ROM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), or a flash memory.
  • the volatile memory may be a random access memory (RAM), a static random access memory (SRAM), a dynamic random access memory (DRAM), a synchronous dynamic random access memory (SDRAM), a double data rate synchronous dynamic random access memory (DDRSDRAM), an enhanced synchronous dynamic random access memory (ESDRAM), a synchronous link dynamic random access memory (SLDRAM) and a direct memory bus random access memory (DRRAM).
  • the memory 159 in the embodiment of the present application includes but is not limited to these and any other suitable types of memory.
  • the processor 160 may include one or more processing units; optionally, the processor 160 integrates an application processor and a modem processor, wherein the application processor mainly processes operations related to an operating system, a user interface, and application programs,
  • the modem processor mainly processes wireless communication signals, such as a baseband processor. It is understandable that the modem processor may not be integrated into the processor 160.
  • An embodiment of the present application further provides a chip, which includes a processor and a communication interface, wherein the communication interface is coupled to the processor, and the processor is used to run programs or instructions to implement the various processes of the above-mentioned video recording method embodiment, and can achieve the same technical effect. To avoid repetition, it will not be repeated here.
  • the chip mentioned in the embodiments of the present application can also be called a system-level chip, a system chip, a chip system or a system-on-chip chip, etc.
  • An embodiment of the present application provides a computer program product, which is stored in a storage medium.
  • the program product is executed by at least one processor to implement the various processes of the above-mentioned video recording method embodiment and can achieve the same technical effect. To avoid repetition, it will not be repeated here.
  • the technical solution of the present application can be embodied in the form of a computer software product, which is stored in a storage medium (such as ROM/RAM, a magnetic disk, or an optical disk), and includes a number of instructions for a terminal (which can be a mobile phone, a computer, a server, or a network device, etc.) to execute the methods described in each embodiment of the present application.
  • a storage medium such as ROM/RAM, a magnetic disk, or an optical disk
  • a terminal which can be a mobile phone, a computer, a server, or a network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Telephone Function (AREA)

Abstract

本申请公开了一种录像方法、装置及电子设备，属于图像处理技术领域。所述方法包括：获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；对所述待融合信息进行融合处理，获得融合后的第一多媒体文件；显示所述第一多媒体文件对应的图像。

Description

录像方法、装置及电子设备
相关申请的交叉引用
本申请主张在2022年12月29日提交的中国专利申请No.202211709899.5的优先权，其全部内容通过引用包含于此。
技术领域
本申请属于图像处理技术领域，具体涉及一种录像方法、装置及电子设备。
背景技术
当前，随着越来越多的消费类电子产品出现，消费者对于智能终端产品的新形态和新技术保持开放包容的态度，增强现实(Augmented Reality，AR)等新型智能终端设备的发展非常迅速，消费者也对于此类产品也快速适应，甚至将其视为生活必需品。
在AR技术中，微投影系统将文字、图像等虚拟的信息投影到光学元件上，然后再通过反射、全反射将虚拟的信息送到人眼，而真实世界中的现实场景，可以透过光学元件直接进入人眼，用户就可以看到虚拟和现实的“重叠”，以此实现增强现实。在现有技术中，由于AR设备显示的虚拟信息和现实场景是独立存在的，在需要对AR设备的显示内容进行录音录像时，只能通过AR设备自身对虚拟内容进行处理，手机等外部设备在录音录像时无法对AR设备的虚拟内容进行同步处理。
发明内容
本申请实施例的目的是提供一种录像方法、装置及电子设备，用以解决现有的手机等外部设备在录音录像时无法对AR设备的虚拟内容进行同步处理的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种录像方法，应用于第一设备，所述第一设备与第二设备无线通信连接，所述录像方法包括：
获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
对所述待融合信息进行融合处理，获得融合后的第一多媒体文件；
显示所述第一多媒体文件对应的图像。
第二方面，本申请实施例提供了一种录像方法，应用于第二设备，所述第二设备与第一设备无线通信连接，所述录像方法包括：
获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
对所述待融合信息进行融合处理，获得融合后的第二多媒体文件。
第三方面，本申请实施例提供了一种录像装置，应用于第一设备，所述第一设备与第二设备无线通信连接，所述录像装置包括：
第一获取模块，用于获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
第一融合模块，用于对所述待融合信息进行融合处理，获得融合后的第一多媒体文件；
显示模块，用于显示所述第一多媒体文件对应的图像。
第四方面，本申请实施例提供了一种录像装置，应用于第二设备，所述第二设备与第一设备无线通信连接，所述录像装置包括：
第二获取模块，用于获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
第二融合模块，用于对所述待融合信息进行融合处理，获得融合后的第二多媒体文件。
第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或者第二方面所述的方法的步骤。
第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或者第二方面所述的方法的步骤。
第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或者第二方面所述的方法。
第八方面，本申请实施例提供了一种计算机程序产品，其中，所述计算机程序产品被存储在非瞬态存储介质中，所述计算机程序产品被至少一个处理器执行以实现如第一方面或者第二方面所述的方法。
第九方面，本申请实施例提供了一种电子设备，其中，所述电子设备被配置成用于执行如第一方面或者第二方面所述的方法。
本申请的实施例，第一设备将第二设备显示的第一图像信息以及对应的第一声音信息和第一设备显示的第二图像信息以及对应的声音信息进行融合获得第一多媒体文件，并显示第一多媒体文件中的图像，实现不同设备的图像以及声音的融合和叠加，获得的多媒体文件不仅具有真实的录制图像以及声音，还具有叠加在一起的虚拟图像以及声音，第一设备在录音录像时可以同时对第二设备的虚拟内容进行同步处理，加强了第二设备与第一设 备之间的交互，使得增强现实更加具有真实感。
附图说明
图1是本申请实施例的录像方法的流程示意图之一；
图2是本申请实施例的第二设备的工作原理示意图；
图3是本申请实施例的第一设备和第二设备的结构示意图之一；
图4是本申请实施例的录像方法的流程示意图之二；
图5是本申请实施例的第一设备和第二设备的结构示意图之二；
图6是本申请实施例的录像方法的流程示意图之三；
图7是本申请实施例的第一设备和第二设备的结构示意图之三；
图8是本申请实施例的录像方法的流程示意图之四；
图9是本申请实施例的第一设备和第二设备的结构示意图之四；
图10是本申请实施例的录像方法的流程示意图之五；
图11是本申请实施例的录像方法的流程示意图之六；
图12是本申请实施例的录像装置的结构示意图之一；
图13是本申请实施例的录像装置的结构示意图之二；
图14是本申请实施例的电子设备的结构示意图之一；
图15是本申请实施例的电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
如图1所示，本申请实施例提供一种录像方法，应用于第一设备，所述第一设备与第二设备无线通信连接，所述录像方法包括：
步骤101、获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息。
所述第一设备显示所述第二图像信息，所述第二图像信息具有对应的第二声音信息；所述第二设备显示所述第一图像信息，所述第一图像信息具有对应的第一声音信息。所述第一设备和所述第二设备之间可以进行信息交互，实现获取上述图像信息和声音信息。
其中，所述第一声音信息和所述第二声音信息可以是声音信号，所述第一图像信息和所述第二图像信息可以是图像信号。
可选的，所述第一设备可以是移动终端(例如手机终端)，所述第二设备可以是AR设备(例如AR眼镜)，所述第一设备和所述第二设备之间无线通信连接。
本申请实施例中第二设备和第一设备显示图像信息可以是播放图像信息，也可以是录制图像信息。例如：所述第二设备显示第一图像信息可以是播放虚拟图像，并可以播放其对应的第一声音信息，所述第一设备显示第二图像信息可以是对现实环境图像进行拍摄，即在第一设备的屏幕上显示现实环境的第二图像信息。所述第一图像信息以及对应的第一声音信息、所述第二图像信息以及对应的第二声音信息是需要进行融合的信息。
以第二设备是AR眼镜为例，如图2所示，微投影系统将文字、图像等虚拟信息投影到光学元件上，然后再通过反射、全反射将虚拟信息传输到人眼；对于现实场景中的画面，可以透过光学元件直接进入人眼，用户可以看到虚拟信息和现实场景的“重叠”，以此实现增强现实。
步骤102、对所述待融合信息进行融合处理，获得融合后的第一多媒体文件；
步骤103、显示所述第一多媒体文件对应的图像。
该实施例中，所述第一设备在获取待融合信息后，可以将第一图像信息、所述第二图像信息以及对应的第一声音信息和第二声音信息叠加融合为一个多媒体文件，即该第一多媒体文件不仅包含融合的图像信息还包括图像对应的声音信息。所述第一设备可以显示该融合后的第一多媒体文件的图像，可选的，还可以播放该第一多媒体文件的声音。
本申请的实施例，第一设备将第二设备显示的第一图像信息以及对应的第一声音信息和第一设备显示的第二图像信息以及对应的声音信息进行融合获得第一多媒体文件，并显示第一多媒体文件中的图像，实现不同设备的图像以及声音的融合和叠加，获得的多媒体文件不仅具有真实的录制图像以及声音，还具有叠加在一起的虚拟图像以及声音，第一设备在录音录像时可以同时对第二设备的虚拟内容进行同步处理，加强了第二设备与第一设备之间的交互，使得增强现实更加具有真实感。
所述方法还包括：向所述第二设备发送所述第一多媒体文件。
所述第一设备在获得融合后的第一多媒体文件后，可以将该文件发送给第二设备，所述第二设备可以播放和/或存储该第一多媒体文件。
作为一个可选实施例，所述获取待融合信息，包括：
接收所述第二设备发送的第一图像信息；
通过以下一种方式获取所述第一声音信息和所述第二声音信息；
方式一：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通过所述第一设备的麦克风采集所述第一声音信息和所述第二声音信息；
方式二：在所述第二设备通过外放模式播放所述第一声音信息的情况下，接收所述第二设备采集并发送的所述第一声音信息和所述第二声音信息；
方式三：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，通过所述第一设备的麦克风采集所述第二声音信息，并接收所述第二设备发送的所述第一声音信息；
方式四：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，接收所述第二设备发送的所述第一声音信息和所述第二声音信息。
该实施例中，由于所述第二图像信息是所述第一设备显示的，其无需再次获取。所述第一图像信息是第二设备显示的，因此第二设备需要将第一图像信息发送至第一设备。
所述第一设备获取第一声音信息和所述第二声音信息时，可以是由第一设备的麦克风录制的，也可以是由第二设备的麦克风录制并发送至所述第一设备。
其中，在所述第一设备或者所述第二设备录制声音时，若第二设备的第一声音信息是通过外放模式播放的，则可以通过第一设备的麦克风录制所述第一声音信息以及第二声音信息；或者，也可以由第二设备录制第一声音信息和第二声音信息，并由第二设备将录制的第一声音信息和第二声音信息发送给所述第一设备。
若其中一种声音信息是通过耳机模式播放的，则只能录制到另一种声音信息。例如：所述第二设备播放虚拟的第一图像信息，其对应的第一声音信息通过耳机模式播放，所述第一设备对现实环境和对应的第二声音信息进行录制拍摄，在第一设备的屏幕上显示现实环境的第二图像信息，则第一声音信息需要由第二设备发送至第一设备。或者，第二设备的第一声音信息通过耳机模式播放，可以由第二设备录制第二声音信息，并将自身存储的第一声音信息和录制的第二声音信息发送给第一设备。
作为一个可选实施例，所述方法还包括：接收所述第二设备发送的相对位置信息，所述相对位置信息是所述第一图像信息和所述第二图像信息的相对位置信息；
所述对所述待融合信息进行融合处理，包括：根据所述相对位置信息，对所述待融合信息进行融合处理。
该实施例中，所述相对显示位置可以是相对坐标，所述第一设备根据第一图像信息和第二图像信息的相对坐标，可以将两者融合为一体，实现不同设备间的图像融合。
所述第二设备具有图像位置识别功能，所述图像位置识别功能是指能够识别第一图像信息与所述第二图像信息之间的相对位置。例如：第二设备确定所述第一图像信息与所述第二图像信息的相对显示位置的方式包括：所述第二设备具有摄像头，可以拍摄到现实环境中的画面，对拍摄模块传输的现实环境信息进行分析处理，结合智能识别技术与即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)技术，可以识别到用户 想要将虚拟画面呈现在现实环境的相对显示位置，则第二设备可以知道虚拟图像信息(即第一图像信息)在现实画面(即第二图像信息)中的相对显示位置，第二设备可以根据该相对显示位置将虚拟图像叠加在现实画面中；或者，所述第二设备也可以将虚拟图像以及该相对显示位置发送给第一设备，由第一设备将虚拟图像叠加在现实画面中。该实施例中的相对显示位置可以是一个相对坐标信息。
若第一设备不具有图像位置识别功能，则由第二设备确定第一图像信息与第二图像信息的相位显示位置，并将该相对显示位置发送给第一设备。例如：移动终端不具有图像位置识别功能，即自身无法确定用户想要将AR设备的虚拟图像显示在现实图像的哪个位置，则可以由AR设备确定相对显示位置后发送给该移动终端，该移动终端可以根据该相对显示位置将虚拟图像叠加在现实画面中。
作为一个可选实施例，所述第一声音信息具有对应的第一时间编码，所述第二声音信息具有对应的第二时间编码，所述第一图像信息具有对应的第三时间编码，所述第二图像信息具有对应的第四时间编码；
所述对所述待融合信息进行融合处理包括：将所述第一时间编码与所述第三时间编码进行时间位置匹配，并将所述第二时间编码与所述第四时间编码进行时间位置匹配；根据匹配的时间位置，将所述第一声音信息和所述第一图像信息进行融合处理、将所述第二声音信息与和所述第二图像信息进行融合处理，并根据所述相对位置信息将所述第一图像信息和所述第二图像信息进行融合处理，获得所述第一多媒体文件。
该实施例中，第一设备和第二设备可以在显示的图像信息和录制的声音信息中添加时间编码，时间编码可以是以帧为单位行走的时钟编码，该时间编码可以跟踪视频和音频的录制(或者显示)时间，然后将此时间编码信息作为元数据存储在数字文件中。在进行信息融合时，可以将该图像上的时间编码与声音上的时间编码进行匹配对应，从而实现音视频同步，获得融合有不同设备的图像以及对应声音的图像文件。
下面以所述第二设备是AR眼镜，第一设备是手机终端为例，举例说明本申请实施例的录像方法的实现过程。
一、以AR眼镜通过外放模式播放虚拟图像对应的第一声音信息，且AR眼镜具有图像位置识别功能为例。
如图3所示，其中，手机终端310用于录制现实环境的第二图像信息320和声音信息321，该声音信息321可以包括现实场景的第二声音信息和AR眼镜外放模式播放的虚拟图像对应的第一声音信息；AR眼镜340播放虚拟图像信息330，并通过AR眼镜的扬声器341以外放模式播放虚拟图像信息330中的第一声音信息342。
AR眼镜340上设有耳机343，耳机343上设有麦克风，可以用于录制现实环境声音和外放模式播放的虚拟图像信息中的声音信息；AR眼镜340和手机终端310之间通过预定通信方式350进行连接，例如通过蓝牙进行连接，在AR眼镜340和手机终端310之间的通讯建立后，可以通过预定通信方式350互传信息。
该实施例中可以包括手机终端310录制声音信息和AR眼镜340录制声音信息和两种实现方式，下面举例说明。
(1)手机终端的麦克风获取现实声音信息，AR眼镜外放模式播放虚拟声音信息，声音信号较大，可以被手机终端的麦克风拾取到。AR设备将获取到的图像信息和声音信息实时传递给手机终端，AR设备和手机终端之间的数据交互通过蓝牙技术实现。AR设备具有摄像头，可以拍摄到现实环境中的画面，对拍摄模块传输的现实环境信息进行分析处理，结合智能识别技术与即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)技术，可以识别到用户想要将虚拟画面呈现在现实环境的相对位置。AR设备可以将该相对位置发送给手机终端。手机终端根据该相对位置将AR设备发送的虚拟画面叠加在现实场景图像中，并将手机终端录制的声音信息叠加在图像中，由手机终端实现虚拟图像、现实场景图像、录制的声音信息的叠加融合，并保存融合后的图像文件，实现录制时图像信息、声音信息与保存文件之间的完美同步。或者，图像融合过程由AR设备实现，AR设备根据相对位置将虚拟图像信息叠加在手机终端发送的显示图像中，并将手机终端录取的声音信息和图像信息进行融合，完成现实和虚拟声音信息的融合处理和传递。
(2)AR眼镜的耳机麦克风获取现实声音信息，AR设备将获取到的图像信息传递给手机终端，AR设备和手机终端之间的数据交互通过蓝牙技术实现。AR设备可以分析得到虚拟图像信息与现实场景图像的相对位置关系和声音位置关系，并且保持现实场景图像信息和声音信息的原始时间对应关系、虚拟图像信息和虚拟声音信息的原始时间对应关系。AR设备可以将虚拟图像和现实场景图像的相对位置发送给手机终端，并将录取的声音信息发送给手机终端。手机终端可以根据虚拟图像信息与现实场景图像的相对位置关系将虚拟画面叠加在现实场景图像中，并将AR眼镜录制的声音信息叠加在图像中。或者，图像融合过程由AR设备实现，手机终端将第二图像信息发送给AR设备，AR设备根据相对位置信息将虚拟图像、现实场景图像、录制的声音信息的叠加融合，并保存融合后的图像文件。
以手机终端实现信息融合为例，所述录制方法的实现过程如图4所示，包括：
步骤0：手机终端与AR眼镜之间建立蓝牙连接，用户通过手机终端开始对显示环境进行录像，AR眼镜播放虚拟图像并通过外放模式播放虚拟图像对应的声音信息。
步骤1：选择手机终端的麦克风录制声音信息或者AR眼镜的耳机麦克风录制声音信息。
步骤21：若通过手机终端的麦克风录制声音信息，则在AR眼镜播放虚拟图像且播放虚拟图像的声音信息时，手机终端录制现实环境声音以及AR眼镜播放的虚拟图像对应的声音信息。
步骤31：AR眼镜实时传递虚拟图像信息到手机终端。
步骤41：手机终端接收AR眼镜传递的图像信息。
步骤51：手机终端根据虚拟图像与现实图像的相对位置，对虚拟图像和现实图像进 行融合，保证与人眼看到的信息同步。
步骤61：手机终端将融合后的图像信息与声音信息进行时间上的匹配，保证画面和声音的同步。需要说明的是，步骤51和步骤61可以具有先后顺序，也可以不具有先后顺序(即同时执行声音和图像的融合)，这里仅以先进行图像融合后进行声音为例进行说明。
步骤71：手机终端将处理后的多媒体文件发送至AR眼镜，AR眼镜可以预览和保存图像文件。
或者，步骤22：若通过AR眼镜的耳机麦克风录制声音信息，则在AR眼镜播放虚拟图像且播放虚拟图像的声音信息时，AR眼镜的耳机麦克风录制现实环境声音以及AR眼镜播放的虚拟图像对应的声音信息。
步骤32：AR眼镜实时传递录制的现实图像信息和麦克风录制的声音信息以及虚拟图像信息。
步骤42：手机终端接收AR眼镜传递的图像信息和声音信息。
步骤52：手机终端根据虚拟图像与现实图像的相对位置，对虚拟图像和现实图像进行融合，保证与人眼看到的信息同步。
步骤62：手机终端将融合后的图像信息与声音信息进行时间上的匹配，保证画面和声音的同步。
步骤72：手机终端将处理后的多媒体文件发送至AR眼镜，AR眼镜可以预览和保存图像文件。
二、以AR眼镜通过耳机模式播放虚拟图像对应的第一声音信息，且AR眼镜具有图像位置识别功能为例。
如图5所示，其中，手机终端510用于录制现实环境的第二图像信息520和第二声音信息521；AR眼镜540播放虚拟图像信息530，并通过耳机541播放虚拟图像信息中的第一声音信息542，其中耳机模式时声音泄露很少，用户手机端的麦克风录制不到虚拟信息中的第一声音信息；同时耳机541上设有麦克风，可以用于录制现实环境声音，并且耳机541可以设置为通透模式，将现实环境声音和虚拟声音信息一起播放出来。
AR眼镜540和手机终端510之间通过预定通信方式550进行连接，例如通过蓝牙进行连接，在AR眼镜540和手机终端510之间的通讯建立后，可以通过预定通信方式550互传信息。
该实施例中可以包括手机终端510录制声音信息和AR眼镜540录制声音信息和两种实现方式，下面举例说明。
(A)手机终端麦克风获取现实环境中的声音，AR眼镜将虚拟图像以及对应的声音信息实时传递给手机终端。手机终端可以根据虚拟画面与现实场景图像的相对位置(AR设备识别并发送给手机终端)将虚拟画面叠加在现实场景图像中，并将手机终端录制的声音信息叠加在图像中。或者，手机终端将现实图像信息、现实图像对应的声音信息发送给AR设备，由AR眼镜实现虚拟图像、现实场景图像、录制的声音信息的叠加融合，并保 存融合后的图像文件，完成AR虚拟信息中的声音信息和现实环境中声音信息的录制和融合。
(B)AR眼镜上的耳机麦克风获取现实环境的声音信息，并发送给手机终端。手机终端根据虚拟图像信息与现实场景图像的相对位置关系将虚拟画面叠加在现实场景图像中，并将AR眼镜录制到的声音信息与图像信息进行时间上的匹配，保证声音和画面的同步。或者，手机终端将现实图像信息发送给AR眼镜，，由AR眼镜实现虚拟图像、现实场景图像、录制的声音信息的叠加融合，完成录像时现实和虚拟声音信息的融合处理和传递。
以第一设备实现信息融合，所述第一设备是手机终端，第二设备是AR眼镜为例，所述录像方法的实现过程如图6示，包括：
步骤a：手机终端与AR眼镜之间建立蓝牙连接，用户通过手机终端开始对显示环境进行录像，AR眼镜播放虚拟图像并通过耳机模式播放虚拟图像对应的声音信息，耳机可以设置为通透模式。
步骤b：选择手机终端的麦克风录制声音信息或者AR眼镜的耳机麦克风录制声音信息。
步骤c1：若通过手机终端的麦克风录制声音信息，则在AR眼镜播放虚拟图像且播放虚拟图像的声音信息时，手机终端录制现实环境声音。
步骤d1：AR眼镜实时传递虚拟图像以及对应的声音信息到手机终端。
步骤e1：手机终端接收AR眼镜传递的虚拟图像信息和声音信息，以及虚拟图像和现实图像的相对位置。
步骤f1：手机终端根据虚拟图像与现实图像的相对位置，对虚拟图像和现实图像进行融合，保证与人眼看到的信息同步。
步骤g1：手机终端将融合后的图像信息与声音信息(手机终端录制的现实环境声音和AR眼镜端的虚拟图像对应的声音信息)进行时间上的匹配，保证画面和声音的同步。
步骤h1：手机终端将处理后的多媒体文件发送至AR眼镜，AR眼镜可以预览和保存图像文件。
或者，步骤c2：若通过AR眼镜的耳机麦克风录制声音信息，则在AR眼镜播放虚拟图像且播放虚拟图像的声音信息时，AR眼镜的耳机麦克风录制现实环境声音信息；
步骤d2：AR眼镜实时传递虚拟图像信息和对应的声音信息，以及录制的声音信息给手机终端。
步骤e2：手机终端接收AR眼镜传递的图像信息和声音信息。
步骤f2：手机终端根据虚拟图像与现实图像的相对位置，对虚拟图像和现实图像进行融合，保证与人眼看到的信息同步。
步骤g2：手机终端将融合后的图像信息与声音信息进行时间上的匹配，保证画面和声音的同步。
需要说明的是，步骤f2和步骤g2可以具有先后顺序，也可以不具有先后顺序(即同时执行声音和图像的融合)，这里仅以先进行图像融合后进行声音为例进行说明。
步骤h2：手机终端将处理后的多媒体文件发送至AR眼镜，AR眼镜可以预览和保存图像文件。
该实施例中，将AR设备的虚拟图像、虚拟声音信息与手机终端录像的真实图像、真实声音信息进行相互结合，能够加强AR设备与手机终端之间的交互，使得增强现实更加有真实感，可以满足用户任意背景的拍照需求。
作为一个可选实施例，所述方法还包括：
接收用户的第一输入；
响应于所述第一输入，确定所述第一输入对应的对象是所述第一图像信息中的对象，或者，确定所述第一输入对应的对象是所述第二图像信息中的对象；
在所述第一输入对应的对象是所述第一图像信息中的对象的情况下，对所述第一声音信息进行放大处理，或者，对所述第二声音信息进行缩小处理；
在所述第一输入对应的对象是所述第二图像信息中的对象的情况下，对所述第二声音信息进行放大处理，或者，对所述第一声音信息进行缩小处理。
该实施例中，所述第一输入用于实现定向录音，用户可以针对想要突出声音的图像信息进行所述第一输入，则所述第一设备可以对相应的图像信息对应的声音进行放大，实现定向录音。所述第一输入可以是预定的手势操作，例如：手指对图像信息显示位置的点击操作、双击操作等等，在此不做限定。
例如：第一设备检测用户在屏幕上的触屏操作，根据触屏位置可以确定该操作是针对虚拟图像还是针对现实场景图像，若用户对虚拟图像对应的相对显示位置进行触屏操作，则对虚拟图像对应的声音信息进行放大(或者对现实图像的声音信息进行缩小或压制)，若用户对虚拟图像对应的相对显示位置之外的其他位置进行触屏操作，则对现实场景图像对应的声音信息进行放大(或者对虚拟图像对应的声音信息进行缩小或者压制)。
所述第一图像信息是第二设备传输的虚拟图像信息，若检测到用户针对第一图像信息中的对象的第一输入，则对第一图像信息对应的第一声音信息进行放大或者对第二声音信息进行缩小；第二图像信息是第一设备拍摄的现实图像信息，若检测到用户针对所述第二图像信息的第一操作，则需要对第二图像信息对应的声音进行放大或者对第一声音信息进行缩小。
该实施例中，若通过第一设备录制声音信息且对第一声音信息进行了放大，为了突显第一声音信息，第一设备可以在录制时压制第二声音信息；或者，若通过第一设备录制声音信息，并指示第二设备对第一声音信息进行放大，为了突显第一声音信息，第一设备可以在录制时压制第二声音信息。
作为一个可选实施例，在通过所述第二设备的麦克风录制所述第一声音信息和/或所述第二声音信息的情况下，所述方法还包括：
向所述第二设备发送指示信息；
其中，若对所述第一声音信息进行放大处理，则所述指示信息用于指示所述第二设备在录制所述第一声音信息和所述第二声音信息时压制所述第二声音信息；
若对所述第二声音信息进行放大处理，则所述指示信息用于指示所述第二设备在录制所述第一声音信息和所述第二声音信息时压制所述第一声音信息。
该实施例中，若通过第二设备录制声音信息且对第一声音信息进行了放大，为了突显所述第一声音信息，则第一设备可以向第二设备发送指示信息，指示第二设备在录制时压制第二声音信息；或者，若通过第二设备录制声音信息且对第二声音信息进行了放大，为了突显所述第二声音信息，则第一设备可以向第二设备发送第二指示信息，指示第二设备在录制时压制第一声音信息。
需要说明的是，本申请实施例中对所述第一声音信息或者第二声音信息进行放大处理，以及进行声音压制，均可以在第一设备或者第二设备进行声音录制的过程中执行，则录制的声音信息是声音定向放大处理以及压制处理后的声音信息。在所述第一设备进行图像信息和声音信息的融合时，使用的也是该声音定向放大处理以及压制处理后的声音信息，图像融合以及声音融合的过程在此不做赘述。
以所述第一设备是手机终端，第二设备是AR眼镜为例，下面举例说明定向录音的实现过程。
一、以AR眼镜通过耳机模式播放虚拟图像对应的第一声音信息，且AR眼镜具有图像位置识别功能为例。
如图7所示，手机终端710用于录制现实环境的第二图像信息720和第二声音信息721；AR眼镜740播放虚拟图像信息730，并通过耳机741播放虚拟图像信息中的第一声音信息742。AR眼镜740和手机终端710之间通过预定通信方式750进行连接，例如通过蓝牙进行连接。AR眼镜740自带摄像头770。
其中，用户可以通过对焦虚拟图像信息的操作手势760对虚拟图像信息进行操作，也可以通过对焦现实图像信息的操作手势761对现实图像进行操作。手机终端710可以检测用户对于虚拟图像或者现实图像的输入。
该实施例中，当用户需要对某一画面进行对焦时，可以用手指去点击一下对应的画面信息，手机终端710检测到用户这一动作时认为用户在对焦，根据对焦时手指所处的画面位置，可以判断出用户是针对虚拟画面信息对焦还是针对现实画面信息对焦。当手机终端710检测到用户针对虚拟画面对焦操作760时，手机终端710对虚拟图像信息对应的虚拟声音信号进行放大处理，同时压制手机终端传输过来的真实环境声音信号(可以向AR眼镜发送指示信息)，然后对声音和图像信息进行融合，具体融合过程在此不做赘述。
当手机终端710检测到用户有对现实图像的对焦操作761时，通过手机终端麦克风录制声音信号的大小和相位关系，定向放大手机终端录制的声音信号，同时压制剩余区域的声音信号，完成真实环境中声音信号的定向功能，然后对声音和图像信息进行融合，具体 融合过程在此不做赘述。
可选的，用户的输入也可以由第二设备检测，例如：AR眼镜上有摄像头可以监控用户的手势操作，可以通过智能识别技术或者SLAM技术跟踪用户的手部动作，从而确定用户的第一输入是针对虚拟画面信息还是针对现实画面信息，从而对相应的声音信息进行放大处理或者压制，具体实现过程与第一设备定向录音过程相似，在此不做赘述。
该实施例中可以包括对虚拟图像进行第一输入和对现实输入进行第一操作两种实现方式，如图8所示，以移动终端检测用户的第一输入为例，包括：
步骤1、移动终端与AR眼镜之间建立蓝牙连接，移动终端或者AR眼镜开始录像。
步骤2、移动终端检测是否有对焦操作(即所述第一输入)。
步骤31、检测到针对虚拟图像的对焦操作。
步骤41、移动终端对虚拟图像对应的声音信号进行放大，同时压制AR设备传输的现实环境声音信号。或者，
步骤32、检测到针对现实图像的对焦操作。
步骤42、移动终端定向放大手机摄像头录制区域的声音信号，同时压制其余区域的声音信号，可选的，将将录制的声音信息传输给AR眼镜。
步骤43、AR眼镜也可以对手机终端传输的现实环境声音信号进行放大处理，同时压制虚拟图像对应的声音信号。
步骤5、对图像信息和声音信息进行融合处理，融合处理的过程在此不做赘述。
二、以AR眼镜通过外放模式播放虚拟图像对应的第一声音信息，且AR眼镜具有图像位置识别功能为例。
如图9所示，手机终端910用于录制现实环境的现实图像信息920和第二声音信息921；AR眼镜940播放虚拟图像信息930，并通过AR眼镜的扬声器941以外放模式播放虚拟图像信息中的第一声音信息942。AR眼镜940和手机终端910之间通过预定通信方式950进行连接，例如通过蓝牙进行连接。
其中，用户可以通过对焦虚拟图像信息的操作手势960对虚拟图像信息进行操作，也可以通过对焦现实图像信息的操作手势961对现实图像进行操作。手机终端910检测用户的操作手势，或者AR眼镜上设置摄像头970，用于检测用户的操作手势。
AR眼镜940上设有耳机943，耳机943上设有麦克风，可以用于录制现实环境声音和外放模式播放的虚拟图像信息中的声音信息；AR眼镜940和手机终端910之间通过预定通信方式950进行连接。
当手机终端910或者AR眼镜上的摄像头970检测到用户有对虚拟画面对焦操作960时，AR眼镜耳机麦和手机终端麦克风拾取到的虚拟声音信号的大小和相位是不一样的，通过定向录音算法进行处理，可以定位虚拟声音信号的发声源方向，并且放大该方向的声音信号，同时压制其余方向的声音信号，然后对声音和图像信息进行融合，具体融合过程在此不做赘述。
当手机终端910或者AR眼镜上的摄像头970检测到用户有对真实画面对焦操作961时，通过手机终端麦克风录制声音信号的大小和相位关系，定向放大手机摄像头录制区域内的声音信号，同时压制剩余区域的声音信号，完成真实环境中声音信号的定向功能。手机终端可以将处理后的声音信号传输给AR眼镜，AR眼镜对手机终端传输的真实环境声音信号进行放大处理，同时压制虚拟图像信息对应的虚拟声音信号，然后对声音和图像信息进行融合，具体融合过程在此不做赘述。
该实施例中可以包括对虚拟图像进行第一输入和对现实图像进行第一输入两种实现方式，如图10所示，以手机终端检测用户的第一输入为例，包括：
步骤a、手机终端与AR眼镜之间建立蓝牙连接，手机终端或者AR眼镜开始录像。
步骤b、手机终端检测是否有对焦操作(即所述第一输入)。
步骤c1、检测到针对虚拟图像的对焦操作。
步骤d1、手机终端定位虚拟声音信号的发生源方向，并且放大该方向的声音信号，同时压制其余方向的声音信号。
或者
步骤c2、检测到针对现实图像的对焦操作。
步骤d2、手机终端定向放大手机摄像头录制区域的声音信号，同时压制其余区域的声音信号，可以将录制的声音信息传输给AR眼镜。
步骤d3、AR眼镜对手机终端传输的现实环境声音信号进行放大处理，同时压制虚拟图像对应的虚拟声音信号。
步骤e、对图像信息和声音信息进行融合处理，融合处理的过程在此不做赘述。
该实施例中，用户通过对虚拟图像或者真实图像进行第一输入，实现AR设备中的虚拟图像对应的声音信息或者真实环境的声音信息的定向收音，实现录像文件声音的定向收音，能够提高用户录像的体验感。
本申请的实施例，第一设备将第二设备显示的第一图像信息以及对应的第一声音信息和第一设备显示的第二图像信息以及对应的声音信息进行融合获得第一多媒体文件，并显示第一多媒体文件中的图像，实现不同设备的图像以及声音的融合和叠加，获得的多媒体文件不仅具有真实的录制图像以及声音，还具有叠加在一起的虚拟图像以及声音，第一设备在录音录像时可以同时对第二设备的虚拟内容进行同步处理，加强了第二设备与第一设备之间的交互，使得增强现实更加具有真实感。
如图11所示，本申请实施例还提供一种录像方法，应用于第二设备，所述第二设备与第一设备无线通信连接，所述录像方法包括：
步骤110、获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
步骤111、对所述待融合信息进行融合处理，获得融合后的第二多媒体文件。
该实施例中，所述第二设备显示所述第一图像信息，所述第一图像信息具有对应的第一声音信息；所述第一设备显示所述第二图像信息，所述第二图像信息具有对应的第二声音信息。所述第二设备和所述第一设备之间可以进行信息交互。
所述第一设备将显示的第二图像信息传输到第二设备，第二设备获取包括所述第二图像信息以及对应的第二声音信息、第一图像信息以及对应的第一声音信息后，可以将第一图像信息和、所述第二图像信息、第一声音信息和第二声音信息融合在一起，获得完整的第二多媒体文件。所述第二设备在获得融合后的多媒体文件后，可以将该多媒体文件发送给第一设备，所述第一设备可以播放和/或存储该图像文件。
本申请的实施例，第二设备将显示的第一图像信息以及对应的第一声音信息和第一设备显示的第二图像信息以及对应的声音信息进行融合获得第二多媒体文件，实现不同设备的图像以及声音的融合和叠加，获得融合后的多媒体文件。融合后的所述多媒体文件不仅具有真实的录制图像以及声音，还具有叠加在一起的虚拟图像以及声音，加强了第二设备与第一设备之间的交互，使得增强现实更加具有真实感。
可选的，所述第二设备是AR设备(如AR眼镜)，所述第一设备是移动终端(如手机终端)，所述第二设备与所述第一设备无线通信连接。
可选的，所述获取待融合信息包括；
接收第一设备发送的第二图像信息；
通过以下一种方式获取所述第一声音信息和所述第二声音信息，或者获取所述第二声音信息；
方式一：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通接收所述第一设备的麦克风采集并发送的所述第一声音信息和所述第二声音信息；
方式二：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通过所述第二设备的麦克风采集所述第一声音信息和所述第二声音信息；
方式三：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，接收所述第一设备采集并发送的所述第二声音信息；
方式四：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，通过所述第二设备的麦克风采集所述第二声音信息。
所述第二设备获取第一声音信息和所述第二声音信息时，可以是由第一设备的麦克风录制的，也可以是由第一设备的麦克风录制并发送至所述第二设备。
其中，在所述第一设备或者所述第二设备录制声音时，若第二设备的第一声音信息是通过外放模式播放的，则可以通过第一设备的麦克风录制所述第一声音信息以及第二声音信息并发送给所述第二设备；或者，也可以由第二设备录制第一声音信息和第二声音信息。
若其中一种声音信息是通过耳机模式播放的，则只能录制到另一种声音信息。例如：所述第二设备播放虚拟的第一图像信息，其对应的第一声音信息通过耳机模式播放，所述第一设备对现实环境和对应的第二声音信息进行录制拍摄并发送至所述第二设备，第一声 音信息由第二设备由自身存储获取即可。或者，第二设备的第一声音信息通过耳机模式播放，可以由第二设备录制第二声音信息，并获取自身存储的第一声音信息。
可选的，所述方法还包括：确定所述第一图像信息和所述第二图像信息的相对位置信息；所述对所述待融合信息进行融合处理，包括：根据所述相对位置信息，对所述待融合信息进行融合处理。
该实施例中，所述相对显示位置可以是相对坐标，所述第二设备根据第一图像信息和第二图像信息的相对坐标，可以将两者融合为一体，实现不同设备间的图像融合。
所述第二设备具有图像位置识别功能，所述图像位置识别功能是指能够识别第一图像信息与所述第二图像信息之间的相对位置。例如：第二设备确定所述第一图像信息与所述第二图像信息的相对显示位置的方式包括：所述第二设备具有摄像头，可以拍摄到现实环境中的画面，对拍摄模块传输的现实环境信息进行分析处理，结合SLAM技术，可以识别到用户想要将虚拟画面呈现在现实环境的相对显示位置，则第二设备可以知道虚拟图像信息(即第一图像信息)在现实画面(即第二图像信息)中的相对显示位置，第二设备可以根据该相对显示位置将虚拟图像叠加在现实画面中。
作为一个可选实施例，所述第一声音信息具有对应的第一时间编码，所述第二声音信息具有对应的第二时间编码，所述第一图像信息具有对应的第三时间编码，所述第二图像信息具有对应的第四时间编码；
所述对所述待融合信息进行融合处理包括：将所述第一时间编码与所述第三时间编码进行时间位置匹配，并将所述第二时间编码与所述第四时间编码进行时间位置匹配；根据匹配的时间位置，将所述第一声音信息和所述第一图像信息进行融合处理、将所述第二声音信息与和所述第二图像信息进行融合处理，并根据所述相对位置信息将所述第一图像信息和所述第二图像信息进行融合处理，获得所述第二多媒体文件。
该实施例中，第一设备和第二设备可以在显示的图像信息和录制的声音信息中添加时间编码，时间编码可以是以帧为单位行走的时钟编码，该时间编码可以跟踪视频和音频的录制(或者显示)时间，然后将此时间编码信息作为元数据存储在数字文件中。在进行信息融合时，可以将该图像上的时间编码与声音上的时间编码进行匹配对应，从而实现音视频同步，获得融合有不同设备的图像以及对应声音的图像文件。
下面举例说明所述第二设备(以AR眼镜为例)实现图像与声音融合的过程。
(1)手机终端的麦克风获取现实声音信息，AR眼镜外放模式播放虚拟声音信息，声音信号较大，可以被手机终端的麦克风拾取到。手机终端将获取到的图像信息和声音信息实时传递给AR眼镜，AR眼镜和手机终端之间的数据交互通过蓝牙技术实现。AR眼镜具有摄像头，可以拍摄到现实环境中的画面，对拍摄模块传输的现实环境信息进行分析处理，结合智能识别技术与SLAM技术，可以识别到用户想要将虚拟画面呈现在现实环境的相对位置。AR眼镜可以根据该相对位置将虚拟画面叠加在手机终端发送的现实图像中，并与声音信息融合，实现虚拟图像、现实场景图像、录制的声音信息的叠加融合，并保存融 合后的图像文件，实现录制时图像信息、声音信息与保存文件之间的完美同步。
(2)AR眼镜的耳机麦克风获取现实声音信息，手机终端将获取到的图像信息传递给AR眼镜，AR眼镜和手机终端之间的数据交互通过蓝牙技术实现。AR眼镜可以分析得到虚拟图像信息与现实场景图像的相对位置关系和声音位置关系，并且保持现实场景图像信息和声音信息的原始时间对应关系、虚拟图像信息和虚拟声音信息的原始时间对应关系。手机终端将第二图像信息发送给AR眼镜，AR眼镜根据相对位置信息将虚拟图像、现实场景图像、录制的声音信息的叠加融合，并保存融合后的图像文件。
所述第二设备实现第一图像信息、第二图像信息、第一声音信息以及第二声音信息融合的过程与第一设备的融合过程相似，区别仅在于第一设备将图像信息发送给第二设备，由第二设备执行融合过程，具体融合过程参见第一设备的方法实施例，在此不做赘述。
可选的，所述方法还包括：接收用户的第二输入；
响应于所述第二输入，确定所述第二输入对应的对象是所述第一图像信息中的对象，或者，确定所述第二输入对应的对象是所述第二图像信息中的对象；
在所述第二输入对应的对象是所述第一图像信息中的对象的情况下，对所述第一声音信息进行放大处理，或者，对所述第二声音信息进行缩小处理；
在所述第二输入对应的对象是所述第二图像信息中的对象的情况下，对所述第二声音信息进行放大处理，或者，对所述第一声音信息进行缩小处理。
该实施例中，所述第二输入用于实现定向录音，用户可以针对想要突出声音的图像信息进行所述第二输入，则所述第二设备可以对相应的图像信息对应的声音进行放大，实现定向录音。所述第二输入可以是预定的手势操作，例如：手指滑动预设图案等，在此不做限定。
第二设备检测用户的手势操作，根据手势操作可以确定该操作是针对虚拟图像还是针对现实场景图像，若手势操作是针对虚拟图像的操作，则对虚拟图像对应的声音信息进行放大(或者对现实图像的声音信息进行缩小或压制)，若手势操作是对现实图像的操作，则对现实场景图像对应的声音信息进行放大(或者对虚拟图像对应的声音信息进行缩小或者压制)。
可选的，在通过第一设备的麦克风录制所述第一声音信息和所述第二声音信息的情况下，所述方法还包括；
向所述第一设备发送指示信息；
其中，若对所述第一声音信息进行放大处理，则所述指示信息用于指示所述手机终端在录制所述第一声音信息和所述第二声音信息时压制所述第二声音信息；若对所述第二声音信息进行放大处理，则所述指示信息用于指示所述第二设备在录制所述第一声音信息和所述第二声音信息时压制所述第一声音信息。
该实施例中，若通过第一设备录制声音信息且对第二声音信息进行了放大，为了突显所述第二声音信息，则第二设备可以向第一设备发送指示信息，所述第一设备在录制时压 制第一声音信息；或者，若通过第一设备录制声音信息，且第二设备对第一声音信息进行了放大，为了突显所述第一声音信息，则第二设备可以向第一设备发送指示信息，指示第一设备在录制时压制第二声音信息。
需要说明的是，本申请实施例中对所述第一声音信息或者第二声音信息进行放大处理，以及进行声音压制，均可以在第一设备或者第二设备进行声音录制的过程中执行，则录制的声音信息是声音定向放大处理以及压制处理后的声音信息。在所述第二设备进行图像信息和声音信息的融合时，使用的也是该声音定向放大处理以及压制处理后的声音信息，图像融合以及声音融合的过程在此不做赘述。
本申请的实施例，第二设备将显示的第一图像信息以及对应的第一声音信息和第一设备显示的第二图像信息以及对应的声音信息进行融合获得第二多媒体文件，实现不同设备的图像以及声音的融合和叠加，获得融合后的多媒体文件。融合后的多媒体文件不仅具有真实的录制图像以及声音，还具有叠加在一起的虚拟图像以及声音，加强了第二设备与手机终端之间的交互，使得增强现实更加具有真实感。
需要说明的是，本申请实施例提供的录像方法，执行主体可以为录像装置，或者该录像装置中的用于录像方法的控制模块。本申请实施例中以录像装置执行录像方法为例，说明本申请实施例提供的录像装置。
如图12所示，本申请实施例还提供了一种录像装置1200，应用于第一设备，所述第一设备与第二设备无线通信连接，所述录像装置1200包括：
第一获取模块1210，用于获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
第一融合模块1220，用于对所述待融合信息进行融合处理，获得融合后的第一多媒体文件；
显示模块1230，用于显示所述第一多媒体文件对应的图像。
可选的，所述第一获取模块具体用于：
接收所述第二设备发送的第一图像信息；
通过以下一种方式获取所述第一声音信息和所述第二声音信息；
方式一：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通过所述第一设备的麦克风采集所述第一声音信息和所述第二声音信息；
方式二：在所述第二设备通过外放模式播放所述第一声音信息的情况下，接收所述第二设备采集并发送的所述第一声音信息和所述第二声音信息；
方式三：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，通过所述第一设备的麦克风采集所述第二声音信息，并接收所述第二设备发送的所述第一声音信息；
方式四：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，接收所述第二设备发送的所述第一声音信息和所述第二声音信息。
可选的，所述装置还包括：
第一接收模块，用于接收所述第二设备发送的相对位置信息，所述相对位置信息是所述第一图像信息和所述第二图像信息的相对位置信息；
所述第一融合模块具体用于：根据所述相对位置信息，对所述待融合信息进行融合处理。
可选的，所述装置还包括：
第二接收模块，用于接收用户的第一输入；
第一响应模块，用于响应于所述第一输入，确定所述第一输入对应的对象是所述第一图像信息中的对象，或者，确定所述第一输入对应的对象是所述第二图像信息中的对象；
在所述第一输入对应的对象是所述第一图像信息中的对象的情况下，对所述第一声音信息进行放大处理，或者，对所述第二声音信息进行缩小处理；
在所述第一输入对应的对象是所述第二图像信息中的对象的情况下，对所述第二声音信息进行放大处理，或者，对所述第一声音信息进行缩小处理。
本申请的实施例，第一设备将第二设备显示的第一图像信息以及对应的第一声音信息和第一设备显示的第二图像信息以及对应的声音信息进行融合获得第一多媒体文件，并显示第一多媒体文件中的图像，实现不同设备的图像以及声音的融合和叠加，获得的多媒体文件不仅具有真实的录制图像以及声音，还具有叠加在一起的虚拟图像以及声音，第一设备在录音录像时可以同时对第二设备的虚拟内容进行同步处理，加强了第二设备与手机终端之间的交互，使得增强现实更加具有真实感。
如图13所示，本申请实施例还提供了一种录像装置1300，应用于第二设备，所述第二设备与第一设备无线通信连接，所述录像装置1300包括：
第二获取模块1310，用于获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
第二融合模块1320，用于对所述待融合信息进行融合处理，获得融合后的第二多媒体文件。
可选的，所述第二获取模块具体用于：
接收第一设备发送的第二图像信息；
通过以下一种方式获取所述第一声音信息和所述第二声音信息，或者获取所述第二声音信息；
方式一：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通接收所述第一设备的麦克风采集并发送的所述第一声音信息和所述第二声音信息；
方式二：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通过所述第二设备的麦克风采集所述第一声音信息和所述第二声音信息；
方式三：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，接收所述第 一设备采集并发送的所述第二声音信息；
方式四：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，通过所述第二设备的麦克风采集所述第二声音信息。
可选的，所述装置还包括：
第一确定模块，用于确定所述第一图像信息和所述第二图像信息的相对位置信息；
所述第二融合模块具体用于：根据所述相对位置信息，对所述待融合信息进行融合处理。
可选的，所述装置还包括：
第三接收模块，用于接收用户的第二输入；
第二响应模块，用于响应于所述第二输入，确定所述第二输入对应的对象是所述第一图像信息中的对象，或者，确定所述第二输入对应的对象是所述第二图像信息中的对象；
在所述第二输入对应的对象是所述第一图像信息中的对象的情况下，对所述第一声音信息进行放大处理，或者，对所述第二声音信息进行缩小处理；
在所述第二输入对应的对象是所述第二图像信息中的对象的情况下，对所述第二声音信息进行放大处理，或者，对所述第一声音信息进行缩小处理。
本申请的实施例，第二设备将显示的第一图像信息以及对应的第一声音信息和第一设备显示的第二图像信息以及对应的声音信息进行融合获得第二多媒体文件，实现不同设备的图像以及声音的融合和叠加，获得融合后的多媒体文件。融合后的多媒体文件不仅具有真实的录制图像以及声音，还具有叠加在一起的虚拟图像以及声音，加强了第二设备与第一设备之间的交互，使得增强现实更加具有真实感。
本申请实施例中的录像装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的录像装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的录像装置能够实现图1至图11的方法实施例中图像录像装置实现的各个过程，为避免重复，这里不再赘述。
可选地，如图14所示，本申请实施例还提供一种电子设备1400，所述电子设备可以是所述第一设备，也可以是所述第二设备，包括处理器1401和存储器1402，存储器1402 上存储有可在所述处理器1401上运行的程序或指令，该程序或指令被处理器1401执行时实现上述录像方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图15为实现本申请实施例的一种电子设备的硬件结构示意图，所述电子设备可以是第一设备，也可以是第二设备。
该电子设备150包括但不限于：射频单元151、网络模块152、音频输出单元153、输入单元154、传感器155、显示单元156、用户输入单元157、接口单元158、存储器159、以及处理器160等部件。
本领域技术人员可以理解，电子设备150还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器160逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图15中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，在所述电子设备是第一设备的情况下：
所述射频单元151，用于获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
所述处理器160用于：对所述待融合信息进行融合处理，获得融合后的第一多媒体文件；
所述显示单元156用于：显示所述第一多媒体文件对应的图像。
可选的，所述射频单元151还用于：
接收所述第二设备发送的第一图像信息；
通过以下一种方式获取所述第一声音信息和所述第二声音信息；
方式一：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通过所述第一设备的麦克风采集所述第一声音信息和所述第二声音信息；
方式二：在所述第二设备通过外放模式播放所述第一声音信息的情况下，接收所述第二设备采集并发送的所述第一声音信息和所述第二声音信息；
方式三：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，通过所述第一设备的麦克风采集所述第二声音信息，并接收所述第二设备发送的所述第一声音信息；
方式四：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，接收所述第二设备发送的所述第一声音信息和所述第二声音信息。
可选的，所述射频单元151还用于：
接收所述第二设备发送的相对位置信息，所述相对位置信息是所述第一图像信息和所 述第二图像信息的相对位置信息；
所述处理器160用于：根据所述相对位置信息，对所述待融合信息进行融合处理。
可选的，所述射频单元151还用于：接收用户的第一输入；
所述处理器160用于：响应于所述第一输入，确定所述第一输入对应的对象是所述第一图像信息中的对象，或者，确定所述第一输入对应的对象是所述第二图像信息中的对象；
在所述第一输入对应的对象是所述第一图像信息中的对象的情况下，对所述第一声音信息进行放大处理，或者，对所述第二声音信息进行缩小处理；
在所述第一输入对应的对象是所述第二图像信息中的对象的情况下，对所述第二声音信息进行放大处理，或者，对所述第一声音信息进行缩小处理。
其中，在所述电子设备是第二设备的情况下：
所述射频单元151用于：获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
所述处理器160用于：对所述待融合信息进行融合处理，获得融合后的第二多媒体文件。
可选的，所述射频单元151具体用于：
接收第一设备发送的第二图像信息；
通过以下一种方式获取所述第一声音信息和所述第二声音信息，或者获取所述第二声音信息；
方式一：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通接收所述第一设备的麦克风采集并发送的所述第一声音信息和所述第二声音信息；
方式二：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通过所述第二设备的麦克风采集所述第一声音信息和所述第二声音信息；
方式三：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，接收所述第一设备采集并发送的所述第二声音信息；
方式四：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，通过所述第二设备的麦克风采集所述第二声音信息。
可选的，所述处理器160还用于：
确定所述第一图像信息和所述第二图像信息的相对位置信息；
所述对所述待融合信息进行融合处理，包括：
根据所述相对位置信息，对所述待融合信息进行融合处理。
可选的，所述射频单元151还用于：
接收用户的第二输入；
所述处理器160还用于：响应于所述第二输入，确定所述第二输入对应的对象是所述第一图像信息中的对象，或者，确定所述第二输入对应的对象是所述第二图像信息中的对 象；
在所述第二输入对应的对象是所述第一图像信息中的对象的情况下，对所述第一声音信息进行放大处理，或者，对所述第二声音信息进行缩小处理；
在所述第二输入对应的对象是所述第二图像信息中的对象的情况下，对所述第二声音信息进行放大处理，或者，对所述第一声音信息进行缩小处理。
本申请的实施例，第一设备将第二设备显示的第一图像信息以及对应的第一声音信息和第一设备显示的第二图像信息以及对应的声音信息进行融合获得第一多媒体文件，并显示第一多媒体文件中的图像，实现不同设备的图像以及声音的融合和叠加，获得的多媒体文件不仅具有真实的录制图像以及声音，还具有叠加在一起的虚拟图像以及声音，第一设备在录音录像时可以同时对第二设备的虚拟内容进行同步处理，加强了第二设备与第一设备之间的交互，使得增强现实更加具有真实感。
应理解的是，本申请实施例中，输入单元154可以包括图形处理器(Graphics Processing Unit，GPU)1541和麦克风1542，图形处理器1541对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元156可包括显示面板1561，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1561。用户输入单元157包括触控面板1571以及其他输入设备1572。触控面板1571，也称为触摸屏。触控面板1571可包括触摸检测装置和触摸控制器两个部分。其他输入设备1572可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器159可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。存储器159可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器159可以包括易失性存储器或非易失性存储器，或者，存储器159可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器159包括但不限于这些和任意其它适合类型的存储器。
处理器160可包括一个或多个处理单元；可选的，处理器160集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作， 调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器160中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述录像方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述录像方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述录像方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (15)

  1. 一种录像方法，应用于第一设备，所述第一设备与第二设备无线通信连接，所述录像方法包括：
    获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
    对所述待融合信息进行融合处理，获得融合后的第一多媒体文件；
    显示所述第一多媒体文件对应的图像。
  2. 根据权利要求1所述的方法，其中，所述获取待融合信息，包括：
    接收所述第二设备发送的第一图像信息；
    通过以下一种方式获取所述第一声音信息和所述第二声音信息；
    方式一：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通过所述第一设备的麦克风采集所述第一声音信息和所述第二声音信息；
    方式二：在所述第二设备通过外放模式播放所述第一声音信息的情况下，接收所述第二设备采集并发送的所述第一声音信息和所述第二声音信息；
    方式三：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，通过所述第一设备的麦克风采集所述第二声音信息，并接收所述第二设备发送的所述第一声音信息；
    方式四：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，接收所述第二设备发送的所述第一声音信息和所述第二声音信息。
  3. 根据权利要求1所述的方法，其中，所述方法还包括：
    接收所述第二设备发送的相对位置信息，所述相对位置信息是所述第一图像信息和所述第二图像信息的相对位置信息；
    所述对所述待融合信息进行融合处理，包括：
    根据所述相对位置信息，对所述待融合信息进行融合处理。
  4. 根据权利要求1所述的方法，其中，所述方法还包括：
    接收用户的第一输入；
    响应于所述第一输入，确定所述第一输入对应的对象是所述第一图像信息中的对象，或者，确定所述第一输入对应的对象是所述第二图像信息中的对象；
    在所述第一输入对应的对象是所述第一图像信息中的对象的情况下，对所述第一声音信息进行放大处理，或者，对所述第二声音信息进行缩小处理；
    在所述第一输入对应的对象是所述第二图像信息中的对象的情况下，对所述第二声音信息进行放大处理，或者，对所述第一声音信息进行缩小处理。
  5. 一种录像方法，应用于第二设备，所述第二设备与第一设备无线通信连接，所述录像方法包括：
    获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
    对所述待融合信息进行融合处理，获得融合后的第二多媒体文件。
  6. 根据权利要求5所述的方法，其中，所述获取待融合信息，包括：
    接收第一设备发送的第二图像信息；
    通过以下一种方式获取所述第一声音信息和所述第二声音信息，或者获取所述第二声音信息；
    方式一：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通接收所述第一设备的麦克风采集并发送的所述第一声音信息和所述第二声音信息；
    方式二：在所述第二设备通过外放模式播放所述第一声音信息的情况下，通过所述第二设备的麦克风采集所述第一声音信息和所述第二声音信息；
    方式三：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，接收所述第一设备采集并发送的所述第二声音信息；
    方式四：在所述第二设备通过耳机模式播放所述第一声音信息的情况下，通过所述第二设备的麦克风采集所述第二声音信息。
  7. 根据权利要求5所述的方法，其中，所述方法还包括：
    确定所述第一图像信息和所述第二图像信息的相对位置信息；
    所述对所述待融合信息进行融合处理，包括：
    根据所述相对位置信息，对所述待融合信息进行融合处理。
  8. 根据权利要求5所述的方法，其中，所述方法还包括：接收用户的第二输入；
    响应于所述第二输入，确定所述第二输入对应的对象是所述第一图像信息中的对象，或者，确定所述第二输入对应的对象是所述第二图像信息中的对象；
    在所述第二输入对应的对象是所述第一图像信息中的对象的情况下，对所述第一声音信息进行放大处理，或者，对所述第二声音信息进行缩小处理；
    在所述第二输入对应的对象是所述第二图像信息中的对象的情况下，对所述第二声音信息进行放大处理，或者，对所述第一声音信息进行缩小处理。
  9. 一种录像装置，应用于第一设备，所述第一设备与第二设备无线通信连接，所述录像装置包括：
    第一获取模块，用于获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
    第一融合模块，用于对所述待融合信息进行融合处理，获得融合后的第一多媒体文件；
    显示模块，用于显示所述第一多媒体文件对应的图像。
  10. 一种录像装置，应用于第二设备，所述第二设备与第一设备无线通信连接，所述 录像装置包括：
    第二获取模块，用于获取待融合信息，所述待融合信息包括：第二设备显示的第一图像信息、所述第一图像信息对应的第一声音信息、第一设备显示的第二图像信息以及所述第二图像信息对应的第二声音信息；
    第二融合模块，用于对所述待融合信息进行融合处理，获得融合后的第二多媒体文件。
  11. 一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的录像方法的步骤，或者实现如权利要求5至8中任一项所述的录像方法的步骤。
  12. 一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至4中任一项所述的录像方法的步骤，或者实现如权利要求5至8中任一项所述的录像方法的步骤。
  13. 一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如权利要求1至4中任一项所述的录像方法的步骤，或者实现如权利要求5至8中任一项所述的录像方法的步骤。
  14. 一种计算机程序产品，其中，所述计算机程序产品被存储在非瞬态存储介质中，所述计算机程序产品被至少一个处理器执行以实现如权利要求1至4中任一项所述的录像方法的步骤，或者实现如权利要求5至8中任一项所述的录像方法的步骤。
  15. 一种电子设备，其中，所述电子设备被配置成用于执行如权利要求1至4中任一项所述的录像方法的步骤，或者执行如权利要求5至8中任一项所述的录像方法的步骤。
PCT/CN2023/140865 2022-12-29 2023-12-22 录像方法、装置及电子设备 Ceased WO2024140441A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211709899.5 2022-12-29
CN202211709899.5A CN115988154B (zh) 2022-12-29 2022-12-29 录像方法、装置及电子设备

Publications (1)

Publication Number Publication Date
WO2024140441A1 true WO2024140441A1 (zh) 2024-07-04

Family

ID=85959232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/140865 Ceased WO2024140441A1 (zh) 2022-12-29 2023-12-22 录像方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN115988154B (zh)
WO (1) WO2024140441A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115988154B (zh) * 2022-12-29 2025-09-05 维沃移动通信有限公司 录像方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
CN106792246A (zh) * 2016-12-09 2017-05-31 福建星网视易信息系统有限公司 一种融合式虚拟场景互动的方法及系统
CN107743205A (zh) * 2017-09-11 2018-02-27 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN112887654A (zh) * 2021-01-25 2021-06-01 联想(北京)有限公司 一种会议设备、会议系统及数据处理方法
CN115988154A (zh) * 2022-12-29 2023-04-18 维沃移动通信有限公司 录像方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101263686B1 (ko) * 2011-01-12 2013-05-22 에스케이플래닛 주식회사 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
CN105681684A (zh) * 2016-03-09 2016-06-15 北京奇虎科技有限公司 基于移动终端的图像实时处理方法及装置
JP2020052792A (ja) * 2018-09-27 2020-04-02 寅源貿易有限公司Ｓｏｎｎｙ Ｉｎｄｕｓｔｒｉａｌ Ｃｏ．，Ｌｔｄ． 情報サービスシステム及びその方法
WO2022222082A1 (zh) * 2021-04-21 2022-10-27 深圳传音控股股份有限公司 图像控制方法、移动终端及存储介质
CN114339071A (zh) * 2021-12-28 2022-04-12 维沃移动通信有限公司 图像处理电路、图像处理方法及电子设备
CN115361576B (zh) * 2022-07-20 2024-11-19 中国电信股份有限公司 视频数据处理方法、装置，以及，电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
CN106792246A (zh) * 2016-12-09 2017-05-31 福建星网视易信息系统有限公司 一种融合式虚拟场景互动的方法及系统
CN107743205A (zh) * 2017-09-11 2018-02-27 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN112887654A (zh) * 2021-01-25 2021-06-01 联想(北京)有限公司 一种会议设备、会议系统及数据处理方法
CN115988154A (zh) * 2022-12-29 2023-04-18 维沃移动通信有限公司 录像方法、装置及电子设备

Also Published As

Publication number Publication date
CN115988154A (zh) 2023-04-18
CN115988154B (zh) 2025-09-05

Similar Documents

Publication Publication Date Title
CN112286362B (zh) 真实环境画面中虚拟道具的显示方法、系统及存储介质
US11099704B2 (en) Mobile terminal and control method for displaying images from a camera on a touch screen of the mobile terminal
CN110557566B (zh) 视频拍摄方法及电子设备
US11659227B2 (en) Audio and video processing method and apparatus, terminal and storage medium
CN110007837B (zh) 一种图片编辑方法及终端
CN111010610B (zh) 一种视频截图方法及电子设备
WO2019196929A1 (zh) 一种视频数据处理方法及移动终端
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
KR20140033896A (ko) 이동 단말기 및 이동 단말기의 제어 방법
CN110851040A (zh) 一种信息处理方法及电子设备
WO2021057673A1 (zh) 一种图像显示方法及电子设备
WO2015131767A1 (en) Video processing method and apparatus
CN105117100A (zh) 目标对象的显示方法和装置
CN110086998B (zh) 一种拍摄方法及终端
CN109656461B (zh) 一种截屏方法和终端
CN111343402A (zh) 一种显示方法和电子设备
WO2024140441A1 (zh) 录像方法、装置及电子设备
CN110908638A (zh) 一种操作流创建方法及电子设备
WO2023226699A1 (zh) 录像方法、装置及存储介质
KR20190041815A (ko) 이동 단말기 및 그것의 동작방법
WO2023066100A1 (zh) 文件分享方法和装置
CN111522674A (zh) 多媒体内容的跨应用处理方法及电子设备
WO2024131669A1 (zh) 拍摄处理方法和电子设备
CN112995760A (zh) 视频处理方法、装置、设备及计算机存储介质
CN115955529A (zh) 录屏方法、智能终端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23910367

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 12.11.2025)

122 Ep: pct application non-entry in european phase

Ref document number: 23910367

Country of ref document: EP

Kind code of ref document: A1