WO2023130706A1 - 多摄像头的帧同步控制方法及自行走设备 - Google Patents

多摄像头的帧同步控制方法及自行走设备 Download PDF

Info

Publication number
WO2023130706A1
WO2023130706A1 PCT/CN2022/105539 CN2022105539W WO2023130706A1 WO 2023130706 A1 WO2023130706 A1 WO 2023130706A1 CN 2022105539 W CN2022105539 W CN 2022105539W WO 2023130706 A1 WO2023130706 A1 WO 2023130706A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
time
image frame
shooting
control
Prior art date
Application number
PCT/CN2022/105539
Other languages
English (en)
French (fr)
Inventor
李�杰
张占枝
Original Assignee
北京石头创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京石头创新科技有限公司 filed Critical 北京石头创新科技有限公司
Publication of WO2023130706A1 publication Critical patent/WO2023130706A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present application relates to the technical field of smart devices, in particular to a frame synchronization control method for multiple cameras, self-propelled devices, storage media and electronic devices.
  • smart devices in various scenarios are becoming more and more common. For example, smart home devices, self-driving delivery vehicles, etc. These smart devices can walk by themselves in order to complete tasks such as cleaning and transportation.
  • Self-propelled smart devices are equipped with cameras. In order to obtain multi-directional and multi-angle surrounding images, there are often two cameras (binocular cameras) or more cameras (multi-cameras). How to perform clock synchronization control on the image frames of more than two cameras is a technical problem to be solved.
  • the present application provides a multi-camera frame synchronization control method, self-propelled equipment, storage media and electronic equipment, the main purpose of which is to solve the technical problem of how to synchronize the image frames captured by multiple cameras.
  • a multi-camera frame synchronization control method which is used to perform frame synchronization control on the images of the first camera and the second camera of the self-propelled device.
  • the method includes: When the camera shoots the first image frame, it sends out a synchronization instruction; in response to receiving the synchronization instruction, based on the time offset with the first camera when the first image frame is captured, the transmission time of the frame synchronization signal is determined; Send the frame synchronization signal to the second camera at the sending time, so as to control the second camera to shoot the second image frame.
  • a self-propelled device includes a first camera, a second camera and a controller, wherein the first camera sends out a Synchronization instruction; the controller, in response to the received synchronization instruction, determines the sending time of the frame synchronization signal based on the time offset at the moment when the first image frame is captured by the first camera, and at the sending time Sending a frame synchronization signal to the second camera to control the second camera to shoot a second image frame.
  • a storage medium wherein a computer program is stored in the storage medium, wherein the computer program is configured to execute the above method for controlling frame synchronization of multiple cameras when running.
  • an electronic device including a memory and a processor, wherein a computer program is stored in the memory, and the processor is configured to run the computer program to perform the above-mentioned multiple The frame synchronization control method of the camera.
  • the present application provides a multi-camera frame synchronization control method, a self-propelled device, a storage medium, and an electronic device. Based on the shooting time of the first camera, the transmission time of the frame synchronization signal is determined according to the time offset, and Sending the frame synchronization signal at the sending time to control the time when the second camera captures images can ensure that each camera performs off-peak shooting in the same signal period, thereby achieving the purpose of time-division multiplexing of images captured by different cameras.
  • FIG. 1 shows a schematic diagram of an implementation scene of a multi-camera frame synchronization control method provided by an embodiment of the present application
  • FIG. 2 shows a flow chart of Example 1 of a frame synchronization control method for multiple cameras provided by an embodiment of the present application
  • Fig. 3 shows a schematic diagram of peak staggered shooting in the same shooting signal period provided by the embodiment of the present application
  • FIG. 4 shows a flow chart of Example 2 of a frame synchronization control method for multiple cameras provided by an embodiment of the present application
  • Fig. 5 shows a schematic structural diagram of a self-propelled device provided by an embodiment of the present application.
  • FIG. 1 it is a schematic diagram of an implementation scene of a multi-camera frame synchronization control method provided by an embodiment of the present application.
  • the scene shows a self-propelled device 10, and the self-propelled device 10 is equipped with at least two cameras, as shown in FIG. 1 exemplarily shows the first camera 100 and the second camera 200, the first camera 100 and the second camera 200 cooperate to shoot, so as to ensure that multi-directional and multi-angle images are obtained, so as to obtain more complete and clear self-propelled
  • the surrounding environment of the device 10 provides a basis for the self-propelled device 10 to avoid obstacles during walking.
  • the self-propelled device 10 may be a smart device such as a cleaning robot, a self-driving delivery vehicle, or a companion robot, which is not limited in the embodiment of the present application. It can be understood that the self-propelled device mentioned in the embodiment of the present application may be an existing And all self-propelled smart devices that will appear in the future.
  • FIG. 2 it is a flow chart of an example of a multi-camera frame synchronization control method provided by the embodiment of the present application.
  • the method is used to perform frame synchronization control on the images of the first camera and the second camera of the self-propelled device, including the following Steps S201-S203.
  • S201 Send a synchronization instruction when the first camera is shooting a first image frame.
  • the clock synchronization refers to at least two images taken by each camera at a staggered peak (the first camera captures the first image frame, the second The camera shoots the second image frame), which is controlled within the same shooting signal period of the shooting clock.
  • the multi-camera frame synchronization control method provided in the embodiment of the present application can perform synchronous control on the image frames of at least two cameras.
  • two cameras the first camera and the second camera
  • the solution provided by the embodiment of the present application can also be used for processing.
  • the method adopted in this embodiment of the present application is that when one camera (such as the master camera) is shooting, the other camera (such as the slave camera) is not shooting or The captured image is discarded, otherwise, when the secondary camera is shooting, the main camera does not shoot or discards the captured image.
  • the shooting time is recorded, and a synchronization command is issued at this time, so as to control subsequent clock synchronization of the second camera.
  • S202 In response to receiving a synchronization instruction, determine a sending time of a frame synchronization signal based on a time offset from a time when the first camera captures a first image frame.
  • a synchronization command is issued at time t0, and the purpose of the synchronization command is to record the time when the first camera starts shooting. Then, the sending time of the frame synchronization signal is determined according to the time offset from the moment when the first image frame is captured by the first camera.
  • S203 Send a frame synchronization signal to the second camera at the above sending time, so as to control the second camera to shoot the second image frame.
  • the first image frame captured by the first camera and the second image frame captured by the second camera are completed within the same cycle of the captured signal, wherein, through the time offset, the control of the second The shooting time of the image frame is different from the shooting time of the first image frame.
  • FIG. 3 it is a schematic diagram of peak staggered shooting by two cameras in the same shooting signal period.
  • the first camera and the second camera use the shooting clock CLK of the same frequency, and control the first camera and the second camera to shoot at least once during each shooting signal cycle of CLK, that is, to shoot at least one first image frame and a second image frame.
  • Figure 3 shows that in each shooting signal period, each camera shoots twice. Specifically, the first camera shoots at t1 and t2, and the second camera shoots at "t1+ ⁇ t" and "t2+ ⁇ t” Shoot all the time. It can be seen from the figure that these four moments all fall within the same shooting signal period.
  • the other camera in order to synchronize the clocks of the two cameras, when one camera (such as the master camera) is shooting, the other camera (such as the slave camera) does not shoot or discards the captured image, otherwise, When shooting from the camera, the main camera does not shoot or discards the captured image. At the same time, when the first camera is shooting, the shooting time is recorded, and a synchronization command is issued at this time, so as to control subsequent clock synchronization of the second camera.
  • the multi-camera frame synchronization control method provided by the embodiment of the present application, based on the shooting time of the first camera, the time when the second camera takes an image is controlled according to the time offset, which can ensure that each camera performs an error in the same signal cycle. Peak shooting, so as to achieve the purpose of time-division multiplexing of images captured by different cameras.
  • Fig. 4 shows a flow chart of Example 2 of a multi-camera frame synchronization control method provided by an embodiment of the present application. The method is used to perform frame synchronization control on the images of the first camera and the second camera of the self-propelled device, including the following Steps S401-S405.
  • this example introduces a controller to control the clock synchronization of the first camera and the second camera. Specifically, it describes the premise that the initial clocks of the two cameras are aligned. When the cameras use the same or multiplied clock, the scheme for synchronizing the image frames of two cameras.
  • S401 Control the first camera and the second camera to perform initial clock alignment.
  • the first camera and the second camera are controlled to be turned on at the same time, or controlling the first camera and the second camera to be turned on within a preset minimum time interval, it is ensured that the first camera and the second camera achieve initial clock alignment.
  • S402 Control the first camera and the second camera to use clocks with the same frequency, or control the first camera and the second camera to use clock frequencies in a multiplied relationship.
  • the first camera and the second camera are controlled to use the same frequency clock, for example, the first camera and the second camera are controlled to use the same clock signal, so as to ensure that the first camera and the second camera have the same frequency clock.
  • image capture is performed. For example, assuming that the frame rates of the first camera and the second camera are both 30 frames per second (fps), that is, starting from the start of the camera, it is controlled to capture 30 frames of images per second.
  • control the clock frequency of the first camera and the second camera using a multiple relationship for example, the frame rate of the first camera is 15 frames per second, and the frame rate of the second camera is 30 frames per second ( fps), that is, the frame rate of the second camera is twice the frame rate of the first camera.
  • the method adopted in the embodiment of the present application is that when one camera (for example, the main camera) is shooting, the other camera (for example, the slave camera) is not shooting or the captured image is discarded; otherwise, when the slave camera is shooting, The main camera does not shoot or discards the captured images.
  • the shooting start time is recorded, and a synchronization command is issued at this time, so as to control subsequent clock synchronization of the second camera.
  • S404 The controller receives the synchronization instruction, and determines the sending time of the frame synchronization signal according to the time offset from the shooting moment of the first camera.
  • a synchronization command is issued at time t0, and the purpose of the synchronization command is to record the time when the first camera actually starts shooting. Then, the sending time of the frame synchronization signal is determined according to the time offset ⁇ t of the two cameras.
  • first camera and the second camera use clocks with the same frequency, ensure that the two moments t0 and "t0+ ⁇ t" are within the same clock signal period; if the first camera and the second camera use a multiple relationship Assuming that the clock of the first camera is CLK1 and the clock of the second camera is CLK2, and the two have a multiple relationship, first convert t0 to the moment under CLK2, and then determine the frame based on the clock signal period of CLK2 The sending time of the synchronization signal.
  • S405 Send a frame synchronization signal to the second camera at the above sending time, so as to control the second camera to shoot the second image frame.
  • an embodiment of the present application further provides a self-propelled device.
  • FIG. 5 it shows a schematic structural diagram of a self-propelled device provided by an embodiment of the present application.
  • the self-propelled device at least includes a first camera 501, a second camera 502 and a controller 503, wherein the first camera 501 sends a synchronization instruction when taking a first image frame; the controller 503 responds to After receiving the synchronization command issued by the first camera 501, the sending time of the frame synchronization signal is determined based on the time offset with the moment when the first image frame is captured by the first camera; and sending the signal to the second camera 502 at the sending time Sending a frame synchronization signal to control the second camera to shoot the second image frame.
  • the controller 503 is further configured to determine the sending time of the frame synchronization signal according to a preset working clock difference between the first camera and the second camera.
  • controller 503 is further configured to control the first camera 501 and the second camera 502 to perform initial clock alignment.
  • the controller 503 is further configured to control the first camera 501 and the second camera 502 to be turned on at the same time, or to control the first camera 501 and the second camera 502 to All are turned on within a preset minimum time interval, so as to ensure that the first camera 501 and the second camera 502 meet initial clock alignment.
  • the controller 503 is further configured to control the first camera 501 and the second camera 502 to use clocks with the same frequency, or to control the first camera 501 and the second camera 501 to The camera 502 uses a multiplied clock frequency.
  • the controller 503 is further configured to control the first camera to capture the first image frame and the second camera to capture the second image frame, which are completed within the same capture signal cycle wherein, by using the time offset, the shooting moment of the second image frame is controlled to be different from the shooting moment of the first image frame.
  • the controller 503 is further configured to, when the first camera captures the first image frame, control the second camera not to capture, or discard the image captured by the second camera and, when the second camera captures a second image, control the first camera not to capture an image, or discard the image captured by the first camera.
  • Embodiments of the present application also provide a storage medium, in which a computer program is stored, wherein the computer program is configured to execute the steps in any one of the above method embodiments when running.
  • the above-mentioned storage medium may be configured to store a computer program for performing the following steps:
  • the above-mentioned storage medium may include but not limited to: U disk, read-only memory (Read-Only Memory, referred to as ROM), random access memory (Random Access Memory, referred to as RAM), Various media that can store computer programs, such as removable hard disks, magnetic disks, or optical disks.
  • ROM read-only memory
  • RAM random access memory
  • Various media that can store computer programs such as removable hard disks, magnetic disks, or optical disks.
  • An embodiment of the present application also provides an electronic device, including a memory and a processor, where a computer program is stored in the memory, and the processor is configured to run the computer program to perform the steps in any one of the above method embodiments.
  • the above-mentioned electronic device may further include a transmission device and an input-output device, wherein the transmission device is connected to the above-mentioned processor, and the input-output device is connected to the above-mentioned processor.
  • the above-mentioned processor may be configured to execute the following steps through a computer program:
  • the disclosed technical content can be realized in other ways.
  • the device embodiments described above are only illustrative, for example, the division of the units is only a logical function division, and there may be other division methods in actual implementation, for example, multiple units or components can be combined or can be Integrate into another system, or some features may be ignored, or not implemented.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be through some interfaces, and the indirect coupling or communication connection of units or modules may be in electrical or other forms.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units can be implemented in the form of hardware or in the form of software functional units.
  • the integrated unit is realized in the form of a software function unit and sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • the technical solution of the present application is essentially or part of the contribution to the prior art or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , including several instructions for enabling a computer device (which may be a personal computer, server or network device, etc.) to execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned storage media include: U disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), mobile hard disk, magnetic disk or optical disc, etc., which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种多摄像头的帧同步控制方法，用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，所述方法包括：在所述第一摄像头进行第一图像帧拍摄时，发出同步指令；响应于接收到所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；在所述发送时间向所述第二摄像头发送所述帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。该多摄像头的帧同步控制方法，可以保证对多个摄像头进行同一个时钟周期内进行错峰拍摄，从而达到分时复用的目的。

Description

多摄像头的帧同步控制方法及自行走设备
本申请要求2022年1月4日提交的中国专利申请号202210005387.4的优先权，该中国专利申请以其整体通过引用并入本文。
技术领域
本申请涉及智能设备技术领域，尤其是涉及到一种多摄像头的帧同步控制方法、自行走设备、存储介质及电子设备。
背景技术
随着人工智能的发展，各种场景下的智能设备越来越普遍。例如，智能家居设备、自动驾驶送货车等，这些智能设备可以自行走，以便完成清洁、运输等任务。自行走的智能设备，都配备有摄像头，为了获取到多方位多角度的周围图像，往往有两个摄像头(双目摄像头)或者更多的摄像头(多目摄像头)。如何对两个以上摄像头的图像帧进行时钟同步控制，是需要解决的一个技术问题。
发明内容
有鉴于此，本申请提供了一种多摄像头的帧同步控制方法、自行走设备、存储介质及电子设备，主要目的在于解决如何对多摄像头拍摄的图像帧进行同步控制的技术问题。
依据本申请的一个方面，提供了一种多摄像头的帧同步控制方法，用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，所述方法包括：在所述第一摄像头进行第一图像帧拍摄时，发出同步指令；响应于接收到所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；在所述发送时间向所述第二摄像头发送所述帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。
依据本申请的一个方面，提供了一种自行走设备，所述自行走设备包括第一摄像头、第二摄像头和控制器，其中，所述第一摄像头，在进行第一图像帧拍摄时，发出同步指令；所述控制器，响应于接收到的所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间，并在所述发送时间向所述第二摄像头发送帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。
依据本申请的一个方面，提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的多摄像头的帧同步控制方法。
依据本申请的一个方面，提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述的多摄像头的帧同步控制方法。
借由上述技术方案，本申请提供的一种多摄像头的帧同步控制方法、自行走设备、存储介质及电子设备，基于第一摄像头拍摄时间，根据时间偏移量确定帧同步信号发送时间，并在该发送时间发送帧同步信号以控制第二摄像头拍摄图像的时间，可以保证在同一个信号周期内各个摄像头进行错峰拍摄，从而达到对不同摄像头所拍摄图像进行分时复用的目的。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种多摄像头的帧同步控制方法的实施场景示意图；
图2示出了本申请实施例提供的一种多摄像头的帧同步控制方法示例一流程图；
图3示出了本申请实施例提供的同一个拍摄信号周期内错峰拍摄的示意图；
图4示出了本申请实施例提供的一种多摄像头的帧同步控制方法示例二流程图；
图5示出了本申请实施例提供的自行走设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
参见图1，为本申请实施例提供的一种多摄像头的帧同步控制方法的实施场景示意图，该场景示出了自行走设备10，该自行走设备10上配置有至少两个摄像头，图1中示例性的示出了第一摄像头100和第二摄像头200，第一摄像头100和第二摄像头200配合拍摄， 从而保证获取到多方位、多角度的图像，以便更完整、清晰的得到自行走设备10的周围环境，为自行走设备10在行走过程中进行障碍物避让提供依据。该自行走设备10可以是清洁机器人、自动驾驶送货车、陪伴机器人等智能设备，本申请实施例对此不做限定，可以理解，本申请实施例所提及的自行走设备可以是现有以及未来出现的所有可自行走的智能设备。
参见图2，为本申请实施例提供的一种多摄像头的帧同步控制方法示例一流程图，该方法用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，包括如下步骤S201-S203。
S201：在第一摄像头进行第一图像帧拍摄时，发出同步指令。
可以理解，对于使用双目摄像头(或者多目摄像头)的自行走设备而言，需要获取到同一个拍摄信号周期内的两个(或更多个)摄像头拍摄的图像，从而为图像合成、校准和分析提供依据，因此，需要对两个或多个摄像头进行时钟同步，这里的时钟同步，是指将每个摄像头错峰拍摄的至少两个图像(第一摄像头拍摄第一图像帧，第二摄像头拍摄第二图像帧)，控制在拍摄时钟的同一个拍摄信号周期内。
可以理解，本申请实施例提供的多摄像头的帧同步控制方法，可以对至少两个摄像头的图像帧进行同步控制，为了简便，以下以两个摄像头(第一摄像头和第二摄像头)为例进行说明，对于两个以上摄像头的场景，同样可以采用本申请实施例提供的方案进行处理。
在一种实现方式中，为了对两个摄像头进行时钟同步，本申请实施例所采取的方式是，在一个摄像头(例如主摄像头)进行拍摄时，另一个摄像头(例如从摄像头)不进行拍摄或者对拍摄的图像丢弃不用，反之，在从摄像头进行拍摄时，主摄像头不进行拍摄或对拍摄的图像丢弃不用。同时，在第一摄像头进行拍摄时，记录下这个拍摄时间，以此时刻发出同步指令，从而控制后续对第二摄像头进行时钟同步。
S202：响应于接收到同步指令时，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间。
假设第一摄像头的开始拍摄第一图像帧是从t0时刻开始的，则在t0时刻发出同步指令，该同步指令的目的是记录下第一摄像头开始拍摄的时间。然后，根据与第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间。
S203：在上述发送时间向第二摄像头发送帧同步信号，以控制第二摄像头进行第二图像帧的拍摄。
假设，第一摄像头在t0时刻进行了第一图像帧的拍摄，基于两个摄像头拍摄图像帧的 时间偏移量为Δt，那么，控制第二摄像头在“t0+Δt”时刻进行第二图像帧的拍摄。
可见，为了实现不同摄像头的时钟同步，第一摄像头拍摄第一图像帧及第二摄像头拍摄第二图像帧，是在同一个拍摄信号周期内完成的，其中，通过时间偏移量，控制第二图像帧的拍摄时刻与第一图像帧的拍摄时刻不同。
参见图3，为两个摄像头在同一个拍摄信号周期内错峰拍摄的示意图。图3例子中，第一摄像头和第二摄像头使用相同频率的拍摄时钟CLK，在CLK每一个拍摄信号周期内，控制第一摄像头和第二摄像头至少错峰拍摄一次，即，拍摄至少一个第一图像帧和第二图像帧。图3中示意出了在每一个拍摄信号周期内，每个摄像头拍摄两次，具体的，第一摄像头在t1和t2时刻进行拍摄，第二摄像头在“t1+Δt”及“t2+Δt”时刻进行拍摄。从图中可知，这四个时刻都落在同一个拍摄信号周期内。
在另一种实现方式中，为了对两个摄像头进行时钟同步，在一个摄像头(例如主摄像头)进行拍摄时，另一个摄像头(例如从摄像头)不进行拍摄或者对拍摄的图像丢弃不用，反之，在从摄像头进行拍摄时，主摄像头不进行拍摄或对拍摄的图像丢弃不用。同时，在第一摄像头进行拍摄时，记录下这个拍摄时间，以此时刻发出同步指令，从而控制后续对第二摄像头进行时钟同步。
可见，通过本申请实施例提供的多摄像头的帧同步控制方法，基于第一摄像头拍摄时间，根据时间偏移量控制第二摄像头拍摄图像的时间，可以保证在同一个信号周期内各个摄像头进行错峰拍摄，从而达到对不同摄像头所拍摄的图像进行分时复用的目的。
图4示出了本申请实施例提供的一种多摄像头的帧同步控制方法示例二流程图，该方法用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，包括如下步骤S401-S405。
与图2所示的示例一相比，本示例中引入了控制器，对第一摄像头和第二摄像头的时钟同步进行控制，具体的，描述了两个摄像头初始时钟对齐的前提下，两个摄像头使用相同或倍频的时钟的情况下，对两个摄像头的图像帧进行同步的方案。
S401：控制第一摄像头和第二摄像头进行初始时钟对齐。
例如，通过控制第一摄像头和第二摄像头同时打开，或者，控制第一摄像头和第二摄像头在预设最小时间间隔之内都打开，从而保证第一摄像头和第二摄像头达到初始时钟对齐。
S402：控制第一摄像头和第二摄像头使用相同频率的时钟，或者，控制第一摄像头和第二摄像头使用成倍关系的时钟频率。
在一种实现方式中，控制第一摄像头和第二摄像头使用相同频率的时钟，例如，控制第一摄像头和第二摄像头使用同一个时钟信号，从而确保第一摄像头和第二摄像头具有相同频率的时钟。在每个时钟脉冲到来时，进行图像拍摄，例如，假设第一摄像头和第二摄像头的帧率都是30帧每秒(fps)，即从启动摄像头开始，控制每秒拍摄30帧图像。
在另一种实现方式中，控制第一摄像头和第二摄像头使用倍数关系的时钟频率，例如，第一摄像头的帧率是15帧每秒，第二摄像头的帧率都是30帧每秒(fps)，即第二摄像头帧率是第一摄像头帧率的二倍关系。
S403：在第一摄像头进行第一图像帧拍摄时，发出同步指令。
本申请实施例所采取的方式是，在一个摄像头(例如主摄像头)进行拍摄时，另一个摄像头(例如从摄像头)不进行拍摄或者对拍摄的图像丢弃不用，反之，在从摄像头进行拍摄时，主摄像头不进行拍摄或对拍摄的图像丢弃不用。同时，在第一摄像头进行拍摄时，记录下这个拍摄开始的时间，以此时刻发出同步指令，从而控制后续对第二摄像头进行时钟同步。
S404：控制器接收同步指令，并根据与第一摄像头拍摄时刻的时间偏移量确定帧同步信号的发送时间。
假设第一摄像头的开始拍摄第一图像帧是从t0时刻开始的，则在t0时刻发出同步指令，该同步指令的目的是记录下第一摄像头真正开始拍摄的时间。然后，根据两个摄像头的时间偏移Δt确定帧同步信号的发送时间。具体的，如果第一摄像头和第二摄像头使用相同频率的时钟，则确保t0以及“t0+Δt”这两个时刻均在同一个时钟信号周期内；如果第一摄像头和第二摄像头使用倍数关系的频率时钟，假设第一摄像头时钟为CLK1，第二摄像头时钟为CLK2，且二者具有倍数关系，则首先将t0转换到CLK2下的时刻，然后，再基于CLK2的时钟信号周期，确定出帧同步信号的发送时间。
S405：在上述发送时间向第二摄像头发送帧同步信号，以控制第二摄像头进行第二图像帧的拍摄。
与上述多摄像头的帧同步控制方法相对应，本申请实施例还提供一种自行走设备。参见图5，示出了本申请实施例提供的自行走设备的结构示意图。
该自行走设备至少包括第一摄像头501、第二摄像头502和控制器503，其中，所述第一摄像头501，在进行第一图像帧拍摄时，发出同步指令；所述控制器503，响应于接收到所述第一摄像头501发出所述同步指令，基于与第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；并在上述发送时间向所述第二摄像头502发送帧同步信 号，以控制所述第二摄像头进行第二图像帧的拍摄。
在一种实现方式中，所述控制器503还用于，根据预设的所述第一摄像头和所述第二摄像头之间的工作时钟差值，确定所述帧同步信号的发送时间。
在一种实现方式中，所述控制器503还用于，控制所述第一摄像头501和所述第二摄像头502进行初始时钟对齐。
在一种实现方式中，所述控制器503还用于，控制所述第一摄像头501和所述第二摄像头502同时打开，或者，控制所述第一摄像头501和所述第二摄像头502在预设最小时间间隔之内都打开，以保证所述第一摄像头501和所述第二摄像头502满足初始时钟对齐。
在一种实现方式中，所述控制器503还用于，控制所述第一摄像头501和所述第二摄像头502使用相同频率的时钟，或者，控制所述第一摄像头501和所述第二摄像头502使用成倍关系的时钟频率。
在一种实现方式中，所述控制器503还用于，控制所述第一摄像头拍摄所述第一图像帧及所述第二摄像头拍摄第二图像帧，是在同一个拍摄信号周期内完成的，其中，通过所述时间偏移量，控制所述第二图像帧的拍摄时刻与所述第一图像帧的拍摄时刻不同。
在一种实现方式中，所述控制器503还用于，当所述第一摄像头进行第一图像帧拍摄时，控制所述第二摄像头不进行拍摄，或者丢弃所述第二摄像头拍摄的图像；以及，当所述第二摄像头进行第二图像拍摄时，控制所述第一摄像头不进行图像拍摄，或者丢弃所述第一摄像头拍摄的图像。
本申请的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
(1)在第一摄像头进行第一图像帧拍摄时，发出同步指令；
(2)响应于接收到同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；
(3)在所述发送时间向第二摄像头发送所述帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
(1)在第一摄像头进行第一图像帧拍摄时，发出同步指令；
(2)响应于接收到同步指令时，基于于所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；
(3)在所述发送时间向第二摄像头发送帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现 出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (16)

  1. 一种多摄像头的帧同步控制方法，其特征在于，用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，所述方法包括：
    在所述第一摄像头进行第一图像帧拍摄时，发出同步指令；
    响应于接收到所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；
    在所述发送时间向所述第二摄像头发送所述帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。
  2. 根据权利要求1所述的方法，其特征在于，
    所述基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间，包括：根据预设的所述第一摄像头和所述第二摄像头之间的工作时钟差值，确定所述帧同步信号的发送时间。
  3. 根据权利要求1所述的方法，其特征在于，还包括：
    控制所述第一摄像头和所述第二摄像头进行初始时钟对齐。
  4. 根据权利要求3所述的方法，其特征在于，所述控制所述第一摄像头和所述第二摄像头进行初始时钟对齐，包括：
    控制所述第一摄像头和所述第二摄像头同时打开，或者，控制所述第一摄像头和所述第二摄像头在预设最小时间间隔之内都打开，以保证所述第一摄像头和所述第二摄像头满足初始时钟对齐。
  5. 根据权利要求1所述的方法，其特征在于，还包括：
    控制所述第一摄像头和所述第二摄像头使用相同频率的时钟，或者，控制所述第一摄像头和所述第二摄像头使用成倍关系的时钟频率。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，
    所述第一摄像头拍摄所述第一图像帧及所述第二摄像头拍摄第二图像帧，是在同一个拍摄信号周期内完成的，其中，通过所述时间偏移量，控制所述第二图像帧的拍摄时刻与所述第一图像帧的拍摄时刻不同。
  7. 根据权利要求1-5任一项所述的方法，其特征在于，还包括：
    当所述第一摄像头进行第一图像帧拍摄时，控制所述第二摄像头不进行拍摄，或者丢弃所述第二摄像头拍摄的图像；以及，
    当所述第二摄像头进行第二图像拍摄时，控制所述第一摄像头不进行图像拍摄，或者 丢弃所述第一摄像头拍摄的图像。
  8. 一种自行走设备，其特征在于，所述自行走设备包括第一摄像头、第二摄像头和控制器，其中，
    所述第一摄像头，在进行第一图像帧拍摄时，发出同步指令；
    所述控制器，响应于接收到的所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间，并在所述发送时间向所述第二摄像头发送帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。
  9. 根据权利要求8所述的装置，其特征在于，所述控制器用于，根据预设的所述第一摄像头和所述第二摄像头之间的工作时钟差值，确定所述帧同步信号的发送时间。
  10. 根据权利要求8所述的装置，其特征在于，所述控制器还用于，控制所述第一摄像头和所述第二摄像头进行初始时钟对齐。
  11. 根据权利要求10所述的装置，其特征在于，所述控制器还用于，控制所述第一摄像头和所述第二摄像头同时打开，或者，控制所述第一摄像头和所述第二摄像头在预设最小时间间隔之内都打开，以保证所述第一摄像头4和所述第二摄像头满足初始时钟对齐。
  12. 根据权利要求8所述的装置，其特征在于，所述控制器还用于，控制所述第一摄像头和所述第二摄像头使用相同频率的时钟，或者，控制所述第一摄像头和所述第二摄像头使用成倍关系的时钟频率。
  13. 根据权利要求8-12任一项所述的装置，其特征在于，所述控制器还用于，控制所述第一摄像头拍摄所述第一图像帧及所述第二摄像头拍摄第二图像帧，是在同一个拍摄信号周期内完成的，其中，通过所述时间偏移量，控制所述第二图像帧的拍摄时刻与所述第一图像帧的拍摄时刻不同。
  14. 根据权利要求8-12任一项所述的装置，其特征在于，所述控制器还用于，当所述第一摄像头进行第一图像帧拍摄时，控制所述第二摄像头不进行拍摄，或者丢弃所述第二摄像头拍摄的图像；以及，当所述第二摄像头进行第二图像拍摄时，控制所述第一摄像头不进行图像拍摄，或者丢弃所述第一摄像头拍摄的图像。
  15. 一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7任一项中所述的方法。
  16. 一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7任一项中所述的方法。
PCT/CN2022/105539 2022-01-04 2022-07-13 多摄像头的帧同步控制方法及自行走设备 WO2023130706A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210005387.4A CN114598786B (zh) 2022-01-04 2022-01-04 多摄像头的帧同步控制方法及自行走设备
CN202210005387.4 2022-01-04

Publications (1)

Publication Number Publication Date
WO2023130706A1 true WO2023130706A1 (zh) 2023-07-13

Family

ID=81813831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/105539 WO2023130706A1 (zh) 2022-01-04 2022-07-13 多摄像头的帧同步控制方法及自行走设备

Country Status (2)

Country Link
CN (1) CN114598786B (zh)
WO (1) WO2023130706A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598786B (zh) * 2022-01-04 2024-01-09 北京石头创新科技有限公司 多摄像头的帧同步控制方法及自行走设备
CN115134496B (zh) * 2022-06-24 2023-07-14 重庆长安汽车股份有限公司 一种智能驾驶控制方法、系统、车辆、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048302A (ja) * 2002-07-11 2004-02-12 Minolta Co Ltd 動画撮影装置及び記録媒体及び動画再生装置
CN102186065A (zh) * 2011-06-01 2011-09-14 广州市晶华光学电子有限公司 一种具有360度视场角的监控相机
JP2012138671A (ja) * 2010-12-24 2012-07-19 Kyocera Corp ステレオカメラ装置
CN105391924A (zh) * 2015-11-05 2016-03-09 深圳市金立通信设备有限公司 一种数据处理方法及终端
CN106161943A (zh) * 2016-07-29 2016-11-23 维沃移动通信有限公司 一种录像方法和移动终端
CN106973234A (zh) * 2017-04-28 2017-07-21 努比亚技术有限公司 一种视频拍摄方法及终端
CN111770269A (zh) * 2020-06-23 2020-10-13 合肥富煌君达高科信息技术有限公司 一种基于多高速摄像机的并行采集管控方法及系统
CN213092100U (zh) * 2020-07-24 2021-04-30 深圳蚂里奥技术有限公司 一种曝光系统
CN114598786A (zh) * 2022-01-04 2022-06-07 北京石头创新科技有限公司 多摄像头的帧同步控制方法及自行走设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254073A (ja) * 2003-02-20 2004-09-09 Toppan Printing Co Ltd 高速度撮影カメラ装置及びこの装置を用いた高速度撮像方法
KR102637731B1 (ko) * 2017-12-26 2024-02-19 삼성전자주식회사 데이터 라인 구동 회로, 이를 포함하는 디스플레이 구동 회로 및 디스플레이 구동 방법
CN109788264B (zh) * 2018-12-20 2021-04-20 歌尔光学科技有限公司 帧同步信号生成方法及投影设备
CN109901353B (zh) * 2019-01-25 2021-05-07 深圳市光鉴科技有限公司 一种光投射系统
CN111831054B (zh) * 2019-04-19 2022-07-19 北京猎户星空科技有限公司 一种异步系统时钟同步方法、装置、系统和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048302A (ja) * 2002-07-11 2004-02-12 Minolta Co Ltd 動画撮影装置及び記録媒体及び動画再生装置
JP2012138671A (ja) * 2010-12-24 2012-07-19 Kyocera Corp ステレオカメラ装置
CN102186065A (zh) * 2011-06-01 2011-09-14 广州市晶华光学电子有限公司 一种具有360度视场角的监控相机
CN105391924A (zh) * 2015-11-05 2016-03-09 深圳市金立通信设备有限公司 一种数据处理方法及终端
CN106161943A (zh) * 2016-07-29 2016-11-23 维沃移动通信有限公司 一种录像方法和移动终端
CN106973234A (zh) * 2017-04-28 2017-07-21 努比亚技术有限公司 一种视频拍摄方法及终端
CN111770269A (zh) * 2020-06-23 2020-10-13 合肥富煌君达高科信息技术有限公司 一种基于多高速摄像机的并行采集管控方法及系统
CN213092100U (zh) * 2020-07-24 2021-04-30 深圳蚂里奥技术有限公司 一种曝光系统
CN114598786A (zh) * 2022-01-04 2022-06-07 北京石头创新科技有限公司 多摄像头的帧同步控制方法及自行走设备

Also Published As

Publication number Publication date
CN114598786B (zh) 2024-01-09
CN114598786A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
WO2023130706A1 (zh) 多摄像头的帧同步控制方法及自行走设备
EP3319313B1 (en) System and related method for synchronized capture of data by multiple network-connected capture devices
CN107251620B (zh) 基于信标的无线同步
US7701487B2 (en) Multicast control of motion capture sequences
WO2017000554A1 (zh) 音视频文件生成方法、装置及系统
CN106254023B (zh) 一种主从设备通信的方法及系统
US20190356841A1 (en) Intelligent interface for interchangeable sensors
WO2019037074A1 (zh) 虚拟现实交互系统、方法及计算机存储介质
WO2018228352A1 (zh) 一种同步曝光方法、装置及终端设备
WO2005048584A1 (en) Wireless multi-recorder system
CN106210503B (zh) 车载以太网通信网络中相机快门同步的控制方法和设备
CN112153306B (zh) 图像采集系统、方法、装置、电子设备及可穿戴设备
TW201741996A (zh) 處理裝置，影像感測器及系統
CN202524495U (zh) 基于固定机位的课程录制系统和视频处理装置
US20190149702A1 (en) Imaging apparatus
JP2019103067A (ja) 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
WO2023103954A1 (zh) 视频读取方法、装置、电子设备及存储介质
CN106200981B (zh) 一种虚拟现实系统及其无线实现方法
CN108174119A (zh) 摄像装置的控制方法、多光谱摄像设备、无人机及介质
CN109302567A (zh) 摄像头图像低延迟同步系统及图像低延迟同步方法
US9258543B2 (en) Method and device for generating three-dimensional image
CN114025107B (zh) 图像重影的拍摄方法、装置、存储介质和融合处理器
US20200218700A1 (en) Image synchronized storage method and image processing device
JP2006203817A (ja) マルチカメラシステム
JP2005176233A (ja) 通信装置及び通信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22918162

Country of ref document: EP

Kind code of ref document: A1