WO2025129591A1 - 多目同步行为学捕捉方法、系统及电子设备 - Google Patents

多目同步行为学捕捉方法、系统及电子设备 Download PDF

Info

Publication number
WO2025129591A1
WO2025129591A1 PCT/CN2023/140775 CN2023140775W WO2025129591A1 WO 2025129591 A1 WO2025129591 A1 WO 2025129591A1 CN 2023140775 W CN2023140775 W CN 2023140775W WO 2025129591 A1 WO2025129591 A1 WO 2025129591A1
Authority
WO
WIPO (PCT)
Prior art keywords
cameras
acquisition
image data
frame
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2023/140775
Other languages
English (en)
French (fr)
Inventor
王楠
韩亚宁
蔚鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to PCT/CN2023/140775 priority Critical patent/WO2025129591A1/zh
Publication of WO2025129591A1 publication Critical patent/WO2025129591A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention proposes a multi-camera synchronous behavior capture method, system and electronic equipment.
  • all resources are released after completion and the acquisition is completed, which specifically includes: releasing all resources after completion, tracking the key points of the body of the target object using machine learning means, and reconstructing the key points of the body in three dimensions using a triangulation method based on computer vision to complete the capture.
  • the present invention also proposes a multi-eye synchronous behavioral capture system, which is used to implement the above method, including: an acquisition module, which includes multiple cameras, and the multiple cameras are used to acquire original image data; a fixing module, which is used to fix the multiple cameras at intervals and make the imaging directions of the multiple cameras face the target object; a processing module, which is used to receive the original image data acquired by the multiple cameras, and compress and store the multiple original image data in real time.
  • the acquisition module includes 8 cameras, and the 8 cameras are all depth cameras with a resolution of 1280 ⁇ 720 and an acquisition frame rate of 30 frames per second.
  • the fixing module comprises an aluminum fixing frame.
  • data signals are transmitted between the processing module and the acquisition module via a universal serial bus.
  • the present invention also proposes an electronic device, comprising: at least one processor, at least one memory, and at least one communication bus, wherein a computer program is stored in the memory, and the processor reads the computer program in the memory through the communication bus; when the computer program is executed by the processor, the above-mentioned multi-eye synchronous behavioral capture method is implemented.
  • the present invention has the following beneficial effects:
  • the acquisition process sends the image data to its corresponding compression process for compression through queue communication.
  • the compression module can compress and store the original image data collected by multiple cameras in real time.
  • the control process controls the blocking and awakening of the eight acquisition processes, which ensures the synchronization of the target object image data acquisition and avoids frame loss.
  • Eight cameras are arranged at different positions of the target object to capture image data from different perspectives of the target object, increasing the number of observation windows, expanding the coverage of three-dimensional space reconstruction, and improving the acquisition resolution and data bandwidth.
  • the missing area data is completed through the fusion of 8-perspective information, which is conducive to reducing the impact of self-occlusion or multiple-body occlusion, avoiding information loss and reconstruction errors caused by occlusion, and improving the integrity and reliability of image data.
  • FIG1 is a schematic diagram of a multi-eye synchronous behavioral capture system
  • FIG2 is a flow chart of a multi-eye synchronous behavioral capture method
  • FIG. 3 is a structural block diagram of an electronic device.
  • a multi-eye synchronous behavioral capture system includes: an acquisition module, a fixing module and a processing module, wherein the acquisition module is used to acquire raw image data; the fixing module is used to fix the acquisition module and make the acquisition direction of the acquisition module face the target object; the processing module is used to receive the raw image data acquired by the acquisition module, and compress and store the raw image data in real time.
  • the acquisition module includes a plurality of cameras 100, and the plurality of cameras 100 are used to acquire raw image data; the fixing module is used to fix the plurality of cameras 100 at intervals on the periphery of the target object, so that the imaging direction of the cameras 100 faces the target object; the processing module is used to receive the raw image data acquired by the plurality of cameras 100, and compress and store the plurality of raw image data in real time.
  • the processing module can be an acquisition host 120 equipped with a display screen, and the specific structure of the acquisition host can refer to the electronic device 3000 in the subsequent embodiments.
  • the compression module can compress and store the original image data collected by multiple cameras 100 in real time, that is, during the collection process of the multiple cameras 100 of the collection module, the compression module can complete real-time compression, which ensures the synchronization of the collection of the target object image data and avoids frame loss.
  • the acquisition module includes 8 cameras 100 , and all 8 cameras 100 use depth cameras 100 with a resolution of 1280 ⁇ 720 and an acquisition frame rate of 30 frames per second.
  • 8 cameras 100 Compared with a capture system of four or five cameras 100 , eight cameras 100 have more shooting angles for the target object and a higher information coverage rate, which can better reduce the impact of self-occlusion and mutual occlusion of multiple bodies, and the acquired image data is more reliable.
  • the resolution of 1280 ⁇ 720 is close to the standard definition level, and the image quality acquired by the camera 100 is good, which is conducive to the subsequent computer vision algorithm to extract features and information.
  • the acquisition frame rate of 30 frames per second can better meet the needs of real-time acquisition and real-time processing, and to a certain extent, guarantees the continuous acquisition capability of dynamic scenes or fast actions.
  • the depth camera 100 can not only obtain images, but also directly obtain target distance information, and has three-dimensional perception capabilities. Compared with higher-specification cameras 100 , it has achieved a good balance between performance and price.
  • 10, 12, or other numbers of cameras 100 may be used.
  • the resolution, frame rate, and type can also be determined based on the acquisition needs of the actual target object.
  • the fixed module includes an aluminum fixed frame 110.
  • the aluminum material has high rigidity and light weight, is easy to install and move, has good positioning stability, and the aluminum material processing technology is simple and convenient, which is conducive to the finalization and production of the fixed frame 110.
  • the fixed frame 110 includes a rectangular frame and four pillars fixed directly below the four vertex corners of the rectangular frame. Four of the eight cameras 100 are respectively located at the four vertex corners of the rectangular frame, and the other four cameras 100 are respectively located in the middle of the four sides of the rectangular frame. The four pillars of the fixed frame 110 are erected on the surrounding side of the target object, and the lenses of the eight cameras 100 are facing the target object in the middle of the lower part of the rectangular frame.
  • the fixed frame 110 made of stainless steel, resin plastic and other materials can also be used.
  • the processing module and the acquisition module transmit data signals via a universal serial bus 130 (USB).
  • USB universal serial bus 130
  • the processing module and the acquisition module transmit data via a USB 3.0 data line, which has a faster data transmission speed. No external timer and trigger are required, no high-speed solid-state hard drive is required, and the device can be used by connecting a data line, and the additional hardware cost is low.
  • a multi-eye synchronous behavioral capture method which uses the multi-eye synchronous behavioral capture system in the above embodiment, and the method comprises the following steps:
  • Step 310 create a control process, and create a capture process and a compression process for each camera.
  • resources such as communication queues and semaphores are initialized, and process communication rules are set.
  • Cameras, acquisition processes and compression processes of each camera are initialized, and the cameras, acquisition processes and compression processes correspond to each other one by one.
  • each camera captures a frame of image data of the target object.
  • eight cameras respectively capture a frame of image of the target object from different perspectives.
  • the eight cameras are arranged at different positions of the target object to capture image data of the target object from different perspectives, thereby increasing the number of observation windows, expanding the coverage of three-dimensional space reconstruction, and improving the acquisition resolution and data bandwidth.
  • the missing area data is completed by fusing the information from eight perspectives, which is beneficial to reduce the impact of self-occlusion or multiple body occlusion, avoid information loss and reconstruction errors caused by occlusion, and improve the integrity and reliability of image data.
  • Step 330 sending a frame of image data captured by each camera to its corresponding acquisition process, the acquisition process sends the image data to its corresponding compression process for compression processing, adds a signal quantity equal to the number of acquisition processes that receive the image to the control process, and blocks the corresponding acquisition process.
  • the acquisition process sends the image data to its corresponding compression process through queue communication for compression processing, realizing real-time compression processing of the image data collected by the acquisition process, ensuring the synchronization of the acquisition of 8 cameras, and avoiding frame loss.
  • the acquisition process and the compression process can work asynchronously without synchronous waiting. Improved efficiency; the queue can buffer a large amount of image data, reducing the pressure requirements between acquisition and processing; the number and priority of processes can be flexibly adjusted according to the queue load to make full use of CPU and other resources.
  • Step 340 determining whether the signal quantity collected by the control process is greater than/equal to the total number of cameras, if so, proceeding to step 350, achieving the purpose of synchronous acquisition, and cooperating with the compression process to achieve complete synchronous recording among the eight cameras; if not, repeating step 330;
  • Step 350 determine whether the number of frames collected by each collection process is equal to the set number of frames, if so, complete the capture; if not, wake up all collection processes, and repeat steps 320, 330 and 340.
  • the set number of frames refers to the number of frames required by the experimenter to complete the behavioral research.
  • all resources are released after completion, and machine learning is used to track the key points of the target object's body.
  • the key points of the body are reconstructed in three dimensions using a triangulation method based on computer vision to complete the capture.
  • the key points of the target object's body are tracked using machine learning methods, which can better identify and track key points such as target body parts.
  • the algorithm performance improves with the growth of data volume, adapts to different shooting scenes, and can achieve key point recognition without manual labeling, with strong automation.
  • the key points of the body are reconstructed in three dimensions using a triangulation method based on computer vision, and the real three-dimensional spatial coordinates of the key points can be restored using multi-view information with high accuracy.
  • the capture is completed, which specifically includes: stopping the acquisition and waiting for the compression process to complete the compression, and releasing all resources after completion.
  • each camera before each camera captures a frame of image data of the target object in step 320, it also specifically includes: using Zhang's calibration method to estimate the intrinsic parameter matrix and relative position of each camera, determining the intrinsic parameter and posture relationship of each camera, providing basic data support for key point tracking and three-dimensional reconstruction, and avoiding errors introduced by camera parameter errors when fusing multi-view information.
  • the processor 3001 may be a CPU (Central Processing Unit), a general-purpose processor, a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array). Field Programmable Gate Array) or other programmable logic devices, transistor logic devices, hardware components or any combination thereof. It can implement or execute various exemplary logic blocks, modules and circuits described in conjunction with the disclosure of this application.
  • Processor 3001 can also be a combination that implements computing functions, such as a combination of one or more microprocessors, a combination of DSP and microprocessor, etc.
  • the memory 3003 can be a ROM (Read Only Memory) or other types of static storage devices that can store static information and instructions, a RAM (Random Access Memory) or other types of dynamic storage devices that can store information and instructions, or an EEPROM (Electrically Erasable Programmable Read Only Memory), a CD-ROM (Compact Disc Read Only Memory) or other optical disk storage, optical disk storage (including compressed optical disk, laser disk, optical disk, digital versatile disk, Blu-ray disk, etc.), a magnetic disk storage medium or other magnetic storage device, or any other medium that can be used to carry or store the desired program code in the form of instructions or data structures and can be accessed by a computer, but is not limited to these.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • CD-ROM Compact Disc Read Only Memory
  • optical disk storage including compressed optical disk, laser disk, optical disk, digital versatile disk, Blu-ray disk, etc.
  • magnetic disk storage medium or other magnetic storage device or any
  • the memory 3003 stores a computer program
  • the processor 3001 reads the computer program stored in the memory 3003 through the communication bus 3002 .
  • the multi-eye synchronous behavioral capture method in the above-mentioned embodiments is implemented.
  • the multi-eye synchronous behavioral capture system is applied in the analysis of behavioral data collection and abnormal behavior detection.
  • connect can be a fixed connection, a detachable connection, or an integral connection; It can be a mechanical connection or an electrical connection; it can be a direct connection or an indirect connection through an intermediate medium, or it can be the internal connection of two components.
  • connect can be a fixed connection, a detachable connection, or an integral connection; It can be a mechanical connection or an electrical connection; it can be a direct connection or an indirect connection through an intermediate medium, or it can be the internal connection of two components.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及动物行为学技术领域，尤其涉及一种多目同步行为学捕捉方法、系统及电子设备，该方法包括：创建一个控制进程，并为每个相机创建一个采集进程和一个压缩进程；每个相机捕获一帧图像数据；将图像数据送入其对应的采集进程，采集进程将该图像数据送入其对应的压缩进程，增加与收到图像的采集进程的数量相同的信号量至控制进程，并阻塞对应的采集进程；判断控制进程收集到的信号量是否大于/等于相机的总数，若是，则进行下一步骤；若否，则重复上一步骤；判断采集进程采集帧数是否均等于设定，若是，则完成捕捉；若否，则唤醒采集进程，并重复前三个步骤。本发明通过上述设置，解决了现有的多目相机采集生物行为容易出现丢帧现象的缺陷。

Description

多目同步行为学捕捉方法、系统及电子设备 技术领域
本发明涉及动物行为学技术领域，尤其涉及一种多目同步行为学捕捉方法、系统及电子设备。
背景技术
行为学在科学研究中具有重要作用，通常来说，实验目标在不同的范式中与控制组产生不同的行为表现，能够对应不同神经环路的抑制或激活等。
目前，研究人员主要利用单目相机和多目相机进行目标行为采集，通过观察分析采集数据，探究生物行为的内在机制规律。但三维空间中的动作表现丰富，单目相机采集数据会丢失一个维度的重要信息，难以进行精细的行为学分析；此外，单目相机采集过程中，存在自体遮挡、以及多个体之间相互遮挡的现象，易导致信息丢失、重建错误等问题。多目相机采集在一定程度上可以缓解这些问题，但多目相机需要进行同步录制，在数据带宽限制和计算资源限制下容易出现丢帧现象。
发明内容
为了解决现有的多目相机采集生物行为容易出现丢帧现象的缺陷，本发明提出一种多目同步行为学捕捉方法、系统及电子设备。
本发明采用的技术方案是，一种多目同步行为学捕捉方法，所述方法包括：创建一个控制进程，并为每个相机创建一个采集进程和一个压缩进程；每个所述相机捕获目标对象的一帧图像数据；将所述每个相机捕获的一帧图像数据送入其对应的采集进程，所述采集进程将该图像数据送入其对应的压缩进程进行压缩处理，增加与收到图像的所述采集进程的数量相同的信号量至所述控制进程，并阻塞对应的采集进程；判断所述控制进程收集到的信号量是否大于/等于所述相机的总数，若是，则进行下一步骤；若否，则重复上一步骤；判断每个采集进程采集帧数是否均等于设定帧数，若是，则完成捕捉；若否，则唤醒所有采集进程，并重复前三个步骤。
优选的，所述每个相机捕获目标对象的一帧图像，具体包括：8个相机分别捕获目标对象不同视角的一帧图像。
优选的，所述采集进程将该图像数据送入其对应的压缩进程进行压缩处理，具体包括：所述采集进程通过队列通信将该图像数据送入其对应的压缩进程进行压缩处理。
优选的，在进行所述每个所述相机捕获目标对象的一帧图像数据前，还具体包括：使用张氏定标法对每个所述相机的内参矩阵及相对位置进行估计。
优选的，所述完成后释放所有资源，采集完毕，具体包括：完成后释放所有资源，使用机器学习手段对所述目标对象的身体关键点进行追踪，使用基于计算机视觉的三角测量法对所述身体关键点进行三维重建，完成捕捉。
本发明还提出了一种多目同步行为学捕捉系统，所述系统用于实现上述的方法，包括：采集模块，其包括多个相机，多个所述相机用于采集原始图像数据；固定模块，用于间隔固定多个所述相机，并使多个所述相机的成像方向朝向目标对象；处理模块，用于接收多个所述相机采集的原始图像数据，并对多个所述原始图像数据进行实时压缩和存储。
优选的，所述采集模块包括8个相机，8个所述相机均采用分辨率为1280×720、采集帧率为每秒30帧的深度相机。
优选的，所述固定模块包括铝制固定框。
优选的，所述处理模块与所述采集模块之间通过通用串行总线传递数据信号。
本发明还提出了一种电子设备，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，所述存储器上存储有计算机程序，所述处理器通过所述通信总线读取所述存储器中的所述计算机程序；所述计算机程序被所述处理器执行时实现上述的多目同步行为学捕捉方法。
与现有技术相比，本发明具有以下有益效果：
1、采集进程通过队列通信将该图像数据送入其对应的压缩进程进行压缩处理，压缩模块可实时对多个相机采集的原始图像数据进行压缩和存储，控制进程控制八个采集进程的阻塞和唤醒，即保证了对目标对象图像数据采集的同步性，又可以避免丢帧；
2、采用8个相机布置在目标对象的不同方位，捕获目标对象不同视角的图像数据，增加了观测窗口数，扩大了三维空间重建覆盖范围，采集分辨率及数据带宽均有提高，通过8个视角信息融合实现缺失区域数据补全，有利于减轻自身遮挡或多个体遮挡造成的影响，避免由于遮挡造成的信息丢失及重建错误情况，提高图像数据的完整程度和可靠性。
附图说明
下面结合实施例和附图对本发明进行详细说明，其中：
图1是一种多目同步行为学捕捉系统的示意图；
图2是一种多目同步行为学捕捉方法的流程图；
图3是一种电子设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
在一个实施例中，一种多目同步行为学捕捉系统，包括：采集模块、固定模块和处理模块，采集模块用于采集原始图像数据；固定模块用于固定采集模块，并使采集模块的采集方向朝向目标对象；处理模块用于接收采集模块采集的原始图像数据，并对原始图像数据进行实时压缩和存储。具体地，采集模块包括多个相机100，多个相机100用于采集原始图像数据；固定模块用于将多个相机100间隔固定在目标对象的周侧，使相机100的成像方向朝向目标对象；处理模块用于接收多个相机100采集的原始图像数据，并对多个原始图像数据进行实时压缩和存储。具体地，处理模块可以为配备有显示屏的采集主机120，采集主机的具体结构参见后续实施例中的电子设备3000。
压缩模块可实时对多个相机100采集的原始图像数据进行压缩和存储，即采集模块的多个相机100在采集的过程中，压缩模块可以完成实时压缩，即保证了对目标对象图像数据采集的同步性，又可以避免丢帧。
在一个实施例中，如图1所示，采集模块包括8个相机100，8个相机100均采用分辨率为1280×720、采集帧率为每秒30帧的深度相机100。相对于四个五个相机100的捕捉系统，八个相机100对目标对象的拍摄角度更多，信息覆盖率更高，可以更好的降低自体遮挡和多个体互相遮挡带来的影响，获取的图像数据更为可靠。1280×720的分辨率接近标清水平，相机100获取的图像质量较好，有利于后续计算机视觉算法提取特征和信息。30帧/秒的采集帧率能较好满足实时采集和实时处理的需要，在一定程度上保证了动态场景或快速动作的连续采集能力。深度相机100不仅可以获得图像，还可以直接获取目标距离信息，具有三维感知能力。与更高规格的相机100相比，它在性能和价格上同时取得了良好的平衡。
在其他实施例中，还可以采用10个、12个等其他个数的相机100，相机100的 分辨率、帧率、以及类型也可以根据实际目标对象的采集需要确定。
在一个实施例中，固定模块包括铝制固定框110，铝材质刚性高而重量轻，便于安装、搬移，定位稳定性好，且铝材质加工工艺简单方便，有利于固定框110的定型生产。固定框110包括矩形框架和固定在矩形框架的四个顶角正下方的四根支柱，八个相机100中的四个分别位于矩形框架的四个顶角上，另外四个相机100分别位于矩形框架四条边的中部。固定框110的四根支柱架设在目标对象的周侧，八个相机100的镜头朝向矩形框架下方中部的目标对象。在其他实施例中，还可以采用不锈钢、树脂塑料等材质制成的固定框110。
在一个实施例中，处理模块与采集模块之间通过通用串行总线130(USB)传递数据信号，具体的，处理模块与采集模块之间通过USB3.0数据线传输数据，数据的传输速度更快。无需外部计时器及触发器，无需高速固态硬盘，连接数据线即可使用，额外硬件成本低。
在一个实施例中，如图2所示，一种多目同步行为学捕捉方法，其使用上述实施例中的多目同步行为学捕捉系统，该方法包括以下步骤：
步骤310，创建一个控制进程，并为每个相机创建一个采集进程和一个压缩进程。
在一种可能的实现方式，初始化通信队列、信号量等资源；设置进程通信规则等。初始化相机、每个相机的采集进程和压缩进程，相机、采集进程和压缩进程一一对应。
步骤320，每个相机捕获目标对象的一帧图像数据。
在一种可能的实现方式，8个相机分别捕获目标对象不同视角的一帧图像，采用8个相机布置在目标对象的不同方位，捕获目标对象不同视角的图像数据，增加了观测窗口数，扩大了三维空间重建覆盖范围，采集分辨率及数据带宽均有提高，通过8个视角信息融合实现缺失区域数据补全，有利于减轻自身遮挡或多个体遮挡造成的影响，避免由于遮挡造成的信息丢失及重建错误情况，提高图像数据的完整程度和可靠性。
步骤330，将每个相机捕获的一帧图像数据送入其对应的采集进程，采集进程将该图像数据送入其对应的压缩进程进行压缩处理，增加与收到图像的采集进程的数量相同的信号量至控制进程，并阻塞对应的采集进程。
在一种可能的实现方式，采集进程通过队列通信将该图像数据送入其对应的压缩进程进行压缩处理，实现了对采集进程采集的图像数据的实时压缩处理，保证8个相机采集的同步性，避免丢帧。采集进程和压缩进程可以异步工作，不需要同步等待， 效率提高；队列可以缓冲大量图像数据，降低采集与处理间的压力要求；根据队列负载能灵活调整进程数量和优先级，充分利用CPU等资源。
步骤340，判断控制进程收集到的信号量是否大于/等于相机的总数，若是，则进行步骤350，达到同步采集的目的，配合压缩进程实现了8个相机之间完全的同步记录；若否，则重复步骤330；
步骤350，判断每个采集进程采集帧数是否均等于设定帧数，若是，则完成捕捉；若否，则唤醒所有采集进程，并重复步骤320、步骤330和步骤340。设定帧数是指实验人员为完成行为学研究所需的帧数。
在一种可能的实现方式，完成后释放所有资源，使用机器学习手段对目标对象的身体关键点进行追踪，使用基于计算机视觉的三角测量法对身体关键点进行三维重建，完成捕捉。使用机器学习手段对目标对象的身体关键点进行追踪，能较好识别和追踪目标身体部位等关键点，算法性能随数据量增长而提升，适应不同拍摄场景，无需手动标注就能实现关键点识别，自动化强。使用基于计算机视觉的三角测量法对身体关键点进行三维重建，利用多视角信息可还原关键点的真实三维空间坐标，准确性高。
其中，若是，则完成捕捉，具体包括：采集停止，并等待压缩进程完成压缩，完成后释放所有资源。
在一个实施例中，在进行步骤320每个所述相机捕获目标对象的一帧图像数据前，还具体包括：使用张氏定标法对每个相机的内参矩阵及相对位置进行估计，确定了各相机的内参参数和位姿关系，为关键点跟踪和三维重建提供了基础数据支持，避免多视角信息融合时因为相机参数错误引入的误差。
在一个实施例中，如图3所示，一种电子设备3000包括至少一个处理器3001、至少一条通信总线3002以及至少一个存储器3003。
其中，处理器3001和存储器3003相连，如通过通信总线3002相连。可选地，电子设备3000还可以包括收发器3004，收发器3004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器3004不限于一个，该电子设备3000的结构并不构成对本申请实施例的限定。
处理器3001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application Specific Integrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array， 现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器3001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
通信总线3002可包括一通路，在上述组件之间传送信息。通信总线3002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。通信总线3002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器3003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically Erasable Programmable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact Disc Read Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器3003上存储有计算机程序，处理器3001通过通信总线3002读取存储器3003中存储的计算机程序。
该计算机程序被处理器3001执行时实现上述各实施例中的多目同步行为学捕捉方法。
在一个实施例中，该多目同步行为学捕捉系统在行为学数据采集、异常行为检测的分析中得到应用。
在本说明书的描述中，若出现术语″实施例一″、″本实施例″、″在一个实施例中″等描述，意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于发明或发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例；而且，所描述的具体特征、结构、材料或特点可以在任何一个或多个实施例或示例中以恰当的方式结合。
在本说明书的描述中，术语″连接″、″安装″、″固定″、″设置″、″具有″等均做广义理解，例如，″连接″可以是固定连接，也可以是可拆卸连接，或一体地连接； 可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本说明书的描述中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述对实施例的描述是为了便于该技术领域的普通技术人员能够理解和应用本案技术，熟悉本领域技术的人员显然可轻易对这些实例做出各种修改，并把在此说明的一般原理应用到其它实施例中而不必经过创造性的劳动。因此，本案不限于以上实施例，对于以下几种情形的修改，都应该在本案的保护范围内：①以本发明技术方案为基础并结合现有公知常识所实施的新的技术方案，该新的技术方案所产生的技术效果并没有超出本发明技术效果之外；②采用公知技术对本发明技术方案的部分特征的等效替换，所产生的技术效果与本发明技术效果相同；③以本发明技术方案为基础进行可拓展，拓展后的技术方案的实质内容没有超出本发明技术方案之外；④利用本发明说明书及附图内容所作的等效变换，直接或间接运用在其他相关的技术领域。

Claims (10)

  1. 一种多目同步行为学捕捉方法，其特征在于，所述方法包括：
    创建一个控制进程，并为每个相机创建一个采集进程和一个压缩进程；
    每个所述相机捕获目标对象的一帧图像数据；
    将所述每个相机捕获的一帧图像数据送入其对应的采集进程，所述采集进程将该图像数据送入其对应的压缩进程进行压缩处理，增加与收到图像的所述采集进程的数量相同的信号量至所述控制进程，并阻塞对应的采集进程；
    判断所述控制进程收集到的信号量是否大于/等于所述相机的总数，若是，则进行下一步骤；若否，则重复上一步骤；
    判断每个采集进程采集帧数是否均等于设定帧数，若是，则完成捕捉；若否，则唤醒所有采集进程，并重复前三个步骤。
  2. 根据权利要求1所述的多目同步行为学捕捉方法，其特征在于，所述每个相机捕获目标对象的一帧图像，具体包括：8个相机分别捕获目标对象不同视角的一帧图像。
  3. 根据权利要求1所述的多目同步行为学捕捉方法，其特征在于，所述采集进程将该图像数据送入其对应的压缩进程进行压缩处理，具体包括：所述采集进程通过队列通信将该图像数据送入其对应的压缩进程进行压缩处理。
  4. 根据权利要求1所述的多目同步行为学捕捉方法，其特征在于，在进行所述每个所述相机捕获目标对象的一帧图像数据前，还具体包括：使用张氏定标法对每个所述相机的内参矩阵及相对位置进行估计。
  5. 根据权利要求1所述的多目同步行为学捕捉方法，其特征在于，所述完成后释放所有资源，采集完毕，具体包括：完成后释放所有资源，使用机器学习手段对所述目标对象的身体关键点进行追踪，使用基于计算机视觉的三角测量法对所述身体关键点进行三维重建，完成捕捉。
  6. 一种多目同步行为学捕捉系统，所述系统用于实现权利要求1-5中任一项所述的方法，其特征在于，包括：
    采集模块，其包括多个相机，多个所述相机用于采集原始图像数据；
    固定模块，用于间隔固定多个所述相机，并使多个所述相机的成像方向朝向目标对象；
    处理模块，用于接收多个所述相机采集的原始图像数据，并对多个所述原始图像 数据进行实时压缩和存储。
  7. 根据权利要求6所述的多目同步行为学捕捉系统，其特征在于，所述采集模块包括8个相机，8个所述相机均采用分辨率为1280×720、采集帧率为每秒30帧的深度相机。
  8. 根据权利要求6所述的多目同步行为学捕捉系统，其特征在于，所述固定模块包括铝制固定框。
  9. 根据权利要求6所述的多目同步行为学捕捉系统，其特征在于，所述处理模块与所述采集模块之间通过通用串行总线传递数据信号。
  10. 一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，
    所述存储器上存储有计算机程序，所述处理器通过所述通信总线读取所述存储器中的所述计算机程序；
    所述计算机程序被所述处理器执行时实现权利要求1至5中任一项所述的多目同步行为学捕捉方法。
PCT/CN2023/140775 2023-12-21 2023-12-21 多目同步行为学捕捉方法、系统及电子设备 Pending WO2025129591A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/140775 WO2025129591A1 (zh) 2023-12-21 2023-12-21 多目同步行为学捕捉方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/140775 WO2025129591A1 (zh) 2023-12-21 2023-12-21 多目同步行为学捕捉方法、系统及电子设备

Publications (1)

Publication Number Publication Date
WO2025129591A1 true WO2025129591A1 (zh) 2025-06-26

Family

ID=96136218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/140775 Pending WO2025129591A1 (zh) 2023-12-21 2023-12-21 多目同步行为学捕捉方法、系统及电子设备

Country Status (1)

Country Link
WO (1) WO2025129591A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539931A (zh) * 2014-12-05 2015-04-22 北京格灵深瞳信息技术有限公司 一种多目相机系统、装置及同步方法
CN107241553A (zh) * 2017-08-04 2017-10-10 追光人动画设计（北京）有限公司 多路相机同步采集系统及方法
US20180376050A1 (en) * 2017-06-26 2018-12-27 Casio Computer Co., Ltd. Image Capture Control Apparatus, Image Capture Control Method, and Image Capture Control Program
CN111182226A (zh) * 2019-07-16 2020-05-19 北京欧比邻科技有限公司 一种多相机同步工作的方法、装置、介质和电子设备
CN115967775A (zh) * 2022-12-15 2023-04-14 北京百度网讯科技有限公司 不同设备之间同步视场的方法、装置及自动驾驶车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539931A (zh) * 2014-12-05 2015-04-22 北京格灵深瞳信息技术有限公司 一种多目相机系统、装置及同步方法
US20180376050A1 (en) * 2017-06-26 2018-12-27 Casio Computer Co., Ltd. Image Capture Control Apparatus, Image Capture Control Method, and Image Capture Control Program
CN107241553A (zh) * 2017-08-04 2017-10-10 追光人动画设计（北京）有限公司 多路相机同步采集系统及方法
CN111182226A (zh) * 2019-07-16 2020-05-19 北京欧比邻科技有限公司 一种多相机同步工作的方法、装置、介质和电子设备
CN115967775A (zh) * 2022-12-15 2023-04-14 北京百度网讯科技有限公司 不同设备之间同步视场的方法、装置及自动驾驶车辆

Similar Documents

Publication Publication Date Title
WO2020094091A1 (zh) 一种图像抓拍方法、监控相机及监控系统
CN110415344A (zh) 基于事件相机的运动补偿方法
CN104835163A (zh) 一种针对运动目标检测的嵌入式实时高速双目视觉系统
CN104089697A (zh) 一种基于线程池并发技术的实时在线的视觉振动测量方法
CN116486250A (zh) 一种基于嵌入式的多路图像采集与处理方法及系统
KR20180053668A (ko) 화소 빔을 나타내는 데이터를 생성하기 위한 방법 및 장치
CN101437171A (zh) 一种具有视频处理速度的三目立体视觉装置
CN203457245U (zh) 一种公安审讯系统
CN102611836B (zh) 一种基于Labview的高速图像采集方法
CN117934793A (zh) 多目同步行为学捕捉方法、系统及电子设备
CN112215036A (zh) 跨镜追踪方法、装置、设备及存储介质
CN105651861A (zh) 一种基于传感器融合的cpu散热器检测系统
CN101232580A (zh) 一种利用半透半反镜加倍图像采集速度的方法和装置
CN109688328A (zh) 一种基于不同点位摄像机的视频拼接融合及分割的方法和装置
WO2025129591A1 (zh) 多目同步行为学捕捉方法、系统及电子设备
CN106871783A (zh) 一种基于fpga的关节臂激光扫描测头激光光条图像采集系统
CN115598744A (zh) 一种基于微透镜阵列的高维光场事件相机及提取方法
CN105740450A (zh) 一种基于多台Kinect的3D人体姿态数据库构建方法
CN118424151B (zh) 多设备的测量方法、系统、电子设备及存储介质
CN209046794U (zh) 一种实时图像采集系统
CN209895383U (zh) 一种数字图像大数据的高速传输装置
CN204131656U (zh) 应用于增强现实系统的辅助图像处理装置
WO2024259938A1 (zh) 一种可行驶区域分割方法、装置、可读存储介质及机器人
CN116433708A (zh) 一种基于fpga的目标追踪方法与系统
CN112885102B (zh) 图像拍摄方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23961925

Country of ref document: EP

Kind code of ref document: A1