WO2010127475A1 - 基于分布式的图像处理方法和图像处理系统 - Google Patents

基于分布式的图像处理方法和图像处理系统 Download PDF

Info

Publication number
WO2010127475A1
WO2010127475A1 PCT/CN2009/001310 CN2009001310W WO2010127475A1 WO 2010127475 A1 WO2010127475 A1 WO 2010127475A1 CN 2009001310 W CN2009001310 W CN 2009001310W WO 2010127475 A1 WO2010127475 A1 WO 2010127475A1
Authority
WO
WIPO (PCT)
Prior art keywords
server
image
traffic forwarding
file
image data
Prior art date
Application number
PCT/CN2009/001310
Other languages
English (en)
French (fr)
Inventor
马轶
Original Assignee
北京锐安科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京锐安科技有限公司 filed Critical 北京锐安科技有限公司
Priority to US13/257,362 priority Critical patent/US20120042052A1/en
Priority to EP09844227A priority patent/EP2431939A1/en
Publication of WO2010127475A1 publication Critical patent/WO2010127475A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the invention belongs to the field of computer image processing, and particularly relates to a distributed large-flow image processing method and an image processing system. Background technique
  • a variety of image applications that have been introduced so far include face recognition in cameras, license plate recognition in highways, processing systems in access control systems, and fingerprint attendance machines.
  • the systems for realizing image processing in the prior art are all stand-alone versions, that is, a single computer is responsible for data acquisition and data processing. It is also because these applications need to process a small amount of data, so it can be implemented on a single computer or a single-chip microcomputer.
  • the present invention proposes a distributed large-volume image processing solution structure, which can increase the processing network bandwidth, increase the number of image processing devices, and quickly and efficiently solve the problem of increasing data volume. Summary of the invention
  • the present invention proposes a distributed image processing method and a distributed image processing system, which uses distributed information analysis to centrally process the analysis results, and can process large traffic in a short time. Data, resulting in image distributed processing results.
  • the distributed image processing method of the present invention includes steps -
  • the file server generates image data, and generates a unique ID for each image at the same time; uses the network communication protocol or the windows default sharing protocol to transmit the data to the next layer of the traffic forwarding server; and forwards the status of the server through the feedback of each traffic
  • the information is analyzed, and the server with the shortest queue to be processed is selected for transmission. If it is short, it can be sent to the first server that is sent to the queue in the shortest order.
  • the traffic forwarding server After receiving the data sent by the file server, the traffic forwarding server saves the ID of the image, and records and saves the data status information or the retransmission after the data is lost (for example, it can be determined that the processing fails if the retransmission is failed twice) .
  • the traffic forwarding server transmits image data to the next layer of image analysis server according to the interface and using the interface related protocol.
  • the data status information recorded and saved by the traffic forwarding server includes the time when the image data is received, from which The file server gets sent to which image analysis server, sent a few times, in order to get feedback after the results.
  • the image analysis server After receiving the data sent by the traffic forwarding server, the image analysis server performs data processing and analyzes the content defined by each image algorithm. The processing result information is fed back to the image analysis server according to the requirements of the interface and the protocol.
  • the traffic forwarding server receives the analysis result of the image analysis server, and feeds back the saved transmission state information query image data ID to the corresponding file server.
  • the file server After receiving the result of the traffic forwarding server, the file server stores the result or displays the interface.
  • the image state information is recorded and stored in the file server and the image analysis server, and each server periodically collects image state information and summarizes the state information into the server of the upper layer.
  • the file server records and saves the data status information or the retransmission after the data is lost (for example, it can be specified that if the processing is repeated twice, the processing fails).
  • the data status information recorded and saved by the file server includes the time of image data transmission, the image ID, which server is sent and assigned to the first few times, and after receiving the image processing result, the image data ID is queried for the saved transmission status information. Store the analysis results.
  • step 2) if the amount of data is relatively large, the image data is forwarded to the next-stage traffic forwarding server, and the image data is forwarded to the image analysis server by the next-stage traffic forwarding server, and each image is analyzed. Analyze the status information fed back by the server, and select the server with the shortest queue to be forwarded for forwarding.
  • the distributed image processing system proposed by the invention is a file server, a traffic forwarding server and an image analysis service axe from high to low, the file server and the traffic forwarding server, and the traffic forwarding server and image analysis.
  • the servers are connected by a socket interface of the Ethernet and tcpIP protocols; the file server is configured to generate image data; the traffic forwarding server is configured to distribute image data to the image analysis server; and the analysis result of the image analysis server is returned to the file.
  • the image analysis server is configured to analyze the image data and feed back to the traffic forwarding server.
  • the distributed image processing system proposed by the present invention includes a file server, a traffic forwarding server (including a high-level stream forwarding server and an underlying stream forwarding server in a large-scale application), and an image analysis server.
  • the system is roughly divided into three layers in the logical structure, and the file server is at the highest level, responsible for the generation of image data and the presentation of the final analysis results.
  • the traffic forwarding server is the second layer and is responsible for receiving, formatting, and distributing data, and feedback of analysis information and feedback of operational status.
  • the image analysis server is at the third level, responsible for receiving image data and performing data After the analysis and processing, feedback to the flow forwarding layer analysis results.
  • the servers of the present invention are connected to each other through an Ethernet network, and are mainly connected by a socket interface of the tcpIP protocol, and the tcpip protocol internally communicates by using a network communication protocol or a windows default sharing protocol. After the connection, the communication is maintained and the connection status is monitored. If the connection is disconnected, the connection is repeated.
  • the file server layer has two data interface methods:
  • File server active mode Actively initiated by the file server, when the file server generates image data, it is formatted according to the network transmission protocol or the communication protocol defined by the present invention, and transmitted to the traffic forwarding server; the traffic forwarding server will analyze the result according to the protocol. The specification is passed to the file server. The file server proceeds to the next step.
  • the file server of the present invention includes a file data processing method based on the Windows network default sharing protocol.
  • the traffic forwarding server is responsible for initiating, first connecting and logging in to the Windows network share of the file server, and then the traffic forwarding server obtains the image file generated by the file server according to the specified directory. Finally, the traffic forwarding server writes the processed data in a shared directory of the file server in the format of txt or xml.
  • the specific format of the file can be defined by the user according to the requirements and the degree of technical realization.
  • the present invention provides an image processing system for distributed splitting and stacking of traffic forwarding servers.
  • Distributed splitting includes horizontal splitting and vertical splitting:
  • the horizontal splitting is to perform file processing for one or several file servers by using multiple traffic forwarding servers. Specifically, different directories or IPs may be specified on the file server to distinguish them.
  • Vertical splitting divides the traffic forwarding server into a high-level traffic forwarding server and an underlying traffic forwarding server.
  • High-level traffic forwarding servers require high performance to complete file server data acquisition, formatting, transmission, and distribution.
  • the underlying traffic forwarding server can perform lower performance without data acquisition and formatting, but needs to complete the transmission and distribution of file server data files.
  • the image analysis server and the traffic forwarding server are added to increase the processing capability, and a high-level traffic forwarding server for implementing image data transmission and distribution is added, and the network speed of the layer-by-layer traffic forwarding server is required to be higher than the resource saturation condition.
  • the underlying traffic forwarding server has a large amount of transmission; the service
  • the data distribution capability of the device is correspondingly high, similar to the function of the router. In the carrier-class application, the speed can fully meet the requirements of the maximum image processing amount. In practice, horizontal split vertical splitting can be used at the same time.
  • the processed image data is larger, it can be implemented only by stacking in the upper stream forwarding server part.
  • the left side is a set of servers that handle data processing.
  • On the right is an integrated solution with a smaller amount of data.
  • the file server is connected to the traffic forwarding server, and the traffic forwarding server is connected to the image analysis server.
  • the file server is configured to generate an image file and send the image file to the traffic forwarding server.
  • the traffic forwarding server configures the IP and port of the image analysis server for The image file to be analyzed is formatted by a network protocol, assigned an ID, and distributed to an image analysis server; and configured with an IP, port, and file directory of the file server for returning image analysis results to the file server; the image analysis server Obtain the image data packet distributed by the traffic forwarding server, analyze the image data, and return the analysis result to the traffic forwarding server, as shown in Figure 3.
  • the files are obtained, formatted and distributed to the working images in the system by the traffic forwarding server in the default Windows sharing mode. Analysis server. After the image analysis server is powered on, the image analysis program is automatically started, and continues to run, waiting to process the image data distributed by the traffic forwarding server at any time, and the image analysis server according to the set data receiving mode (for example, it can poll the new directory of the file server to poll the new one. The file, if there is a new file, is transferred and analyzed.
  • the image file After receiving the image data, the image file is analyzed by the image algorithm to identify the information of interest (there are different aspects of attention depending on the application, such as filtering of pornographic information, etc.)
  • the image data, and the analysis results (such as: whether the results of the erotic images) are returned to the traffic forwarding server in the form of an analysis report.
  • the traffic forwarding server returns the analysis result to the presentation module on the file server for presentation according to the received analysis report.
  • the specific content of the presentation module can be defined by algorithms and applications in the application domain.
  • the data transmission protocol of the present invention fully supports custom field expansion and completes the entire process of image processing.
  • the state monitoring function of the image processing system of the present invention provides the monitoring interface of the traffic forwarding server and the image analysis server by setting the image analysis server IP and port in the traffic forwarding server, and can monitor the local and the current level responsible for traffic forwarding.
  • the running status of the server including CPU, memory, hard disk usage and other information.
  • the information is sent by the subordinate machine to the corresponding traffic forwarding server in the format required by the network protocol.
  • the traffic forwarding server at the ⁇ layer collects more information about the running status of the lower layer.
  • the module provides the results of the analysis.
  • the file server includes a file module and a presentation module, the file module is configured to generate an image, and the image processed result is stored, and the presentation module is configured to display the image processed result.
  • the traffic forwarding server includes a formatting module and a transmission distribution module, and the formatting module is configured to format the image file received from the file server into a file identified by the image analysis server, format the analysis result, and return the result to the traffic forwarding server.
  • the transmission distribution module is configured to distribute and transmit the image file to the image analysis server.
  • the image analysis server is used to perform analysis processing functions of the image data.
  • the method for formatting an image file in the formatting module of the present invention is: reading an image file from a specified file server, and formatting and transmitting the file suffix name and file content according to a network transmission protocol.
  • the optimization principle for distributing an image file to an image analysis server in the present invention is to wait for the processing queue length to select the shortest queue to schedule the task according to the image analysis server feedback.
  • an operation status monitoring module is also set in each layer traffic forwarding server.
  • Each layer of traffic forwarding server provides users with a unified status monitoring interface for each part of the system, and detects real-time information about the operating status of the subordinate systems.
  • the present invention maximizes the use of computer and network resources to efficiently perform complex image calculations.
  • the configuration structure of the invention is flexible and convenient, and is suitable for distributed processing of large-flow images, and improves computational power and processing capability.
  • FIG. 1 Sequence diagram of the system status monitoring operation.
  • FIG. 4 Schematic diagram of the system processing large-flow image data
  • the traffic forwarding server actively takes image data from a directory of the file server, and stores the processed result in a specified directory on the file server.
  • the detailed flow of the image processing method of the file server passive mode is given below:
  • the traffic forwarding server acquires the image file on the file server, formats the acquired image file according to the network transmission protocol, assigns an ID to each image file, and packages the image file package according to the waiting processing queue fed back by the image analysis server. Length, select the shortest queue to schedule the task's optimization principle and distribute it to the image analysis service
  • the image analysis server analyzes the received image data packet and packages the analysis result back to the traffic forwarding server.
  • the traffic forwarding server formats the image analysis result and returns the image analysis result file to the specified directory of the file server for image processing.
  • the image processing system structure of the present invention when the amount of data is large, includes a plurality of file servers, an image analysis server, an underlying traffic forwarding server, and a high-level traffic forwarding server, wherein
  • the number of image analysis servers is obtained by dividing the number of pictures that the target needs to process per second by the number of sheets processed per second by each image processor.
  • the number of the underlying traffic forwarding servers is obtained by dividing the number of image analysis servers by the number of image analysis servers processed by each traffic forwarding server, and the bottom traffic analysis server includes a formatting module and a transmission distribution module for completing images. The ability to format, transfer, and distribute data.
  • the high-level traffic forwarding server is configured to implement data transmission and distribution of image data.
  • the file server is connected to the upper-layer traffic forwarding server; the upper-layer traffic forwarding server is connected to the plurality of underlying traffic forwarding servers through the router or directly connected to the image analysis server; and the underlying traffic forwarding server is connected to the image analysis server through the router.
  • the router traffic connecting the Layer 2 traffic forwarding server and the underlying traffic forwarding server is larger than the router traffic connecting the underlying traffic forwarding server and the image analysis server.
  • the amount of image data to be processed is 1000 sheets per second, and each image analysis server can process 10 sheets per second, and each of the flow forwarding servers can support data formatting and forwarding tasks of 10 image analysis servers.
  • 100 image analysis servers and 10 underlying traffic forwarding servers are required.
  • a Gigabit traffic router is connected to the upper layer traffic forwarding server and the lower layer traffic forwarding server;
  • the bottom-level traffic forwarding server and the image analysis server are 100 Mbps traffic routers.
  • the high-level traffic forwarding server in the image processing system does not need to format the data, and only needs to transmit and distribute the data. Therefore, the network speed of this part of the server requires a larger amount of transmission than the underlying traffic forwarding server under the condition of resource saturation.
  • the server's data distribution capabilities are correspondingly high, similar to the capabilities of routers, and in carrier-grade applications, the speed is fully capable of meeting the maximum image processing requirements.
  • the image processing system of the present invention also sets an operational status monitoring module in each layer of the traffic forwarding server.
  • Each layer of the traffic forwarding server provides the user with a unified status monitoring interface for each part of the system. It can detect real-time information about the running status of the subordinate system: including running time, running status, number of processed data, number of data being processed, cpu usage rate, Hard disk usage, network usage, etc.
  • the specific operation flow chart 4 is shown.
  • the network communication protocol for file transfer can realize large-scale image processing, and the present invention provides a communication protocol capable of completing an image distributed processing more quickly.
  • image data image analysis results (ie, analysis reports), system operation status data (ie, status reports), and specific data transmission protocols are shown in Table 1 - Table 1 Data Transmission Protocol
  • the data transmission protocol is specifically described below, and the image data transmitted in the system has a unique identifier]: D, ID generation different servers are prefixed by different server program categories, prefixed with different IPs themselves, and the random numbers generated by themselves are different. Different types of transmission data segments have different contents.
  • DataSource tag Indicates the IP of the image data source file server
  • Ext tag indicates the extension of the image data
  • ExtensionString field is the data of the image analysis result.
  • the format is a string-to-byte array, which is expressed as follows:
  • DatalD tag Indicates the ID of the image data corresponding to the analysis report.
  • EEL tags, FLG tags, and OCR tags are the research and presentation content defined by the user in the presentation module.
  • 2: Status Report The ExtensionString field is the data of the system running status, and the format is as follows:
  • IP label indicates the local host IP address
  • TaskProcessed tag indicates the number of tasks processed
  • TaskProcessing tag indicates the number of tasks to be processed
  • AppState tag system running status
  • HostState tag Host running status
  • NetState tag network transmission status
  • Time tag Indicates the system running time, in seconds (S);
  • CPU label indicates the CPU usage of the host
  • RAM tag indicates the host memory usage rate
  • Disk label indicates the highest usage rate in each partition of the hard disk
  • NetFlux tag Represents network traffic in megabytes per second (MB/s); IBuffer tag: indicates the usage rate of the system input buffer;
  • OBuffer tag Indicates the usage rate of the system output buffer.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Description

基于分布式的图像处理方法和图像处理系统 技术领域
本发明属于计算机图像处理领域，具体涉及到基于分布式的大流量图像处理方法和 图像处理系统。 背景技术
目前已经面世的多种图像应用主要有， 照相机中的人脸识别， 高速公路中的车牌识 别， 门禁系统中的处理系统， 指紋考勤机等多种设备。 现有技术中实现图像处理的系统 都是单机版本， 即单台电脑负责数据采集， 数据处理。 也是由于这些应用本身需要处理 的数据量小， 因此可以在一台电脑上， 或者是单片机上就可以实现。
但是对于更加庞大数据量的应用需求， 单机的解决方案就难以支撑， 因为单台电脑 的处理能力总是有限的。 因此本发明提出一种基于分布式的大数据量图像处理解决结 构， 可以通过增加处理网络带宽， 增加图像处理设备的数量， 快速高效的解决数据量增 大的问题。 发明内容
针对上述问题，本发明提出一种基于分布式的图像处理方法和一种基于分布式的图 像处理系统， 釆用分布式信息分析， 集中处理分析结果的系统架构， 能够在短时间内处 理大流量数据， 得出图像分布式处理结果。
为实现上述目的， 如图 1所示， 本发明的基于分布式的图像处理方法， 包括步骤-
1 ) 文件服务器生成图像数据， 生成的同时对每一个图像赋予唯一 ID; 利用网络通 信协议或 windows默认共享协议， 将数据进行传输到下一层流量转发服务器； 通过反馈 的各个流量转发服务器的状态信息进行分析， 选取待处理队列最短的服务器进行发送， 如果都很短就可以发送到按顺序发到队列最短的第一个服务器。
2) 流量转发服务器接到文件服务器发送的数据后， 保存图像的 ID, 同时记录并保 存数据状态信息或数据丢失后的重发（如： 可以规定重发两次都处理失败则认为处理失 败）。 流量转发服务器按照接口及使用接口相关协议， 传输图像数据到下一层图像分析 服务器。流量转发服务器记录并保存的数据状态信息包括接收图像数据的时间， 从哪个 文件服务器获得， 发到哪个图像分析服务器， 第几次发送， 以便获得结果后的反馈。
3) 图像分析服务器接到流量转发服务器发送的数据后， 进行数据处理， 分析出各 项图像算法所定义的内容。按照接口与协议的要求将处理结果信息反馈回图像分析服务 器。
4) 流量转发服务器接收图像分析服务器的分析结果， 对保存的发送状态信息查询 图像数据 ID反馈给相应的文件服务器。
5) 文件服务器接收到流量转发服务器的结果后， 将结果进行存储， 或进行界面展 示。
进一步， 在文件服务器和图像分析服务器中记录保存图像状态信息， 各个服务器会 定期收集图像状态信息， 并把状态信息汇总到上一层的服务器中去。文件服务器同时记 录并保存数据状态信息或数据丢失后的重发（如： 可以规定重发两次都处理失败则认为 处理失败）。文件服务器记录并保存的数据状态信息包括图像数据传输的时间、图像 ID， 第几次发送和被分配到哪个服务器； 并在收到图像处理结果后， 对保存的发送状态信息 查询图像数据 ID, 存储分析结果。
进一步， 在上述步骤 2) 中， 若数据量比较大， 则会将图像数据转发到下一级流量 转发服务器， 由下一级流量转发服务器将图像数据转发到图像分析服务器上， 通过分析 各个图像分析服务器反馈的状态信息， 选取待处理队列最短的服务器进行转发。
本发明提出的基于分布式的图像处理系统， 从高到低逐层为文件服务器、流量转发 服务器和图像分析服斧器， 所述文件服务器与流量转发服务器之间， 及流量转发服务器 与图像分析服务器之间通过以太网和 tcpIP协议的 socket接口连接； 所述文件服务器 用于生成图像数据； 所述流量转发服务器用于分发图像数据到图像分析服务器； 并将图 像分析服务器的分析结果返回给文件服务器； 所述图像分析服务器用于分析图像数据， 并反馈给流量转发服务器。
1、 系统的逻辑结构：
本发明提出的基于分布式的图像处理系统包括文件服务器、流量转发服务器（包括 大规模应用时的高层流转发服务器和底层流转发服务器）和图像分析服务器。系统在逻 辑结构上大致分为三层， 文件服务器在最高层， 负责图像数据的生成与最后分析结果的 展现。流量转发服务器为第二层， 负责数据的接收、格式化、分发， 及分析信息的反馈， 运行状态的反馈等任务。 图像分析服务器在第三层， 负责接收图像数据并且对数据进行 分析处理后反馈给流量转发层分析结果。
2、 各服务器间接口：
本发明的各服务器之间通过以太网络连接硬件， 主要以 tcpIP协议的 socket接口 进行连接， tcpip协议内部再以网络通信协议或 windows默认共享协议进行通信。 连接 以后一直保持通信， 并监控连接状态， 如果连接断开程序会重复连接。
文件服务器层有两种数据接口方式：
1 )文件服务器主动方式： 由文件服务器主动发起， 当文件服务器产生图像数据时根 据网络传输协议或本发明定义的通信协议进行格式化， 传送给流量转发服务器； 流量转 发服务器会把分析结果按照协议规格传送给文件服务器。 文件服务器再进行下一步处 理。
2)文件服务器被动方式： 考虑到文件服务器的广泛性与易用性， 本发明的文件服务 器中包括 windows网络默认共享协议为基础的文件数据处理方式。由流量转发服务器负 责发起， 首先连接并登录到文件服务器的 windows网络共享， 然后流量转发服务器根据 指定的目录获取文件服务器生成的图像文件。最后流量转发服务器将处理完成的数据以 txt或 xml的格式写在文件服务器的共享目录中， 文件的具体格式可以由使用者根据需 求及技术实现程度自行定义。
3、 物理结构
在流量不大的情况下可以放在统一个以太网环境。 如果数据量需求大， 可以给流量 转发服务器安装双网卡。 分为不同的网段来进行数据传输。
4、 大流量扩展
在数据量更大的情况下，本发明给出对流量转发服务器进行分布式拆分与堆叠的图 像处理系统。 分布式拆分包括水平拆分和垂直拆分：
其中，水平拆分是使用多个流量转发服务器针对一个或几个文件服务器分别进行文 件处理， 具体可以在文件服务器上指定不同的目录或 IP以示区分。
垂直拆分是将流量转发服务器分为高层流量转发服务器和底层流量转发服务器。高 层流量转发服务器要求性能比较高， 要能完成文件服务器数据获取、格式化、 传输和分 发。底层的流量转发服务器可以性能较低不需要对数据获取和格式化， 但需要完成文件 服务器数据文件的传输和分发。 增加图像分析服务器和流量转发服务器来增大处理能 力， 并增加一台用于实现图像数据传输和分发的高层流量转发服务器， 所述髙层流量转 发服务器的网络速度在资源饱和的条件下要求比底层流量转发服务器的传输量大；服务 器的数据分发能力相应要高， 类似路由器的功能， 在电信级的应用中速度已经完全能够 满足最大图像处理量的要求。 在实际中可以同时使用水平拆分垂直拆分。
如果处理的图像数据更大， 则仅需在高层流转发服务器部分进行堆叠就可实现。如 图 4所示， 左侧为一组打数据处理量的服务器。 右侧为更加数据量较小时的整合方案。
5、 运行过程
文件服务器连接流量转发服务器， 流量转发服务器与图像分析服务器连接， 所述文 件服务器用于生成图像文件， 并发给流量转发服务器； 所述流量转发服务器中配置图像 分析服务器的 IP和端口， 用于将需要分析的图像文件通过网络协议进行格式化， 赋予 ID, 分发给图像分析服务器； 并配置文件服务器的 IP， 端口和文件目录， 用于将图像分 析结果返回到文件服务器中；所述图像分析服务器获取流量转发服务器分发的图像数据 包， 分析图像数据， 并将分析结果返回给流量转发服务器， 如图 3所示。
在文件服务器上生成图像或视频文件， 并按照时间顺序存储， 对需要分析的图像或 视频文件， 以 windows默认共享方式由流量转发服务器将文件获取， 格式化并分发给系 统中处于工作状态的图像分析服务器。 图像分析服务器开机后就自动启动图像分析程 序， 并且持续运行， 随时等待处理流量转发服务器分发的图像数据， 图像分析服务器按 照设定的数据接收方式（如可以到文件服务器的固定目录去轮询新文件， 如果存在新文 件就进行转移并分析）接收到图像数据后， 通过图像算法分析接收到的图像文件， 识别 含有关注信息 （随应用不同会有不同的关注方面， 如色情信息的过滤等） 的图像数据， 并将分析结果（如： 是否色情图片的判断结果） 以分析报告的形式返回给流量转发服务 器。流量转发服务器依据接收的分析报告， 将分析结果返回给文件服务器上的展现模块 进行展现。展现模块的具体内容可由应用领域中的算法及应用进行定义， 本发明的数据 传输协议完全支持自定义字段扩展， 完成图像处理的全过程。
本发明图像处理系统的状态监控功能，'通过在流量转发服务器中的设置图像分析服 务器 IP及端口， 为用户提供流量转发服务器和图像分析服务器的监控界面， 可以监控 本机及本级负责流量转发的服务器的运行状态， 包括 CPU, 内存， 硬盘使用量等信息。 信息是由下属机器定时按照网络协议要求的格式发送到相应流量转发服务器上的。当层 级比较多时， 髙层的流量转发服务器会收集较多的下层运行状态信息。通过在文件分析 服务器中的设置流量转发服务器 IP，端口和文件目录，设置了文件服务器生成的图像如 何转发到流量转发服务器中，及处理后的信息如何通过流转发服务器发回为文件服务器 的展现模块提供分析结果。 本发明中， 文件服务器包括文件模块及展现模块， 文件模块用于生成图像， 并存储 图像处理后的结果， 展现模块用于展现图像处理后的结果。流量转发服务器包括格式化 模块和传输分发模块，所述格式化模块用于将从文件服务器中接收的图像文件格式化为 图像分析服务器识别的文件， 并将分析结果格式化后返回给流量转发服务器； 传输分发 模块用于将所述图像文件分发并传输到图像分析服务器中。图像分析服务器用于完成图 像数据的分析处理功能。
本发明的格式化模块中将图像文件格式化的方法为：从指定的文件服务器上读取图 像文件， 对文件后缀名及文件内容按照网络传输协议进行格式化后传输。
本发明中将图像文件分发到图像分析服务器的最优化原则是按照图像分析服务器 反馈， 等待处理队列长度选择最短队列来安排任务。
进一步， 还在各层流量转发服务器中设置运行状态监控模块。各层流量转发服务器 为用户提供系统各部分统一的状态监测界面， 检测浏览下属系统运行状态的实时信息。 本发明具有如下的优点和积极效果-
1. 本发明可最大化的使用计算机及网络资源， 髙效快速的完成复杂的图像计算。
2. 本发明的配置结构灵活方便， 适应于大流量的图像分布式处理， 并提高到了计 算能力及处理能力。 附图说明
图 1 本系统运行顺序图；
图 2 本系统状态监控运行顺序图。
图 3 本系统各服务器间的连接框架图；
图 4 本系统处理大流量图像数据的示意图； 具体实施方式
为了使本技术领域的人员更好的理解本发明，下面结合附图和具体实施例对本发明 作进一步的详细说明。
一、 本发明图像处理流程
如图 1所示， 流量转发服务器主动去文件服务器的某个目录取图像数据， 将处理后 的结果存放在文件服务器上的指定目录。 下面给出文件服务器被动方式的图像处理方法的详细流程：
1. 开启并连接各服务器。
2. 在 windows默认共享方式下，在流量转发服务器中配置文件服务器的 IP、端口和 文件目录； 流量转发服务器登陆文件服务器， 获取读写权限。
3. 在流量转发服务器中配置图像分析服务器的 IP,端口；与图像分析服务器建立连 接。
4. 流量转发服务器获取文件服务器上的图像文件，根据网络传输协议将获取的图像 文件格式化，对每个图像文件赋予 ID，进行打包； 并将图像文件包按照图像分析服务器 反馈的等待处理队列长度，选择最短队列来安排任务的最优化原则分发给图像分析服务
5. 图像分析服务器分析收到的图像数据包， 并将分析结果打包发回流量转发服务 器。
6. 流量转发服务器将图像分析结果格式化，并将图像分析结果文件返回到文件服务 器的指定目录中， 完成图像处理。
二、 本发明图像处理系统的结构
如图 4所示， 本实施例中给出在数据量很大时， 本发明的图像处理系统结构， 包括 多台文件服务器、 图像分析服务器和底层流量转发服务器及一台高层流量转发服务器， 其中，所述图像分析服务器的数量由目标需要每秒处理的图片张数除以每台图像处理机 的每秒处理张数获得。所述底层流量转发服务器的数量由图像分析服务器的数量除以每 台流量转发服务器处理的图像分析服务器台数获得，所述底层的流量分析服务器中包括 格式化模块和传输分发模块， 用于完成图像数据的格式化、传输和分发功能。 所述高层 流量转发服务器用于实现图像数据的数据进行传输和分发。
文件服务器连接高层流量转发服务器；所述高层流量转发服务器通过路由器连接多 台底层流量转发服务器或直接连接图像分析服务器；所述底层流量转发服务器通过路由 器连接图像分析服务器。理论上连接髙层流量转发服务器和底层流量转发服务器的路由 器流量比连接底层流量转发服务器和图像分析服务器的路由器流量大。
本实施例给出， 需要处理的图像数据量为每秒 1000张， 每台图像分析服务器每秒 可以处理 10张，每台流量转发服务器可以支持 10台图像分析服务器的数据格式化及转 发任务，则图像处理系统中需要 100台图像分析服务器、 10台底层流量转发服务器。本 实施例中给出连接高层流量转发服务器和底层流量转发服务器的为千兆流量路由器；连 接底层流量转发服务器和图像分析服务器的为百兆流量路由器。
图像处理系统中的高层流量转发服务器不需要进行数据的格式化，仅需要对数据进 行传输和分发。因此这部分服务器的网络速度在资源饱和的条件下要求比底层流量转发 服务器的传输量大。 服务器的数据分发能力相应要高， 类似路由器的功能， 在电信级的 应用中速度已经完全能够满足最大图像处理量的要求。 本发明的图像处理系统还在各层流量转发服务器中设置运行状态监控模块。 各层 流量转发服务器为用户提供系统各部分统一的状态监测界面，可以检测浏览下属系统运 行状态的实时信息： 包括运行时长， 运行状态， 处理数据个数， 正在处理数据个数， cpu 使用率， 硬盘使用率， 网络使用率等。 具体运行流程图 4所示。
三、 系统通信协议
用于文件传输的网络通信协议都可以实现大批量的图像处理， 本发明给出一种能够 更快速地完成图像分布式处理通信协议。通信协议中主要的传输数据类型有三种： 图像 数据、 图像分析结果 （即分析报告）、 系统运行状态数据（即状态报告）， 具体的数据传 输协议如表 1所示- 表 1 数据传输协议
Figure imgf000009_0001
下面具体说明数据传输协议，系统中传输的图像数据均有唯一的标识] :D， ID的生成 不同服务器以本身的服务器程序类别不同为前缀， 以本身不同 IP为前缀， 本身产生的 随机数不同， 不同类型的传输数据段内容不同。
0= 图像数据 ErtensionString字段是图像文件类型数据， 格式如下:
<DataSource>12.34.56.7</ DataSource xExt>JPG</Ext>
DataSource标签： 表示图像数据来源文件服务器的 IP
Ext标签： 表示图像数据的扩展名
可以扩展添加其他标签
标签间不存在嵌套关系
1：分析报告 ExtensionString字段是图像分析结果的数据，格式为字符串转字节数 组， 表示如下：
<DataID>1234567</DataIDxDataSource>12.34.56.7</ DataSource xEEL>23%</EEL>
<FLG>40%</FLGxOCR>你好 </OCR>
DatalD标签： 表示分析报告对应的图像数据的 ID
EEL标签、 FLG标签、 OCR标签均为用户在展现模块中定义的研究及展现内容。 2： 状态报告 ExtensionString字段是系统运行状态的数据， 格式如下：
<IP>192.168.0.123</IPxTasltProcessed>896</ TaskProcessed ><TaskProcessing>9</ TaskProcessing >
<CPU>46%</CPU><RAM>46%< RAM><Disk >46%</Disk xNetFlux>46%</NetFlux>
<IBuffer>46%</IBuffer><OBuffer>46%</OBuffer>
其中： IP标签： 表示本地主机 IP地址；
TaskProcessed标签： 表示已处理任务数；
TaskProcessing标签： 表示待处理任务数；
AppState标签： 系统运行状态；
HostState标签： 主机运行状态；
NetState标签： 网络传输状态；
Time标签： 表示系统运行时长， 以秒 （S) 为单位；
CPU标签： 表示主机 CPU使用率；
RAM标签： 表示主机内存使用率；
Disk标签： 表示硬盘各分区中最高使用率；
NetFlux标签： 表示网络流量， 以兆字节每秒 （MB/S) 为单位； IBuffer标签： 表示系统输入缓冲区的使用率；
OBuffer标签： 表示系统输出缓冲区的使用率。 尽管为说明.目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的 内容并据以实施， 但是本领域的技术人员可以理解： 在不脱离本发明及所附的权利要求 的精神和范围内， 各种替换、变化和修改都是可能的。 本发明不应局限于本说明书最佳 实施例和附图所公开的内容， 本发明要求保护的范围以权利要求书界定的范围为准。

Claims

权利要求书
1. 一种基于分布式的图像处理方法， 包括步骤：
1 )文件服务器生成图像数据， 每个图像数据设一 ID, 按照网络通信协议格式化后 发给流量转发服务器；
2)流量转发服务器获取图像数据， 记录并保存图像数据状态信息， 根据 ID将图像 数据分发给图像分析服务器；
3)图像分析服务器分析接收到的图像数据， 并将分析结果返回给流量转发服务器;
4) 流量转发服务器接收图像分析服务器的分析结果， 査询保存的图像数据状态信 息， 根据 ID将结果反馈给文件服务器；
5)文件服务器接收并存储分析结果， 完成图像处理。
2. 如权利要求 1所述的一种基于分布式的图像处理方法， 其特征在于： 所述流量转发 服务器保存的图像数据状态信息包括接收图像数据的时间， 发来图像数据的文件服务 器， 收到图像数据的图像分析服务器和第几次发送图像数据。
3. 如权利要求 1所述的一种基于分布式的图像处理方法， 其特征在于： 步骤 1 )的图像 数据包括所属文件服务器的 IP、 图像数据的扩展名、 图像数据是否可扩展。
4. 如权利要求 1所述的一种基于分布式的图像处理方法， 其特征在于： 步骤 2)中流量 转发服务器选择图像分析服务器反馈的最短等待处理队列， 分发图像数据。
5. 如权利要求 1所述的一种基于分布式的图像处理方法， 其特征在于： 所述步骤 1 )中 的流量转发服务器为高层流量转发服务器，高层流量转发服务器将图像文件分发到底层 流量转发服务器， 由底层流量转发服务器继续分发到图像分析服务器。
6. 一种基于分布式的图像处理系统， 从髙到低逐层为文件服务器、 流量转发服务器和 图像分析服务器， 所述文件服务器与流量转发服务器之间， 及流量转发服务器与图像分 析服务器之间通过以太网和 tcpIP协议的 socket接口连接；
所述文件服务器用于生成图像数据； 所述流量转发服务器用于分发图像数据到图像分析服务器；并将图像分析服务器的 分析结果返回给文件服务器；
所述图像分析服务器用于分析图像数据， 并反馈给流量转发服务器。
7. 如权利要求 6所述的一种基于分布式的图像处理系统， 其特征在于， 所述文件服务 器包括文件模块和展现模块， 其中文件模块用于生成图像文件， 并存储图像处理结果， 展现模块用于展现流量转发服务器返回给文件服务器的图像处理结果；所述流量转发模 块包括格式化模块和传输分发模块，其中格式化模块用于格式化图像文件为图像分析服 务器识别的文件； 传输分发模块用于分发传输图像文件到图像分析服务器。
8. 如权利要求 6所述的一种基于分布式的图像处理系统， 其特征在于， 所述系统包括 多台图像分析服务器和流量转发服务器，所述图像分析服务器的台数与需要处理的图片 数和图像分析服务器的处理速度相关；所述流量转发服务器的台数与所述图像分析服务 器的台数和每台流量转发服务器处理的图像分析服务器数相关。
9. 如权利要求 6或 8所述的一种基于分布式的图像处理系统， 其特征在于， 所述系统 还包括用于实现数据传输和分发功能的髙层流量转发服务器。
10. 如权利要求 9所述的一种基于分布式的图像处理系统， 其特征在于， 所述系统还在 各流量转发服务器中设置运行状态监控模块， 用于监控系统运行状态的实时信息。
PCT/CN2009/001310 2009-05-08 2009-11-24 基于分布式的图像处理方法和图像处理系统 WO2010127475A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/257,362 US20120042052A1 (en) 2009-05-08 2009-11-24 Distributed Image Processing Methods and Image Processing System
EP09844227A EP2431939A1 (en) 2009-05-08 2009-11-24 Distributed image processing method and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2009100837104A CN101551898B (zh) 2009-05-08 2009-05-08 基于分布式的图像处理方法和图像处理系统
CN200910083710.4 2009-05-08

Publications (1)

Publication Number Publication Date
WO2010127475A1 true WO2010127475A1 (zh) 2010-11-11

Family

ID=41156130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/001310 WO2010127475A1 (zh) 2009-05-08 2009-11-24 基于分布式的图像处理方法和图像处理系统

Country Status (4)

Country Link
US (1) US20120042052A1 (zh)
EP (1) EP2431939A1 (zh)
CN (1) CN101551898B (zh)
WO (1) WO2010127475A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830587A (zh) * 2019-11-14 2020-02-21 腾讯科技（深圳）有限公司 一种数据传输方法、装置、设备和存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551898B (zh) * 2009-05-08 2012-12-26 北京锐安科技有限公司 基于分布式的图像处理方法和图像处理系统
JP4901915B2 (ja) * 2009-06-18 2012-03-21 株式会社東芝 映像処理装置、処理ユニット及びｉｐアドレス管理方法
CN102196247B (zh) * 2011-05-06 2013-04-24 北京交通大学 用于铁路应急指挥的可控实时图像分发转发系统
CN102438230B (zh) * 2011-08-18 2014-08-20 宇龙计算机通信科技(深圳)有限公司 终端和数据业务处理方法
US9940972B2 (en) * 2013-08-15 2018-04-10 Cellular South, Inc. Video to data
CN105847415A (zh) * 2016-05-12 2016-08-10 广西尊达电子商务有限公司 一种分布式服务器系统
CN108391146B (zh) * 2018-03-19 2021-06-04 西安冠铭科技股份有限公司 多屏图像投屏的服务器、终端、系统及方法
CN114822782A (zh) * 2022-04-26 2022-07-29 武汉联影医疗科技有限公司 医学影像分析方法、系统、设备、介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605471A (zh) * 2003-07-29 2005-04-13 株式会社理光 图像形成装置、图像处理方法、图像处理程序和记录介质
JP2007135152A (ja) * 2005-11-14 2007-05-31 Akihiro Sakuma 動画データ配信システム
CN101004743A (zh) * 2006-01-21 2007-07-25 鸿富锦精密工业（深圳）有限公司 分布式文档转换系统及方法
CN101551898A (zh) * 2009-05-08 2009-10-07 北京锐安科技有限公司 基于分布式的图像处理方法和图像处理系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6490620B1 (en) * 1997-09-26 2002-12-03 Worldcom, Inc. Integrated proxy interface for web based broadband telecommunications management
AUPR678401A0 (en) * 2001-08-02 2001-08-23 Singfield, Christian Network image server
CA2636010A1 (en) * 2006-01-17 2007-07-17 Baker Hughes Inc SYSTEM AND METHOD FOR REMOTE DATA ACQUISITION AND DISTRIBUTION
US9565419B2 (en) * 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
CN101350098B (zh) * 2008-08-19 2012-01-04 黄建军 一种图像处理的方法、系统及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605471A (zh) * 2003-07-29 2005-04-13 株式会社理光 图像形成装置、图像处理方法、图像处理程序和记录介质
JP2007135152A (ja) * 2005-11-14 2007-05-31 Akihiro Sakuma 動画データ配信システム
CN101004743A (zh) * 2006-01-21 2007-07-25 鸿富锦精密工业（深圳）有限公司 分布式文档转换系统及方法
CN101551898A (zh) * 2009-05-08 2009-10-07 北京锐安科技有限公司 基于分布式的图像处理方法和图像处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830587A (zh) * 2019-11-14 2020-02-21 腾讯科技（深圳）有限公司 一种数据传输方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN101551898B (zh) 2012-12-26
CN101551898A (zh) 2009-10-07
EP2431939A1 (en) 2012-03-21
US20120042052A1 (en) 2012-02-16

Similar Documents

Publication Publication Date Title
WO2010127475A1 (zh) 基于分布式的图像处理方法和图像处理系统
US11128553B2 (en) Technologies for switching network traffic in a data center
CN105393220B (zh) 用于在集群系统中部署点状虚拟服务器的系统和方法
CN104620539B (zh) 用于通过集群支持snmp请求的系统和方法
CN110249596A (zh) 用于saas应用的基于qos的分类和优先级排序的学习技巧
WO2018045860A1 (zh) 一种挂载文件系统的方法、装置及设备
CN102754397A (zh) 信息处理装置和信息处理装置中的信息处理方法
WO2007021289A1 (en) Disaggregated resources and access methods
WO2011150645A1 (zh) 网站托管服务调度方法、应用访问处理方法、装置及系统
CN104284141B (zh) 视频监视系统
CN103152352A (zh) 一种基于云计算环境的全信息安全取证监听方法和系统
CN102970242B (zh) 一种实现负载均衡的方法
Dillon et al. Cyber-physical systems: Providing Quality of Service (QoS) in a heterogeneous systems-of-systems environment
CN102143218A (zh) web接入云体系结构及接入方法
CN107078936A (zh) 用于提供对传输层连接的mss值的细粒度控制的系统和方法
CN105511955A (zh) 用于一丛集运算系统的主装置、从属装置及其运算方法
US20160043910A1 (en) System and Method for Obtaining Deterministic Performance in Virtual Desktop System
CN106528308A (zh) 一种服务器传感器信息采集方法
Wang et al. An energy-efficient system on a programmable chip platform for cloud applications
US7966524B2 (en) Systems and methods for gathering and selectively synchronizing state information of at least one machine
US20050281286A1 (en) Storage structure and method utilizing multiple protocol processor units
US9641380B2 (en) Spanning tree protocol (STP) implementation on an event driven virtual link aggregation (vLAG) system
US11461211B1 (en) Method and system for provisioning workflows with data management services
US12040889B2 (en) Technologies for switching network traffic in a data center
CN111090503B (zh) 一种基于fpga芯片的高性价比云计算服务系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09844227

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13257362

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009844227

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE