WO2021251370A1 - 通信制御システム及び通信制御方法 - Google Patents

通信制御システム及び通信制御方法 Download PDF

Info

Publication number
WO2021251370A1
WO2021251370A1 PCT/JP2021/021719 JP2021021719W WO2021251370A1 WO 2021251370 A1 WO2021251370 A1 WO 2021251370A1 JP 2021021719 W JP2021021719 W JP 2021021719W WO 2021251370 A1 WO2021251370 A1 WO 2021251370A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication device
image
remaining amount
image frame
ack
Prior art date
Application number
PCT/JP2021/021719
Other languages
English (en)
French (fr)
Inventor
高裕 小石
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US18/008,772 priority Critical patent/US20230254482A1/en
Priority to JP2022530570A priority patent/JP7444253B2/ja
Publication of WO2021251370A1 publication Critical patent/WO2021251370A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present invention relates to a communication control system and a communication control method.
  • image frame data is transmitted from the first communication device (transmitting side) to the second communication device (reception side), and an ACK frame for the image frame data is returned from the second communication device to the first communication device. ..
  • the ACK frame is assigned a number corresponding to the received frame and returned to the sender.
  • Patent Document 1 discloses a data management server capable of analyzing an image processing result and / or image data transmitted from a photographing apparatus by using deep learning processing or the like. Further, Patent Document 2 discloses an image data amount reduction unit that calculates and extracts (trimms) a region suitable for performing recognition authentication processing by the image receiving device 20 from the selected image.
  • the image cannot be properly compressed on the transmitting side according to the remaining amount of the receiving buffer.
  • An object of the present invention is to provide a communication control system and a communication control method capable of appropriately performing image compression on the transmitting side according to the remaining amount of the reception buffer.
  • the communication control system is A communication control system that transmits image frame data from the first communication device to the second communication device.
  • the second communication device is A receive buffer for receiving image frame data from the first communication device, A reply unit that returns an ACK frame to the first communication device at a timing that reflects the remaining amount of the receive buffer, and a reply unit.
  • Equipped with The first communication device is An estimation unit that receives the ACK frame from the reply unit of the second communication device and estimates the remaining amount of the reception buffer of the second communication device from the reception time of the ACK frame.
  • An area specification part that specifies the part required for diagnosis from the image frame
  • a change unit that performs different image compression according to the estimated remaining amount of the receive buffer, except for the parts in the image frame that are necessary for the specified diagnosis.
  • a transmission unit that transmits image frame data from the first communication device to the second communication device, and To prepare for.
  • the communication control method is A communication control method for transmitting image frame data from a first communication device to a second communication device.
  • the image frame data from the first communication device is received by the reception buffer, and the image frame data is received.
  • the ACK frame is returned to the first communication device at the timing reflecting the remaining amount of the reception buffer, and the ACK frame is returned to the first communication device.
  • the ACK frame from the second communication device is received, and the remaining amount of the reception buffer of the second communication device is estimated from the reception time of the ACK frame.
  • Different image compressions are performed according to the estimated remaining amount of the receive buffer except for the parts in the image frame required for the specified diagnosis.
  • Image frame data is transmitted from the first communication device to the second communication device.
  • the image frame data can be appropriately compressed on the transmitting side according to the remaining amount of the receiving buffer, and as a result, the overflow of the receiving buffer can be suppressed.
  • FIG. It is a block diagram which shows the structure of the communication control system which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the communication control method which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the transmission packet frame format.
  • FIG. It is a block diagram which shows the structure of the receiving side communication apparatus which concerns on Embodiment 2.
  • FIG. It is a table which shows the transmission delay time according to the usage rate of a receive buffer.
  • FIG. 1 is a block diagram showing a configuration of a communication control system according to the first embodiment.
  • the communication control system 1 includes a first communication device 10 and a second communication device 20 connected to the first communication device 10 via a network (including wired and wireless).
  • a network including wired and wireless.
  • the first communication device 10 transmits image frame data to the second communication device 20
  • the second communication device 20 returns an ACK frame to the first communication device 10 in response to the received frame.
  • the second communication device 20 sends an ACK frame to the first communication device 10 at a timing that reflects the reception buffer 22 that receives the image frame data from the first communication device 10 and the remaining amount (or usage rate) of the reception buffer 22.
  • a reply unit 21 for replying is provided.
  • the first communication device 10 includes an estimation unit 11, an area designation unit 12, a change unit 13, and a transmission unit 14.
  • the estimation unit 11 receives an ACK frame from the reply unit 21 of the second communication device 20, and estimates the remaining amount (or usage rate) of the reception buffer 22 of the second communication device 20 from the reception time of the ACK frame.
  • the area designation unit 12 designates one or more points necessary for diagnosis from the image frame.
  • the changing unit 13 performs different image compression according to the estimated remaining amount (or usage rate) of the reception buffer except for the parts required for the designated diagnosis in the image frame.
  • the transmission unit 14 transmits image frame data from the first communication device 10 to the second communication device 20.
  • FIG. 2 is a flowchart showing a communication control method according to the first embodiment.
  • the communication control system 1 transmits image frame data from the first communication device 10 to the second communication device 20, and returns an ACK frame for the image frame data from the second communication device 20 to the first communication device 10.
  • the second communication device 20 receives the image frame data from the first communication device 10 in the reception buffer 22 (step S101).
  • the second communication device 20 returns an ACK frame to the first communication device 10 at an appropriate timing according to the remaining amount (or usage rate) of the reception buffer 22 (step S102). For example, as the remaining amount of the receive buffer becomes low (the usage rate of the receive buffer becomes high), the ACK frame can be returned at a later timing.
  • the first communication device 10 estimates the remaining amount (or usage rate) of the reception buffer from the reception time of the ACK frame from the second communication device 20 (step S103). A portion in the image frame required for diagnosis is specified (step S104). The first communication device 10 performs different image compression according to the estimated remaining amount (or usage rate) of the receive buffer except for the parts necessary for diagnosis (step S105). The first communication device 10 transmits image frame data to the second communication device 20 (step S106). After that, the process returns to step S101.
  • the image frame data can be appropriately compressed and transmitted according to the remaining amount (or usage rate) of the reception buffer, and as a result, the overflow of the reception buffer is suppressed. be able to.
  • Embodiment 2 The present invention relates to an diagnostic imaging system that remotely transmits and diagnoses uncompressed (RAW) images taken by a camera.
  • the conventional diagnostic imaging system has two main problems. The first problem is that the camera image data overflowing from the buffer is discarded in order to continue the image diagnosis operation even when the image reception buffer overflows in the image diagnosis system.
  • diagnostic imaging systems are designed to perform continuous and high-speed diagnostic processing, such as checking the appearance of products flowing on a conveyor belt. Therefore, even if the receive buffer is filled with data, image data for checking subsequent products is sent one after another. For this reason, it is necessary to continue the operation even if the data that does not fit is discarded.
  • the second problem is that in the above-mentioned diagnostic imaging system, in many cases, RAW images without information loss are used.
  • RAW images are generally used as evidence for diagnostic imaging, and processed to determine errors in the diagnostic imaging algorithm when an error occurs in the diagnostic imaging result. This is because it is necessary to confirm using no image.
  • FIG. 3 is a schematic diagram showing the configuration of the diagnostic imaging system according to the second embodiment.
  • the imaging unit 10a provided with a camera photographs products sequentially carried by a transport device 70 such as a belt conveyor, and transmits the captured image 50 to the diagnostic imaging unit 20a via a network.
  • the image diagnosis unit 20a is equipped with a high-precision image analysis program, can detect the feature amount of the product from the captured image 50, and can identify the defect of the product.
  • the image diagnosis system 1a normally performs diagnosis using RAW images, while appropriately reducing the amount of image data so as not to affect the diagnosis according to the status of the receive buffer. As a result, even when the remaining amount of the reception buffer is low, the image data is reliably transmitted to the diagnostic imaging system without discarding the image data, and the deterioration of the defect detection rate due to the missing image is prevented.
  • the diagnostic imaging system 1a monitors the congestion status of the transmission line in real time by using, for example, an ACK packet exchanged between the imaging unit (camera) 10a and the diagnostic imaging unit (host) 20.
  • the degree of color information reduction and color reduction by color clustering is adaptively changed according to the congestion situation. This prevents the inspection image from being lost due to the overflow of the reception buffer on the host side, and solves the decrease in the defective product detection rate of the diagnostic imaging system.
  • the diagnostic imaging system 1a according to the present embodiment is an example of the communication control system 1 according to the first embodiment.
  • FIG. 4 is a block diagram showing a configuration of a transmitting side communication device according to the second embodiment.
  • the transmitting side communication device 100 shows a functional block in the image capturing unit 10a.
  • the transmitting side communication device 100 can be realized by, for example, a processor such as a CPU (Central Processing Unit) and an information processing device including a memory.
  • the transmitting side communication device 100 includes a frame input buffer 101, an area designation unit 107, an image processing unit 102, an encoder 103, an Ether frame generation unit 104, an ACK reception time measurement unit 105, and an image quality control unit 106. Includes MAC / PHY111 and MAC / PHY112.
  • the MAC / PHY111 and MAC / PHY112 of the transmitting side communication device 100 are connected to the MAC / PHY211 and MAC / PHY212 of the receiving side communication device side via a link such as an Ethernet (registered trademark) link. ..
  • the frame input buffer 101 is a buffer for temporarily storing an image frame from a camera such as a video camera.
  • the area designation unit 107 can receive an image frame from the frame input buffer 101, determine a location in the image frame that may be necessary for subsequent image diagnosis, and designate an region of that location. Further, the area designation unit 107 is equipped with an image analysis program having a lower accuracy than the image diagnosis unit 20a, receives a control signal from the image quality control unit 106, and determines a portion necessary for image diagnosis and a portion unnecessary. You can judge.
  • the area designation unit 107 is equipped with an image analysis program of inference AI (artificial intelligence) such as deep learning.
  • the area designation unit 107 can extract one or a plurality of feature units (for example, feature units A, B, C) in an image frame that may be necessary for diagnosis.
  • the area designation unit 107 transmits an image in which a necessary portion and an unnecessary portion are discriminated to the image processing unit 102.
  • the area designation unit 107 may selectively specify the one with the higher priority as the remaining amount of the receive buffer decreases. ..
  • the image processing unit 102 receives the control signal from the image quality control unit 106, cuts out the parts unnecessary for diagnosis from the frame in which the parts necessary for diagnosis from the area designation unit 107 are designated, and performs color reduction processing. It is possible to perform various image processing such as performing.
  • the control signal from the image quality control unit 106 indicates, for example, a control signal according to the remaining amount of the reception buffer (details follow).
  • the encoder 103 receives the control signal from the image quality control unit 106, and encodes the data after the color reduction processing or the cutting process at an appropriate compression rate.
  • the control signal from the image quality control unit 106 indicates a control signal according to the remaining amount of the reception buffer (details follow).
  • a specific example of the modification unit 13 of the first embodiment may be the image processing unit 102 or the encoder 103.
  • the Ethernet frame generation unit 104 generates an Ethernet frame from a frame that has undergone various image processing such as color reduction processing, cutting processing, and encoding, and transmits the Ethernet frame to the receiving side communication device 200 via the MAC / PHY 112. Further, the Ether frame generation unit 104 notifies the ACK reception time measurement unit 105 of the transmission time of the Ether frame when the Ether frame is transmitted.
  • an diagnostic imaging system including a transmitting side communication device 100 and a receiving side communication device 200 uses and stores RAW images as evidence for diagnostic imaging in order to detect small defects to be inspected. Therefore, the image processing unit 102 and the encoder 103 in the transmission side communication device 100 shown in FIG. 4 do not perform the compression operation, but send the RAW image to the Ether frame generation unit 104 and transmit it to the host (reception side communication device 200). ..
  • FIG. 5 shows the transmission packet frame format.
  • the transmission packet frame 1000 includes a destination MAC 1010, a source MAC 1020, a header 1030, a frame data 1040, and an FCS (Frame Check Sequence) 1050.
  • a code (example: 0) indicating the compression rate is embedded in the header 1030 of the transmission packet frame 1000 by the Ether frame generation unit 104.
  • the FCS is an error detection code added to the data at the time of transmission in order to check whether or not an error has occurred in the data during communication.
  • FIG. 5 shows, but is not limited to, RAW (indicating uncompressed), low compression, medium compression, and high compression as the compression ratio. The compression ratio may be set more finely.
  • FIG. 6 is a block diagram showing a configuration of a receiving side communication device according to the second embodiment.
  • the receiving side communication device 200 is one functional block in the diagnostic imaging unit 20a.
  • the receiving side communication device 200 can be realized by, for example, an information processing device including a processor such as a CPU (Central Processing Unit) and a memory.
  • the information processing device may perform image diagnosis and the like.
  • the receiving side communication device 200 includes an Ethernet frame decomposition unit 202, a frame output buffer 203, a decode rate control unit 204, a decoder 205, and an ACK frame generation unit 206.
  • the Ethernet frame decomposition unit 202 of the receiving side communication device 200 receives a frame from the transmitting side communication device 100 via the MAC / PHY 212.
  • the Ethernet frame decomposition unit 202 interprets the contents of the received packet.
  • the decoding rate control unit 204 determines the decoding rate of the packet. Since the compression rate of the received packet is 0 now, the decode rate control unit 204 sets the decoder 205 to be uncompressed, and the decoder 205 does not perform the decoding operation, and the frame output buffer 203 (also referred to as a receive buffer in the present specification).
  • the inspection image is reconstructed by processing the received data of.
  • the ACK frame generation unit 206 generates an ACK frame for the received frame at a timing according to the usage rate of the frame output buffer 203, and returns the ACK frame to the transmitting side communication device 100 via the MAC / PHY 211.
  • the reply timing may be delayed stepwise according to the usage rate of the receive buffer (for example, 95%, 90, 85, 80 ... 0%) (transmission delay time in FIG. 7).
  • Ms can be set so that T 1 > T 2 > T 3 > T 4 > T 5 >...> T n).
  • the transmission delay time referred to here is a delay time from the generation of the ACK frame by the ACK frame generation unit 206 to the transmission in consideration of the usage rate of the reception buffer.
  • FIG. 8 shows an example of the ACK frame 2000.
  • the ACK frame 2000 includes a destination MAC 2010, a source MAC 2020, a header 2030, ACK 2040, and an FCS 2050.
  • a code (0) indicating the received compression rate is embedded in the header 2030 by the ACK frame generation unit 206.
  • the transmitting side communication device 100 sequentially receives ACK packets from the receiving side communication device 200.
  • the ACK reception time measurement unit 105 compares the transmission time indicated by the timing notification from the Ether frame generation unit 104 with the reception time (arrival time) of the ACK packet, and determines the difference, the ACK reception time. calculate.
  • the ACK reception time measuring unit 105 estimates the freeness of the frame output buffer 203 (also referred to as a reception buffer) of the receiving side communication device 200 based on the calculated reception time.
  • the ACK reception time measuring unit 105 estimates that if the ACK reception time is short, the free capacity of the reception buffer is large, and conversely, if the ACK reception time is long, the free capacity (remaining amount) of the reception buffer is small. be able to.
  • the ACK reception time measurement unit 105 provides the image quality control unit 106 with an estimation result regarding the free space of the reception buffer.
  • the image quality control unit 106 generates control signals for the area designation unit 107, the image processing unit 102, and the encoder 103 according to the estimated free capacity of the reception buffer. Specifically, the image quality control unit 106 determines the area designation method of the area designation unit 107 based on the free capacity of the reception buffer estimated from this reception time.
  • the area designation unit 107 has an inference AI. Generally, in order to make inference, it is necessary to generate a function called a network based on a large amount of training data. In order to generate an accurate network, it is necessary to perform a large amount of calculations on highly accurate learning data (there is no mistake as a teacher), so learning is performed by a host with large resources (imaging diagnostic unit 20a).
  • the diagnostic imaging system intends to form a feedback loop such as collecting highly accurate learning data and learning with more accurate training data.
  • the image quality control unit 106 determines the cutout process, the color reduction process (clustering) of the image processing unit 102, and the compression rate of the encoder 103 based on the free capacity of the reception buffer estimated from this reception time.
  • the image quality control unit 106 selects, for the image processing unit 102, no cutting process and no color clustering for the portion required for diagnosis by the area designation unit 107. Further, the image quality control unit 106 selects uncompressed for the encoder 103 for the portion required for diagnosis by the area designation unit 107. Further, when the estimated free space of the receive buffer has sufficient margin, the image quality control unit 106 cuts out the image processing unit 102 with respect to the locations other than those required for diagnosis by the area designation unit 107. No processing or no color clustering may be selected. also. If there is sufficient free space in the estimated receive buffer, the image quality control unit 106 selects uncompressed for the encoder 103 even in areas other than those required for diagnosis by the area specification unit 107. You may.
  • the ACK frame generation unit 206 transmits the ACK packet after waiting for a certain period of time. For example, as described above with reference to FIG. 7, the reply timing may be delayed stepwise according to the usage rate of the receive buffer (for example, 95, 90, 85, 80 ... 0).
  • the ACK reception time measuring unit 105 receives the ACK packet and measures the ACK reception time from the difference between the frame transmission time and the ACK reception time.
  • the ACK reception time measuring unit 105 estimates how much the reception buffer is filled from the reception time, and notifies the image quality control unit 106 of the estimated amount of free buffer.
  • the image quality control unit 106 is based on the estimated reception buffer usage rate except for the locations required for diagnosis by the area designation unit 107. Therefore, the area designation unit 107, the image processing unit 102, and the encoder 103 are appropriately controlled.
  • the image quality control unit 106 sets the color reduction processing by color clustering for the image processing unit 102 so that the buffer overflow does not occur.
  • the image quality control unit 106 can be set to reduce the color of the image from a size that can be received by the frame output buffer 203, for example, from full color to three colors or one color.
  • the image processing unit 102 performs color reduction processing based on the instructions of the image quality control unit 106.
  • FIG. 9 is a diagram showing an example of image processing according to the remaining amount of the receive buffer.
  • the image quality control unit 106 causes the image processing unit 102 or the image processing unit 102 or the image processing unit 102 to execute different image processing as described below according to the remaining amount of the reception buffer for the area determined by the area designation unit 107 that is unnecessary for diagnosis. It controls the encoder 103. For example, when the remaining amount of the reception buffer is equal to or less than the threshold value (30% in FIG. 9), the unnecessary area can be truncated. If the remaining amount of the receive buffer is less than the threshold value (70% in FIG. 9) and exceeds the threshold value (30% in FIG. 9), a color reduction process such as filling with one color is executed for the unnecessary area. You may.
  • the compression process may be performed at an appropriate compression rate so as to compress the unnecessary area to a low resolution.
  • the threshold value and the image processing example shown in FIG. 9 are merely examples, and the present invention is not limited thereto.
  • the area required for diagnosis is left as uncompressed data without image processing.
  • FIG. 10 is a table showing the compression rate according to the estimated remaining amount of the receive buffer.
  • the compression rate is set to increase as the remaining amount of the receive buffer decreases (the usage rate increases) (a ⁇ b ⁇ c ⁇ d ⁇ e ).
  • the image quality control unit 106 does not compress the image frame when the remaining amount of the reception buffer is equal to or more than the threshold value (for example, 90%) with respect to the unnecessary area, that is, when the reception buffer has sufficient free space. It may be set as follows.
  • the image quality control unit 106 applies to the unnecessary area.
  • it can be determined to be uncompressed image data (RAW data).
  • examples of the compression ratio set by the image quality control unit 106 include at least four stages of uncompressed (RAW data) low compression, medium compression, and high compression. However, it is not limited to this.
  • the encoder 103 compresses the image data to an appropriate size and the image data size using a lossy or reversible method.
  • a code eg: 1, 2 or 3 indicating the set compression rate is embedded in the header 1030 of the transmission packet frame 1000 by the Ether frame generation unit 104.
  • the area designation unit 107 detects, for example, A, B, and C at necessary locations in the image, and when they are prioritized as A> B> C, or when the remaining amount of the receive buffer is low, When only A is judged to be a necessary part for diagnosis and the remaining amount of the receive buffer is medium, A and B are judged to be necessary parts for diagnosis and the remaining amount of the receive buffer is large (sufficient margin). , A, B, and C may be determined to be necessary for diagnosis.
  • the diagnostic imaging system assumes that the pixels are not compressed in the parts required for diagnosis, there is no distortion in the parts required for learning from the viewpoint of learning data. It can be regarded as clean (highly accurate) data.
  • it is possible to generate a highly accurate network, and by forming a positive feedback loop as described above, a mechanism for updating performance while operating is realized. For example, if incorrect and distorted data including errors are mixed in learning, the accuracy of the network learned as a teacher will be reduced.
  • Such a problem can be solved by creating a relearning loop with the correct data without causing the buffer to overflow and destroy the data while observing the state of the buffer.
  • the diagnostic imaging system suppresses the overflow of the receive buffer even when the transmission line is congested due to the stagnation of processing on the host (reception side communication device) side. However, it becomes possible to transmit the captured image. This makes it possible to prevent a decrease in the defective product detection rate due to missing images.
  • the defective product rate detected from the color-reduced image or the compressed image is expected to be equal to or lower than the defective product detection rate detected from the RAW image, but at least all products can be inspected.
  • it has an advantage over conventional diagnostic imaging systems in that it is easy to estimate the timing of mixing defective products from the image size.
  • the first effect is the improvement of the defect detection rate in the diagnostic imaging system.
  • the reason is that the image data necessary for the diagnosis can be transmitted to the diagnosis side without causing the image reception buffer to overflow to the diagnosis device, so that the diagnosis for continuous images can be performed without omission.
  • the second effect is to improve the reliability of defect detection in the diagnostic imaging system.
  • the reason is, for example, if one out of 100 images is missing in the conventional system, it is not possible to know which one of the inspection targets is missing, and the remaining 99 good products are linked to which product. Because I don't know, the reliability of the diagnosis was reduced even for other good products. This is because 100% inspection can be realized without overflowing the reception buffer, so that all the inspection targets and images correspond to each other, and the diagnosis of good / bad can be trusted.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical discs), CD-ROMs (ReadOnlyMemory), CD-Rs, CD-R / W, DVD (DigitalVersatileDisc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (ProgrammableROM), EPROM (ErasablePROM), flash ROM, RAM (for example) RandomAccessMemory)) is included.
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) A communication control system that transmits image frame data from the first communication device to the second communication device.
  • the second communication device is A receive buffer for receiving image frame data from the first communication device,
  • a reply unit that returns an ACK frame to the first communication device at a timing that reflects the remaining amount of the receive buffer, and a reply unit.
  • Equipped with The first communication device is An estimation unit that receives the ACK frame from the reply unit of the second communication device and estimates the remaining amount of the reception buffer of the second communication device from the reception time of the ACK frame.
  • An area specification part that specifies the part required for diagnosis from the image frame, and A change unit that performs different image compression according to the estimated remaining amount of the receive buffer, except for the parts in the image frame that are necessary for the specified diagnosis.
  • a transmission unit that transmits image frame data from the first communication device to the second communication device, and A communication control system.
  • Appendix 2 The communication control system according to Appendix 1, wherein the changing unit performs truncation processing except for the necessary parts when the estimated remaining amount of the reception buffer is equal to or less than the threshold value.
  • Appendix 3) The communication control system according to Appendix 1 or 2, wherein the reply unit returns an ACK frame at a timing that is gradually delayed as the remaining amount of the receive buffer becomes low.
  • the modification unit compresses the image so that the compression ratio gradually increases as the remaining amount of the estimated reception buffer decreases, except for the parts required for the designated diagnosis.
  • the communication control system according to any one of the above. (Appendix 5)
  • the change unit does not perform image compression of the image frame when the estimated remaining amount of the receive buffer exceeds the threshold value except for the parts required for the specified diagnosis.
  • the communication control system described in. (Appendix 6) The communication control system according to any one of Supplementary note 1 to 5, wherein the change unit does not perform image compression of an image frame at a portion required for the designated diagnosis.
  • the change unit sets the image frame data as uncompressed image data except for the necessary parts, any one of Supplementary note 1 to 6.
  • the communication control system described in. (Appendix 8)
  • the estimation unit compares the transmission time of the image frame data from the transmission unit with the reception time of the ACK frame for the image frame data, calculates the ACK reception time, and calculates the ACK reception time from the calculated ACK reception time.
  • the communication control system according to any one of Supplementary note 1 to 7, which estimates the remaining amount of the receive buffer.
  • the image frame data from the first communication device is received by the reception buffer, and the image frame data is received.
  • the ACK frame is returned to the first communication device at the timing reflecting the remaining amount of the reception buffer, and the ACK frame is returned to the first communication device.
  • the ACK frame from the second communication device is received, and the remaining amount of the reception buffer of the second communication device is estimated from the reception time of the ACK frame. Specify the part required for diagnosis from the image frame, Different image compressions are performed according to the estimated remaining amount of the receive buffer except for the parts in the image frame required for the specified diagnosis.
  • Communication control system 1a Image diagnosis system 10 First communication device 10a Imaging unit 11 Estimating unit 12 Area designation unit 13 Changing unit 14 Transmission unit 20 Second communication device 20a Image diagnosis unit 21 Reply unit 22 Reception buffer 30 Image storage 50 Image 70 Transport device 100 Transmission side communication device 101 Frame input buffer 102 Image processing unit 103 Encoder 104 Ether frame generation unit 105 ACK reception time measurement unit 106 image quality control unit 107 area specification unit 111 MAC / PHY 112 MAC / PHY 200 Receiving side communication device 202 Ether frame decomposition unit 203 Frame output buffer 204 Decoding rate control unit 205 Decoder 206 ACK frame generation unit 211 MAC / PHY 212 MAC / PHY 1000 transmit packet frame 2000 receive packet frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

受信バッファの使用率に応じて、送信側で適切に画像フレームデータを圧縮でき、受信バッファの溢れを抑制することを目的とする。通信制御システム（１）は、第１通信装置（１０）から第２通信装置（２０）に画像フレームデータを送信する。第２通信装置（２０）は、第１通信装置からの画像フレームデータを受信する受信バッファ（２２）と、受信バッファの残量を反映したタイミングでＡＣＫフレームを第１通信装置に返信する返信部（２１）とを備える。第１通信装置（１０）は、第２通信装置の返信部からのＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から第２通信装置の受信バッファの残量を推定する推定部（１１）と、画像フレームから診断に必要な箇所を指定する領域指定部（１２）と、診断に必要な箇所以外について、推定された受信バッファの残量に応じて、異なる画像圧縮を行う変更部（１３）とを備える。

Description

通信制御システム及び通信制御方法
　本発明は、通信制御システム及び通信制御方法に関する。
　通信制御システムでは、第１通信装置（送信側）から第２通信装置（受信側）に画像フレームデータを送信し、当該画像フレームデータに対するＡＣＫフレームを第２通信装置から第１通信装置に返信する。ＡＣＫフレームは、受信したフレームに対応した番号を付けられ、送信側に返信される。これにより、送信側は、受信側での受信が失敗したことを知ることができ、場合によっては、当該画像フレームデータについて、再送を行うことができる。
　特許文献１には、撮影装置から送信された画像処理結果および／または画像データを、ディープラーニング処理などを用いて解析することができるデータ管理サーバが開示されている。また、特許文献２には、選択画像から画像受信装置２０で認識認証処理を行うのに好適な領域を算出して抽出（トリミング）する画像データ量削減部が開示されている。
特開２０１８－２００６８０号公報 特開２０１４－０２２９７０号公報
　しかしながら、上記のようなコンピュータシステムでは、受信バッファの残量に応じて、送信側で適切に画像圧縮を行うことはできない。
　本発明の目的は、受信バッファの残量に応じて、送信側で適切に画像圧縮を実行可能な通信制御システム、及び通信制御方法を提供することを目的とする。
　本発明の第１の態様にかかる通信制御システムは、
　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
　前記第２通信装置は、
　前記第１通信装置からの画像フレームデータを受信する受信バッファと、
　前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
を備え、
　前記第１通信装置は、
　前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定する推定部と、
　画像フレームから診断に必要な箇所を指定する領域指定部と、
　前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行う変更部と、
　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
を備える。
　本発明の第２の態様にかかる通信制御方法は、
　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
　前記第２通信装置において、
　前記第１通信装置からの画像フレームデータを受信バッファで受信し、
　前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
　前記第１通信装置において、
　前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定し、
　画像フレームから診断に必要な箇所を指定し、
　前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行い、
　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する。
　本発明によれば、受信バッファの残量に応じて、送信側で適切に画像フレームデータを圧縮でき、結果として、受信バッファの溢れを抑制することができる。
実施の形態１にかかる通信制御システムの構成を示すブロック図である。 実施の形態１にかかる通信制御方法を示すフローチャートである。 実施の形態２にかかる画像診断システムの構成を示す概略図である。 実施の形態２にかかる送信側通信装置の構成を示すブロック図である。 送信パケットフレームフォーマットの一例を示す図である。 実施の形態２にかかる受信側通信装置の構成を示すブロック図である。 受信バッファの使用率に応じた送信遅延時間を示すテーブルである。 受信パケットフレームフォーマットの一例を示す図である。 受信バッファの残量に応じた、画像処理例を示す図である。 推定された受信バッファ使用率に応じた圧縮率を示すテーブルである。
　実施の形態１
　以下、図面を参照して本発明の実施の形態について説明する。
　図１は、実施の形態１にかかる通信制御システムの構成を示すブロック図である。
　通信制御システム１は、第１通信装置１０と、第１通信装置１０とネットワーク（有線及び無線を含む）を介して接続された第２通信装置２０を備える。第１通信装置１０は、第２通信装置２０に画像フレームデータを送信すると、第２通信装置２０は、受信したフレームに対応してＡＣＫフレームを第１通信装置１０に返信する。
　第２通信装置２０は、第１通信装置１０からの画像フレームデータを受信する受信バッファ２２と、受信バッファ２２の残量（又は使用率）を反映したタイミングでＡＣＫフレームを第１通信装置１０に返信する返信部２１と、を備える。
　第１通信装置１０は、推定部１１、領域指定部１２、変更部１３および送信部１４を含む。推定部１１は、第２通信装置２０の返信部２１からＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から第２通信装置２０の受信バッファ２２の残量（又は使用率）を推定する。領域指定部１２は、画像フレームから診断に必要な１つ以上の箇所を指定する。変更部１３は、前記画像フレーム内の前記指定された診断に必要な箇所以外について、推定された受信バッファの残量（又は使用率）に応じて、異なる画像圧縮を行う。送信部１４は、第１通信装置１０から第２通信装置２０に画像フレームデータを送信する。
　図２は、実施の形態１にかかる通信制御方法を示すフローチャートである。
　通信制御システム１は、第１通信装置１０から第２通信装置２０に画像フレームデータを送信し、当該画像フレームデータに対するＡＣＫフレームを第２通信装置２０から第１通信装置１０に返信する。まず、第２通信装置２０は、第１通信装置１０からの画像フレームデータを受信バッファ２２で受信する（ステップＳ１０１）。第２通信装置２０は、受信バッファ２２の残量（又は使用率）に応じて、適切なタイミングでＡＣＫフレームを第１通信装置１０に返信する（ステップＳ１０２）。例えば、受信バッファの残量が少なくなる（受信バッファの使用率が高くなる）につれて、より遅くなるタイミングでＡＣＫフレームを返信することができる。
　第１通信装置１０は、第２通信装置２０からのＡＣＫフレームの受信時間から、受信バッファの残量（又は使用率）を推定する（ステップＳ１０３）。画像フレーム内の、診断に必要な箇所を指定する（ステップＳ１０４）。第１通信装置１０は、診断に必要な箇所以外について、受信バッファの推定された残量（又は使用率）に応じて、異なる画像圧縮を行う（ステップＳ１０５）。第１通信装置１０は、第２通信装置２０に画像フレームデータを送信する（ステップＳ１０６）。その後、処理は、ステップＳ１０１に戻る。
　これにより、本実施形態の通信制御システムによれば、受信バッファの残量（又は使用率）に応じて、適切に画像フレームデータを圧縮して送信でき、結果として、受信バッファの溢れを抑制することができる。
　実施の形態２
　本発明は、カメラで撮影した非圧縮（ＲＡＷ）画像を遠隔に伝送して診断する画像診断システムに関する。これまでの画像診断システムでは、主に２つの問題がある。第１の問題点は、画像診断システムにおいて画像受信バッファが溢れ出した場合も画像診断動作を継続するため、バッファから溢れ出したカメラ画像データを廃棄している点にある。
　その理由は、以下のとおりである。通常、画像診断システムは、例えばベルトコンベアを流れている製品の外観チェックなど、連続的かつ高速に診断処理を行うように設計されている。このため、受信バッファがデータで埋め尽くされていても、後続の製品をチェックするための画像データが次々と送られてくる。このため、入りきらないデータは廃棄してでも動作を継続する必要があるからである。
　第２の問題点は、上記のような画像診断システムにおいては、多くの場合、情報的に欠落のないＲＡＷ画像を利用している点にある。
　その理由は、一般的に画像診断のエビデンスとして、加工されていないＲＡＷ画像を使用しており、画像診断結果に誤りが発生した際、画像診断アルゴリズムの誤りを判断するためには、加工されていない画像を用いての確認が必要であるからである。
　図３は、実施の形態２にかかる画像診断システムの構成を示す概略図である。
　画像診断システム１ａにおいて、カメラを備えた画像撮影部１０ａは、ベルトコンベアなどの搬送装置７０により順次運ばれる製品を撮影し、撮影画像５０を、ネットワークを介して、画像診断部２０ａに送信する。画像診断部２０ａは、高精度な画像解析プログラムを搭載し、撮影画像５０から製品の特徴量を検出し、その製品の不良を識別することができる。
　画像診断システム１ａは、通常はＲＡＷ画像を使用して診断を行う一方、受信バッファの状況に応じて、画像データ量を診断に影響なきよう適切に削減する。それにより、受信バッファの残量が少ない状況であっても、画像データを廃棄することなく画像診断システムに確実に伝送し、画像欠落による不良検出率の悪化を防止する。
　本実施形態にかかる画像診断システム１ａは、例えば、画像撮影部（カメラ）１０ａと画像診断部（ホスト）２０との間でやり取りされるＡＣＫパケットを用いて、伝送路の輻輳状況をリアルタイムに監視し、輻輳状況に応じて色のクラスタリングによる色情報の削減と減色の程度を適応的に変更する。これにより、ホスト側の受信バッファ溢れによる検査画像の欠落を防ぎ、画像診断システムの不良品検出率の低下を解決する。なお、本実施形態にかかる画像診断システム１ａは、実施の形態１にかかる通信制御システム１の一例である。
　図４は、実施の形態２にかかる送信側通信装置の構成を示すブロック図である。
　送信側通信装置１００は、上記の画像撮影部１０ａ内の機能ブロックを示す。送信側通信装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、およびメモリを含む情報処理装置によって実現することができる。送信側通信装置１００は、図４に示すように、フレーム入力バッファ１０１、領域指定部１０７、画像処理部１０２、エンコーダ１０３、Ｅｔｈｅｒフレーム生成部１０４、ＡＣＫ受信時間測定部１０５、画質制御部１０６、ＭＡＣ／ＰＨＹ１１１、およびＭＡＣ／ＰＨＹ１１２を含む。なお、送信側通信装置１００のＭＡＣ／ＰＨＹ１１１、およびＭＡＣ／ＰＨＹ１１２は、イーサネット（登録商標）リンクなどのリンクを介して、受信側通信装置側のＭＡＣ／ＰＨＹ２１１、およびＭＡＣ／ＰＨＹ２１２と接続されている。
　フレーム入力バッファ１０１は、ビデオカメラ等のカメラからの画像フレームを一時的に格納するバッファである。領域指定部１０７は、フレーム入力バッファ１０１からの画像フレームを受け取り、当該画像フレーム内で、後続する画像診断に必要となり得る箇所を判断し、その箇所の領域を指定することができる。また、領域指定部１０７は、画像診断部２０ａに比べて低精度な画像解析プログラムを搭載し、画質制御部１０６からの制御信号を受信して、画像診断に必要な箇所と、不要な箇所を判断することができる。領域指定部１０７は、ディープラーニングなどの推論ＡＩ（artificial intelligence）の画像解析プログラムを搭載している。領域指定部１０７は、診断に必要となり得る画像フレーム内の１つ、又は複数の特徴部（例えば、特徴部Ａ、Ｂ、Ｃ）を抽出することができる。領域指定部１０７は、必要な部分と不要な部分を判別した画像を画像処理部１０２に送信する。特徴部Ａ、Ｂ、Ｃは、この順で優先順位付けされている場合、受信バッファの残量が少なくなるにつれて、領域指定部１０７は、優先順位の高いものを選択的に指定してもよい。
　画像処理部１０２は、画質制御部１０６からの制御信号を受信して、領域指定部１０７からの診断に必要な箇所が指定されたフレームに対して、診断に不要な箇所を切り取ったり、減色処理を行ったりするなどの各種画像処理を実行することができる。画質制御部１０６からの制御信号は、例えば、受信バッファの残量に応じた制御信号を示すものである（詳細は後続する）。
　エンコーダ１０３は、画質制御部１０６からの制御信号を受信して、減色処理又は切り出し処理を施された後のデータに対して、適切な圧縮率でエンコードを行う。画質制御部１０６からの制御信号は、受信バッファの残量に応じた制御信号を示すものである（詳細は後続する）。なお、実施の形態１の変更部１３の具体例が、画像処理部１０２又はエンコーダ１０３であり得る。
　Ｅｔｈｅｒフレーム生成部１０４は、減色処理、切り出し処理及びエンコードなどの各種画像処理が施されたフレームからＥｔｈｅｒフレームを生成し、ＭＡＣ／ＰＨＹ１１２を介して、受信側通信装置２００に送信する。また、Ｅｔｈｅｒフレーム生成部１０４は、Ｅｔｈｅｒフレーム送信時に、Ｅｔｈｅｒフレームの送信時刻をＡＣＫ受信時間測定部１０５に通知する。
　通常、送信側通信装置１００及び受信側通信装置２００を備える画像診断システムは、検査対象の細かな欠陥を検出するため、画像診断のエビデンスとしてＲＡＷ画像を使用し、保管する。このため、図４に示す送信側通信装置１００における画像処理部１０２及びエンコーダ１０３は圧縮動作を行わず、ＲＡＷ画像をＥｔｈｅｒフレーム生成部１０４へ送り、ホスト（受信側通信装置２００）へと送信する。
　図５は、送信パケットフレームフォーマットを示す。送信パケットフレーム１０００は、送信先ＭＡＣ１０１０、送信元ＭＡＣ１０２０、ヘッダ１０３０、フレームデータ１０４０、およびＦＣＳ（Frame Check Sequence）１０５０を含む。この場合、送信パケットフレーム１０００のヘッダ１０３０には、圧縮率を示すコード（例：０）がＥｔｈｅｒフレーム生成部１０４により埋め込まれる。なお、ＦＣＳは、通信途上でデータに誤りが生じていないか調べるため、送信時にデータに付加される誤り検出符号である。なお、図５では、圧縮率として、ＲＡＷ（非圧縮を示す）、低圧縮、中圧縮、及び高圧縮を示しているが、これらに限定されない。圧縮率は、より細かく設定してもよい。
　図６は、実施の形態２にかかる受信側通信装置の構成を示すブロック図である。
　受信側通信装置２００は、画像診断部２０ａ内の１つの機能ブロックである。受信側通信装置２００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、メモリを含む、情報処理装置などにより実現され得る。当該情報処理装置が画像診断等を行ってもよい。受信側通信装置２００は、Ｅｔｈｅｒフレーム分解部２０２、フレーム出力バッファ２０３、デコードレート制御部２０４、デコーダ２０５、およびＡＣＫフレーム生成部２０６を含む。
　図６で示す受信側通信装置２００では、受信側通信装置２００のＥｔｈｅｒフレーム分解部２０２は、ＭＡＣ／ＰＨＹ２１２を介して、送信側通信装置１００からフレームを受信する。Ｅｔｈｅｒフレーム分解部２０２が受信したパケットの内容を解釈する。また、デコードレート制御部２０４は、パケットのデコードレートを判定する。今受信パケットの圧縮率は０なので、デコードレート制御部２０４は、デコーダ２０５に非圧縮の設定を行い、デコーダ２０５はデコード動作を行わずにフレーム出力バッファ２０３（本明細書では受信バッファとも呼ばれる）の受信データを処理して検査画像を再構成する。ＡＣＫフレーム生成部２０６は、フレーム出力バッファ２０３の使用率に応じたタイミングで、受信したフレームに対するＡＣＫフレームを生成し、ＭＡＣ／ＰＨＹ２１１を介して送信側通信装置１００に返信する。
　フレーム出力バッファ２０３の残量（又は使用率）に応じたタイミングの例としては、例えば、残量が閾値未満（又は使用率が閾値以上）の場合は、ＡＣＫフレームを返信するタイミングを遅らせてもよい。より具体的には、受信バッファの使用率（例えば、９５％、９０、８５、８０・・・０％）に応じて、返信タイミングを段階的に遅らせてもよい（図７では、送信遅延時間（ｍｓ）は、Ｔ１＞Ｔ２＞Ｔ３＞Ｔ４＞Ｔ５＞・・・＞Ｔｎとなるように設定することができる）。なお、ここでいう送信遅延時間は、ＡＣＫフレーム生成部２０６が受信バッファの使用率を考慮して、ＡＣＫフレームを生成してから、送信するまでの遅延時間である。
　図８は、ＡＣＫフレーム２０００の一例を示す。ＡＣＫフレーム２０００は、送信先ＭＡＣ２０１０、送信元ＭＡＣ２０２０、ヘッダ２０３０、ＡＣＫ２０４０、およびＦＣＳ２０５０を含む。ＡＣＫフレーム２０００にはそのヘッダ２０３０に、受け取った圧縮率を示すコード（０）がＡＣＫフレーム生成部２０６により埋め込まれる。
　再び図４に戻って送信側通信装置１００についての説明を継続する。
　送信側通信装置１００は、受信側通信装置２００からＡＣＫパケットを順次受信する。
　送信側通信装置１００では、ＡＣＫ受信時間測定部１０５は、Ｅｔｈｅｒフレーム生成部１０４からのタイミング通知が示す送信時刻とＡＣＫパケットの受信時刻（到着時刻）を比較し、その差であるＡＣＫ受信時間を算出する。ＡＣＫ受信時間測定部１０５は、算出された受信時間に基づいて、受信側通信装置２００のフレーム出力バッファ２０３（受信バッファとも呼ばれる）の空き具合を推定する。すなわち、ＡＣＫ受信時間測定部１０５は、ＡＣＫ受信時間が短ければ、受信バッファの空き容量が大きく、逆に、ＡＣＫ受信時間が長くなると、受信バッファの空き容量（残量）が少ないものと推定することができる。ＡＣＫ受信時間測定部１０５は、受信バッファの空き容量に関する推定結果を、画質制御部１０６に提供する。
　画質制御部１０６は、推定された受信バッファの空き容量に応じて、領域指定部１０７、画像処理部１０２およびエンコーダ１０３に対する制御信号を生成する。具体的には、画質制御部１０６は、この受信時間から推定された受信バッファの空き容量に基づいて、領域指定部１０７の領域指定法を決定する。領域指定部１０７は、推論ＡＩを有する。一般的に、推論を行うためには多数の学習データを元にして、ネットワークと呼ばれる関数を生成する必要がある。精度の良いネットワークを生成するためには、精度が高い（教師として間違いがない）学習データに対して大量の演算を行うことが求められるので、リソースの大きいホスト（画像診断部２０ａ）にて学習を行い、これによって生成されたネットワークをエッジ（画像撮影部１０ａに含まれる送信側通信装置１００の領域指定部１０７）にフィードバックする。これにより、画像診断システムは、精度の高い学習データを収集し、更に精度の高い学習データで学習し、というようなフィードバックループを形成することを意図している。
　また、画質制御部１０６が、この受信時間から推定された受信バッファの空き容量に基づいて、画像処理部１０２の切り出し処理、減色処理（クラスタリング）、及びエンコーダ１０３の圧縮率を決定する。領域指定部１０７により診断に必要とされた箇所については、画質制御部１０６は画像処理部１０２に対して、切り出し処理無し、カラークラスタリング無し、を選択する。さらに、領域指定部１０７により診断に必要とされた箇所については、画質制御部１０６はエンコーダ１０３に対して、非圧縮を選択する。また、推定された受信バッファの空き容量に十分な余裕がある場合には、領域指定部１０７により診断に必要とされた箇所以外についても、画質制御部１０６は画像処理部１０２に対して、切り出し処理無し、カラークラスタリング無し、を選択してもよい。また。推定された受信バッファの空き容量に十分な余裕がある場合には、領域指定部１０７により診断に必要とされた箇所以外についても、画質制御部１０６はエンコーダ１０３に対して、非圧縮を選択してもよい。
　次に、伝送路に輻輳が発生している状態を想定する。伝送路に輻輳が発生している状態では、フレーム出力バッファ２０３に空き容量が足りない状態となり得る。この状態を検出した、ＡＣＫフレーム生成部２０６は、ＡＣＫパケットを一定時間待った後に送信する。例えば、図７を用いて前述したように、受信バッファの使用率（例えば、９５、９０、８５、８０・・・０）に応じて、返信タイミングを段階的に遅らせてもよい。ＡＣＫ受信時間測定部１０５は、ＡＣＫパケットを受け取り、フレームの送信時刻とＡＣＫ受信時刻との差からＡＣＫ受信時間を測定する。これにより、ＡＣＫ受信時間測定部１０５は、その受信時間から受信バッファがどの程度埋まっているかを推定し、推定される空きバッファの量を、画質制御部１０６に通知する。一般的に、カラー情報が多いほどこの情報を元とした画像検査処理の不良検出率は向上し、またエビデンスとしても有効となり得る。そのため、送信側通信装置１００は、できる限り、受信側通信装置２００にＲＡＷデータを送ることが好ましい。しかし、伝送路の輻輳状態になったことを示す通知を受けた場合、画質制御部１０６は、領域指定部１０７により診断に必要とされた箇所以外について、推定された受信バッファの使用率に基づいて、領域指定部１０７、画像処理部１０２およびエンコーダ１０３に対して、適切に制御を行う。
　画質制御部１０６は、バッファ溢れが発生しないよう画像処理部１０２に対して、カラークラスタリングによる減色処理を設定する。画質制御部１０６は、画像をフレーム出力バッファ２０３が受信可能なサイズ、例えばフルカラーから３色ないし１色等に減色するように設定することができる。画像処理部１０２は、画質制御部１０６の指示に基づいて、減色処理を行う。
　図９は、受信バッファの残量に応じた、画像処理例を示す図である。画質制御部１０６は、領域指定部１０７により判断された診断に不要な領域に対して、受信バッファの残量に応じて、以下のような異なる画像処理を実行するように、画像処理部１０２又はエンコーダ１０３を制御する。例えば、受信バッファの残量が閾値（図９では３０％）以下の場合、不要領域を切り捨てるように処理することができる。また、受信バッファの残量が閾値（図９では７０％）未満で、かつ閾値（図９では３０％）を超える場合、不要領域に対して、１色での塗りつぶしのような減色処理を実行してもよい。さらに、受信バッファの残量が閾値（図９では７０％）以上の場合、不要領域を低解像度に圧縮するように適切な圧縮率で圧縮処理を行ってもよい。なお、図９で示した閾値や画像処理例は単なる例示であり、本発明はこれらに限定されない。また、診断に必要な領域については、画像処理を行わず、非圧縮データのままとしている。
　また、画質制御部１０６は、エンコーダ１０３に対して、適切な圧縮率を決定する。図１０は、推定された受信バッファの残量に応じた圧縮率を示すテーブルである。圧縮率は、受信バッファの残量が少なくなる（使用率が高くなる）につれて、高くなるように設定されている（ａ＜ｂ＜ｃ＜ｄ＜ｅ・・）。また、画質制御部１０６は、不要領域に対して、受信バッファの残量が閾値以上（例えば、９０％）の場合は、すなわち、受信バッファに十分な空き容量がある場合、画像フレームを圧縮しないように設定してもよい。画質制御部１０６は、送信側通信装置１００が画像フレームを送信した当初など推定された受信バッファの残量が閾値以上の（受信バッファの使用率が閾値未満である）場合は、不要領域に対しても、非圧縮画像データ（ＲＡＷデータ）に決定することができる。なお、図５および図８に示すように、画質制御部１０６が設定する圧縮率の例としては、非圧縮（ＲＡＷデータ）低圧縮、中圧縮、および高圧縮の少なくとも４段階の圧縮率を含んでもよいが、これに限定されない。
　エンコーダ１０３は、適切なサイズまで画像データを、非可逆または可逆的手法を用いて画像データサイズを圧縮する。その場合、送信パケットフレーム１０００のヘッダ１０３０には、設定された圧縮率を示すコード（例：１、２又は３）がＥｔｈｅｒフレーム生成部１０４により埋め込まれる。
　領域指定部１０７は、例えば、画像の中で必要な箇所をＡ，Ｂ，Ｃを検出し、それらが、Ａ＞Ｂ＞Ｃと優先順位がついている場合、受信バッファの残量が少ない場合、Ａのみを診断に必要な箇所と判断し、受信バッファの残量が中の場合、Ａ，Ｂを診断に必要な箇所と判断し、受信バッファの残量が多い（十分に余裕がある）場合、Ａ，Ｂ、Ｃを診断に必要な箇所と判断してもよい。
　なお、本実施形態にかかる画像診断システムは、診断に必要な箇所は画素が圧縮されていないことを想定しているため、学習データの観点で見ると、学習に必要な箇所には歪みの無いきれい（精度の高い）なデータとみなすことができる。これを用いることで、精度の高いネットワークを生成することができ、上述したような、正のフィードバックループを形成することで、運用しながら性能をアップデートする仕組みを実現する。例えば、学習に際し誤りを含んだ正しくない歪んだデータが混じると、これを教師として学習したネットワークは精度が落ちる。バッファの状態を見ながらバッファ溢れをおこしデータを壊すことなく正しいデータで再学習のループを作ることで、このような問題を解決することができる。
　以上説明したように、本実施形態による画像診断システムはホスト（受信側通信装置）側の処理の停滞等により、伝送路に輻輳が発生した状態であっても、受信バッファ溢れを起こすことを抑制し、撮影画像を伝送することが可能となる。これにより画像欠落による不良品検出率の低下を防ぐことができる。なお、減色画像や圧縮画像から検出される不良品率は、ＲＡＷ画像から検出される不良品検出率と同等、または低下することが想定されるが、少なくとも全品検査が可能となる。また画像サイズから不良品混在のタイミングを想定することが容易となる点で、これまでの画像診断システムと比較し優位性がある。
　第１の効果は、画像診断システムにおける不良検出率の向上である。その理由は、診断装置に画像受信バッファ溢れをおこすことなく、診断側に診断に必要な画像データを伝送することで、連続した画像に対する診断を漏れなく行うことができるからである。
　第２の効果は、画像診断システムの不良検出の信頼性の向上である。その理由は、例えばこれまでのシステムでは１００枚中１枚の画像が欠落した場合、どの検査対象の１枚が欠落したかがわからず、残りの９９枚の良品がどの製品に紐づいているかわからないため、他の良品に対してもその診断の信頼性が低下していた。受信バッファ溢れをおこすことなく、全数検査が実現されることで、検査対象と画像が全数対応することとなり、良／不良の診断に信頼がおけるようになるからである。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２０年６月９日に出願された日本出願特願２０２０－１００１３９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
　前記第２通信装置は、
　前記第１通信装置からの画像フレームデータを受信する受信バッファと、
　前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
を備え、
　前記第１通信装置は、
　前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定する推定部と、
　画像フレームから診断に必要な箇所を指定する領域指定部と、
　前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行う変更部と、
　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
を備える、通信制御システム。
　（付記２）
　前記変更部は、前記推定された受信バッファの残量が閾値以下の場合、当該必要な箇所以外について、切り捨て処理を行う、付記１に記載の通信制御システム。
　（付記３）
　前記返信部は、前記受信バッファの残量が少なくなるにつれて、段階的により遅くなるタイミングでＡＣＫフレームを返信する、付記１又は２に記載の通信制御システム。
　（付記４）
　前記変更部は、前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量が少なくなるにつれて、段階的に圧縮率が高くなるように画像を圧縮する、付記１～３のいずれか一項に記載の通信制御システム。
　（付記５）
　前記変更部は、前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量が閾値を超える場合、画像フレームの画像圧縮を行わない、付記１～４のいずれか一項に記載の通信制御システム。
　（付記６）
　前記変更部は、前記指定された診断に必要な箇所について、画像フレームの画像圧縮を行わない、付記１～５のいずれか一項に記載の通信制御システム。
　（付記７）
　前記変更部は、前記推定された受信バッファの残量が閾値を超える場合は、当該必要な箇所以外について、前記画像フレームデータを非圧縮画像データに設定する、付記１～６のいずれか一項に記載の通信制御システム。
　（付記８）
　前記推定部は、前記送信部からの画像フレームデータの送信時刻と、当該画像フレームデータに対するＡＣＫフレームの受信時刻とを比較して、ＡＣＫ受信時間を算出して、当該算出されたＡＣＫ受信時間から前記受信バッファの残量を推定する、付記１～７のいずれか一項に記載の通信制御システム。
　（付記９）
　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
　前記第２通信装置において、
　前記第１通信装置からの画像フレームデータを受信バッファで受信し、
　前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
　前記第１通信装置において、
　前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定し、
　画像フレームから診断に必要な箇所を指定し、
　前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行い、
　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する、通信制御方法。
　１　通信制御システム
　１ａ　画像診断システム
　１０　第１通信装置
　１０ａ　画像撮影部　　
　１１　推定部
　１２　領域指定部
　１３　変更部
　１４　送信部
　２０　第２通信装置
　２０ａ　画像診断部
　２１　返信部
　２２　受信バッファ
　３０　画像ストレージ
　５０　画像
　７０　搬送装置
　１００　送信側通信装置
　１０１　フレーム入力バッファ
　１０２　画像処理部
　１０３　エンコーダ
　１０４　Ｅｔｈｅｒフレーム生成部
　１０５　ＡＣＫ受信時間測定部
　１０６　画質制御部
　１０７　領域指定部
　１１１　ＭＡＣ／ＰＨＹ
　１１２　ＭＡＣ／ＰＨＹ
　２００　受信側通信装置
　２０２　Ｅｔｈｅｒフレーム分解部
　２０３　フレーム出力バッファ
　２０４　デコードレート制御部
　２０５　デコーダ
　２０６　ＡＣＫフレーム生成部
　２１１　ＭＡＣ／ＰＨＹ
　２１２　ＭＡＣ／ＰＨＹ
　１０００　送信パケットフレーム
　２０００　受信パケットフレーム

Claims (9)

  1. 　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
    　前記第２通信装置は、
    　前記第１通信装置からの画像フレームデータを受信する受信バッファと、
    　前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信手段と、
    を備え、
    　前記第１通信装置は、
    　前記第２通信装置の前記返信手段からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定する推定手段と、
    　画像フレームから診断に必要な箇所を指定する領域指定手段と、
    　前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行う変更手段と、
    　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信手段と、
    を備える、通信制御システム。
  2. 　前記変更手段は、前記推定された受信バッファの残量が閾値以下の場合、当該必要な箇所以外について、切り捨て処理を行う、請求項１に記載の通信制御システム。
  3. 　前記返信手段は、前記受信バッファの残量が少なくなるにつれて、段階的により遅くなるタイミングでＡＣＫフレームを返信する、請求項１又は２に記載の通信制御システム。
  4. 　前記変更手段は、前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量が少なくなるにつれて、段階的に圧縮率が高くなるように画像を圧縮する、請求項１～３のいずれか一項に記載の通信制御システム。
  5. 　前記変更手段は、前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量が閾値を超える場合、画像フレームの画像圧縮を行わない、請求項１～４のいずれか一項に記載の通信制御システム。
  6. 　前記変更手段は、前記指定された診断に必要な箇所について、画像フレームの画像圧縮を行わない、請求項１～５のいずれか一項に記載の通信制御システム。
  7. 　前記変更手段は、前記推定された受信バッファの残量が閾値を超える場合は、当該必要な箇所以外について、前記画像フレームデータを非圧縮画像データに設定する、請求項１～６のいずれか一項に記載の通信制御システム。
  8. 　前記推定手段は、前記送信手段からの画像フレームデータの送信時刻と、当該画像フレームデータに対するＡＣＫフレームの受信時刻とを比較して、ＡＣＫ受信時間を算出して、当該算出されたＡＣＫ受信時間から前記受信バッファの残量を推定する、請求項１～７のいずれか一項に記載の通信制御システム。
  9. 　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
    　前記第２通信装置において、
    　前記第１通信装置からの画像フレームデータを受信バッファで受信し、
    　前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
    　前記第１通信装置において、
    　前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定し、
    　画像フレームから診断に必要な箇所を指定し、
    　前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行い、
    　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する、通信制御方法。
PCT/JP2021/021719 2020-06-09 2021-06-08 通信制御システム及び通信制御方法 WO2021251370A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/008,772 US20230254482A1 (en) 2020-06-09 2021-06-08 Communication control system and communication control method
JP2022530570A JP7444253B2 (ja) 2020-06-09 2021-06-08 通信制御システム及び通信制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020100139 2020-06-09
JP2020-100139 2020-06-09

Publications (1)

Publication Number Publication Date
WO2021251370A1 true WO2021251370A1 (ja) 2021-12-16

Family

ID=78845697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021719 WO2021251370A1 (ja) 2020-06-09 2021-06-08 通信制御システム及び通信制御方法

Country Status (3)

Country Link
US (1) US20230254482A1 (ja)
JP (1) JP7444253B2 (ja)
WO (1) WO2021251370A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6444680A (en) * 1987-08-13 1989-02-17 Ricoh Kk Data input processor
JPH06209926A (ja) * 1993-01-18 1994-08-02 Hitachi Ltd Ｘ線動画像撮影装置
JP2006080832A (ja) * 2004-09-09 2006-03-23 Mitsubishi Electric Corp 画像トランスコーダ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3668437B2 (ja) * 2001-05-24 2005-07-06 松下電器産業株式会社 基地局装置、無線通信システム及びパケット通信方法
JP2009049461A (ja) * 2007-08-13 2009-03-05 Toshiba Corp 無線通信装置
JPWO2016174884A1 (ja) * 2015-04-27 2018-02-15 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム
JP6142124B1 (ja) * 2016-11-30 2017-06-07 サイレックス・テクノロジー株式会社 無線通信装置、無線通信方法およびプログラム
JPWO2019097957A1 (ja) * 2017-11-20 2020-06-18 村田機械株式会社 通信装置の制御方法、及び、通信装置
US11469783B2 (en) * 2019-05-14 2022-10-11 Cypress Semiconductor Corporation Apparatus, systems, and methods for selecting a wireless device antenna for communication
US10805402B1 (en) * 2019-08-13 2020-10-13 International Business Machines Corporation Automated location verification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6444680A (en) * 1987-08-13 1989-02-17 Ricoh Kk Data input processor
JPH06209926A (ja) * 1993-01-18 1994-08-02 Hitachi Ltd Ｘ線動画像撮影装置
JP2006080832A (ja) * 2004-09-09 2006-03-23 Mitsubishi Electric Corp 画像トランスコーダ

Also Published As

Publication number Publication date
US20230254482A1 (en) 2023-08-10
JP7444253B2 (ja) 2024-03-06
JPWO2021251370A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
EP2482558B1 (en) Method, apparatus and system for evaluation of video transmission quality
US8566662B2 (en) Transmission apparatus, receiving apparatus, and method
CN1938972B (zh) 用于测量多媒体数据传输质量的方法和装置
US10306239B2 (en) Methods, source device, target device and analyser for managing video coding
US11968422B2 (en) Video stream fault detection
EP2347599B1 (en) Method and system for determining a quality value of a video stream
JP2001230809A (ja) 通信システム及び通信方法及び送信端末及び受信端末
US9019839B2 (en) Device, system, and method of monitoring fax relay
US11290131B2 (en) Bit error detection method and apparatus
WO2017198223A1 (zh) 视频质量评估的方法、装置和头端设备
EP3618402A1 (en) Identifying a change in network condition
US20120166670A1 (en) Transmitting apparatus, transmitting method, and program
EP2472800A1 (en) Transmitting apparatus, transmitting method, and program
US10440087B2 (en) Estimation of losses in a video stream
US9697328B2 (en) Transmission apparatus, transmission method, reception apparatus, reception method, and computer program
WO2021251370A1 (ja) 通信制御システム及び通信制御方法
EP2256991A1 (en) Method and device for determining types of packet loss in a communication network
WO2021182506A1 (ja) 通信制御システムおよび通信制御方法
WO2021182512A1 (ja) 通信制御システム及び通信制御方法
Zhao et al. Hybrid framework for no-reference video quality indication over LTE networks
KR20200025398A (ko) 비주기적 데이터 교환을 통한 연속 메시지 전송 시스템 및 방법
WO2024013936A1 (ja) 映像処理システム、映像処理装置及び映像処理方法
JP3587452B2 (ja) データ受信装置及びデータ受信制御方法
JP6888689B2 (ja) 送信装置、受信装置および映像配信方法
JP6253864B2 (ja) カメラおよび符号量制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21822206

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530570

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21822206

Country of ref document: EP

Kind code of ref document: A1