WO2021182512A1 - 通信制御システム及び通信制御方法 - Google Patents

通信制御システム及び通信制御方法 Download PDF

Info

Publication number
WO2021182512A1
WO2021182512A1 PCT/JP2021/009535 JP2021009535W WO2021182512A1 WO 2021182512 A1 WO2021182512 A1 WO 2021182512A1 JP 2021009535 W JP2021009535 W JP 2021009535W WO 2021182512 A1 WO2021182512 A1 WO 2021182512A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication device
image
usage rate
ack
frame data
Prior art date
Application number
PCT/JP2021/009535
Other languages
English (en)
French (fr)
Inventor
小石　高裕
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022507246A priority Critical patent/JPWO2021182512A1/ja
Priority to US17/801,128 priority patent/US20230077914A1/en
Publication of WO2021182512A1 publication Critical patent/WO2021182512A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Definitions

  • This disclosure relates to a communication control system and a communication control method.
  • image frame data is transmitted from the first communication device (transmitting side) to the second communication device (reception side), and an ACK frame for the image frame data is returned from the second communication device to the first communication device. ..
  • the ACK frame is assigned a number corresponding to the received frame and returned to the sender.
  • Patent Document 1 in a computer system in which one or more central processing units can be connected to a disk control device via a fiber channel, the disk control device communicates with the central processing unit.
  • a computer system that delays the transmission of a response frame to a frame received from the central processing unit when the multiplicity of exchanges, which is a series of transmission / reception sequences of commands and data to be executed, exceeds a set threshold value is disclosed. ing.
  • the image compression algorithm cannot be changed appropriately according to the usage rate of the receive buffer.
  • An object of the present disclosure is to provide a communication control system and a communication control method capable of appropriately changing the image compression algorithm according to the usage rate of the reception buffer.
  • the communication control system is A communication control system that transmits image frame data from the first communication device to the second communication device.
  • the second communication device is A receive buffer for receiving image frame data from the first communication device, and A reply unit that returns an ACK frame to the first communication device at a timing that reflects the usage rate of the receive buffer, and a reply unit.
  • the first communication device is An estimation unit that receives the ACK frame from the reply unit of the second communication device and estimates the usage rate of the reception buffer of the second communication device from the reception time of the ACK frame.
  • a change part that changes the image compression algorithm of the image frame data based on the estimated reception buffer usage rate, and A transmission unit that transmits image frame data from the first communication device to the second communication device, and To be equipped.
  • the communication control method is A communication control method for transmitting image frame data from a first communication device to a second communication device.
  • the image frame data from the first communication device is received by the reception buffer, and the image frame data is received.
  • An ACK frame is returned to the first communication device at a timing that reflects the usage rate of the receive buffer, and the ACK frame is returned to the first communication device.
  • the ACK frame from the second communication device is received, and the usage rate of the reception buffer of the second communication device is estimated from the reception time of the ACK frame. Based on the estimated receive buffer utilization, the data image compression algorithm was modified.
  • Image frame data is transmitted from the first communication device to the second communication device.
  • image frame data can be appropriately transmitted according to the usage rate of the reception buffer, and as a result, overflow of the reception buffer can be suppressed.
  • FIG. It is a block diagram which shows the structure of the communication control system which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the communication control method which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the transmission side communication apparatus which concerns on Embodiment 2.
  • FIG. It is a figure which shows an example of the transmission packet frame format.
  • FIG. It is a block diagram which shows the structure of the receiving side communication apparatus which concerns on Embodiment 2.
  • FIG. It is a table which shows the transmission delay time according to the usage rate of the receive buffer.
  • It is a table which shows the compression rate according to the estimated receive buffer usage rate.
  • It is a block diagram which shows the hardware configuration example of the transmitting side communication device and the receiving side communication device.
  • FIG. 1 is a block diagram showing a configuration of a communication control system according to the first embodiment.
  • the communication control system 1 includes a first communication device 10 and a second communication device 20 connected to the first communication device 10 via a network.
  • the first communication device 10 transmits image frame data to the second communication device 20
  • the second communication device 20 returns an ACK frame to the first communication device 10 in response to the received frame.
  • the second communication device 20 has a reception buffer 22 that receives image frame data from the first communication device 10, and a reply unit 21 that returns an ACK frame to the first communication device 10 at a timing that reflects the usage rate of the reception buffer 22. And.
  • the first communication device 10 includes an estimation unit 11, a change unit 12, and a transmission unit 13.
  • the estimation unit 11 receives an ACK frame from the reply unit 21 of the second communication device 20, and estimates the usage rate of the reception buffer 22 of the second communication device 20 from the reception time of the ACK frame.
  • the change unit 12 changes the data compression algorithm based on the estimated reception buffer usage rate.
  • the transmission unit 13 transmits image frame data from the first communication device 10 to the second communication device 20.
  • FIG. 2 is a flowchart showing a communication control method according to the first embodiment.
  • the communication control system 1 transmits image frame data from the first communication device 10 to the second communication device 20, and returns an ACK frame for the image frame data from the second communication device 20 to the first communication device 10.
  • the second communication device 20 receives the image frame data from the first communication device 10 in the reception buffer 22 (step S101).
  • the second communication device 20 returns an ACK frame to the first communication device 10 at an appropriate timing according to the usage rate of the reception buffer 22 (step S102). For example, as the reception buffer usage rate increases, the ACK frame can be returned at a later timing.
  • the first communication device 10 estimates the usage rate of the reception buffer from the reception time of the ACK frame from the second communication device 20 (step S103).
  • the first communication device 10 changes the image compression algorithm based on the estimated usage rate of the receive buffer (step S104).
  • the first communication device 10 transmits image frame data to the second communication device 20 (step S105). After that, the process returns to step S101.
  • the image frame data can be appropriately transmitted according to the usage rate of the reception buffer, and as a result, the overflow of the reception buffer can be suppressed.
  • Embodiment 2 The present disclosure relates to an diagnostic imaging system that remotely transmits and diagnoses uncompressed (RAW) images taken by a camera.
  • the conventional diagnostic imaging system has two main problems. The first problem is that the camera image data overflowing from the buffer is discarded in order to continue the image diagnosis operation even when the image reception buffer overflows in the image diagnosis system.
  • diagnostic imaging systems are designed to perform continuous and high-speed diagnostic processing, such as checking the appearance of products flowing on a conveyor belt. Therefore, even if the reception buffer is filled with data, image data for checking subsequent products is sent one after another. Therefore, it is necessary to continue the operation even if the data that does not fit is discarded.
  • the second problem is that in the above-mentioned diagnostic imaging system, in many cases, RAW images that are not missing information are used.
  • RAW images are generally used as evidence for diagnostic imaging, and processed to determine errors in the diagnostic imaging algorithm when an error occurs in the diagnostic imaging result. This is because it is necessary to confirm using a non-existent image.
  • the diagnostic imaging system normally uses RAW images for diagnosis, but appropriately reduces the amount of image data according to the status of the receive buffer so as not to affect the diagnostics. As a result, even when the remaining amount of the reception buffer is low, the image data is reliably transmitted to the diagnostic imaging system without discarding the image data, and the deterioration of the defect detection rate due to the missing image is prevented.
  • the diagnostic imaging system monitors the congestion status of the transmission line in real time by using, for example, an ACK packet exchanged between the camera and the host, and color information by color clustering according to the congestion status.
  • the degree of reduction and color reduction is adaptively changed. This prevents the inspection image from being lost due to the overflow of the reception buffer on the host side, and solves the decrease in the defective product detection rate of the diagnostic imaging system.
  • the diagnostic imaging system according to the present embodiment is an example of the communication control system 1 according to the first embodiment.
  • FIG. 3 is a block diagram showing a configuration of a transmitting side communication device according to the second embodiment.
  • the transmitting side communication device 100 can be realized by, for example, a processor such as a CPU (Central Processing Unit) and an information processing device including a memory.
  • the transmitting side communication device 100 is an example of the first communication device 10 according to the first embodiment.
  • the transmission side communication device 100 includes a frame input buffer 101, a color reduction processing unit 102, an encoder 103, an Ethernet frame generation unit 104, an ACK reception time measurement unit 105, an image quality control unit 106, a MAC / PHY 111, and the like. Includes MAC / PHY112.
  • the MAC / PHY111 and MAC / PHY112 of the transmitting side communication device 100 are connected to the MAC / PHY211 and MAC / PHY212 on the receiving side communication device side via a link such as an Ethernet (registered trademark) link. ..
  • the frame input buffer 101 is a buffer for temporarily storing image frames from a video camera or the like.
  • the color reduction processing unit 102 receives the control signal from the image quality control unit 106 and performs appropriate color reduction processing on the frame from the frame input buffer 101.
  • the encoder 103 receives the control signal from the image quality control unit 106, and encodes the data after the color reduction processing at an appropriate compression rate.
  • the Ethernet frame generation unit 104 generates an Ethernet frame from the frames that have undergone color reduction processing and encoded, and transmits the Ethernet frame to the receiving side communication device 200 via the MAC / PHY 112. Further, the Ethernet frame generation unit 104 notifies the ACK reception time measurement unit 105 of the transmission time of the Ethernet frame when the Ethernet frame is transmitted.
  • an diagnostic imaging system including a transmitting side communication device 100 and a receiving side communication device 200 uses and stores RAW images as evidence for diagnostic imaging in order to detect small defects to be inspected. Therefore, the color reduction processing unit 102 and the encoder 103 in the transmission side communication device 100 shown in FIG. 3 do not perform the compression operation, but send the RAW image to the Ethernet frame generation unit 104 and transmit it to the host (reception side communication device 200). ..
  • FIG. 4 shows the transmission packet frame format.
  • the transmission packet frame 1000 includes a destination MAC 1010, a source MAC 1020, a header 1030, frame data 1040, and an FCS (Frame Check Sequence) 1050.
  • a code (example: 0) indicating the compression ratio is embedded in the header 1030 of the transmission packet frame 1000 by the Ether frame generation unit 104.
  • the FCS is an error detection code added to the data at the time of transmission in order to check whether or not an error has occurred in the data during communication.
  • FIG. 4 shows RAW (indicating uncompressed), low compression, medium compression, and high compression as the compression ratio, but the compression ratio is not limited to these. The compression ratio may be set more finely.
  • FIG. 5 is a block diagram showing a configuration of a receiving side communication device according to the second embodiment.
  • the receiving side communication device 200 can be realized by, for example, an information processing device including a processor such as a CPU (Central Processing Unit) and a memory. The information processing device may perform image diagnosis and the like.
  • the receiving side communication device 200 is an example of the second communication device 20 according to the first embodiment.
  • the receiving side communication device 200 includes an Ethernet frame decomposition unit 202, a frame output buffer 203, a decoding rate control unit 204, a decoder 205, and an ACK frame generation unit 206.
  • the decoding rate control unit 204 determines the decoding rate of the packet. Since the compression rate of the received packet is 0 now, the decoding rate control unit 204 sets the decoder 205 to be uncompressed, and the decoder 205 does not perform a code operation and the frame output buffer 203 (also referred to as a reception buffer in the present specification). The inspection image is reconstructed by processing the received data of.
  • the ACK frame generation unit 206 generates an ACK frame for the received frame at a timing corresponding to the usage rate of the frame output buffer 203, and returns the ACK frame to the transmission side communication device 100.
  • the timing of returning the ACK frame may be delayed.
  • the reply timing may be delayed stepwise according to the usage rate of the receive buffer (for example, 95%, 90, 85, 80 ... 0%) (transmission delay time in FIG. 6).
  • Ms can be set so that T 1 > T 2 > T 3 > T 4 > T 5 >...> T n).
  • the transmission delay time referred to here is a delay time from the generation of the ACK frame by the ACK frame generation unit 206 to the transmission in consideration of the usage rate of the reception buffer.
  • FIG. 7 shows an example of the ACK frame 2000.
  • the ACK frame 2000 includes a destination MAC 2010, a source MAC 2020, a header 2030, ACK 2040, and an FCS 2050.
  • a code (0) indicating the received compression ratio is embedded in the header 2030 by the ACK frame generation unit 206.
  • the header indicates a receiving compression ratio indicating RAW (indicating uncompressed), low compression, medium compression, high compression, and the like.
  • the ACK reception time measurement unit 105 compares the transmission time indicated by the timing notification from the Ether frame generation unit 104 with the reception time (arrival time) of the ACK packet, and determines the difference, the ACK reception time. calculate.
  • the ACK reception time measuring unit 105 estimates the freeness of the frame output buffer 203 (also referred to as the reception buffer) of the receiving side communication device 200 based on the calculated reception time. That is, if the ACK reception time is short, the free space of the reception buffer is large, and conversely, if the ACK reception time is long, it can be estimated that the free space of the reception buffer is small.
  • the image quality control unit 106 generates a control signal for the color reduction processing unit 102 and the encoder 103 according to the estimated free space of the reception buffer. Specifically, the image quality control unit 106 determines the color reduction processing (clustering) of the color reduction processing unit 102 based on the free capacity of the reception buffer estimated from this reception time. Since the transmission line environment currently assumed is in a state where there is no congestion, the image quality control unit 106 selects no color clustering for the color reduction processing unit 102.
  • the ACK frame generation unit 206 transmits the ACK packet after waiting for a certain period of time.
  • the reply timing may be delayed stepwise according to the usage rate of the receive buffer (for example, 95, 90, 85, 80 ... 0).
  • the ACK reception time measuring unit 105 receives the ACK packet and measures the ACK reception time from the frame transmission time and the ACK reception time.
  • the ACK reception time measurement unit 105 estimates how much the reception buffer is filled from the reception time, and notifies the image quality control unit 106 of the estimated amount of free buffer.
  • the image control unit 106 when receiving a notification indicating that the transmission line has become congested, the image control unit 106 appropriately applies the color reduction processing unit 102 and the encoder 103 to the color reduction processing unit 102 and the encoder 103 based on the estimated usage rate of the reception buffer. Take control.
  • the image quality control unit 106 sets the color reduction processing by color clustering on the color reduction processing unit 102 so that the buffer does not overflow.
  • the image quality control unit 106 is set so that the image is reduced to a size that can be received by the frame output buffer 203, for example, from full color to three colors.
  • the color reduction processing unit 102 performs color reduction processing based on the instructions of the image quality control unit 106.
  • FIG. 8 is a table showing the compression rate according to the estimated usage rate of the receive buffer.
  • the compression rate is set to increase as the buffer usage rate increases (a> b> c> d> e ). Further, the image control unit 106 may be set not to compress the image frame when the usage rate of the reception buffer is less than the threshold value (for example, 50%).
  • the image quality control unit 106 can determine uncompressed image data (RAW data) when the estimated reception buffer usage rate is less than the threshold value, such as when the transmitting side communication device 100 transmits an image frame.
  • examples of the compression rate set by the image quality control unit 106 include at least four levels of compression rate of uncompressed (RAW data) low compression, medium compression, and high compression. However, it is not limited to this.
  • the encoder 103 compresses the image data to an appropriate size by using a lossy or reversible method.
  • a code (example: 1, 2 or 3) indicating the set compression rate is embedded in the header 1030 of the transmission packet frame 1000 by the Ether frame generation unit 104.
  • the diagnostic imaging system suppresses the overflow of the reception buffer even when the transmission line is congested due to the stagnation of processing on the host (reception side communication device) side. However, it becomes possible to transmit the captured image. This makes it possible to prevent a decrease in the defective product detection rate due to missing images.
  • the defective product rate detected from the reduced color image or the compressed image is expected to be equal to or lower than the defective product detection rate detected from the RAW image, but at least all products can be inspected.
  • it has an advantage over conventional diagnostic imaging systems in that it is easy to estimate the timing of mixing defective products from the image size.
  • the first effect is the improvement of the defect detection rate in the diagnostic imaging system.
  • the reason is that the image data necessary for the diagnosis can be transmitted to the diagnosis side without causing the image reception buffer to overflow to the diagnosis device, so that the diagnosis for continuous images can be performed without omission.
  • the second effect is to improve the reliability of defect detection in the diagnostic imaging system.
  • the reason is, for example, in the conventional system, if one out of 100 images is missing, it is not possible to know which one of the inspection targets is missing, and the remaining 99 good products are linked to which product. Because I don't know, the reliability of the diagnosis was reduced even for other good products. This is because 100% inspection is realized without overflowing the reception buffer, so that all the inspection targets and images correspond to each other, and the diagnosis of good / bad can be trusted.
  • FIG. 9 is a block diagram showing a configuration example of a transmitting side communication device 100 and a receiving side communication device 200 (hereinafter, referred to as a transmitting side communication device 100 and the like).
  • the transmitting side communication device 100 and the like include a network interface 1201, a processor 1202, and a memory 1203.
  • the network interface 1201 is used to communicate with other network node devices that make up the communication system.
  • Network interface 1201 may be used to perform wireless communication.
  • the network interface 1201 may be used to perform wireless LAN communication specified in the IEEE 802.11 series or mobile communication specified in 3GPP (3rd Generation Partnership Project).
  • the network interface 1201 may include, for example, an IEEE 802.3 series compliant network interface card (NIC).
  • NIC network interface card
  • the processor 1202 reads the software (computer program) from the memory 1203 and executes it to perform the processing of the transmitting side communication device 100 or the like described by using the flowchart or the sequence in the above-described embodiment.
  • the processor 1202 may be, for example, a microprocessor, an MPU (Micro Processing Unit), or a CPU (Central Processing Unit).
  • Processor 1202 may include a plurality of processors.
  • Memory 1203 is composed of a combination of volatile memory and non-volatile memory. Memory 1203 may include storage located away from processor 1202. In this case, processor 1202 may access memory 1203 via an I / O interface (not shown).
  • the memory 1203 is used to store the software module group. By reading these software modules from the memory 1203 and executing the processor 1202, the processor 1202 can perform the processing of the transmitting side communication device 100 and the like described in the above-described embodiment.
  • each of the processors included in the transmitting communication device 100 and the like executes one or a plurality of programs including a group of instructions for causing the computer to perform the algorithm described with reference to the drawings. ..
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, DVD (Digital Versatile Disc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (for example) RandomAccessMemory)) is included.
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • Appendix 1 A communication control system that transmits image frame data from the first communication device to the second communication device.
  • the second communication device is A receive buffer for receiving image frame data from the first communication device, and A reply unit that returns an ACK frame to the first communication device at a timing that reflects the usage rate of the receive buffer, and a reply unit.
  • the first communication device is An estimation unit that receives the ACK frame from the reply unit of the second communication device and estimates the usage rate of the reception buffer of the second communication device from the reception time of the ACK frame.
  • Appendix 2 The communication control system according to Appendix 1, wherein the image compression algorithm includes color clustering.
  • Appendix 3 The communication control system according to Appendix 1 or 2, wherein the image compression algorithm includes a compression ratio.
  • Appendix 4 The communication control system according to any one of Supplementary note 1 to 3, wherein the reply unit returns an ACK frame at a timing that is gradually delayed as the usage rate of the receive buffer increases.
  • a communication control method for transmitting image frame data from a first communication device to a second communication device In the second communication device The image frame data from the first communication device is received by the reception buffer, and the image frame data is received. An ACK frame is returned to the first communication device at a timing that reflects the usage rate of the receive buffer, and the ACK frame is returned to the first communication device. In the first communication device The ACK frame from the second communication device is received, and the usage rate of the reception buffer of the second communication device is estimated from the reception time of the ACK frame. Based on the estimated receive buffer utilization, the data image compression algorithm was modified. Image frame data is transmitted from the first communication device to the second communication device. Communication control method.
  • Communication control system 10 1st communication device 11 Estimating unit 12 Change unit 13 Transmission unit 20 2nd communication device 21 Reply unit 22 Reception buffer 100 Transmission side communication device 101 Frame input buffer 102 Color reduction processing unit 103 Encoder 104 Ethernet frame generation unit 105 ACK reception time measurement unit 106 image quality control unit 111 MAC / PHY 112 MAC / PHY 200 Receiving side communication device 202 Ether frame decomposition unit 203 frame output buffer 204 decoding rate control unit 205 decoder 206 ACK frame generation unit 211 MAC / PHY 212 MAC / PHY 1000 transmit packet frame 2000 receive packet frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

受信バッファの使用率に応じて、適切に画像フレームデータを送信でき、受信バッファの溢れを抑制する。 通信制御システム（１）は、第１通信装置（１０）から第２通信装置（２０）に画像フレームデータを送信する。第２通信装置（２０）は、第１通信装置からの画像フレームデータを受信する受信バッファ（２２）と、受信バッファの使用率を反映したタイミングでＡＣＫフレームを第１通信装置に返信する返信部（２１）とを備える。第１通信装置（１０）は、第２通信装置の送信部からのＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から第２通信装置の受信バッファの使用率を推定する推定部（１１）と、推定された受信バッファの使用率に基づいて、画像フレームデータの画像圧縮アルゴリズムを変更する変更部（１２）とを備える。

Description

通信制御システム及び通信制御方法
　本開示は、通信制御システム及び通信制御方法に関する。
　通信制御システムでは、第１通信装置（送信側）から第２通信装置（受信側）に画像フレームデータを送信し、当該画像フレームデータに対するＡＣＫフレームを第２通信装置から第１通信装置に返信する。ＡＣＫフレームは、受信したフレームに対応した番号を付けられ、送信側に返信される。これにより、送信側は、受信側での受信が失敗したことを知ることができ、場合によっては、当該画像フレームデータについて、再送を行うことができる。
　例えば、特許文献１には、１台以上の中央処理装置がファイバーチャネルを介してディスク制御装置に接続可能に構成されるコンピュータシステムにおいて、前記ディスク制御装置は、前記中央処理装置との間でやりとりされるコマンド及びデータの一連の送受信シーケンスであるエクスチェンジの多重度が設定されたしきい値を越えているとき、前記中央処理装置から受信したフレームに対する応答フレームの送信を遅延させるコンピュータシステムが開示されている。
特開２０００－３４７９９９号公報
　しかしながら、上記コンピュータシステムでは、受信バッファの使用率に応じて、適切に画像圧縮アルゴリズムを変更することはできない。
　本開示の目的は、受信バッファの使用率に応じて、適切に画像圧縮アルゴリズムを変更可能な通信制御システム、及び通信制御方法を提供することを目的とする。
　本開示の第１の態様にかかる通信制御システムは、
　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
　前記第２通信装置は、
　前記第１通信装置からの画像フレームデータを受信する受信バッファと、
　前記受信バッファの使用率を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
を備え、
　前記第１通信装置は、
　前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの使用率を推定する推定部と、
　前記推定された受信バッファの使用率に基づいて、画像フレームデータの画像圧縮アルゴリズムを変更する変更部と、
　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
を備える。
　本開示の第２の態様にかかる通信制御方法は、
　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
　前記第２通信装置において、
　前記第１通信装置からの画像フレームデータを受信バッファで受信し、
　前記受信バッファの使用率を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
　前記第１通信装置において、
　前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの使用率を推定し、
　前記推定された受信バッファの使用率に基づいて、データの画像圧縮アルゴリズムを変更し、
　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する。
　本開示によれば、受信バッファの使用率に応じて、適切に画像フレームデータを送信でき、結果として、受信バッファの溢れを抑制することができる。
実施の形態１にかかる通信制御システムの構成を示すブロック図である。 実施の形態１にかかる通信制御方法を示すフローチャートである。 実施の形態２にかかる送信側通信装置の構成を示すブロック図である。 送信パケットフレームフォーマットの一例を示す図である。 実施の形態２にかかる受信側通信装置の構成を示すブロック図である。 受信バッファの使用率に応じた送信遅延時間を示すテーブルである。 受信パケットフレームフォーマットの一例を示す図である。 推定された受信バッファ使用率に応じた圧縮率を示すテーブルである。 送信側通信装置及び受信側通信装置のハードウェア構成例を示すブロック図である。
　実施の形態１
　以下、図面を参照して本発明の実施の形態について説明する。
　図１は、実施の形態１にかかる通信制御システムの構成を示すブロック図である。
　通信制御システム１は、第１通信装置１０と、第１通信装置１０とネットワークを介して接続された第２通信装置２０を備える。第１通信装置１０は、第２通信装置２０に画像フレームデータを送信すると、第２通信装置２０は、受信したフレームに対応してＡＣＫフレームを第１通信装置１０に返信する。
　第２通信装置２０は、第１通信装置１０からの画像フレームデータを受信する受信バッファ２２と、受信バッファ２２の使用率を反映したタイミングでＡＣＫフレームを第１通信装置１０に返信する返信部２１と、を備える。
　第１通信装置１０は、推定部１１、変更部１２および送信部１３を含む。推定部１１は、第２通信装置２０の返信部２１からＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から第２通信装置２０の受信バッファ２２の使用率を推定する。変更部１２は、推定された受信バッファの使用率に基づいて、データの圧縮アルゴリズムを変更する。送信部１３は、第１通信装置１０から第２通信装置２０に画像フレームデータを送信する。
　図２は、実施の形態１にかかる通信制御方法を示すフローチャートである。
　通信制御システム１は、第１通信装置１０から第２通信装置２０に画像フレームデータを送信し、当該画像フレームデータに対するＡＣＫフレームを第２通信装置２０から第１通信装置１０に返信する。まず、第２通信装置２０は、第１通信装置１０からの画像フレームデータを受信バッファ２２で受信する（ステップＳ１０１）。第２通信装置２０は、受信バッファ２２の使用率に応じて、適切なタイミングでＡＣＫフレームを第１通信装置１０に返信する（ステップＳ１０２）。例えば、受信バッファの使用率が高くなるにつれて、より遅くなるタイミングでＡＣＫフレームを返信することができる。
　第１通信装置１０は、第２通信装置２０からのＡＣＫフレームの受信時間から、受信バッファの使用率を推定する（ステップＳ１０３）。第１通信装置１０は、受信バッファの推定された使用率に基づいて、画像圧縮アルゴリズムを変更する（ステップＳ１０４）。第１通信装置１０は、第２通信装置２０に画像フレームデータを送信する（ステップＳ１０５）。その後、処理は、ステップＳ１０１に戻る。
　これにより、本実施形態の通信制御システムによれば、受信バッファの使用率に応じて、適切に画像フレームデータを送信でき、結果として、受信バッファの溢れを抑制することができる。
　実施の形態２
　本開示は、カメラで撮影した非圧縮（ＲＡＷ）画像を遠隔に伝送して診断する画像診断システムに関する。これまでの画像診断システムでは、主に２つの問題がある。第１の問題点は、画像診断システムにおいて画像受信バッファが溢れ出した場合も画像診断動作を継続するため、バッファから溢れ出したカメラ画像データを廃棄している点にある。
　その理由は、以下のとおりである。通常、画像診断システムは、例えばベルトコンベアを流れている製品の外観チェックなど、連続的かつ高速に診断処理を行うように設計されている。このため、受信バッファがデータで埋め尽くされていても、後続の製品をチェックするための画像データが次々と送られてくる。このため、入りきらないデータは廃棄してでも動作を継続する必要があるからである。
　第２の問題点は、上記のような画像診断システムにおいては、多くの場合、情報的に欠落のないＲＡＷ画像を利用している点にある。
　その理由は、一般的に画像診断のエビデンスとして、加工されていないＲＡＷ画像を使用しており、画像診断結果に誤りが発生した際、画像診断アルゴリズムの誤りを判断するためには、加工されていない画像を用いての確認が必要であるからである。
　画像診断システムは、通常はＲＡＷ画像を使用して診断を行う一方、受信バッファの状況に応じて、画像データ量を診断に影響なきよう適切に削減する。それにより、受信バッファの残量が少ない状況であっても、画像データを廃棄することなく画像診断システムに確実に伝送し、画像欠落による不良検出率の悪化を防止する。
　本実施形態にかかる画像診断システムは、例えば、カメラとホストとの間でやり取りされるＡＣＫパケットを用いて、伝送路の輻輳状況をリアルタイムに監視し、輻輳状況に応じて色のクラスタリングによる色情報の削減と減色の程度を適応的に変更する。これにより、ホスト側の受信バッファ溢れによる検査画像の欠落を防ぎ、画像診断システムの不良品検出率の低下を解決する。なお、本実施形態にかかる画像診断システムは、実施の形態１にかかる通信制御システム１の一例である。
　図３は、実施の形態２にかかる送信側通信装置の構成を示すブロック図である。
　送信側通信装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、およびメモリを含む情報処理装置によって実現することができる。送信側通信装置１００は、実施の形態１にかかる第１通信装置１０の一例である。送信側通信装置１００は、図３に示すように、フレーム入力バッファ１０１、減色処理部１０２、エンコーダ１０３、Ｅｔｈｅｒフレーム生成部１０４、ＡＣＫ受信時間測定部１０５、画質制御部１０６、ＭＡＣ／ＰＨＹ１１１、およびＭＡＣ／ＰＨＹ１１２を含む。なお、送信側通信装置１００のＭＡＣ／ＰＨＹ１１１、およびＭＡＣ／ＰＨＹ１１２は、イーサネット（登録商標）リンクなどのリンクを介して、受信側通信装置側のＭＡＣ／ＰＨＹ２１１、およびＭＡＣ／ＰＨＹ２１２と接続されている。
　フレーム入力バッファ１０１は、ビデオカメラ等からの画像フレームを一時的に格納するバッファである。減色処理部１０２は、画質制御部１０６からの制御信号を受信して、フレーム入力バッファ１０１からのフレームに対して、適切な減色処理を行う。エンコーダ１０３は、画質制御部１０６からの制御信号を受信して、減色処理を施された後のデータに対して、適切な圧縮率でエンコードを行う。Ｅｔｈｅｒフレーム生成部１０４は、減色処理及びエンコードされたフレームからＥｔｈｅｒフレームを生成し、ＭＡＣ／ＰＨＹ１１２を介して、受信側通信装置２００に送信する。また、Ｅｔｈｅｒフレーム生成部１０４は、Ｅｔｈｅｒフレーム送信時に、Ｅｔｈｅｒフレームの送信時刻をＡＣＫ受信時間測定部１０５に通知する。
　通常、送信側通信装置１００及び受信側通信装置２００を備える画像診断システムは、検査対象の細かな欠陥を検出するため、画像診断のエビデンスとしてＲＡＷ画像を使用し、保管する。このため、図３に示す送信側通信装置１００における減色処理部１０２及びエンコーダ１０３は圧縮動作を行わず、ＲＡＷ画像をＥｔｈｅｒフレーム生成部１０４へ送り、ホスト（受信側通信装置２００）へと送信する。
　図４は、送信パケットフレームフォーマットを示す。送信パケットフレーム１０００は、送信先ＭＡＣ１０１０、送信元ＭＡＣ１０２０、ヘッダ１０３０、フレームデータ１０４０、およびＦＣＳ（Frame Check Sequence）１０５０を含む。この場合、送信パケットフレーム１０００のヘッダ１０３０には、圧縮率を示すコード（例：０）がＥｔｈｅｒフレーム生成部１０４により埋め込まれる。なお、ＦＣＳは、通信途上でデータに誤りが生じていないか調べるため、送信時にデータに付加される誤り検出符号である。なお、図４では、圧縮率として、ＲＡＷ（非圧縮を示す）、低圧縮、中圧縮、及び高圧縮を示しているが、これらに限定されない。圧縮率は、より細かく設定してもよい。
　図５は、実施の形態２にかかる受信側通信装置の構成を示すブロック図である。
　受信側通信装置２００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、メモリを含む、情報処理装置などにより実現され得る。当該情報処理装置が画像診断等を行ってもよい。受信側通信装置２００は実施の形態１にかかる第２通信装置２０の一例である。受信側通信装置２００は、Ｅｔｈｅｒフレーム分解部２０２、フレーム出力バッファ２０３、デコードレート制御部２０４、デコーダ２０５、およびＡＣＫフレーム生成部２０６を含む。
　図５で示す受信側通信装置２００では、Ｅｔｈｅｒフレーム分解部２０２が受信したパケットの内容を解釈する。また、デコードレート制御部２０４は、パケットのデコードレートを判定する。今受信パケットの圧縮率は０なので、デコードレート制御部２０４は、デコーダ２０５に非圧縮の設定を行い、デコーダ２０５はコード動作を行わずにフレーム出力バッファ２０３（本明細書では受信バッファとも呼ばれる）の受信データを処理して検査画像を再構成する。ＡＣＫフレーム生成部２０６は、フレーム出力バッファ２０３の使用率に応じたタイミングで、受信したフレームに対するＡＣＫフレームを生成し、送信側通信装置１００に返信する。
　フレーム出力バッファ２０３の使用率に応じたタイミングの例としては、例えば、使用率が閾値以上の場合は、ＡＣＫフレームを返信するタイミングを遅らせてもよい。より具体的には、受信バッファの使用率（例えば、９５％、９０、８５、８０・・・０％）に応じて、返信タイミングを段階的に遅らせてもよい（図６では、送信遅延時間（ｍｓ）は、Ｔ１＞Ｔ２＞Ｔ３＞Ｔ４＞Ｔ５＞・・・＞Ｔｎとなるように設定することができる）。なお、ここでいう送信遅延時間は、ＡＣＫフレーム生成部２０６が受信バッファの使用率を考慮して、ＡＣＫフレームを生成してから、送信するまでの遅延時間である。
　図７は、ＡＣＫフレーム２０００の一例を示す。ＡＣＫフレーム２０００は、送信先ＭＡＣ２０１０、送信元ＭＡＣ２０２０、ヘッダ２０３０、ＡＣＫ２０４０、およびＦＣＳ２０５０を含む。ＡＣＫフレーム２０００にはそのヘッダ２０３０に、受け取った圧縮率を示すコード（０）がＡＣＫフレーム生成部２０６により埋め込まれる。なお、ヘッダには、ＲＡＷ（非圧縮を示す）、低圧縮、中圧縮、及び高圧縮などを示す受取圧縮率が示される。
　送信側通信装置１００では、ＡＣＫ受信時間測定部１０５は、Ｅｔｈｅｒフレーム生成部１０４からのタイミング通知が示す送信時刻とＡＣＫパケットの受信時刻（到着時刻）を比較し、その差であるＡＣＫ受信時間を算出する。ＡＣＫ受信時間測定部１０５は、算出された受信時間に基づいて、受信側通信装置２００のフレーム出力バッファ２０３（受信バッファとも呼ばれる）の空き具合を推定する。すなわち、ＡＣＫ受信時間が短ければ、受信バッファの空き容量が大きく、逆に、ＡＣＫ受信時間が長くなると、受信バッファの空き容量が少ないものと推定することができる。画質制御部１０６は、推定された受信バッファの空き容量に応じて、減色処理部１０２およびエンコーダ１０３に対する制御信号を生成する。具体的には、画質制御部１０６が、この受信時間から推定された受信バッファの空き容量に基づいて、減色処理部１０２の減色処理（クラスタリング）を決定する。今想定している伝送路環境は輻輳が無い状態なので、画質制御部１０６は減色処理部１０２に対してカラークラスタリング無を選択する。
　次に、伝送路に輻輳が発生している状態を想定する。伝送路に輻輳が発生している状態では、フレーム出力バッファ２０３に空き容量が足りない状態となる。この状態を検出した、ＡＣＫフレーム生成部２０６は、ＡＣＫパケットを一定時間待った後に送信する。例えば、図６を用いて前述したように、受信バッファの使用率（例えば、９５、９０、８５、８０・・・０）に応じて、返信タイミングを段階的に遅らせてもよい。ＡＣＫ受信時間測定部１０５は、ＡＣＫパケットを受け取り、フレームの送信時刻とＡＣＫ受信時刻からＡＣＫ受信時間を測定する。これにより、ＡＣＫ受信時間測定部１０５は、その受信時間から受信バッファがどの程度埋まっているかを推定し、推定される空きバッファの量を、画質制御部１０６に通知する。一般的に、カラー情報が多いほどこの情報を元とした画像検査処理の不良検出率は向上し、またエビデンスとしても有効となる。そのため、送信側通信装置１００は、できる限り、受信側通信装置２００にＲＡＷデータを送ることが好ましい。しかし、伝送路の輻輳状態になったことを示す通知を受けた場合、画像制御部１０６は、推定された受信バッファの使用率に基づいて、減色処理部１０２およびエンコーダ１０３に対して、適切に制御を行う。
　例えば、画質制御部１０６は、バッファ溢れが発生しないよう減色処理部１０２に対して、カラークラスタリングによる減色処理を設定する。画質制御部１０６は、画像をフレーム出力バッファ２０３が受信可能なサイズ、例えばフルカラーから３色等に減色するように設定する。減色処理部１０２は、画質制御部１０６の指示に基づいて、減色処理を行う。
　また、画像制御部１０６は、エンコーダ１０３に対して、適切な圧縮率を決定する。図８は、推定された受信バッファの使用率に応じた圧縮率を示すテーブルである。圧縮率は、バッファ使用率が高くなるにつれて、高くなるように設定されている（ａ＞ｂ＞ｃ＞ｄ＞ｅ・・）。また、画像制御部１０６は、受信バッファの使用率が閾値未満（例えば、５０％）の場合は、画像フレームを圧縮しないように設定してもよい。画質制御部１０６は、送信側通信装置１００が画像フレームを送信した当初など推定された受信バッファの使用率が閾値未満である場合は、非圧縮画像データ（ＲＡＷデータ）に決定することができる。なお、図４および図７に示すように、画質制御部１０６が設定する圧縮率の例としては、非圧縮（ＲＡＷデータ）低圧縮、中圧縮、および高圧縮の少なくとも４段階の圧縮率を含んでもよいが、これに限定されない。
　エンコーダ１０３は、適切なサイズまで画像データを、非可逆または可逆的手法を用いて画像データサイズを圧縮する。その場合、送信パケットフレーム１０００のヘッダ１０３０には、設定された圧縮率を示すコード（例：１、２又は３）がＥｔｈｅｒフレーム生成部１０４により埋め込まれる。
　以上説明したように、本実施形態による画像診断システムはホスト（受信側通信装置）側の処理の停滞等により、伝送路に輻輳が発生した状態であっても、受信バッファ溢れを起こすことを抑制し、撮影画像を伝送することが可能となる。これにより画像欠落による不良品検出率の低下を防ぐことができる。なお、減色画像や圧縮画像から検出される不良品率は、ＲＡＷ画像から検出される不良品検出率と同等、または低下することが想定されるが、少なくとも全品検査が可能となる。また画像サイズから不良品混在のタイミングを想定することが容易となる点で、これまでの画像診断システムと比較し優位性がある。
　第１の効果は、画像診断システムにおける不良検出率の向上である。その理由は、診断装置に画像受信バッファ溢れをおこすことなく、診断側に診断に必要な画像データを伝送することで、連続した画像に対する診断を漏れなく行うことができるからである。
　第２の効果は、画像診断システムの不良検出の信頼性の向上である。その理由は、例えばこれまでのシステムでは１００枚中１枚の画像が欠落した場合、どの検査対象の１枚が欠落したかがわからず、残りの９９枚の良品がどの製品に紐づいているかわからないため、他の良品に対してもその診断の信頼性が低下していた。受信バッファ溢れをおこすことなく、全数検査が実現されることで、検査対象と画像が全数対応することとなり、良／不良の診断に信頼がおけるようになるからである。
　図９は、送信側通信装置１００及び受信側通信装置２００（以下、送信側通信装置１００等という）の構成例を示すブロック図である。図９を参照すると、送信側通信装置１００等は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。
　プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された送信側通信装置１００等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
　メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。
　図９の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された送信側通信装置１００等の処理を行うことができる。
　図９を用いて説明したように、送信側通信装置１００等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　また、上述した実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　　　（付記１）
　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
　前記第２通信装置は、
　前記第１通信装置からの画像フレームデータを受信する受信バッファと、
　前記受信バッファの使用率を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
を備え、
　前記第１通信装置は、
　前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの使用率を推定する推定部と、
　前記推定された受信バッファの使用率に基づいて、画像フレームデータの画像圧縮アルゴリズムを変更する変更部と、
　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
を備える、通信制御システム。
　　　（付記２）
　前記画像圧縮アルゴリズムは、カラークラスタリングを含む、付記１に記載の通信制御システム。
　　　（付記３）
　前記画像圧縮アルゴリズムは、圧縮率を含む、付記１又は２に記載の通信制御システム。
　　　（付記４）
　前記返信部は、前記受信バッファの使用率が高くなるにつれて、段階的により遅くなるタイミングでＡＣＫフレームを返信する、付記１～３のいずれか一項に記載の通信制御システム。
　　　（付記５）
　前記変更部は、前記推定された受信バッファの使用率が高くなるにつれて、段階的に圧縮率が高くなるように画像を圧縮する、付記１～４のいずれか一項に記載の通信制御システム。
　　　（付記６）
　前記変更部は、前記推定された受信バッファの使用率が閾値未満である場合は、前記画像フレームデータを非圧縮画像データに設定する、付記１～５のいずれか一項に記載の通信制御システム。
　　　（付記７）
　前記推定部は、前記送信部からの画像フレームデータの送信時刻と、当該画像フレームデータに対するＡＣＫフレームの受信時刻とを比較して、ＡＣＫ受信時間を算出して、当該算出されたＡＣＫ受信時間から前記受信バッファの使用率を推定する、付記１～６のいずれか一項に記載の通信制御システム。
　　　（付記８）
　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
　前記第２通信装置において、
　前記第１通信装置からの画像フレームデータを受信バッファで受信し、
　前記受信バッファの使用率を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
　前記第１通信装置において、
　前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの使用率を推定し、
　前記推定された受信バッファの使用率に基づいて、データの画像圧縮アルゴリズムを変更し、
　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する、
通信制御方法。


　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２０年３月１１日に出願された日本出願特願２０２０－０４１８５０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　通信制御システム
　１０　第１通信装置
　１１　推定部
　１２　変更部
　１３　送信部
　２０　第２通信装置
　２１　返信部
　２２　受信バッファ
　１００　送信側通信装置
　１０１　フレーム入力バッファ
　１０２　減色処理部
　１０３　エンコーダ
　１０４　Ｅｔｈｅｒフレーム生成部
　１０５　ＡＣＫ受信時間測定部
　１０６　画質制御部
　１１１　ＭＡＣ／ＰＨＹ
　１１２　ＭＡＣ／ＰＨＹ
　２００　受信側通信装置
　２０２　Ｅｔｈｅｒフレーム分解部
　２０３　フレーム出力バッファ
　２０４　デコードレート制御部
　２０５　デコーダ
　２０６　ＡＣＫフレーム生成部
　２１１　ＭＡＣ／ＰＨＹ
　２１２　ＭＡＣ／ＰＨＹ
　１０００　送信パケットフレーム
　２０００　受信パケットフレーム

Claims (8)

  1. 　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
    　前記第２通信装置は、
    　前記第１通信装置からの画像フレームデータを受信する受信バッファと、
    　前記受信バッファの使用率を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
    を備え、
    　前記第１通信装置は、
    　前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの使用率を推定する推定部と、
    　前記推定された受信バッファの使用率に基づいて、画像フレームデータの画像圧縮アルゴリズムを変更する変更部と、
    　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
    を備える、通信制御システム。
  2. 　前記画像圧縮アルゴリズムは、カラークラスタリングを含む、請求項１に記載の通信制御システム。
  3. 　前記画像圧縮アルゴリズムは、圧縮率を含む、請求項１又は２に記載の通信制御システム。
  4. 　前記返信部は、前記受信バッファの使用率が高くなるにつれて、段階的により遅くなるタイミングでＡＣＫフレームを返信する、請求項１～３のいずれか一項に記載の通信制御システム。
  5. 　前記変更部は、前記推定された受信バッファの使用率が高くなるにつれて、段階的に圧縮率が高くなるように画像を圧縮する、請求項１～４のいずれか一項に記載の通信制御システム。
  6. 　前記変更部は、前記推定された受信バッファの使用率が閾値未満である場合は、前記画像フレームデータを非圧縮画像データに設定する、請求項１～５のいずれか一項に記載の通信制御システム。
  7. 　前記推定部は、前記送信部からの画像フレームデータの送信時刻と、当該画像フレームデータに対するＡＣＫフレームの受信時刻とを比較して、ＡＣＫ受信時間を算出して、当該算出されたＡＣＫ受信時間から前記受信バッファの使用率を推定する、請求項１～６のいずれか一項に記載の通信制御システム。
  8. 　第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
    　前記第２通信装置において、
    　前記第１通信装置からの画像フレームデータを受信バッファで受信し、
    　前記受信バッファの使用率を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
    　前記第１通信装置において、
    　前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの使用率を推定し、
    　前記推定された受信バッファの使用率に基づいて、データの画像圧縮アルゴリズムを変更し、
    　前記第１通信装置から前記第２通信装置に画像フレームデータを送信する、
    通信制御方法。
PCT/JP2021/009535 2020-03-11 2021-03-10 通信制御システム及び通信制御方法 WO2021182512A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022507246A JPWO2021182512A1 (ja) 2020-03-11 2021-03-10
US17/801,128 US20230077914A1 (en) 2020-03-11 2021-03-10 Communication control system and communication control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-041850 2020-03-11
JP2020041850 2020-03-11

Publications (1)

Publication Number Publication Date
WO2021182512A1 true WO2021182512A1 (ja) 2021-09-16

Family

ID=77672398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009535 WO2021182512A1 (ja) 2020-03-11 2021-03-10 通信制御システム及び通信制御方法

Country Status (3)

Country Link
US (1) US20230077914A1 (ja)
JP (1) JPWO2021182512A1 (ja)
WO (1) WO2021182512A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214962A (ja) * 1996-01-25 1997-08-15 Internatl Business Mach Corp <Ibm> バッファ空／充填ルックアヘッド・ビット・アロケータを有する動画ビデオ圧縮システム
JP2002534864A (ja) * 1998-12-23 2002-10-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオデータの帯域幅スケーラビリティのための適応バッファ及び量子化調整スキーム
JP2008301309A (ja) * 2007-06-01 2008-12-11 Panasonic Corp 符号化レート制御方法、符号化レートを制御する伝送装置、プログラム記憶媒体及び集積回路
WO2011138900A1 (ja) * 2010-05-06 2011-11-10 日本電信電話株式会社 映像符号化制御方法および装置
WO2016088582A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3915170B2 (ja) * 1997-05-26 2007-05-16 コニカミノルタホールディングス株式会社 画像形成装置
JP4629929B2 (ja) * 2001-08-23 2011-02-09 株式会社リコー デジタルカメラシステム及びこの制御方法
JP7205661B2 (ja) * 2020-03-11 2023-01-17 日本電気株式会社 通信制御システムおよび通信制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214962A (ja) * 1996-01-25 1997-08-15 Internatl Business Mach Corp <Ibm> バッファ空／充填ルックアヘッド・ビット・アロケータを有する動画ビデオ圧縮システム
JP2002534864A (ja) * 1998-12-23 2002-10-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオデータの帯域幅スケーラビリティのための適応バッファ及び量子化調整スキーム
JP2008301309A (ja) * 2007-06-01 2008-12-11 Panasonic Corp 符号化レート制御方法、符号化レートを制御する伝送装置、プログラム記憶媒体及び集積回路
WO2011138900A1 (ja) * 2010-05-06 2011-11-10 日本電信電話株式会社 映像符号化制御方法および装置
WO2016088582A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム

Also Published As

Publication number Publication date
US20230077914A1 (en) 2023-03-16
JPWO2021182512A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US11503307B2 (en) System and method for automatic encoder adjustment based on transport data
US8566662B2 (en) Transmission apparatus, receiving apparatus, and method
US9565482B1 (en) Adaptive profile switching system and method for media streaming over IP networks
US9451248B2 (en) Data processing device and data processing method
US8185056B2 (en) Load testing system, load testing apparatus, load testing method, computer product, and communication device
US9781488B2 (en) Controlled adaptive rate switching system and method for media streaming over IP networks
US20100217888A1 (en) Transmission device, reception device, rate control device, transmission method, and reception method
US20070168824A1 (en) Data transmission method and data transmission apparatus
US10320520B2 (en) Communication device, system and method
US20100202309A1 (en) Transmission device, transmission method, and program for the same
US20200099981A1 (en) Fault Detection Method, Monitoring Device, and Network Device
US9876727B2 (en) Physical-layer signaling of flow control updates
BRPI1107077A2 (pt) aparelho de transmissço, mÉtodo de transmissço para um aparelho de transmissço que transmite dados, e, programa
US20150207715A1 (en) Receiving apparatus, transmitting apparatus, communication system, control method for receiving apparatus, control method for transmitting apparatus, and recording medium
US9544757B2 (en) System and method for real time video communication employing fountain coding
WO2021182506A1 (ja) 通信制御システムおよび通信制御方法
KR101598441B1 (ko) 비디오 스트림 전송장치 및 전송방법
US20140118618A1 (en) Transmission apparatus, transmission method, reception apparatus, reception method, and computer program
WO2021182512A1 (ja) 通信制御システム及び通信制御方法
US8270307B2 (en) Network-adaptive preemptive repair in real-time video
WO2021251370A1 (ja) 通信制御システム及び通信制御方法
WO2018101127A1 (ja) 無線通信装置およびプログラム
JP2015050591A (ja) 情報処理装置、情報処理方法およびプログラム
JP3587452B2 (ja) データ受信装置及びデータ受信制御方法
JP2006165733A (ja) 無線映像伝送装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767909

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507246

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21767909

Country of ref document: EP

Kind code of ref document: A1