WO2009090964A1 - 同期制御方法および情報処理装置 - Google Patents

同期制御方法および情報処理装置 Download PDF

Info

Publication number
WO2009090964A1
WO2009090964A1 PCT/JP2009/050397 JP2009050397W WO2009090964A1 WO 2009090964 A1 WO2009090964 A1 WO 2009090964A1 JP 2009050397 W JP2009050397 W JP 2009050397W WO 2009090964 A1 WO2009090964 A1 WO 2009090964A1
Authority
WO
WIPO (PCT)
Prior art keywords
thread
current thread
synchronization
current
waiting time
Prior art date
Application number
PCT/JP2009/050397
Other languages
English (en)
French (fr)
Inventor
Kosuke Nishihara
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to US12/812,936 priority Critical patent/US8555291B2/en
Priority to JP2009550023A priority patent/JP5246603B2/ja
Publication of WO2009090964A1 publication Critical patent/WO2009090964A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores

Definitions

  • the present invention relates to synchronous control when a plurality of threads are processed in parallel.
  • multi-thread As a technique for executing a process corresponding to one application in an information processing apparatus, there is a technique called multi-thread in which a plurality of threads (unit processes) of the process are executed in parallel.
  • the efficiency of the entire process can be improved by parallel processing of threads.
  • the processing time may be longer than specified. An example is given below.
  • the thread A refers to the data at the synchronization point b of the other thread B at the synchronization point a of this thread.
  • the thread A arrives at the synchronization point a first, that is, the process up to the synchronization point a of the thread A is completed before the processing up to the synchronization point b of the thread B.
  • the thread A waits until the thread B arrives at the synchronization point b, but the waiting time of the thread A is prolonged as the progress of the thread B is delayed. As a result, the processing time of the entire process is prolonged.
  • an object of the present invention is to provide a synchronization control method and an information processing apparatus for efficiently performing parallel processing of threads in a multi-thread.
  • the synchronization control method executes a current thread and a reference thread to which data is referenced by the current thread in parallel, and when the current thread reaches a first synchronization point, the reference thread If the determination is negative, the time required for the reference thread to reach the second synchronization point is determined as the waiting time of the current thread, and the current Estimating a quality difference between data generated by a thread with reference to processing data at the second synchronization point of the reference thread and data generated by the current thread without referring to the processing data; In accordance with the waiting time and the magnitude of the quality difference, it is determined whether to make the current thread wait until the reference thread reaches the second synchronization point.
  • the information processing apparatus includes: a synchronization control unit that executes in parallel a current thread and a reference thread whose data is referred to by the current thread; and the reference when the current thread reaches a first synchronization point When the thread has not reached the second synchronization point, a waiting time calculation unit that obtains a time required for the reference thread to reach the second synchronization point as a waiting time of the current thread; and A quality difference calculation unit that estimates a quality difference between data generated by referring to processing data at the second synchronization point of the reference thread and data generated by the current thread without referring to the processing data And whether to make the current thread wait until the reference thread reaches the second synchronization point according to the waiting time and the magnitude of the quality difference. And a period judgment unit.
  • FIG. 1 shows an information processing apparatus 400 according to the first embodiment of the present invention.
  • the information processing apparatus 400 includes a current thread 401, a reference thread 402, a synchronization control unit 403, a standby time calculation unit 404, a synchronization determination unit 405, and a quality difference calculation unit 406.
  • the information processing apparatus 400 is a multi-thread compatible computer and executes the current thread 401 and the reference thread 402 in parallel.
  • the current thread 401 refers to the data handled by the reference thread 402 such as the processing result of the reference thread 402 and the data to be processed, and proceeds with the processing. Further, a synchronization point A is set for the current thread 401, and a synchronization point B is set for the reference thread 402.
  • the synchronization point A corresponds to the first synchronization point in the present invention, and the synchronization point B corresponds to the second synchronization point.
  • the waiting time calculation unit 404 waits for the current thread 401 until the reference thread 402 reaches the synchronization point B when the reference thread 402 does not reach the synchronization point B when the current thread 401 reaches the synchronization point A. Calculate The waiting time can be obtained, for example, from the product of the number of remaining processing blocks up to the synchronization point B in the reference thread 402 and the time required for processing per block.
  • the current thread 401 that has reached the synchronization point A refers to the data at the synchronization point B of the reference thread 402 and the current thread 401 refers to the data of the current reference thread 402
  • the difference in quality from the data is estimated.
  • the quality difference depends on the progress status of the current thread 401, the control parameter of the block processed by each thread, the relationship between the processing blocks, and the like. For example, if the current thread 401 cannot obtain a good processing result without data at the synchronization point B of the reference thread 402, the quality difference becomes large. Conversely, if a good processing result can be obtained from the current thread 401 without the data, the quality difference is small.
  • the synchronization determination unit 405 is configured to synchronize the current thread 401 with the reference thread 402 based on the standby time calculated by the standby time calculation unit 404 and the quality difference estimated by the quality difference calculation unit 406. Decide whether to wait.
  • the synchronization control unit 403 controls the progress of the current thread 401 in accordance with the determination by the synchronization determination unit 405. That is, when the synchronization determination unit 405 determines to perform synchronization, the current thread 401 is made to wait until the reference thread 402 reaches a predetermined synchronization point. If the synchronization determination unit 405 determines not to synchronize, the process is continued without causing the current thread 401 to wait.
  • FIG. 2 schematically shows how the current thread 401 and the reference thread 402 are synchronized.
  • the current thread 401 is made to wait until the reference thread 402 reaches the synchronization point B421.
  • the time required for the reference thread 402 from the synchronization point A421 to the synchronization point B421 corresponds to the standby time 431.
  • the current thread 401 resumes processing with reference to the data 441 at that time.
  • This data 441 corresponds to the processing data at the first synchronization point in the present invention.
  • step S101 the synchronization control unit 403 checks whether the other reference thread 402 has reached the synchronization point B422.
  • the current thread 401 is controlled so as to continue the processing with reference to the data 411 at the synchronization point B422 (step S107).
  • the standby time calculation unit 404 calculates the time until the reference thread 402 reaches the synchronization point B421, that is, the standby time 431. (Step S103). As described above, the time difference from the synchronization point A421 to the synchronization point B421 corresponds to the standby time 431.
  • the quality difference calculation unit 406 includes data that the current thread 401 generates by referring to the data 441 at the synchronization point B422 of the reference thread 402, and data that the current thread 401 generates by referring to the current data of the reference thread 402. Is estimated (step S104).
  • the synchronization determination unit 405 compares the quality difference estimated by the quality difference calculation unit 406 with a preset upper limit. As a result of the comparison, if the quality difference exceeds the upper limit (step S105: Yes), it is determined that synchronization is performed, that is, the current thread 401 is kept waiting until the reference thread 402 reaches the synchronization point B422 (step S106). In other words, since the quality difference is relatively large, it is determined that the data 441 needs to be referred to in order not to deteriorate the processing quality after the synchronization point A421 by the current thread 401 (determination I).
  • the synchronization control unit 403 When the synchronization control unit 403 recognizes the determination, the synchronization control unit 403 interrupts the execution of the current thread 401 until the reference thread 402 reaches the synchronization point B422. Thereafter, when the data 441 is obtained from the reference thread 402, the current thread 401 is controlled so as to restart the processing with reference to the data 441 (step S107).
  • step S105 when the estimated quality difference is less than the upper limit (step S105: No), the synchronization determination unit 405 compares the standby time 431 calculated by the standby time calculation unit 404 with a preset upper limit. As a result of the comparison, when the standby time 431 is less than the upper limit (step S107: No), it is determined that the current thread 401 is to wait (step S106). In other words, since the quality difference is small, reference to the data 441 is not essential for the current thread 401, but the reference thread 402 will soon reach the synchronization point B422, so that the current thread 401 is made to wait (determination II).
  • step S107 If the standby time exceeds the upper limit (step S107: Yes), the synchronization determination unit 405 determines not to make the current thread 401 wait (step S109). In other words, since it is not essential for the current thread 401 to refer to the data 441, it is determined that the long standby time 431 is omitted and the processing is continued (determination III). Recognizing this determination, the synchronization control unit 403 controls the current thread 401 to continue with reference to the current data of the reference thread 402 (step S110).
  • FIG. 4 shows a specific example of the above determinations I, II, and III.
  • the illustrated graph shows the waiting time (431) and the degree of quality difference obtained at the four synchronization points 461, 462, 463, and 464 in the current thread 401.
  • the standby time threshold value 451 and the quality difference threshold value 452 correspond to the above-described upper limit regarding the standby time and the quality difference.
  • the current thread 401 is made to wait based on the above determination I.
  • the waiting time is short, so the current thread 401 is made to wait based on the determination II. In these cases, the current thread 401 can generate data of good quality by the processing referring to the data 441 at the synchronization point B422 after waiting.
  • the waiting time is long although the quality difference is small.
  • the current thread 401 is continued without waiting according to the determination III.
  • the current thread 401 proceeds with reference to the current data of the reference thread 402, but since the quality difference estimated in advance is small, the data quality of the processing result does not deteriorate significantly. .
  • Such control can prevent processing delay of the current thread 401 due to synchronization with the reference thread 402.
  • Steps S1051, S1061, and S1071 are the same as steps S105, S106, and S107 in FIG. That is, if the quality difference exceeds the upper limit, the current thread 401 is made to wait.
  • the synchronization determination unit 405 determines that the current thread 401 is not kept on standby (Step S1091) because the quality difference is small (Step S1051: No). As a result, the current thread 401 continues processing based on the current data of the reference thread 402 (step S1101).
  • the synchronization point 463 shown in FIG. 4 is determined to make the current thread 401 wait in the control of FIG. 3 (determination II), but is determined not to wait in the control of FIG. 5 (determination II ′). Therefore, the procedure of FIG. 5 is suitable for an application that places importance on preventing delay of the current thread 401.
  • the current thread 401 does not wait for the reference thread 402
  • the current data of the reference thread 402 is referred to.
  • the present thread is not limited to this form, for example, data already processed by the reference thread 402, You may make it refer to the data prepared beforehand.
  • the configuration of the information processing apparatus 400 of this embodiment is basically the same as that of the above-described embodiment (FIG. 1).
  • the difference from the above-described embodiment lies in the operation of the synchronization determination unit 405.
  • the synchronization determination unit 405 of the present embodiment shortens or extends the standby time calculated by the standby time calculation unit 404 according to the quality difference.
  • the adjusted value is applied to the waiting time of the current thread 401.
  • the adjusted waiting time is referred to as a timeout value.
  • step S201 processing similar to that in steps S101 to S104 in the above-described embodiment is performed (step S201). That is, when the reference thread 402 has not reached the synchronization point B422 at this time, the standby time and the quality difference are estimated.
  • step S202 If the estimated quality difference exceeds the upper limit (step S202: Yes), the synchronization determination unit 405 adds a predetermined value ⁇ ( ⁇ > 0) to the waiting time T and sets it as a timeout value (step S203). .
  • the synchronization control unit 403 causes the current thread 401 to wait until the timeout value (T + ⁇ ) expires (step S204). Thereafter, similarly to step S107 in the above-described embodiment, the current thread 401 is resumed using the data 441 of the reference thread 402 (step S205).
  • step S202 when the quality difference is less than the upper limit (step S202: No), the synchronization determination unit 405 subtracts a predetermined value ⁇ (0 ⁇ ⁇ T) from the standby time T and sets it as a timeout value (step S206). ). If the timeout value (T- ⁇ ) is greater than zero (step S202: No), the current thread 401 is made to wait until timeout (step S204).
  • step S207: Yes the synchronization determination unit 405 determines not to wait for the current thread 401 (step S208). In this case, the synchronization control unit 403 continues the current thread 401 without waiting in the same manner as in step S110 in the above-described embodiment (step S209).
  • the waiting time is extended when the quality difference is large, so that the current thread 401 can reliably capture the data 441 at the synchronization point B422.
  • This is useful, for example, when the reference thread 402 is delayed for some reason.
  • fine adjustment can be made to shorten the standby time. Thereby, it is possible to prevent the processing of the current thread 401 from being prolonged.
  • the current thread 401 can perform processing by referring to the data processed by the reference thread 402 from the synchronization point A421 to the synchronization point B422.
  • FIG. 1 A third embodiment of the present invention will be described.
  • the configuration of the information processing apparatus 400 of this embodiment is basically the same as that of the above-described embodiment (FIG. 1).
  • This embodiment is different from the first embodiment in that the waiting time calculation unit 404 recalculates the waiting time while the current thread 401 is waiting.
  • step S106 step S1061
  • step S1061 step S1061
  • the standby time calculation unit 404 recalculates the standby time (step S302).
  • the value obtained by this recalculation corresponds to the time required for the reference thread 402 to reach the synchronization point B422 when a predetermined time has elapsed from the synchronization point A421. Therefore, the synchronization point A421 or later, if there is no delay in the progression of the reference thread 402, the waiting time T R according recalculation can be expressed by the following equation (1).
  • T 0 is the standby time 431 calculated at the synchronization point A421
  • T P represents the elapsed time from the synchronization point A421.
  • the synchronization judgment unit 405 When recalculated value T R is calculated, the synchronization judgment unit 405, the progress of the reference thread 402 to check whether the delay. This can be determined using the following equations (2) and (3).
  • Synchronization determination unit 405 recalculates values T R with zero or more values may satisfy the above expression (2), the reference thread 402 is determined to be traveling without delay (Step S303: No, S304: No). In this case, recalculation is performed every predetermined period while waiting for the current thread 401 as it is (steps S301 and S302). Then, when the recalculated value T R becomes zero (step S303: Yes), and resumes the current thread 401 with reference to the data 441 of the synchronization point B422 (step S305). This process is the same as step S107 (FIG. 3) in the first embodiment described above.
  • step S304 if the recomputed value T R satisfies the above formula (3), the synchronization judgment unit 405, a delay to a reference thread 402 determines that occurred (step S304: Yes). In this case, the standby is stopped to prevent the restart of the current thread 401 from being delayed (step S306), and the current thread 401 is restarted by referring to the current data of the reference thread 402 (step S307).
  • the operation at the time of restart is the same as that in step S110 (FIG. 3) in the first embodiment described above.
  • FIG. 1 A fourth embodiment of the present invention will be described.
  • the configuration of the information processing apparatus 400 of this embodiment is basically the same as that of the above-described embodiment (FIG. 1).
  • the present embodiment assumes that the information processing apparatus 400 executes a thread related to image processing.
  • FIG. 8 shows an image frame processed by the information processing apparatus 400.
  • An image to be processed includes n consecutive image frames (first frame 610-1 to n-th frame 610-n). Each frame 610-1 to 610-n is divided into m blocks 611-1 to 611-m. Each block (611-1 to 611-m) in the frame is assigned to one of a plurality of threads for processing. For example, a frame can be divided into a plurality of areas and assigned to threads in divided area units.
  • FIG. 9 shows an example of frame division.
  • the first divided area 631 and the second divided area 632 are formed in order from the top by dividing the frame one by one along the scanning direction of the frame, that is, along the horizontal direction of the frame.
  • the reference thread (402) is assigned to the first divided area 631
  • the current thread (401) is assigned to the second divided area 632, respectively. This assignment is intended to process the second divided area 632 with reference to the processing result of the first divided area 631.
  • the waiting time calculation unit 404 can calculate the waiting time based on the numbers or positions of the blocks being processed by the current thread 401 and the blocks being processed by the reference thread 402, for example.
  • the quality difference calculation unit 406 can calculate the quality difference based on, for example, the spatial position of the block being processed and the synchronization control status up to the previous frame.
  • N is an integer of 2 or more.
  • N is evaluated when the quality difference is the largest, and “1” is evaluated when the quality difference is the smallest.
  • the waiting time “N” is evaluated when it is the longest, and “1” is evaluated when it is the shortest.
  • the synchronization determination unit 405 determines to synchronize, that is, to make the current thread 401 wait, for example, when the evaluation of the standby time does not exceed the evaluation of the quality difference. Specifically, if the evaluation value of the standby time is “2” and the evaluation value of the quality difference is “1”, it is determined that synchronization is not performed. Further, when the evaluation value of the standby time is “4” and the evaluation value of the quality difference is “5”, it is determined that synchronization is performed. By such control, it is possible to avoid an increase in the overall processing time while suppressing a decrease in image quality.
  • the evaluation of the standby time can appropriately add an offset value according to the progress of the process and the instruction from the user. Thereby, the determination of synchronization can be flexibly controlled.
  • a time limit is provided for image processing. For example, when generating 30 image frames per second, it is necessary to perform decoding processing within 1/30 second per frame. When the processing time is sufficient, it does not matter if the waiting time is slightly longer. However, when there is no allowance for processing time, even a short standby time becomes a problem. Therefore, it is preferable to evaluate the standby time not in accordance with the absolute value of the standby time but in consideration of the time limit.
  • the thread time limit is obtained from the frame processing time limit. For example, when one frame has 5 ⁇ 2 blocks and they are processed in parallel by 5 blocks with 2 threads, the time limit of each thread is the same as the time limit of the frame.
  • the remaining time is calculated by subtracting the elapsed time until the current block from the time limit of the thread. Then, the remaining time is divided by the number of remaining blocks to calculate a time limit for one block, that is, a processing time that can be used for processing the remaining blocks. For example, when five blocks are processed by one thread, if the processing is completed up to the third block, a value obtained by dividing the remaining time by the number of remaining processing blocks “2” is the time limit for one block.
  • the processing time per block in the reference thread 402 is calculated from the elapsed time up to the present time and the number of processed blocks.
  • the time obtained by multiplying the calculated processing time by the number of blocks that the current thread 401 should wait becomes the waiting time of the current thread 401.
  • twice the processing time per block is the waiting time of the current thread 401.
  • Fig. 9 shows an example of setting the evaluation value for standby time.
  • the evaluation value when the waiting time is equal to the time limit for one block is “3”. Further, the evaluation value when the standby time is longer than the time limit and the difference is equal to the time limit is “4”, and the evaluation value when the difference is twice or more the time limit is “5”. Conversely, the evaluation value when the waiting time is shorter than the time limit and the difference is equal to the time limit is “2”, and the evaluation value when the difference is twice or more the block processing time is “1”. .
  • the time limit for one block was obtained by dividing the remaining time by the number of remaining blocks. Instead, a value obtained by dividing the processing time of the entire thread by the number of blocks of that thread. May be a time limit of one block. In the former case, the time limit changes with the progress of frame processing. In the latter case, the time limit remains unchanged until the end of the frame.
  • FIG. 10 shows the parallel processing of the first divided region 631 and the second divided region 632 (FIG. 8) in one frame.
  • the third block 611-3 and the subsequent fourth block 611-4 are processed by the current thread 401.
  • the first block 611-1 and the second block 611-2 following the first block 611-1 are processed by the reference thread 402.
  • the third block 611-3 requires the data 641 at the synchronization point 622 of the first block 611-1 in the processing after the synchronization point 621.
  • the synchronization control unit 403 determines whether to make the third block 611-3 wait until the synchronization point 622.
  • the third block 611-3 refers to the data 641 of the first block 611-1 at the synchronization point 622 and resumes processing.
  • the process of the fourth block 611-4 is started.
  • the fourth block 611-4 requires the data 642 of the second block 611-2 at the synchronization point 624 in the processing after the synchronization point 623.
  • the synchronization control unit 403 determines whether standby is necessary. Here, it is determined not to wait.
  • the current thread 401 refers to the current data 642 of the reference thread 402 without waiting for the data 642 of the second block 611-2, and continues the processing after the synchronization point 623.
  • the data to be referred to when the current thread 401 does not wait is not limited to the current data 642 of the reference thread 402 as described above, but may be data that has been processed by the reference thread 402. Specifically, instead of the data 642 in the second block 611-2, for example, the data at the same position as the data 642 in the first block 611-1 or the data at the synchronization point 622 is referred to. May be.
  • the fourth embodiment will be described in detail with a specific example.
  • the information processing apparatus 400 performs H.264 / MPEG-4 AVC format image processing as described in Non-Patent Documents 1 and 2.
  • Example 1 The current thread and reference thread in this example are deblocking filter processing applied to the macroblock.
  • a technique related to deblocking filter processing is described in Non-Patent Document 3, for example.
  • the deblocking filter process is simply referred to as “filter process”.
  • the frame division format and thread assignment are the same as in FIG. That is, the first divided area 631 is assigned to the reference thread 402 and the second divided area 632 is assigned to the current thread 401. It is assumed that the data of the reference thread 402 that the current thread 401 intends to refer to is a pixel value after filtering.
  • the waiting time calculation unit 404 calculates the waiting time until the filtering process by the reference thread 402 ends, on which the filtering process by the current thread 401 depends.
  • the quality difference calculation unit 406 obtains a quality difference between when the current thread 401 waits for the reference thread 402 and when it does not wait.
  • the image quality of the image is evaluated subjectively or objectively using a PSNR value or the like.
  • the current thread 401 does not synchronize, that is, if it does not wait for the reference thread 402, the current thread 401 advances the filtering process using the pixel value before the filtering process in the reference thread 402.
  • the quality difference calculation unit 406 calculates the quality difference using not only the spatial position of the macroblock and the synchronization control status up to the previous frame, but also the strength of the filter processing. Filter processing depends on the strength of the filter and the quantization step. Therefore, although the quantization step can be included in the calculation of the quality difference, an example in which control is performed using only the filter strength will be described below.
  • FIG. 11 shows the dependency relationship between the blocks in the filter processing by arrows.
  • the filter process basically uses the pixel data of the upper and left blocks that have already been subjected to the filter process.
  • the filtering process 652 of the second block (# 2) depends on the result of the filtering process 651 of the first block (# 1).
  • the filtering process 653 of the third block (# 3) also depends on the filtering process 651 of the first block (# 1).
  • the filter processes 652 and 653 of the second block (# 2) and the third block (# 3) should wait for the end of the filter process 651 of the first block (# 1). Therefore, when performing the filtering process 653 of the third block (# 3) in the current thread, it is determined whether or not to wait for the processing of the filtering process 651 of the first block (# 1) in the reference thread.
  • the degree of image quality deterioration when not waiting for the reference thread is related to the strength of the filter (Boundary Strength value: Bs value) as described in Non-Patent Document 3, for example.
  • Bs the strength of the filter
  • the influence reaches a maximum of 14 pixels from the boundary.
  • the filter strength is weak
  • the influence on other macroblocks is small. Therefore, an appropriate quality difference can be estimated by obtaining the quality of processing based on the strength of the filter processing.
  • the evaluation value is “5”
  • the evaluation values are “4”, respectively. ”,“ 3 ”, and“ 2 ”.
  • the evaluation value of the waiting time can be determined in the form as shown in FIG.
  • the synchronization determination unit 405 compares the evaluation value of the standby time with the evaluation value of the quality difference, and determines whether the current thread 401 needs to wait. For example, when the evaluation value of the standby time is equal to or less than the evaluation value of the quality difference, it is determined that synchronization is to be established.
  • the quality difference evaluation value is determined based on the strength of the filter processing, but may be determined based on other factors. For example, the spatial position of the block to which the filter process is applied and the synchronization control status up to the previous frame may be considered.
  • macroblocks positioned at the right and bottom edges of a frame are less likely to be affected by image quality degradation.
  • “1” is subtracted from the quality difference evaluation value.
  • the threshold value of the standby time is lowered, so that it can be determined that the standby is not performed.
  • the image quality at that position may be significantly degraded. Therefore, in such a case, “1” may be added to the evaluation value at the time of quality evaluation in the current frame.
  • the threshold value of the standby time is increased, which can lead to the determination of standby.
  • Intra prediction related to H.264 luminance is performed in units of 4 ⁇ 4 blocks or 16 ⁇ 16 blocks.
  • Nine types of prediction modes are prepared for intra prediction in units of 4 ⁇ 4 blocks, and four types of prediction modes are prepared for intra prediction in units of 16 ⁇ 16 blocks.
  • the quality difference is estimated based on the prepared prediction mode and whether or not the macro block of the current thread 401 refers to the macro block of the reference thread 402. This quality difference represents how much the influence of image quality degradation in a frame differs between when synchronization is performed and when it is not performed. In the case of 4 ⁇ 4 block units, different prediction modes are applied to the 16 4 ⁇ 4 blocks of the macroblock, so that the influence of image quality degradation does not spread over the entire frame, and is limited to only a few blocks.
  • the evaluation value when the influence of the image quality degradation of the macro block being processed in the current thread 401 is propagated to another macro block is “4”, and the case where the evaluation value remains in the macro block is “ 3 ”, and“ 2 ”can be used when it fits within an 8 ⁇ 8 block within a macroblock.
  • the motion prediction process for the macroblock is the current thread 401
  • the deblocking filter process for the macroblock is the reference thread 402.
  • the motion prediction process of the current thread 401 is advanced using the pixel value before the filter process.
  • the quality difference is calculated using the prediction vector of the motion prediction process.
  • the divided area assigned to the reference thread 402 is a divided area of the frame immediately before the frame to which the divided area assigned to the current thread 401 belongs.
  • “4” is set when the motion vector length is zero
  • “3” is set when the motion vector length is greater than zero and smaller than the average within the frame
  • the average within the frame is determined. If it is larger, “2” is set. Whether to wait for the end of the filtering process is determined based on the evaluation value of the quality difference and the evaluation value for the standby time. In this way, it is possible to realize synchronous control that shortens the processing time while suppressing a decrease in output image quality.
  • a motion vector search process in a certain frame is a current thread 401
  • a process of creating a reference image of a search area in another frame that is referred to for a motion vector search is a reference thread 402.
  • an encoded image is once decoded and used as a reference image of a subsequent frame.
  • a motion vector used for generating an intra predicted image is obtained using the reference image.
  • the reference image of the vector search area has not been created, it is determined whether or not to wait for the creation process to end.
  • a vector search is performed using an area that can be referred to at the present time.
  • the quality difference is calculated using the motion vectors of the neighboring blocks and the search evaluation value using the area that can be referred to at the present time.
  • the blocks assigned to the current thread 401 and the reference thread 402 are divided areas in the same frame in the specific example described above. In this example, it is assumed that the divided area assigned to the reference thread 402 is a divided area in the frame referred to in the motion vector search. That is, it is different from the frame of the current thread 401.
  • the image quality is estimated based on the amount of code generated when a macroblock is encoded using the motion vector obtained by the search.
  • the motion vector of a certain block has a strong correlation with the motion vectors of its surrounding blocks. For this reason, first, the motion vector of the block is predicted using the motion vector of the peripheral block. Then, it is checked whether or not the predicted motion vector points to the allocation area of the reference thread 402. Next, search evaluation such as the sum of absolute differences is performed in an area that can be referred to at the present time, and it is checked whether or not the best value obtained thereby exceeds the upper limit. At this time, a motion vector may be predicted from the tendency of the search evaluation value, and it may be estimated whether or not it points to the allocation area of the reference thread 402.
  • a case where the predicted motion vector points to the allocation area of the reference thread 402 and the evaluation value of the sum of absolute differences in the currently referable area is smaller than the upper limit is “4. " Also, if the evaluation value of the sum of absolute differences is only smaller than the upper limit, it is set to “3”, and the evaluation value of the sum of absolute differences exceeds the upper limit, but the predicted motion vector points to the allocation area of the reference thread 402 If it is, “2” is set. Based on the evaluation value of the quality difference and the evaluation value for the standby time, it is determined whether to wait for the completion of the creation of the reference image in the vector search region. By doing in this way, synchronous control which shortens processing time is attained, suppressing the amount of generated codes.
  • the present invention is not limited to the above embodiment.
  • the implementation of the present invention can be modified as appropriate within the scope of the claims of the present application.
  • the present invention can be implemented as a computer program corresponding to the operation of the information processing apparatus 400 and a recording medium storing the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

　現行スレッドおよび参照スレッドを並列に実行する同期制御部と、現行スレッドが第１同期点に達したときに参照スレッドが第２同期点に達していない場合に参照スレッドが第２同期点に到達するまでの所要時間を現行スレッドの待機時間として求める待機時間計算部と、現行スレッドが参照スレッドの第２同期点での処理データを参照して生成するデータと現行スレッドが当該処理データを参照せずに生成するデータとの間の品質差分を推定する品質差分計算部と、待機時間および品質差分の大きさに応じて現行スレッドを参照スレッドが第２同期点に達するまで待機させるか否かを判定する同期判定部とを備える。

Description

同期制御方法および情報処理装置
　本発明は、複数のスレッドを並列処理する際の同期制御に関する。
　情報処理装置にて１つのアプリケーションに対応したプロセスを実行する手法として、そのプロセスの複数のスレッド（単位処理）を並列的に実行するマルチスレッドと称されるものがある。
　マルチスレッドでは、複数のスレッドのうち関連するスレッド同士を同期させるようプログラムが設計される。これにより、プロセスを効率よく実行することができる。かかるマルチスレッドに関する技術は、例えば、後述の特許文献１に記載されている。
特開平１０－１８７４６５号公報 ITU-T Recommendation H.264, Advanced Video Coding for Generic Audiovisual Services, Mar. 2003 K.-P. Lim, G. Sullivan, T. Wiegand, Text description of joint model reference encoding methods and decoding concealment methods, Joint Video Team of ISO/IEC MPEG and ITU-T VCEG Document, JVT-X101, Geneva, June. 2007 森吉達治，宮崎孝著、"ソフトウェアH.264エンコーダの並列化"、D-11-33、電子情報通信学会総合大会、RM-9310，２００６年
　マルチスレッドによれば、前述したように、スレッドの並列処理によりプロセス全体の効率化が図られる。しかしながら、他のスレッドとの同期を伴うスレッドの場合、処理時間が規定より長引く可能性がある。その一例を以下に挙げる。
　いま、並列処理される２つのスレッドＡ,Ｂがあり、そのうちのスレッドＡが、このスレッドの同期点ａにおいて、他方のスレッドＢにおける同期点ｂでのデータを参照することを想定する。かかる想定において、スレッドＡが先に同期点ａに到着した、すなわち、スレッドＡの同期点ａまでの処理がスレッドＢの同期点ｂまでの処理よりも先に完了したとする。この場合、スレッドＡは、スレッドＢが同期点ｂに到着するまで待機することになるが、スレッドＢの進行が遅れるほど、スレッドＡの待機時間が長引く。その結果、プロセス全体の処理時間が長引く。
　一方で、処理時間の長期化を防止するために、例えば、前述の特許文献１で採用されているようなタイマを事前に設定することが考えられる。しかしながら、上記の例において、スレッドＡがタイマ満了を待って処理を再開しても、このスレッドＡから適切な処理結果が得られるとは限らない。なぜなら、タイマ満了の時点でスレッドＢから参照するデータが、スレッドＡにとって有益かどうかは不明だからである。適切な処理結果が得られない場合、スレッドＡによる待機は、結果的に無駄なものとなる。
　そこで、本発明の目的は、マルチスレッドにおいてスレッドの並列処理を効率よく行うための同期制御方法および情報処理装置を提供することにある。
　本発明に係る同期制御方法は、現行スレッドと、当該現行スレッドによりデータが参照される参照スレッドとを並列に実行し、前記現行スレッドが第１の同期点に達したとき、前記参照スレッドが第２の同期点に達したか否かを判別し、前記判別が否の場合、前記参照スレッドが前記第２の同期点に到達するまでの所要時間を前記現行スレッドの待機時間として求め、前記現行スレッドが前記参照スレッドの前記第２の同期点での処理データを参照して生成するデータと、前記現行スレッドが前記処理データを参照せずに生成するデータとの間の品質差分を推定し、前記待機時間および品質差分の大きさに応じて、前記現行スレッドを前記参照スレッドが前記第２の同期点に達するまで待機させるか否かを判定するという方法である。
　本発明に係る情報処理装置は、現行スレッドと該現行スレッドによりデータが参照される参照スレッドとを並列に実行する同期制御部と、前記現行スレッドが第１の同期点に達したときに前記参照スレッドが第２の同期点に達していない場合、前記参照スレッドが前記第２の同期点に到達するまでの所要時間を前記現行スレッドの待機時間として求める待機時間計算部と、前記現行スレッドが前記参照スレッドの前記第２の同期点での処理データを参照して生成するデータと、前記現行スレッドが前記処理データを参照せずに生成するデータとの間の品質差分を推定する品質差分計算部と、前記待機時間および品質差分の大きさに応じて、前記現行スレッドを前記参照スレッドが前記第２の同期点に達するまで待機させるか否かを判定する同期判定部とを備える。
　本発明によれば、マルチスレッドにおいてスレッドの並列処理を効率よく行うことが可能となる。
本発明の第１実施形態における情報処理装置の構成を示すブロック図である。 本発明の第１実施形態におけるスレッドの並列処理に関する説明図である。 本発明の第１実施形態の動作に関するフローチャートである。 本発明の第１実施形態における同期判定に関する説明図である。 本発明の第１実施形態の変形例に関するフローチャートである。 本発明の第２実施形態の動作に関するフローチャートである。 本発明の第３実施形態の動作に関するフローチャートである。 本発明の第４実施形態に関する説明図である。 本発明の第４実施形態における待機時間の評価値に関する説明図である。 本発明の第４実施形態におけるスレッドの並列処理に関する説明図である。 本発明の第４実施形態の具体例に関する説明図である。
符号の説明
400　情報処理装置
401　現行スレッド
402　参照スレッド
403　同期制御部
404　待機時間計算部
405　同期判定部
406　品質差分計算部
《第１の実施形態》
　図１に、本発明の第１実施形態の情報処理装置400を示す。情報処理装置400は、現行スレッド401、参照スレッド402、同期制御部403、待機時間計算部404、同期判定部405、及び、品質差分計算部406を備える。情報処理装置400は、マルチスレッド対応のコンピュータであり、現行スレッド401及び参照スレッド402を並列に実行する。
　現行スレッド401は、参照スレッド402の処理結果や処理対象のデータなど、参照スレッド402が取り扱うデータを参照して処理を進める。また、現行スレッド401には同期点Ａ、参照スレッド402には同期点Ｂが、それぞれ設定されている。同期点Ａは、本発明における第１の同期点に対応し、同期点Ｂは第２の同期点に対応する。
　待機時間計算部404は、現行スレッド401が同期点Ａに達したときに参照スレッド402が同期点Ｂに達していない場合に、参照スレッド402が同期点Ｂに達するまでの現行スレッド401の待機時間を計算する。待機時間は、例えば、参照スレッド402における同期点Ｂまでの残りの処理ブロック数と、そのブロック１つあたりの処理の所要時間との積から求めることができる。
　品質差分計算部406は、同期点Ａに達した現行スレッド401が参照スレッド402の同期点Ｂでのデータを参照した場合のデータと、現行スレッド401が現時点の参照スレッド402のデータを参照した場合のデータとの品質差分を推定する。品質差分は、現行スレッド401の進行状況や、各スレッドが処理するブロックの制御パラメータ、処理ブロック間の関係などに依存する。例えば、現行スレッド401において、参照スレッド402の同期点Ｂでのデータなしでは良好な処理結果が得られない場合、品質差分は大きくなる。逆に、そのデータがなくても現行スレッド401から良好な処理結果が得られる場合は、品質差分は小さい。
　同期判定部405は、待機時間計算部404にて計算された待機時間と、品質差分計算部406にて推定された品質差分とに基づいて、現行スレッド401を、参照スレッド402との同期のために待機させるかどうかを決定する。
　同期制御部403は、同期判定部405による決定に従って、現行スレッド401の進行を制御する。すなわち、同期判定部405が同期を行うと決定した場合、参照スレッド402が所定の同期点に達するまで、現行スレッド401を待機させる。また、同期判定部405が同期を行わないと決定した場合は、現行スレッド401を待機させずに処理を続行させる。
　図２に、現行スレッド401と参照スレッド402との同期の様子を模式的に示す。現行スレッド401が同期点Ａ421に達したときに同期をとると判定された場合、参照スレッド402が同期点Ｂ421に達するまで、現行スレッド401を待機させる。
　図２において、同期点Ａ421から同期点Ｂ421までの参照スレッド402の所要時間が、待機時間431に相当する。参照スレッド402が同期点Ｂ421に達すると、その時点のデータ441を参照して現行スレッド401が処理を再開させる。このデータ441は、本発明における第１の同期点での処理データに対応するものである。
　図３に示すフローチャートと、図１及び図２に沿って、本実施形態の動作を説明する。同期制御部403は、参照スレッド402と並列で実行されている現行スレッド401が同期点Ａ421に達すると（ステップS101）、他方の参照スレッド402が同期点Ｂ422に達したか否かを確認する。参照スレッド402が同期点Ｂ422に達している場合（ステップS102：Yes）、この同期点Ｂ422でのデータ411を参照して処理を継続するよう現行スレッド401を制御する（ステップS107）。
　一方、参照スレッド402が同期点Ｂ422に達していない場合は（ステップS102：No）、待機時間計算部404が、参照スレッド402が同期点Ｂ421に到達するまでの時間、すなわち待機時間431を算出する（ステップS103）。前述したように、同期点Ａ421から同期点Ｂ421までの時間差が待機時間431に相当する。
　品質差分計算部406は、現行スレッド401が参照スレッド402の同期点Ｂ422でのデータ441を参照して生成するデータと、現行スレッド401が参照スレッド402の現時点のデータを参照して生成するデータとの品質差分を推定する（ステップS104）。
　同期判定部405は、品質差分計算部406により推定された品質差分を、予め設定されている上限と比較する。比較の結果、品質差分が上限を超える場合（ステップS105：Yes）、同期を行う、すなわち参照スレッド402が同期点Ｂ422に達するまで現行スレッド401を待機させると判定する（ステップS106）。これは即ち、品質差分が比較的大きいので、現行スレッド401による同期点Ａ421以降の処理品質を劣化させないためには、データ441の参照が必要であるとの判定である（判定I）。
　同期制御部403は、上記判定を認識すると、参照スレッド402が同期点Ｂ422に達するまで、現行スレッド401の実行を中断させる。その後、参照スレッド402からデータ441が得られると、このデータ441を参照して処理を再開させるよう現行スレッド401を制御する（ステップS107）。
　一方、推定された品質差分が上限を下回る場合（ステップS105：No）、同期判定部405は、待機時間計算部404により算出された待機時間431を、予め設定されている上限と比較する。比較の結果、待機時間431が上限を下回る場合（ステップS107：No）、現行スレッド401を待機させると判定する（ステップS106）。これは即ち、品質差分が小さいので現行スレッド401にデータ441の参照は必須ではないが、参照スレッド402が間もなく同期点Ｂ422に達するので、現行スレッド401を待機させるという判定である（判定II）。
　また、待機時間が上限を超える場合（ステップS107：Yes）、同期判定部405は、現行スレッド401を待機させないと判定する（ステップS109）。これは即ち、現行スレッド401にデータ441の参照は必須ではないので、長い待機時間431を省略して処理を続行させるという判定である（判定III）。この判定を認識した同期制御部403は、参照スレッド402の現時点のデータを参照して現行スレッド401を続行させるよう制御する（ステップS110）。
　図４に、上記の判定I，II，IIIについての具体例を示す。図示のグラフは、現行スレッド401における４つの同期点461,462,463,464で得られた待機時間（431）及び品質差分の度合いを示すものである。待機時間閾値451及び品質差分閾値452は、待機時間及び品質差分に関する前述の上限に対応する。
　同期点461及び462では、いずれも品質差分が上限を超えることから、上記判定Iに基づき現行スレッド401を待機させる。また、同期点463では、品質差分が上限を超えないものの、待機時間が短いことから、上記判定IIに基づき現行スレッド401を待機させる。これらのケースにおいて、現行スレッド401は、待機後、同期点Ｂ422でのデータ441を参照した処理により、良好な品質のデータを生成することができる。
　一方、同期点464では、品質差分が小さいにもかかわらず、待機時間が長い。この場合は、上記判定IIIにより、現行スレッド401を待機させずに続行させる。これにより、現行スレッド401が参照スレッド402の現時点のデータを参照して処理を進めることになるが、事前に推定された品質差分が小さいことから、処理結果のデータ品質が著しく劣化することはない。かかる制御により、参照スレッド402との同期を要因とした現行スレッド401の処理遅延を防止することができる。
　なお、同期判定部405による判定は、品質差分のみに基づくものであってもよい。この場合、情報処理装置400から待機時間計算部404を省略することができる。かかる判定の手順を図５に示す。ステップS1051，S1061，S1071は、図３のステップS105，S106，S107と同様である。すなわち、品質差分が上限を超える場合は、現行スレッド401を待機させる。
　図５の制御では、同期判定部405は、品質差分が小さいことを以て（ステップS1051：No）、現行スレッド401を待機させないと判定する（ステップS1091）。これにより、現行スレッド401が、参照スレッド402の現時点のデータをもとに処理を続行する（ステップS1101）。図４に示す同期点463は、図３の制御では現行スレッド401を待機させると判定されたが（判定II）、図５の制御では、待機させないと判定される（判定II´）。よって、図５の手順は、現行スレッド401の遅延防止を重視する用途に好適である。
　なお、上記説明では、現行スレッド401が、参照スレッド402を待機しない場合、参照スレッド402の現時点のデータを参照したが、この形態に限らず、例えば、参照スレッド402により既に処理されたデータや、予め用意されたデータを参照するようにしてもよい。
《第２の実施形態》
　本発明の第２の実施形態を説明する。本実施形態の情報処理装置400の構成は、基本的には前述の実施形態のもの（図１）と同様である。前述の実施形態との差異は、同期判定部405の動作にある。本実施形態の同期判定部405は、待機時間計算部404が算出した待機時間を、品質差分の大きさに応じて短縮あるいは延長する。そして、調整した値を現行スレッド401の待機時間に適用する。以下、調整後の待機時間をタイムアウト値と記す。
　図６に示すフローチャートと、図１及び図２に沿って、本実施形態の動作を説明する。現行スレッド401が同期点Ａ421に達したとき、前述の実施形態におけるステップS101～S104と同様な処理を行う（ステップS201）。すなわち、現時点で参照スレッド402が同期点Ｂ422に達していない場合、待機時間および品質差分が推定される。
　同期判定部405は、推定された品質差分が上限を超える場合（ステップS202：Yes）、待機時間Ｔに所定値α（α＞０）を加算し、それをタイムアウト値として設定する（ステップS203）。同期制御部403は、このタイムアウト値（Ｔ＋α）が満了するまで現行スレッド401を待機させる（ステップS204）。その後、前述の実施形態でのステップS107と同様にして、参照スレッド402のデータ441を用いて現行スレッド401を再開させる（ステップS205）。
　一方、品質差分が上限を下回る場合（ステップS202：No）、同期判定部405は、待機時間Ｔに所定値β（０＜β＜Ｔ）を減算し、それをタイムアウト値として設定する（ステップS206）。タイムアウト値（Ｔ－β）がゼロより大きい場合は（ステップS202：No）は、タイムアウトするまで現行スレッド401を待機させる（ステップS204）。
　また、タイムアウト値（Ｔ－β）がゼロの場合（ステップS207：Yes）、同期判定部405は、現行スレッド401を待機させないと判定する（ステップS208）。この場合、同期制御部403が、前述の実施形態でのステップS110と同様にして、現行スレッド401を待機させずに続行させる（ステップS209）。
　本実施形態によれば、品質差分が大きい場合に待機時間を延長することから、現行スレッド401が同期点Ｂ422でのデータ441を確実に捉えることができる。これは、例えば、何らかの原因で参照スレッド402が遅延している場合に有益である。また、品質差分が小さい場合は、待機時間を短縮するよう微調整することができる。これにより、現行スレッド401の処理が長期化することを防止できる。また、現行スレッド401が、同期点Ａ421から同期点Ｂ422までに参照スレッド402で処理されたデータを参照して処理することができる。
《第３の実施形態》
　本発明の第３の実施形態を説明する。本実施形態の情報処理装置400の構成は、基本的には前述の実施形態のもの（図１）と同様である。本実施形態は、待機時間計算部404が、現行スレッド401の待機中に待機時間の再計算を行う点が第１実施形態と相違する。
　図７に示すフローチャートと、図１及び図２に沿って、本実施形態の動作を説明する。ここでは、同期判定部405が現行スレッド401を待機させると判定したステップ（図３：ステップS106，図５：ステップS1061）以降を説明する。
　現行スレッド401の待機中（ステップS301）、待機時間計算部404は、待機時間を再計算する（ステップS302）。この再計算により得られる値は、同期点Ａ421から所定時間が経過した時点において、参照スレッド402が同期点Ｂ422に達するまでの所要時間に相当する。よって、同期点Ａ421以降、参照スレッド402の進行に遅延がない場合、再計算による待機時間ＴＲは、次式（１）で表すことができる。ここで、「Ｔ０」は同期点Ａ421で算出された待機時間431であり、「ＴＰ」は、その同期点Ａ421からの経過時間を表す。
　ＴＲ＝Ｔ０－ＴＰ　…（１）
　再計算値ＴＲが算出されると、同期判定部405は、参照スレッド402の進行が遅延しているかどうかを確認する。これは、次式（２）及び（３）を用いて判定することができる。
　ＴＲ≦Ｔ０－ＴＰ　…（２）
　ＴＲ＞Ｔ０－ＴＰ　…（３）
　同期判定部405は、ゼロ以上の値を持つ再計算値ＴＲが上記式（２）を満たす場合、参照スレッド402が遅延せずに進行していると判断する（ステップS303：No，S304：No）。この場合は、そのまま現行スレッド401を待機しつつ、所定期間ごとに再計算を行う（ステップS301,S302）。そして、再計算値ＴＲがゼロになったら（ステップS303：Yes）、同期点Ｂ422のデータ441を参照して現行スレッド401を再開させる（ステップS305）。この処理は、前述の第１の実施形態におけるステップS107（図３）と同様である。
　一方、再計算値ＴＲが上記式（３）を満たす場合、同期判定部405は、参照スレッド402に遅延が発生していると判断する（ステップS304：Yes）。この場合、現行スレッド401の再開が遅れることを防ぐために待機を中止し（ステップS306）、参照スレッド402の現時点のデータを参照して現行スレッド401を再開させる（ステップS307）。この再開時の動作は、前述の第１の実施形態におけるステップS110（図３）と同様である。
　このように、本実施形態によれば、割り込み処理のような予期しない事象が発生して参照スレッド402の進行が遅延している状況であっても、待機中の現行スレッド401の再開が遅れることを防止できる。
《第４の実施形態》
　本発明の第４の実施形態を説明する。本実施形態の情報処理装置400の構成は、基本的には前述の実施形態のもの（図１）と同様である。本実施形態は、情報処理装置400が画像処理に関するスレッドを実行することを想定したものである。
　図８に、情報処理装置400にて処理される画像フレームを示す。処理対象の画像は、連続するｎ個の画像フレーム（第１フレーム610-1～第ｎフレーム610-n）から構成される。各フレーム610-1～610-nは、ｍ個のブロック611-1～611-mに分割されている。フレーム内の各ブロック（611-1～611-m）は、複数のスレッドの何れかに割り当てられて処理される。例えば、フレームを複数の領域に分割し、分割した領域単位でスレッドに割り当てることができる。
　図９に、フレームの分割の一例を示す。図示の例では、フレームの走査方向に沿って、すなわちフレームの横方向に沿ってフレームを一列ずつ分割して、上方から順に第１分割領域631及び第２分割領域632が形成されている。そして、第１分割領域631に参照スレッド（402）、第２分割領域632に現行スレッド（401）がそれぞれ割り当てられている。この割り当ては、第２分割領域632を、第１分割領域631の処理結果を参照しながら処理することを意図したものである。
　本実施形態の動作には、上記の各実施形態の手順（図３，図５～図７）を適用することができる。待機時間計算部404は、例えば、現行スレッド401で処理中のブロックと、参照スレッド402で処理中のブロックとの番号又は位置を基に、待機時間を計算することができる。品質差分計算部406は、例えば、処理中のブロックの空間的な位置や、前フレームまでの同期制御状況をもとに、品質差分を計算することができる。
　本実施形態における同期判定部405の動作例を説明する。待機時間及び品質差分をＮ段階（Ｎは２以上の整数）で評価することを考える。品質差分については、品質差分が最も大きいときを「Ｎ」とし、最も小さいときを「１」と評価する。待機時間については、最も長いときを「Ｎ」とし、最も短いときを「１」と評価する。
　同期判定部405は、例えば、待機時間の評価が品質差分の評価を超えないときに、同期を取る、すなわち現行スレッド401を待機させると判断する。具体的には、待機時間の評価値が「２」で、品質差分の評価値が「１」であれば、同期を行わないと判断する。また、待機時間の評価値が「４」で、品質差分の評価値が「５」のときは、同期を行うと決定する。かかる制御により、画像品質の低下を抑制しつつ、全体の処理時間の増加を回避することができる。
　なお、待機時間の評価は、処理の進行状況やユーザーからの指示に応じて、オフセット値を適宜加えることができる。これにより、同期の判断を柔軟に制御することができる。
　ところで、リアルタイム動画処理などでは、画像処理に制限時間が設けられている。例えば、１秒間に３０枚の画像フレームを生成する場合は、１枚につき1/30秒以内にデコード処理する必要がある。処理時間に余裕があるときは、待機時間が多少長くても問題にはならない。しかし、処理時間に余裕がないときは、短い待機時間でも問題となる。従って、待機時間の評価は、絶対的な待機時間の値によって行うのではなく、制限時間との兼ね合いで評価することが好ましい。
　制限時間を用いた待機時間の評価手法の例を挙げる。まず、フレーム処理の制限時間からスレッドの制限時間を求める。例えば、１フレームが５×２個のブロックを有し、それらを２つのスレッドで５ブロックずつ並列処理する場合、各スレッドの制限時間はフレームの制限時間と同じである。次いで、スレッドの制限時間から、現在ブロックまでの経過時間を差し引いて、残り時間を算出する。そして、残り時間を、残りのブロック数で割って、１ブロックの制限時間、すなわち、残りブロックの処理に使える処理時間を計算する。例えば、１スレッドで５つのブロックを処理する場合、３つめブロックまで処理を終えていれば、残り時間を、残り処理ブロック数「２」で割った値が、１ブロック分の制限時間となる。
　一方、待機時間の計算では、現在までの経過時間と、処理済みブロック数とから、参照スレッド402における１ブロックあたりの処理時間を計算する。そして、算出した処理時間に、現行スレッド401が待機すべきブロック数を掛けた時間が、現行スレッド401の待機時間となる。例えば、参照スレッド402が同期点Ｂ422に達するまでにあと２ブロック残っている場合、１ブロックあたりの処理時間の２倍が、現行スレッド401の待機時間となる。このように求めた待機時間を評価する際は、その待機時間と、１ブロック分の制限時間（１ブロックあたりの処理時間）とを比較する。
　図９に、待機時間の評価値の設定例を示す。図示の例は、待機時間を５段階で評価することを想定したものである。待機時間と１ブロックの制限時間とが同等のときの評価値を「３」とする。また、待機時間が制限時間よりも長く、その差が制限時間と同等のときの評価値を「４」とし、差が制限時間の２倍以上あるときの評価値を「５」とする。逆に、待機時間が制限時間よりも短く、その差が制限時間と同等のときの評価値を「２」とし、差がブロック処理時間の２倍以上あるときの評価値を「１」とする。
　なお、上記の例では、残り時間を残りのブロック数で割ることで、１ブロック分の制限時間を求めたが、これに替えて、スレッド全体の処理時間をそのスレッドのブロック数で割った値を、１ブロックの制限時間としてもよい。前者の場合は、フレーム処理の進行に合わせて制限時間が変化する。後者の場合は、フレーム終了まで制限時間は不変である。
　図１０に、１つのフレームにおける第１分割領域631及び第２分割領域632（図８）の並列処理の様子を示す。第３ブロック611-3、及び、それに続く第４ブロック611-4は、現行スレッド401により処理される。また、第１ブロック611-1、及び、それに続く第２ブロック611-2は、参照スレッド402により処理される。
　第３ブロック611-3は、同期点621以降の処理で、第１ブロック611-1の同期点622でのデータ641が必要であるとする。この場合、同期制御部403は、第３ブロック611-3が同期点621に到達すると、第３ブロック611-3を同期点622まで待機させるかどうかを決定する。ここでは、待機させると決定したとする。待機後、第３ブロック611-3が、同期点622で第１ブロック611-1のデータ641を参照して処理を再開する。
　第２分割領域632において、第３ブロック611-3の処理が終了すると、第４ブロック611-4の処理が開始する。第４ブロック611-4は、同期点623以降の処理で、同期点624での第２ブロック611-2のデータ642を必要とする。同期制御部403は、第４ブロック611-4が同期点623に到達すると、待機の要否を判定する。ここでは、待機させないと決定する。この場合、現行スレッド401が、第２ブロック611-2のデータ642を待たずに、参照スレッド402の現時点のデータ642を参照して同期点623以降の処理を継続する。
　なお、現行スレッド401が待機しない場合に参照するデータは、上記のような参照スレッド402の現時点のデータ642に限らず、参照スレッド402での処理済みのデータであってもよい。具体的には、第２ブロック611-2のデータ642に代えて、例えば、第１ブロック611-1にてデータ642と同様な位置にあるデータ、あるいは、同期点622のデータを参照するようにしてもよい。
　本実施形態によれば、画像フレーム内の並列処理において、スレッドの処理品質と処理時間との兼ね合いを考慮した制御が可能となる。
　第４の実施形態について、具体例を挙げて詳細に説明する。ここでは、情報処理装置400が、非特許文献１及び２に記載されているような、H.264/MPEG-4 AVC方式の画像処理を行うことを想定する。
《具体例１》
　本例の現行スレッド及び参照スレッドは、マクロブロックに施すデブロッキングフィルタ処理である。デブロッキングフィルタ処理に関する技術は、例えば、非特許文献３に記載されている。以下、デブロッキングフィルタ処理を単に「フィルタ処理」と記す。
　本例において、フレームの分割形式およびスレッドの割り当ては、図８と同様とする。すなわち、第１分割領域631を参照スレッド402に割り当て、第２分割領域632を現行スレッド401に割り当てる。現行スレッド401が参照しようとする参照スレッド402のデータは、フィルタ処理後の画素値であるとする。
　待機時間計算部404は、現行スレッド401によるフィルタ処理が依存する、参照スレッド402によるフィルタ処理が終了するまでの待機時間を算出する。品質差分計算部406は、現行スレッド401が参照スレッド402を待機する場合としない場合との品質の差を求める。画像品質は、その画像の画質を主観的に、又は、ＰＳＮＲ値等を用いて客観的に評価する。
　現行スレッド401は、同期を取らない場合、つまりは、参照スレッド402を待機しない場合は、参照スレッド402におけるフィルタ処理前の画素値を用いてフィルタ処理を進める。
　品質差分計算部406は、マクロブロックの空間的な位置や、前フレームまでの同期制御状況だけではなく、フィルタ処理の強度を用いて品質差分を算出する。フィルタ処理は、フィルタの強度や、量子化ステップに依存する。従って、品質差分の計算に、量子化ステップを含めることもできるが、以下では、フィルタの強度のみを用いて制御する例を説明する。
　図１１に、フィルタ処理におけるブロック間の依存関係を矢印にて示す。フィルタ処理は、基本的に、既にフィルタ処理が施された上及び左のブロックの画素データを用いる。例えば、第２ブロック（＃２）のフィルタ処理652は、第１ブロック（＃１）のフィルタ処理651の結果に依存する。また、第３ブロック（＃３）のフィルタ処理653も、第１ブロック（＃１）のフィルタ処理651に依存する。
　本来、第２ブロック（＃２）及び第３ブロック（＃３）の各フィルタ処理652,653は、第１ブロック（＃１）のフィルタ処理651の終了を待機すべきである。そこで、現行スレッドにて第３ブロック（＃３）のフィルタ処理653を行う際に、参照スレッドでの第１ブロック（＃１）のフィルタ処理651の処理終了を待つか否かを判断する。
　参照スレッドを待機しない場合の画質の低下の度合いは、例えば、非特許文献３に記載されているように、フィルタの強度（Boundary Strength値：Ｂｓ値）に関連する。マクロブロック境界の強度が４（Bs=4）であった場合、その影響は、最大で、境界から１４画素分にまで及ぶ。一方で、フィルタ強度が弱い場合は、他のマクロブロックへの影響は少ない。従って、フィルタ処理の強度を基に処理の品質を求めることで、適切な品質差分を見積もることができる。
　品質差分の評価に用いるＢｓ値は、マクロブロックの最も左上の境界に適用する垂直方向のフィルタのＢｓ値とする。この境界は、マクロブロック間の境界であるため、Ｂｓ値として「４」，「２」，「１」，「０」の４つの値を取り得る。上方ブロックのフィルタ処理の終了を待たず、フィルタ処理前の画素を用いてフィルタ処理を行った場合、「Bs=4」の時に最も品質低下が著しい。品質差分の簡単な評価例として、Ｂｓ値が「４」の場合に評価値を「５」とし、Ｂｓ値が「２」，「１」，「０」の場合の評価値を、それぞれ「４」，「３」，「２」とする。
　待機時間の評価値については、図９に示すような形態で決定することができる。同期判定部405は、待機時間の評価値と品質差分の評価値とを比較して、現行スレッド401による待機の要否を決定する。例えば、待機時間の評価値が品質差分の評価値以下の場合に、同期を取ると決定する。
　なお、本例では、品質差分の評価値は、フィルタ処理の強度を基に決定されたが、他の要素をもとに決定してもよい。例えば、フィルタ処理を適用するブロックの空間的な位置、前フレームまでの同期制御状況を考慮してもよい。
　一般に、フレームの右端や下端に位置するマクロブロックは、画質低下の影響が伝播しにくいので、そのようなマクロブロックについては、品質差分の評価値から「１」を差し引く。このような調整により、待機時間のしきい値が下がるので、待機しないとの判定に導くことができる。また、前フレームと同じ位置のブロックに対し、待機しないと判定した場合、その位置での画質が著しく低下するおそれがある。よって、このような場合は、現フレームでの品質評価の際、評価値に「１」を加えてもよい。かかる調整により、待機時間のしきい値が上がるので、待機するとの判定に導くことができる。
《具体例２》
　第４の実施形態に関する他の具体例について説明する。スレッドの内容に関し、前述の具体例１ではデブロッキングフィルタ処理であったが、本例では、イントラ予測処理であるとする。本例の同期判定部405は、同一フレームにおいて、現行スレッド401が参照しようとする参照スレッド402での画素にイントラ予測処理が施されていない場合に、そのイントラ予測処理の終了を待つか否かを判断する。待たない場合は、参照スレッド402の現時点の（イントラ予測が未処理の）画素、あるいは、イントラ予測済みであり且つ参照画素と同じ位置の前フレームの画素値を用いてイントラ予測を進める。
　H.264の輝度に関するイントラ予測は、４×４ブロック、又は、１６×１６ブロック単位で行う。４×４ブロック単位のイントラ予測では９種類の予測モードを用意し、１６×１６ブロック単位のイントラ予測では、４種類の予測モードを用意する。
　品質差分は、用意された予測モードと、現行スレッド401のマクロブロックが参照スレッド402のマクロブロックを参照するか否かを基に推定される。この品質差分は、同期を行った場合と行わない場合とで、フレーム内での画質低下の影響がどれほど異なるかを表す。４×４ブロック単位の場合、マクロブロックの１６個の４×４ブロックに異なる予測モードが適用されるため、画質低下の影響がフレーム全体に広がらず、数個のブロックだけに抑えられる。
　品質差分の簡単な評価例として、現行スレッド401で処理中のマクロブロックの画質低下の影響が、他のマクロブロックまで伝播する場合の評価値を「４」とし、マクロブロック内に留まる場合を「３」とし、マクロブロック内の８×８ブロック内に納まる場合を「２」とすることができる。
　本例では、上記のようにして求めた品質差分の評価値と、待機時間の評価値とを基に、現行スレッド401が参照スレッド402でのイントラ予測処理の終了を待ち合わせるかどうかを決定する。これにより、出力画質の低下を抑えつつ、処理時間を短縮する同期制御ができる。
《具体例３》
　第４の実施形態に関する他の具体例について説明する。本例では、マクロブロックに対する動き予測処理を現行スレッド401とし、マクロブロックに対するデブロッキングフィルタ処理を参照スレッド402とするものである。本例では、現行スレッド401の動き予測処理が参照する画素に、参照スレッド402のフィルタ処理が施されていない場合に、そのフィルタ処理の完了を待つか否かを判断する。待たない場合は、フィルタ処理前の画素値を用いて現行スレッド401の動き予測処理を進める。
　また、本例では、動き予測処理の予測ベクトルを用いて品質差分を算出する。参照スレッド402に割り当てられる分割領域は、現行スレッド401に割り当てられる分割領域が属するフレームの直前のフレームの分割領域とする。
　一般に、人間の認知特性によれば、高速に動く物体に対する認知精度は低い。このため、高速移動物体の画質低下の影響は、停止している物体のそれより少ない。そこで、動きベクトルの長さと物体の移動速度とに関連があると仮定し、動きベクトルの長さを用いて画像の品質を評価する。
　品質差分の簡単な評価例として、動きベクトル長がゼロの場合を「４」とし、動きベクトル長がゼロより大きく、かつフレーム内での平均より小さい場合を「３」とし、フレーム内の平均より大きい場合を「２」とする。かかる品質差分の評価値と、待機時間に対する評価値を基に、フィルタ処理の終了を待ち合わせるか否かを決定する。このようにすることで、出力画質の低下を抑えつつ、処理時間を短縮する同期制御が実現できる。
《具体例４》
　第４の実施形態に関する他の具体例について説明する。本例では、あるフレームでの動きベクトル探索処理を現行スレッド401とし、動きベクトルの探索に参照される別のフレームにおける探索領域の参照画像を作成する処理を参照スレッド402とする。
　動画像の符号化処理では、一般に、符号化された画像をいったん復号して、これを後続フレームの参照画像として用いる。動きベクトル探索処理では、その参照画像を用いて、イントラ予測画像を生成する際に用いる動きベクトルを求める。本例では、ベクトル探索領域の参照画像が作成されていない場合に、その作成処理の終了を待つか否かを判断する。待たない場合は、現時点で参照できる領域を用いてベクトル探索を行う。
　また、本例では、周辺ブロックの動きベクトルと、現時点で参照可能な領域を用いた探索評価値とを用いて、品質差分を算出する。現行スレッド401及び参照スレッド402に割り当てるブロックは、前述の具体例では、同一フレーム内の分割領域とした。本例では、参照スレッド402に割り当てる分割領域は、動きベクトルの探索で参照されるフレーム内の分割領域とする。すなわち、現行スレッド401のフレームとは異なる。また、画像品質は、探索で得られた動きベクトルを用いてマクロブロックを符号化した際に生成される符号量をもとに推定する。
　一般に、あるブロックの動きベクトルは、その周辺ブロックの動きベクトルと強い相関がある。このため、まずは、周辺ブロックの動きベクトルを用いて、そのブロックの動きベクトルを予測する。そして、予測された動きベクトルが参照スレッド402の割り当て領域を指しているかどうかを調べる。次に、現時点で参照可能な領域で差分絶対値和などの探索評価を行い、それにより得られた最善の値が上限を超えるか否かを調べる。このとき、探索評価値の傾向から動きベクトルを予測し、それが、参照スレッド402の割り当て領域を指しているかどうかを見積もってもよい。
　品質差分の簡単な評価例として、予測された動きベクトルが参照スレッド402の割り当て領域を指しており、かつ、現在参照可能な領域での差分絶対値和の評価値が上限より小さい場合を「４」とする。また、差分絶対値和の評価値が上限より小さいだけの場合を「３」とし、差分絶対値和の評価値は上限を超えるが、予測された動きベクトルが参照スレッド402の割り当て領域を指している場合を「２」とする。かかる品質差分の評価値と、待機時間に対する評価値とを基に、ベクトル探索領域の参照画像の作成完了を待機するかどうかを決定する。このようにすることで、生成される符号量を抑えつつ、処理時間を短縮する同期制御が可能となる。
　本発明は、上記実施の形態に限定されるものではない。本発明の実施は、本願の請求の範囲内において、適宜変更が可能である。例えば、本発明は、情報処理装置400の動作に対応したコンピュータプログラム、及び、そのプログラムを記憶した記録媒体として実施することができる。
　本出願は、２００８年１月１７日に日本出願された特願２００８－００８３２１を基礎とする優先権を主張し、その開示の内容を全て本明細書に取り込むものである。

Claims (25)

  1. 　現行スレッドと、当該現行スレッドによりデータが参照される参照スレッドとを並列に実行し、
    　前記現行スレッドが第１の同期点に達したとき、前記参照スレッドが第２の同期点に達したか否かを判別し、
    　前記判別が否の場合、前記参照スレッドが前記第２の同期点に到達するまでの所要時間を前記現行スレッドの待機時間として求め、
    　前記現行スレッドが前記参照スレッドの前記第２の同期点での処理データを参照して生成するデータと、前記現行スレッドが前記処理データを参照せずに生成するデータとの間の品質差分を推定し、
    　前記待機時間および品質差分の大きさに応じて、前記現行スレッドを前記参照スレッドが前記第２の同期点に達するまで待機させるか否かを判定することを特徴とする同期制御方法。
  2. 　前記品質差分が上限を下回る場合、前記現行スレッドを待機させないと判定することを特徴とする請求項１記載の同期制御方法。
  3. 　さらに、前記待機時間が上限を超える場合は前記現行スレッドを待機させないと判定し、当該待機時間が上限を下回る場合は前記現行スレッドを待機させると判定する請求項２記載の同期制御方法。
  4. 　前記品質差分が上限を超える場合は前記待機時間に所定値を加算したタイムアウト値を設定し、前記品質差分が上限を下回る場合は前記待機時間から所定値を減算したタイムアウト値を設定し、
    　前記設定したタイムアウト値の満了まで前記現行スレッドを待機させると判定することを特徴とする請求項１記載の同期制御方法。
  5. 　さらに、前記現行スレッドの待機中に前記待機時間を再計算し、
    　前記再計算の結果を用いて前記参照スレッドの遅延の有無を判定し、
    　前記参照スレッドが遅延していると判定した場合、前記現行スレッドの待機を中止することを特徴とする請求項１乃至４のいずれか１項に記載の同期制御方法。
  6. 　前記現行スレッドおよび前記参照スレッドが画像フレームに対する画像処理であることを特徴とする請求項１乃至５のいずれか１項に記載の同期制御方法。
  7. 　前記現行スレッドおよび前記参照スレッドが、同一の画像フレーム内の異なる画像ブロックに対するデブロッキングフィルタ処理であることを特徴とする請求項６記載の同期制御方法。
  8. 　前記現行スレッドおよび前記参照スレッドが、同一の画像フレーム内の異なる画像ブロックに対するイントラ予測処理であることを特徴とする請求項６記載の同期制御方法。
  9. 　前記現行スレッドが画像ブロックに対する動き予測処理であり、前記参照スレッドが当該画像ブロックに対するデブロッキングフィルタ処理であることを特徴とする請求項６記載の同期制御方法。
  10. 　前記現行スレッドが画像フレームにおける動き予測処理であり、
    　前記参照スレッドが、前記動き予測処理における動きベクトルが探索される画像フレームの参照画像を作成する処理であることを特徴とする請求項６記載の同期制御方法。
  11. 　さらに、前記待機時間および前記品質差分について、それぞれをＮ段階で評価するための評価値を求め、
    　前記各評価値を用いて前記現行スレッドの待機に関する前記判定を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の同期制御方法。
  12. 　前記処理データを参照せずに生成する前記データは、前記参照スレッドの現時点でのデータを参照して生成したデータであることを特徴とする請求項１乃至１１のいずれか１項に記載の同期制御方法。
  13. 　前記処理データを参照せずに生成する前記データは、前記参照スレッドによる処理済みのデータを参照して生成したデータであることを特徴とする請求項１乃至１１のいずれか１項に記載の同期制御方法。
  14. 　現行スレッドと該現行スレッドによりデータが参照される参照スレッドとを並列に実行する同期制御部と、
    　前記現行スレッドが第１の同期点に達したときに前記参照スレッドが第２の同期点に達していない場合、前記参照スレッドが前記第２の同期点に到達するまでの所要時間を前記現行スレッドの待機時間として求める待機時間計算部と、
    　前記現行スレッドが前記参照スレッドの前記第２の同期点での処理データを参照して生成するデータと、前記現行スレッドが前記処理データを参照せずに生成するデータとの間の品質差分を推定する品質差分計算部と、
    　前記待機時間および品質差分の大きさに応じて、前記現行スレッドを前記参照スレッドが前記第２の同期点に達するまで待機させるか否かを判定する同期判定部とを備えることを特徴とする情報処理装置。
  15. 　前記同期判定部は、前記品質差分が上限を下回る場合、前記現行スレッドを待機させないと判定することを特徴とする請求項１４記載の情報処理装置。
  16. 　前記同期判定部は、さらに、前記待機時間が上限を超える場合は前記現行スレッドを待機させないと判定し、当該待機時間が上限を下回る場合は前記現行スレッドを待機させると判定する請求項１５記載の情報処理装置。
  17. 　前記同期判定部は、前記品質差分が上限を超える場合は前記待機時間に所定値を加算したタイムアウト値を設定し、前記品質差分が上限を下回る場合は前記待機時間から所定値を減算したタイムアウト値を設定し、前記設定したタイムアウト値の満了まで前記現行スレッドを待機させると判定することを特徴とする請求項１４記載の情報処理装置。
  18. 　前記待機時間計算部は、さらに、前記現行スレッドの待機中に前記待機時間を再計算し、
    　前記同期判定部は、前記再計算の結果を用いて前記参照スレッドの遅延の有無を判定し、前記参照スレッドが遅延していると判定した場合、前記現行スレッドの待機を中止することを特徴とする請求項１４乃至１７のいずれか１項に記載の情報処理装置。
  19. 　前記現行スレッドおよび前記参照スレッドが画像フレームに対する画像処理であることを特徴とする請求項１４乃至１８のいずれか１項に記載の情報処理装置。
  20. 　前記現行スレッドおよび前記参照スレッドが、同一の画像フレーム内の異なる画像ブロックに対するデブロッキングフィルタ処理であることを特徴とする請求項１９記載の情報処理装置。
  21. 　前記現行スレッドおよび前記参照スレッドが、同一の画像フレーム内の異なる画像ブロックに対するイントラ予測処理であることを特徴とする請求項１９記載の情報処理装置。
  22. 　前記現行スレッドが画像ブロックに対する動き予測処理であり、前記参照スレッドが当該画像ブロックに対するデブロッキングフィルタ処理であることを特徴とする請求項１９記載の情報処理装置。
  23. 　前記現行スレッドが画像フレームにおける動き予測処理であり、
    　前記参照スレッドが、前記動き予測処理における動きベクトルが探索される画像フレームの参照画像を作成する処理であることを特徴とする請求項１９記載の情報処理装置。
  24. 　前記同期判定部は、さらに、前記待機時間および前記品質差分について、それぞれをＮ段階で評価するための評価値を求め、前記各評価値を用いて前記現行スレッドの待機に関する前記判定を行うことを特徴とする請求項１４乃至２３のいずれか１項に記載の情報処理装置。
  25. 　コンピュータを請求項１４乃至２４のいずれか１項に記載の情報処理装置として機能させることを特徴とするプログラム。
PCT/JP2009/050397 2008-01-17 2009-01-14 同期制御方法および情報処理装置 WO2009090964A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/812,936 US8555291B2 (en) 2008-01-17 2009-01-14 Synchronization control method and information processing device
JP2009550023A JP5246603B2 (ja) 2008-01-17 2009-01-14 同期制御方法および情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008008321 2008-01-17
JP2008-008321 2008-01-17

Publications (1)

Publication Number Publication Date
WO2009090964A1 true WO2009090964A1 (ja) 2009-07-23

Family

ID=40885353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/050397 WO2009090964A1 (ja) 2008-01-17 2009-01-14 同期制御方法および情報処理装置

Country Status (4)

Country Link
US (1) US8555291B2 (ja)
JP (1) JP5246603B2 (ja)
TW (1) TW200943175A (ja)
WO (1) WO2009090964A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012086041A1 (ja) * 2010-12-22 2012-06-28 富士通株式会社 同期処理方法
JP2013509738A (ja) * 2009-10-29 2013-03-14 日本電気株式会社 Ｈ．２６４インループ・デブロッキング・フィルタの並列実行装置及び方法
JP2015055994A (ja) * 2013-09-11 2015-03-23 富士通株式会社 演算処理装置及び演算処理装置の制御方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8850436B2 (en) * 2009-09-28 2014-09-30 Nvidia Corporation Opcode-specified predicatable warp post-synchronization
US20110276966A1 (en) * 2010-05-06 2011-11-10 Arm Limited Managing task dependency within a data processing system
US20140269933A1 (en) * 2013-03-13 2014-09-18 Magnum Semiconductor, Inc. Video synchronization techniques using projection
US20220291971A1 (en) * 2021-03-10 2022-09-15 EMC IP Holding Company LLC Synchronization object having a stamp for flows in a storage system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744403A (ja) * 1993-08-02 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 連続メディアの同期方法
JPH09305546A (ja) * 1996-05-17 1997-11-28 Nec Corp マルチプロセッサシステム及びその同期方法
JP2000010802A (ja) * 1998-06-24 2000-01-14 Ntt Data Corp プロセス間データ連携システム及び記録媒体
JP2005078244A (ja) * 2003-08-29 2005-03-24 Fujitsu Ltd プログラム実行方法およびプログラム実行装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128640A (en) 1996-10-03 2000-10-03 Sun Microsystems, Inc. Method and apparatus for user-level support for multiple event synchronization
JP3730740B2 (ja) * 1997-02-24 2006-01-05 株式会社日立製作所 並列ジョブ多重スケジューリング方法
US6026427A (en) 1997-11-21 2000-02-15 Nishihara; Kazunori Condition variable to synchronize high level communication between processing threads
JP3621598B2 (ja) 1999-03-04 2005-02-16 日本電信電話株式会社 並列ソフトウェア画像符号化方法、および並列ソフトウェア画像符号化プログラムを記録した記録媒体
US6594773B1 (en) * 1999-11-12 2003-07-15 Microsoft Corporation Adaptive control of streaming data in a graph
US6920175B2 (en) 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
JP2005094054A (ja) 2003-09-11 2005-04-07 Hiroshima Univ 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム
US7584475B1 (en) * 2003-11-20 2009-09-01 Nvidia Corporation Managing a video encoder to facilitate loading and executing another program
JP4266894B2 (ja) 2004-07-22 2009-05-20 Ｎｅｃソフトウェア東北株式会社 性能統計情報出力システム、性能統計情報出力方法およびプログラム
US7624208B2 (en) * 2005-01-14 2009-11-24 International Business Machines Corporation Method, system, and computer program for managing a queuing system
US20060215754A1 (en) * 2005-03-24 2006-09-28 Intel Corporation Method and apparatus for performing video decoding in a multi-thread environment
JP4828950B2 (ja) * 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置
US7930695B2 (en) * 2006-04-06 2011-04-19 Oracle America, Inc. Method and apparatus for synchronizing threads on a processor that supports transactional memory
US8019002B2 (en) * 2006-06-08 2011-09-13 Qualcomm Incorporated Parallel batch decoding of video blocks
US8000388B2 (en) * 2006-07-17 2011-08-16 Sony Corporation Parallel processing apparatus for video compression
KR100819289B1 (ko) * 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
US8132171B2 (en) * 2006-12-22 2012-03-06 Hewlett-Packard Development Company, L.P. Method of controlling thread access to a synchronization object
TWI335764B (en) * 2007-07-10 2011-01-01 Faraday Tech Corp In-loop deblocking filtering method and apparatus applied in video codec
US20090049323A1 (en) * 2007-08-14 2009-02-19 Imark Robert R Synchronization of processors in a multiprocessor system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744403A (ja) * 1993-08-02 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 連続メディアの同期方法
JPH09305546A (ja) * 1996-05-17 1997-11-28 Nec Corp マルチプロセッサシステム及びその同期方法
JP2000010802A (ja) * 1998-06-24 2000-01-14 Ntt Data Corp プロセス間データ連携システム及び記録媒体
JP2005078244A (ja) * 2003-08-29 2005-03-24 Fujitsu Ltd プログラム実行方法およびプログラム実行装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013509738A (ja) * 2009-10-29 2013-03-14 日本電気株式会社 Ｈ．２６４インループ・デブロッキング・フィルタの並列実行装置及び方法
WO2012086041A1 (ja) * 2010-12-22 2012-06-28 富士通株式会社 同期処理方法
JP5672311B2 (ja) * 2010-12-22 2015-02-18 富士通株式会社 同期処理方法
US9690633B2 (en) 2010-12-22 2017-06-27 Fujitsu Limited Synchronization method
JP2015055994A (ja) * 2013-09-11 2015-03-23 富士通株式会社 演算処理装置及び演算処理装置の制御方法
US9626230B2 (en) 2013-09-11 2017-04-18 Fujitsu Limited Processor and control method of processor

Also Published As

Publication number Publication date
TW200943175A (en) 2009-10-16
JPWO2009090964A1 (ja) 2011-05-26
JP5246603B2 (ja) 2013-07-24
US20110047556A1 (en) 2011-02-24
US8555291B2 (en) 2013-10-08

Similar Documents

Publication Publication Date Title
JP5246603B2 (ja) 同期制御方法および情報処理装置
US9918089B2 (en) Image coding apparatus, image coding method, and program, pertaining to an image quality parameter, and image decoding apparatus, image decoding method, and program, pertaining to an image quality parameter
US9706203B2 (en) Low latency video encoder
JP4224473B2 (ja) 適応的モード決定による動き予測方法
JP2007202150A (ja) 可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置
JP2007081518A (ja) 動画像符号化装置および動画像符号化方法
JP2007067469A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
US20220030250A1 (en) Encoding device, decoding device, and program
KR101623064B1 (ko) 영상 부호화 장치, 영상 부호화 방법 및 영상 부호화 프로그램
US20240291979A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium
JPWO2006100946A1 (ja) 画像信号再符号化装置及び画像信号再符号化方法
JP2007180767A (ja) 情報処理装置
TWI493942B (zh) 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式
JP2005184241A (ja) 動画像フレーム内モード判定方式
JP2008311824A (ja) 画像符号化装置および画像符号化プログラム
KR101525325B1 (ko) 인트라 예측 모드 결정 방법 및 그 장치
JP4232733B2 (ja) ノイズ低減方法
JP2010062999A (ja) 動画像符号化装置、動画像符号化方法、及び、コンピュータプログラム
KR101145399B1 (ko) 멀티-패스 인코딩 장치 및 방법
JP2007288473A (ja) 符号化装置、画像処理装置
WO2020044985A1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP2006191287A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2009147847A (ja) 動画像圧縮処理方法、装置、プログラム、及び媒体
JP2007201675A (ja) 動画像符号化装置および動画像符号化方法
JP2007288674A (ja) 符号化装置、復号化装置、画像処理装置。

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09701492

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12812936

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009550023

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 09701492

Country of ref document: EP

Kind code of ref document: A1