WO2025215802A1 - 休止状態制御装置、休止状態制御方法およびプログラム - Google Patents

休止状態制御装置、休止状態制御方法およびプログラム

Info

Publication number
WO2025215802A1
WO2025215802A1 PCT/JP2024/014714 JP2024014714W WO2025215802A1 WO 2025215802 A1 WO2025215802 A1 WO 2025215802A1 JP 2024014714 W JP2024014714 W JP 2024014714W WO 2025215802 A1 WO2025215802 A1 WO 2025215802A1
Authority
WO
WIPO (PCT)
Prior art keywords
sleep
core
thread
state
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/014714
Other languages
English (en)
French (fr)
Inventor
育生 大谷
奨悟 斎藤
廣 名取
圭 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/014714 priority Critical patent/WO2025215802A1/ja
Publication of WO2025215802A1 publication Critical patent/WO2025215802A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to a hibernation control device, a hibernation control method, and a program.
  • the CPU has a function that controls the CPU's idle state through hardware control, called the LPI hardware control function.
  • the LPI hardware control function is often called CPU idle or C-state, and the idle state of the LPI hardware control function will be explained below.
  • CPU idle when the CPU load decreases, the CPU attempts to save power by turning off the power supply to part of the CPU circuit (Non-Patent Document 1).
  • Fig. 33 is a table showing an example of a CPU idle state. Note that state definitions differ depending on CPU hardware, so Fig. 33 is merely a reference example. As shown in Figure 33, there are grades C0 to C6 for CPU idle states, and as the time without CPU load increases, the CPU transitions to a deeper idle state. A deeper idle state reduces CPU power consumption, but the deeper the idle state, the longer it takes to return to normal, which can be an issue in terms of low latency.
  • the definition of the idle state varies depending on the CPU hardware. For example, there are models that do not have C4 or C5, and models in which the state after C1 is C1E. The deeper the state, the greater the power saving effect, but the longer it takes to return from the idle state.
  • the depth to which the CPU transitions to idle state is controlled by the CPU hardware and is CPU product dependent. In other words, it is often not possible to control it from the OS kernel, etc.
  • Figure 34 is a table showing an example of the maximum time it takes to transition to a new state (RESIDENCY) and the time it takes to return to normal (WAKE-UP LATENCY).
  • Figure 34 shows C-state information for an Intel Xeon CPU E5-26X0 v4 ("Intel” and "Intel Xeon” are registered trademarks).
  • Linux kernel 4 (“Linux” is a registered trademark) provides two types of CPU idle governors to manage CPU idle states (C-states).
  • a ladder governor initially allows only the shallowest idle state transition, and if there are no tasks in the period leading up to the periodic processing, it gradually transitions to a deeper idle state. However, if there is no periodic processing, the system will remain in a shallow idle state, so it must be based on periodic processing.
  • a menu governor uses a heuristic approach to estimate the idle period and idle state. For example, the menu governor estimates the next idle period based on the last eight idle periods and transitions to an idle state appropriate for that idle period. This allows the menu governor to directly transition to a deeper idle state.
  • the menu governor used in systems without periodic processing is a method that estimates the appropriate idle state depth for the next idle period based on the performance of the most recent idle period. The menu governor is effective for workloads with regular idle times, but its effectiveness is limited for irregular workloads.
  • FIG. 35 is a diagram for explaining the logic outline of the menu governor.
  • the menu governor records the most recent idle time (step S30). Then, the menu governor estimates the next idle time (step S31). For example, based on the idle time recorded in step S30, if the deviation is small, the average value is adopted as the next idle time. Based on the estimate of the next idle time, the menu governor estimates an appropriate depth of the idle state (step S32). For example, if the estimated value of the next idle time is equal to the recovery time from the idle state, it is determined that the idle state is too deep, and the idle state is transitioned to a shallower idle state.
  • Neither of the two types of ladder governors and menu governors mentioned above has a mechanism to issue a pre-wake-up command from idle state, return the system to preparations, and prepare for a new task when it arrives. This creates the problem of a delay corresponding to the time it takes to return when a task is assigned while the system is in a deep idle state.
  • Figures 36 and 37 are C-state transition images of the CPU core used for calculations.
  • the horizontal axis indicates elapsed time, and the vertical axis indicates idle state grades C0 to C6.
  • Figure 36 shows a case where the no-task time is short, while Figure 37 shows a case where the no-task time is long.
  • a period P0 is a period during which the CPU is performing a certain task.
  • a period P1 is a period after this task has been completed and there are no other tasks.
  • the CPU has transitioned to state C2 via state C1.
  • a new task occurs at time t0 .
  • a period P2 is a delay period until the CPU returns from state C2 to state C0. After the CPU transitions to state C0, the task that occurred at time t0 is executed in period P3 .
  • the period P4 shown in Figure 37 is a period during which the CPU is performing task processing.
  • the period P5 is a period during which the task processing has ended and there are no tasks. At this time, the CPU is gradually transitioning from state C1 to state C5.
  • a new task occurs at time t1 .
  • a period P6 is the period from the occurrence of this task to the start of processing the new task, and is a delay period during which the CPU returns from state C5 to state C0. Thereafter, during period P7 , the task that occurred at time t1 is executed.
  • the CPU core is in a shallow idle state at time t0 when the task is generated, and the period P2 until recovery after the task is generated is short.
  • the period P6 until recovery will be longer than in the example shown in Fig. 36. In other words, if the CPU core falls into a deep idle state, it will take a long time to recover, impairing real-time performance.
  • the aforementioned extended delay period until recovery is a problem that cannot be ignored in a system in which real-time performance is given top priority, such as a base band unit (BBU) in a wireless access system.
  • BBU base band unit
  • the base station may adopt a setting that disables transitions to the idle state or limits the transitions to a limited depth, such as the C1 state. In other words, tuning may be performed to prioritize real-time performance at the expense of power saving.
  • the present invention is not limited to a virtual Radio Access Network (vRAN), and the BBU in a wireless access system is merely an example.
  • vRAN virtual Radio Access Network
  • SMT technology There are systems that utilize simultaneous multithreading (SMT) on general-purpose servers to logically increase the number of CPU cores and execute data processing in parallel.
  • the CPU has a simultaneous multithreading (SMT) function, which allows one physical core to operate separately as multiple logical cores.
  • SMT simultaneous multithreading
  • SMT such as Intel Hyper Threading
  • SMT allows logical cores to share the CPU's microinstruction processor, increasing the processor utilization rate.
  • the idle state of the physical core changes depending on the idle state of the logical core.
  • FIG. 38 is a diagram for explaining the types of c-states in the SMT technology.
  • a package (CPU socket) 50 includes two physical cores 51, and each physical core 51 has a logical core 52 that executes two threads.
  • the right side of Figure 38 is an image diagram showing the power saving effect and performance impact of package c-state (PCx), core c-state (CCx), and c-state (Cx), which correspond to package (CPU socket) 50, physical core 51, and logical core 52, respectively, in the left side of Figure 38.
  • the power saving effect and performance impact are both greatest for package c-state (PCx), decreasing in order of core c-state (CCx), and c-state (Cx).
  • a physical core will not drop into a core c-state (CCx) unless all logical cores have dropped into a certain c-state (Cx).
  • Cx c-state
  • PCx package c-states
  • PCx package c-states
  • CCx core c-state
  • CCx core c-state
  • Figure 39 is a diagram explaining issue (1) in the c-state of a CPU using SMT, shown in the left diagram of Figure 38.
  • Physical #0 in Figure 39 represents “physical core #0” due to space limitations in the diagram notation
  • Logical #0 and "Logical #4” represent “Logical core #0” and “Logical core #4” (similar notation will be used in the following relevant figures).
  • the thread of "logical core #0” executes process A, after which the c-state of "logical core #0" drops to the lowest grade C6 ( Figure 33).
  • a physical core can only be put into an idle state when all logical cores on that physical core are no longer processing. As a result, the timing at which each logical core enters the idle state varies, which creates the issue of excess power consumption as the physical core cannot be effectively put to sleep (transitioned to a deeper core c-state).
  • FIG. 40 is a diagram for explaining the problem (2) in the c-state of a CPU using the SMT shown in the left diagram of FIG.
  • "logical core #0" is in the shallow c-state C1 ( Figure 33), and then returns from sleep, and the thread of "logical core #0” executes process A (symbol b1 in Figure 40).
  • "logical core #4" is in the deepest c-state C6 ( Figure 33), and then returns from sleep, and the thread of "logical core #4" executes process B (symbol b2 in Figure 40).
  • the physical core is matched to the shallowest c-state among the logical cores, but the depth of the logical core's c-state is left to kernel and hardware control.
  • the present invention was made in light of this background, and its objective is to effectively transition a physical core to a deeper core c-state, thereby reducing power consumption.
  • a sleep state control device for a data processing system that uses simultaneous multithreading of the CPU to logically increase the number of CPU cores and assign data processing threads to logical cores to execute data processing in parallel.
  • the sleep state control device includes a sleep thread control unit that uses a sleep thread that operates with a higher priority than the data processing thread to indicate the execution timing of a sleep command and the sleep duration, and the sleep thread control unit executes the sleep thread, which is an instruction that forces logical cores corresponding to the same physical core to pause at the same timing and for the same duration, thereby pausing all of the logical cores on the same physical core.
  • FIG. 1 is a schematic configuration diagram of a hibernation state control device according to a first embodiment of the present invention
  • FIG. 1 is a diagram illustrating the basic concept of the present invention
  • 3A and 3B are diagrams illustrating the basic operation of the hibernation state control device according to the first embodiment of the present invention.
  • 4 is a flowchart of a pause instruction process in the basic operation of the pause state control device according to the first embodiment of the present invention.
  • 4 is a flowchart of a hibernation execution process in the basic operation of the hibernation state control device according to the first embodiment of the present invention.
  • 10A and 10B are diagrams illustrating another form of the basic operation of the hibernation state control device according to the first embodiment of the present invention.
  • FIG. 10 is a flowchart of a pause instruction process in another mode of the basic operation of the pause state control device according to the first embodiment of the present invention.
  • 10 is a flowchart of a hibernation execution process in another mode of the basic operation of the hibernation state control device according to the first embodiment of the present invention.
  • FIG. 10 is an explanatory diagram of a c-state of a CPU using SMT of a hibernation state control device according to a second embodiment of the present invention.
  • FIG. 10 is an explanatory diagram of a c-state of a CPU using SMT of a hibernation state control device according to a second embodiment of the present invention.
  • FIG. 10 is a diagram illustrating the operation of a hibernation control device according to a second embodiment of the present invention.
  • 10 is a flowchart of a pause instruction process in the operation of a pause state control device according to a second embodiment of the present invention.
  • 10 is a flowchart of a hibernation execution process in another form of the basic operation of the hibernation state control device according to the second embodiment of the present invention.
  • FIG. 10 is an explanatory diagram of a c-state of a CPU using SMT of a hibernation state control device according to a third embodiment of the present invention.
  • FIG. 10 is a diagram illustrating the operation of a hibernation state control device according to a third embodiment of the present invention.
  • FIG. 10 is a flowchart of a pause time determination process in the operation of a pause state control device according to a third embodiment of the present invention.
  • FIG. 11 is an explanatory diagram illustrating the operation of a pause time determination process of a pause state control device according to a third embodiment of the present invention.
  • 10 is a flowchart of a pause instruction process in the operation of a pause state control device according to a third embodiment of the present invention.
  • 10A and 10B are diagrams illustrating a c-state determination method of a hibernation state control device according to a third embodiment of the present invention.
  • 10A and 10B are diagrams illustrating a c-state designation method of a hibernation state control device according to a third embodiment of the present invention.
  • FIG. 10 is a diagram illustrating the operation of a hibernation state control device according to a fourth embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of a table of an idle state power DB of a hibernation state control device according to a fourth embodiment of the present invention.
  • 10 is a flowchart of a pause time determination process in the operation of a pause state control device according to a fourth embodiment of the present invention.
  • FIG. 11 is an explanatory diagram illustrating the operation of a pause time determination process of a pause state control device according to a fourth embodiment of the present invention.
  • 10 is a flowchart of an idle state determination process in the operation of a hibernation state control device according to a fourth embodiment of the present invention.
  • FIG. 10 is a flowchart of a pause instruction process in the operation of a pause state control device according to a fourth embodiment of the present invention.
  • FIG. 11 is an explanatory diagram of a c-state of a CPU using SMT of a hibernation state control device according to a fifth embodiment of the present invention.
  • FIG. 11 is an explanatory diagram of a c-state of a CPU using SMT of a hibernation state control device according to a fifth embodiment of the present invention.
  • FIG. 11 is a diagram illustrating the operation of a hibernation state control device according to a fifth embodiment of the present invention.
  • 13 is a flowchart of a core allocation determination process in the operation of a sleep state control device according to a fifth embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of the operation of a core allocation unit by executing a core allocation determination process of a hibernation control device according to a fifth embodiment of the present invention.
  • FIG. 2 is a hardware configuration diagram of a server according to an embodiment of the present invention.
  • FIG. 10 is a table showing an example of the state of the C-state. This is a table showing an example of the maximum time required to transition to a certain state (RESIDENCY) and the time required to recover (WAKE-UP LATENCY).
  • FIG. 10 is a diagram illustrating an outline of the logic of a menu governor. This is an image diagram of the c-state transition of the CPU core used for calculation. This is an image diagram of the c-state transition of the CPU core used for calculation.
  • FIG. 1 is a diagram illustrating types of c-states in SMT technology.
  • FIG. 1 is a diagram illustrating the problem (1) in the c-state of a CPU using SMT.
  • FIG. 10 is a diagram illustrating the problem (2) in the c-state of a CPU using SMT.
  • (First embodiment) 1 is a schematic diagram of a hibernation control device according to a first embodiment of the present invention.
  • the present invention is applied to a hibernation control device that saves power by transitioning a physical core to a deep core c-state.
  • the present invention can also be applied to a hibernation control device that saves power by transitioning a CPU to a deep package c-state.
  • a server having a hibernation control device 100 includes HW (hardware) 10, an OS/driver 20, and an application (APL) 30.
  • the hardware 10 includes a CPU 11 configured to include a core.
  • the CPU 11 is a processor that can transition to a power saving state to reduce its own processing capability.
  • the OS/driver 20 includes a CPU idle driver 21 , a scheduler 22 , a core allocation unit 23 , and a CPU utilization rate acquisition unit 24 .
  • the hibernation control device 100 is provided in a data processing system that uses simultaneous multithreading of the CPU to logically increase the number of CPU cores and assigns data processing threads 101 (hereinafter, in the description of functions and operations, referred to as data processing threads Dn as appropriate) to the logical cores to execute data processing in parallel.
  • the hibernation control device 100 is located on the APL 30 and has a hibernation thread control unit 110, a timer unit 120, a hibernation time determination unit 130, a processing time measurement unit 140, a processing time DB 150, an idle state power DB 160, an idle state determination unit 170, a utilization rate DB 180, a core allocation determination unit 190, a data processing thread 101 (data processing thread Dn), and a hibernation thread 102 (hereinafter, referred to as hibernation thread In as appropriate in the description of functions and operations).
  • a data processing thread 101 (data processing thread Dn) is a processing unit instruction that is assigned to a logical core and executes data processing within an application.
  • data processing thread Dn has a sleep instruction function that, upon completion of its own processing, calls sleep thread In and yields its processing.
  • Data processing thread Dn sets a sleep time SPm for physical core M corresponding to logical core N in timer unit 120 (step S32 in Figure 7, described below).
  • Data processing thread Dn issues a sleep instruction to sleep thread In corresponding to logical core N, specifying sleep state Cm, and sets itself from the running state to the standby state (step S33 in Figure 7, described below).
  • the dormant thread 102 (dormant thread In) operates at a higher priority than the data processing threads Dn.
  • the inactive thread In receives an instruction from the inactive thread control unit 110 and executes a command to inactivate a logical core, thereby inactivating the logical core.
  • the implementation image is that the sleeping thread In calls the function epoll_wait(), which puts the thread into sleep mode until a timer or event occurs.
  • the inactive thread In receives a sleep instruction from the data processing thread Dn (step S21 in FIG. 5, which will be described later).
  • the inactive thread In Upon receiving the sleep instruction from the inactive thread control unit 110, the inactive thread In enters an execution state with higher priority than the data processing thread Dn, and preempts (seizes) CPU time from the data processing thread Dn.
  • the inactive thread In issues a pause command to transition to the paused state notified by the inactive thread control unit 110 (step S21 in FIG. 5, described later).
  • the inactive thread In is called when a wake-up command is issued from the timer unit 120 (step S22 in FIG. 5, described later). Thereafter, the inactive thread In changes itself from an executable state to a standby state, and yields the CPU usage time to the data processing thread Dn (step S23 in FIG. 5, described later).
  • the inactive thread In receives a sleep instruction from the data processing thread Dn (step S41 in Figure 8, described later).
  • the data processing thread Dn has terminated and therefore no preemption of CPU time occurs.
  • the inactive thread In issues a sleep instruction to transition to the sleep state notified by the data processing thread Dn (step S42 in Figure 8, described later).
  • the inactive thread In is invoked when a wake-up instruction is issued from the timer unit 120, and changes itself from a ready state to a standby state, yielding CPU time to the data processing thread Dn (step S43 in Figure 8, described later).
  • the sleep thread control unit 110 instructs the sleep thread In on the timing of executing the sleep command and the sleep period.
  • the sleep thread control unit 110 uses the sleep thread In, which operates at a higher priority than the data processing thread Dn, to specify the execution timing of the sleep instruction and the sleep duration.
  • the sleep thread control unit 110 executes the sleep thread In, which is an instruction that forces logical cores corresponding to the same physical core to sleep at the same timing and for the same duration, thereby causing all logical cores on the same physical core to sleep.
  • the sleep thread control unit 110 uses multiple sleep threads In, thereby causing "all logical cores on the same physical core” to sleep.
  • the paused thread control unit 110 forces logical cores corresponding to the same physical core to pause at the same timing and for the same duration.
  • the paused thread control unit 110 in the first embodiment (see FIG. 3 below)
  • the idle thread control unit 110 issues an instruction to idle thread In corresponding to logical core N to specify the idle state Cm (step S13 in FIG. 4 described later).
  • the idle thread control unit 110 sets the idle time SPm of physical core M corresponding to logical core N in the timer unit 120 (step S14 in FIG. 4 described later).
  • the idle thread control unit 110 issues a scheduling instruction to the scheduler 22 to prevent data processing threads from being started in any logical core on physical core M for a period SPm from the current time (step S54 in FIG. 12, described later).
  • the idle thread control unit 110 issues a sleep instruction to the idle thread In corresponding to logical core N by specifying a sleep state Cm (step S55 in FIG. 12, described later).
  • the idle thread control unit 110 sets the sleep time SPm of the physical core M corresponding to logical core N in the timer unit 120 (step S56 in FIG. 12, described later).
  • the inactive thread control unit 110 issues an inactive instruction to the inactive thread In corresponding to the logical core N, specifying the inactive state Cm (step S83 in FIG. 18 described later).
  • timer unit 120 After the sleep time of the physical core M has elapsed, the timer unit 120 issues a wake-up instruction to the sleep thread In on the logical core corresponding to the physical core.
  • Timer unit 120 in the first embodiment and other embodiments In the first embodiment, after the sleep time SPm of the physical core M has elapsed, the timer unit 120 issues a wake-up instruction to the sleep thread In on the logical core N corresponding to the physical core M (step S15 in FIG. 4 described below, and step S34 in FIG. 7 described below).
  • Timer unit 120 in the second embodiment (see FIG. 11 below) In the second embodiment, after the pause time SPm of the physical core M has elapsed, the timer unit 120 issues a wake-up instruction to the sleep thread In on the logical core N corresponding to the physical core M (step S57 in FIG. 12 described later).
  • Timer unit 120 in the third embodiment (see FIG. 15 below)
  • the timer unit 120 issues a wake-up instruction to the sleep thread In on the logical core N corresponding to the physical core M (step S85 in FIG. 18 described later).
  • pause time determination unit 130 determines the pause timing and pause time for the physical core based on the processing deadline and the past performance of the processing time.
  • the sleep time determination unit 130 measures the processing completion time of the logical core with the longest processing time among the logical cores on the same physical core, and sets the forced sleep start timing to coincide with the processing completion time of that logical core, and the sleep time specified as the processing deadline minus the processing completion time. It predicts the available sleep time based on past processing time results, and determines the forced sleep start timing and sleep time.
  • the pause time determination unit 130 in the third embodiment references the processing time DB 150 and obtains the processing time DLn of the data processing thread on the logical core N (step S71 in FIG. 16 described later).
  • the pause time determination unit 130 calculates the allowable pause time TLn in the corresponding pause cycle by multiplying the processing time DLn by a safety factor SF (step S72 in FIG. 16 described later).
  • the pause time determination unit 130 compares the allowable pause times TLn of the logical cores N included in the same physical core M and determines the longest TLn as the pause time TPm of the physical core M (step S73 in FIG. 16 described later).
  • the pause time determination unit 130 sets the pause time SPm of the physical core M corresponding to the logical core N in the timer unit 120 (step S84 in Figure 18, described below).
  • the processing time measurement unit 140 measures the processing time taken by the data processing thread Dn to execute data processing.
  • the processing time DB 150 accumulates processing time data from the processing time measurement unit 140 and stores processing time DLn for the pause time determination unit 130 to obtain the processing time DLn of the data processing thread on the logical core N.
  • the idle state power DB 160 stores the idle states (C0 continuous power amount, C1 wake-up power amount, C1 transition power amount, C1 continuous power amount, C2, etc.) for each pause time so that the idle state determination unit 170 can obtain the power amount of each idle state corresponding to the pause period SPm (see Figure 22 below).
  • the idle state determination unit 170 determines the core c-state to which the physical core should be transitioned based on the forced sleep start timing and sleep time determined by the pause time determination unit 130, transitions each logical core included in the physical core to the corresponding c-state, and wakes them up in advance before the processing deadline, taking into account the wake-up time from the core c-state.
  • the idle state determination unit 170 acquires the sleep period SPm from the sleep time determination unit 130 (step S101 in FIG. 25 ).
  • the idle state determination unit 170 references the idle state power DB 160 (FIG. 22 ) to acquire the power amount of each idle state corresponding to the sleep period SPm (step S102 in FIG. 25 ).
  • the idle state determination unit 170 determines the idle state Cm of the physical core M with the smallest power amount from among the acquired idle states, and notifies the sleep thread control unit 110 of the idle state Cm of the physical core M (step S103 in FIG. 25 ).
  • the utilization rate DB 180 stores CPU utilization rates used by the core allocation determination unit 190 to calculate the amount of processing for each processing type, including the CPU utilization rate.
  • the core allocation determination unit 190 calculates the processing volume for each processing type, including CPU usage, and determines that processes whose processing volume falls within a predetermined range are similar processing types, and places the processes of that processing type on logical cores on the same physical core.
  • the core allocation determination unit 190 in the fifth embodiment (see FIG. 29 below)
  • the core allocation determination unit 190 refers to the utilization rate DB 180 and acquires the CPU utilization rate RLn of the logical core N (step S121 in FIG. 30, which will be described later).
  • the core allocation determination unit 190 rearranges the logical cores N in descending order of CPU utilization rate RLn to determine a new logical core order N' (step S122 in FIG. 30, described later).
  • the core allocation determination unit 190 notifies the core allocation unit 23 of the logical core order N' (step S123 in FIG. 30, described later).
  • the core allocation determination unit 190 corrects the logical core orders in the utilization rate DB 180 and the processing time DB 150 based on the logical core order N' (step S124 in FIG. 30, described later).
  • the scheduler 22 controls the timing of data processing. Specifically, the scheduler 22 schedules the timing of data processing threads on logical cores in accordance with the sleep periods determined for each physical core by the sleep thread control unit 110, thereby synchronizing the sleep timings of all logical cores on the physical core.
  • the present invention transitions the physical core to a deeper core c-state by forcing logical cores on the same physical core to sleep at the same timing and for the same length of time by issuing mwait commands from a kernel thread, and by dropping each logical core to the same deep c-state.
  • the present invention transitions the CPU to a deep package c-state by putting logical cores on the same CPU socket to sleep at the same timing and for the same amount of time, and by dropping each logical core to the same deep c-state.
  • Fig. 2 is a diagram for explaining the basic concept of the present invention, and is a diagram for comparison with Fig. 39 and Fig. 40 of the prior art. 2 shows an example of the present invention where "logical cores on the same physical core are forced to sleep at the same timing for the same duration, and each logical core is forced to drop to the same deep c-state, thereby transitioning the physical core to a deeper core c-state.”
  • logical cores on the same CPU socket are forced to sleep at the same timing for the same duration, and each logical core is forced to drop to the same deep c-state, thereby transitioning the CPU to a deeper package c-state.”
  • logical core #0 and logical core #4 on the same physical core #0 are forced to sleep at the same timing and for the same length of time (symbol b in Figure 2) by issuing mwait by the kernel thread, etc.
  • forced sleep (white arrow a in FIG. 2) is used to shift and align the timing at which logical core #0 and logical core #4 become idle, creating time for physical core #0 to sleep (symbol b in FIG. 2).
  • the c-states of logical core #0 and logical core #4 are aligned with consideration of the core c-state (dotted box c in FIG. 2).
  • logical core #0 and logical core #4 are dropped to the same deep c-state C6, causing physical core #0 to transition to the deep core c-state: CC6.
  • FIG. 3 is a diagram illustrating the basic operation of the hibernation control device 100.
  • the same components as those in FIG. 1 are assigned the same reference numerals.
  • the relevant functional units are represented by blocks and signal lines enclosed in bold frames (the same notation method will be used hereinafter).
  • the hibernation control device 100 that performs basic operations uses a hibernation thread control unit 110, a timer unit 120, a hibernation thread 102 (hibernation thread In), a CPU idle driver 21, and a CPU 11.
  • the pause thread control unit 110 uses the pause thread In, which operates at a higher priority than the data processing thread Dn, to instruct the timing of execution of a pause instruction and the pause period.
  • the pause thread In then executes an instruction to pause a logical core, pausing the logical core.
  • the pause thread control unit 110 instructs the pause thread In as to the timing of execution of the pause instruction and the pause period. In this way, the pause thread control unit 110 executes the pause thread In, which is an instruction to force logical cores corresponding to the same physical core to pause at the same timing and for the same duration, thereby pausing all logical cores on the same physical core.
  • the hibernation control device 100 operates with a higher priority than the data processing threads Dn.
  • FIG. 4 is a flowchart of a pause instruction process in the basic operation of the pause state control device 100 of FIG.
  • the sleep thread control unit 110 determines whether or not the sleep period T has elapsed since the previous time. If the sleep period T has not elapsed since the previous time (S11: No), the sleep thread control unit 110 waits for a certain period of time in step S12 and returns to step S11.
  • step S13 the sleep thread control unit 110 issues a sleep instruction to the sleep thread In corresponding to the logical core N by specifying the sleep state Cm.
  • the sleep state is specified by, for example, an administrator.
  • step S14 the sleep thread control unit 110 sets the sleep time SPm of the physical core M for the logical core N in the timer unit 120.
  • step S15 after the sleep time SPm of physical core M has elapsed, the timer unit 120 issues a wake-up instruction to the sleep thread In on the logical core N corresponding to physical core M.
  • step S16 the paused thread control unit 110 determines whether the pause is to continue. If the pause is to continue (S16: Yes), the process returns to step S11. If the pause is not to continue (S16: No), the process ends.
  • FIG. 5 is a flowchart of a hibernation execution process in the basic operation of the hibernation state control device 100 of FIG.
  • the inactive thread In receives a sleep instruction from the inactive thread control unit 110 in step S21, it enters an execution state with higher priority than the data processing thread Dn and preempts (preempts) the CPU usage time from the data processing thread Dn.
  • step S22 the inactive thread In issues a pause command to transition to the pause state notified by the inactive thread control unit 110.
  • step S23 the inactive thread In is called when a wake-up instruction is issued from the timer unit 120. Thereafter, the inactive thread In changes itself from an executable state to a standby state, yields the CPU usage time to the data processing thread Dn, and ends the processing of this flow.
  • FIG. 6 is a diagram illustrating another form of the basic operation of the hibernation control device 100.
  • the same components as those in FIG. 1 are denoted by the same reference numerals.
  • another form of hibernation control device 100 uses a hibernation thread control unit 110, a timer unit 120, a data processing thread 101 (data processing thread Dn), a hibernation thread 102 (hibernation thread In), a CPU idle driver 21, and a CPU 11.
  • Another form of the dormant state control device 100 modifies the data processing thread Dn so that when the data processing thread Dn completes its own processing, it calls the dormant thread In and hands over the processing.
  • the dormant thread In calls the epoll_wait() function, which puts the thread into sleep mode until a timer or event occurs.
  • Data processing thread Dn has a pause instruction function that calls sleep thread In upon completing its own processing and yields the processing.
  • sleep thread In receives a pause instruction from data processing thread Dn, it changes itself from an executable state to a standby state and yields CPU usage time to data processing thread Dn.
  • FIG. 7 is a flowchart of a pause instruction process in another mode of the basic operation of the pause state control device 100 of FIG.
  • the inactive thread In determines whether the data processing of the data processing thread Dn has been completed. If the data processing of the data processing thread Dn has not been completed (S31: No), the process returns to step S31. If the data processing of the data processing thread Dn is completed (S31: Yes), the data processing thread Dn sets the pause time SPm of the physical core M corresponding to the logical core N in the timer unit 120 in step S32.
  • step S33 data processing thread Dn issues a pause instruction to the pause thread In corresponding to logical core N, specifying the pause state Cm. Data processing thread Dn then changes itself from the running state to the standby state.
  • step S34 after the sleep time SPm of physical core M has elapsed, the timer unit 120 issues a wake-up instruction to the sleep thread In on the logical core N corresponding to physical core M.
  • step S35 the inactive thread In determines whether the inactive state continues. If the inactive state continues (S35: Yes), the process returns to step S31. If the inactive state does not continue (S35: No), the process ends.
  • FIG. 8 is a flowchart of a hibernation execution process in another mode of the basic operation of the hibernation state control device 100 of FIG.
  • the sleeping thread In receives a sleeping instruction from the data processing thread Dn. Since the data processing thread Dn has finished, no preemption of CPU time occurs.
  • step S42 the inactive thread In issues a pause command to transition to the pause state notified by the data processing thread Dn.
  • step S43 the inactive thread In is called when a wake-up instruction is issued from the timer unit 120.
  • the inactive thread In then changes itself from an executable state to a standby state, yields CPU usage time to the data processing thread Dn, and terminates the processing of this flow.
  • Second Embodiment 9 and 10 are diagrams illustrating a second embodiment of the present invention.
  • Fig. 9 is an explanatory diagram of the c-state of a CPU using SMT according to the first embodiment.
  • Fig. 10 is an explanatory diagram of the c-state of a CPU using SMT according to the second embodiment.
  • SMT simultaneous multithreading
  • logical cores corresponding to the same physical core are forced to pause for the same duration at the same timing from an external source (such as a kernel thread), thereby reducing CPU power consumption.
  • one possible method is to control the timing of data processing using a scheduler 22 (see Figure 11 below) to synchronize the timing of pauses.
  • the scheduler 22 controls the operation timing of applications on logical cores and synchronizes the sleep timing of all logical cores on the same physical core. Specifically, the scheduler 22 schedules the timing of data processing thread Dn on the logical core in accordance with the sleep period determined for each physical core, and puts all logical cores on the physical core into a sleep state, thereby transitioning the physical core to a deep core c-state.
  • logical core #0 and logical core #4 on the same physical core #0 are forced to sleep at the same time by issuing an mwait command by the kernel thread, etc.
  • forced sleep creates time for physical core #0 to sleep.
  • the scheduler 22 delays the start of data processing (in the example of Figure 10, the scheduler 22 delays the start of process A of logical core #0 to prevent process A from being interrupted), creating time for physical core #0 to sleep.
  • the hibernation state control device 100 of the second embodiment uses a hibernation thread control unit 110, a timer unit 120, a scheduler 22, a data processing thread 101 (data processing thread Dn), a hibernation thread 102 (hibernation thread In), a CPU idle driver 21, and a CPU 11.
  • the scheduler 22 schedules the timing of the data processing thread on the logical core in accordance with the hibernation period determined for each physical core by the hibernation thread control unit 110, delaying the start of data processing to create time for the physical core to sleep. By putting all logical cores on the physical core into a hibernation state, the physical core is transitioned to a deep core c-state.
  • FIG. 12 is a flowchart of a hibernation instruction process in the operation of the hibernation state control device 100 of FIG.
  • step S51 the sleep thread control unit 110 determines whether or not the sleep period T has elapsed since the previous time. If the sleep period T has not elapsed since the previous time (S51: No), the sleep thread control unit 110 waits for a certain period of time in step S52 and returns to step S51. If the sleep period T has passed since the previous time (S51: Yes), the sleep thread control unit 110 waits for all logical cores on the physical core M to complete processing in step S53. In step S54, the sleep thread control unit 110 issues a scheduling instruction to the scheduler 22 so as not to start data processing threads in any logical core on the physical core M for a period SPm from the current time.
  • step S55 the inactive thread control unit 110 issues an instruction to the inactive thread In corresponding to the logical core N to inactively set the inactive state Cm.
  • step S56 the sleep thread control unit 110 sets the sleep time SPm of the physical core M corresponding to the logical core N in the timer unit 120.
  • step S57 the timer unit 120 issues a wake-up instruction to the sleeping thread In on the logical core N corresponding to the physical core M after the sleep time SPm of the physical core M has elapsed.
  • step S58 the sleeping thread control unit 110 issues a scheduling instruction to the scheduler 22 to allow all logical cores on the physical core M to start data processing threads.
  • step S59 the paused thread control unit 110 determines whether the pause is to continue. If the pause is to continue (S59: Yes), the process returns to step S51. If the pause is not to continue (S59: No), the process ends.
  • FIG. 13 is a flowchart of a hibernation execution process in another mode of the basic operation of the hibernation state control device 100 of FIG.
  • the inactive thread In receives a sleep instruction from the inactive thread control unit 110. Since the data processing thread Dn has finished, the CPU usage time is not preempted (preempted).
  • the inactive thread In issues a pause command to transition to the pause state notified by the inactive thread control unit 110.
  • step S63 the inactive thread In is called when a wake-up instruction is issued from the timer unit 120.
  • the inactive thread In then changes itself from an executable state to a standby state, yields CPU usage time to the data processing thread Dn, and terminates the processing of this flow.
  • the available sleep time is predicted from the past processing time results, and the forced sleep start timing and sleep time are determined.
  • the sleep start timing refers to measuring the processing completion time of the logical core with the longest processing time among the logical cores on the same physical core, and adjusting it to the processing completion time of that logical core.
  • the sleep time refers to specifying the length obtained by subtracting the processing completion time from the processing deadline.
  • FIG. 14 is an explanatory diagram of the c-state of a CPU using SMT according to the third embodiment of the present invention.
  • the processing start time t1 shown in Figure 14 is the processing start time of logical core #0 and logical core #4 on the same physical core #0
  • the processing completion time t2 is the forced sleep start timing
  • the processing deadline t3 is the deadline by which the processing of logical core #0 and logical core #4 must be completed.
  • the forced sleep indicated by the white arrow h in Figure 14 is issued at the sleep start timing, which is the time when processing on all logical cores is completed (symbol i in Figure 14).
  • the sleep time indicated by the arrow j in Figure 14 is the time (t3 - t2) obtained by subtracting the processing completion time t2 from the processing deadline t3.
  • This forced sleep start timing and sleep time can be determined by predicting the available sleep time based on past processing time results.
  • the hibernation state control device 100 of the third embodiment uses a hibernation thread control unit 110, a timer unit 120, a hibernation time determination unit 130, a processing time measurement unit 140, a processing time DB 150, a utilization rate DB 180, a data processing thread 101 (data processing thread Dn), a hibernation thread 102 (hibernation thread In), a CPU idle driver 21, a CPU 11, and a CPU utilization rate acquisition unit 24.
  • the sleep state control device 100 predicts the available sleep time based on past processing time performance, in accordance with the sleep period determined for each physical core, and determines the timing to start forced sleep and the sleep time.
  • the timing to put the physical core to sleep and the maximum sleep time can be determined, effectively transitioning the physical core to a deeper core c-state.
  • Fig. 16 is a flowchart of the pause time determination process in the operation of the pause state control device 100 of Fig. 11.
  • Fig. 17 is an explanatory diagram of the operation of the pause time determination process of Fig. 16.
  • the pause time determination unit 130 refers to the processing time DB 150 and acquires the processing time DLn of the data processing thread on the logical core N.
  • a safety factor SF the symbol k enclosed by a dashed line in FIG. 17
  • the allowable pause time TLm provided by the administrator is used, but in the first and second embodiments, as in the third embodiment, the pause time may also be determined by executing the pause time determination flow ( Figure 16).
  • FIG. 18 is a flowchart of the hibernation instruction process in the operation of the hibernation state control device 100 of FIG.
  • step S81 the sleep thread control unit 110 determines whether TPm has elapsed since the start of processing on the physical core M. If TPm has not elapsed since the start of processing on the physical core M (S81: No), the sleep thread control unit 110 waits for a certain period of time in step S82 and returns to step S81. If TPm has elapsed since the start of processing on physical core M (S81: Yes), in step S83, the sleep thread control unit 110 issues a sleep instruction to the sleep thread In corresponding to logical core N, specifying the sleep state Cm.
  • step S84 the pause time determination unit 130 sets the pause time SPm of the physical core M corresponding to the logical core N in the timer unit 120.
  • step S85 the timer unit 120 issues a wake-up instruction to the sleeping thread In on the logical core N corresponding to the physical core M after the sleep time SPm of the physical core M has elapsed.
  • step S86 the paused thread control unit 110 determines whether the pause is to continue. If the pause is to continue (S86: Yes), the process returns to step S81. If the pause is not to continue (S86: No), the process ends.
  • the hibernation execution flow is similar to the flowchart of the hibernation execution process of the hibernation state control device 100 in FIG. 3, and therefore a description thereof will be omitted.
  • the processing timing schedule of the data processing thread by the scheduler 22 (FIG. 1) is not essential, and as in the first embodiment, preemption is performed by forced sleep without the involvement of the scheduler 22.
  • the third embodiment can determine the timing to put the physical core to sleep and the maximum sleep time when data arrives periodically, but does not include a method for determining the depth of the c-state or a method for controlling the c-state.
  • the core c-state to which the physical core should transition is determined based on the sleep start timing and sleep time determined in the third embodiment, and each logical core included in the physical core is transitioned to the corresponding c-state.
  • the wake-up time from the c-state is taken into account, and the logical cores are woken up in advance before the processing deadline.
  • the fourth embodiment adds a ⁇ c-state determination method> and a ⁇ c-state specification method> to the third embodiment's method of predicting the available sleep time from past processing time results and determining the forced sleep start timing and sleep time.
  • the ⁇ c-state determination method> and ⁇ c-state specification method> will be explained below in order.
  • the c-state determination method determines the c-state that minimizes the amount of power consumed during the transition time, duration, and wake-up time.
  • the amount of power consumed during each of the above times for each c-state can be measured in advance and used for the determination.
  • Figure 19 explains the c-state determination method, with the horizontal axis representing time and the vertical axis representing the c-state depth.
  • the upper diagram of Figure 19 shows the c-state determination method when the c-states are C0 and C1
  • the lower diagram of Figure 19 shows the c-state determination method when the c-states are C0 and C6.
  • the power consumption (J: joules) is measured from the processing completion time t2 of the forced sleep (symbol k in the upper diagram of Figure 19) to the processing deadline t3 for returning to c-state C0 (arrow p in the upper diagram of Figure 19).
  • the pre-measurement result is 10J for C1.
  • the C1 duration (symbol n in the upper diagram of Figure 19) is long, and the C1 wake-up time (symbol o in the upper diagram of Figure 19) due to pre-wake-up (symbol m in the upper diagram of Figure 19) is also short, but the power saving effect is small.
  • the power consumption (J) is measured from the time t2 when the forced sleep (symbol k in the lower diagram of FIG. 19 ) is completed to the processing deadline t3 for returning to c-state C0 (indicated by arrow p in the upper diagram of FIG. 19 ).
  • the pre-measurement result for C6 is 5J.
  • the C6 duration (symbol n in the lower diagram of FIG. 19) is short, and the C6 wake-up time (symbol o in the lower diagram of FIG. 19) due to the pre-wake-up (symbol m in the lower diagram of FIG. 19) is very long, but transitioning to C6 results in the most power savings.
  • a c-state is determined that minimizes the amount of power consumption during the transition time to the c-state, the duration, and the wake-up time shown in FIG.
  • FIG. 20 is a diagram for explaining a c-state designation method.
  • the forced sleep thread 200 shown in FIG. 20 is a program of a hibernation control method executed on the application (APL) 30 by the CPU 11 (FIG. 1) of the hibernation control device 100 of the first to fourth embodiments.
  • a server having a hibernation control device 100 includes a driver/hardware in the HW (hardware) 10 (FIG. 1) and a kernel in the OS/driver 20 (FIG. 1).
  • the kernel includes an existing task scheduler 210, a sysfs 211, a cpuidle governor 212, and a cpuidle framework 201.
  • the driver/hardware includes a cpuidle driver (ACPI/intel_idle) 202.
  • the forced sleep thread 200 specifies the return time for the CPUidle framework, or (2) the forced sleep thread 200 specifies the return time for the sysfs 211 and CPUidle governor 212.
  • the c-state specification method is as follows: the forced sleep thread 200 issues a cpuidle_idle_call (specifying the return time) to the cpuidle framework 201, which then sets a cpuidle_enter (specifying the c-state) to the cpuidle driver (ACPI/intel_idle) 202, which then controls the cpuidle.
  • the c-state specification method is that the forced sleep thread 200 specifies the recovery time to the sysfs 211, and the sysfs 211 specifies the recovery time to the cpuidle framework 201 via sysfs.
  • the hibernation state control device 100 of the fourth embodiment uses a hibernation thread control unit 110, a timer unit 120, a hibernation time determination unit 130, an idle state power DB 160, an idle state determination unit 170, a hibernation thread 102 (hibernation thread In), a CPU idle driver 21, a CPU 11, and a CPU utilization rate acquisition unit 24.
  • the hibernation control device 100 of the fourth embodiment determines the core c-state to which the corresponding physical core should transition based on the sleep start timing and sleep time determined in the third embodiment, and transitions each logical core included in the physical core to the corresponding c-state. It also wakes up the logical cores in advance before the processing deadline, taking into account the wake-up time from the c-state.
  • FIG. 22 is a diagram showing an example of a table in the idle state power DB 160.
  • the idle state power DB 160 stores the idle state (C0 continuous energy, C1 wake-up energy, C1 transition energy, C1 continuous energy, C2...) for each pause time.
  • the C0 continuous energy is "0.2 mJ”
  • the C1 wake-up energy is "0.05 mJ”
  • the C1 transition energy is "0.1 mJ”
  • the C1 continuous energy is "0.1 mJ.”
  • the idle state determination unit 170 can obtain the energy amounts for each idle state corresponding to the pause period SPm by referencing this idle state power DB 160. Details of the idle state determination flow will be described later with reference to FIG. 25 .
  • Fig. 23 is a flowchart of the pause time determination process in the operation of the pause state control device 100 of Fig. 21.
  • Fig. 24 is an explanatory diagram of the operation of the pause time determination process of Fig. 23.
  • the pause time determination unit 130 refers to the processing time DB 150 and acquires the processing time DLn of the data processing thread on the logical core N.
  • a safety factor SF the symbol t enclosed by a dashed line in FIG. 24
  • FIG. 25 is a flowchart of the idle state determination process in the operation of the hibernation state control device 100 of FIG.
  • the idle state determination unit 170 acquires the sleep period SPm from the sleep time determination unit 130 .
  • the idle state determination unit 170 refers to the idle state power DB 160 (FIG. 22) to obtain the amount of power in each idle state corresponding to the pause period SPm.
  • step S103 the idle state determination unit 170 determines the idle state Cm of the physical core M to be the idle state with the smallest amount of power from the acquired idle states.
  • the idle state determination unit 170 notifies the sleep thread control unit 110 of the idle state Cm of the physical core M, and then ends the processing of this flow.
  • FIG. 26 is a flowchart of the hibernation instruction process in the operation of the hibernation state control device 100 of FIG.
  • step S111 the sleep thread control unit 110 determines whether TPm has elapsed since the start of processing on the physical core M. If TPm has not elapsed since the start of processing on the physical core M (S111: No), the sleep thread control unit 110 waits for a certain period of time in step S112 and returns to step S111. If TPm has elapsed since the start of processing on physical core M (S111: Yes), in step S113, the sleep thread control unit 110 issues a sleep instruction to the sleep thread In corresponding to logical core N, specifying the sleep state Cm.
  • step S114 the rest time determination unit 130 determines the rest time taking into account the wake-up time Wm corresponding to Cm.
  • step S116 the timer unit 120 issues a wake-up instruction to the sleeping thread In on the logical core N corresponding to the physical core M after the sleep time SPm' of the physical core M has elapsed.
  • step S117 the paused thread control unit 110 determines whether the pause is to continue. If the pause is to continue (S117: Yes), the process returns to step S111. If the pause is not to continue (S117: No), the process ends.
  • FIG. 27 is an explanatory diagram of the c-state of a CPU using SMT according to the first embodiment.
  • Fig. 28 is an explanatory diagram of the c-state of a CPU using SMT according to the fifth embodiment.
  • SMT simultaneous multithreading
  • logical cores corresponding to the same physical core are forced to pause for the same duration at the same timing from an external source (such as a kernel thread), thereby reducing CPU power consumption.
  • the first embodiment allows forced sleep for a certain period of time. However, since the available sleep time differs depending on the type of processing, if you try to sleep for a period that does not affect all processing, the available sleep time may be reduced to match the type of processing with the highest processing volume. 27, for logical core #0 and logical core #4 of physical core #0, the processing amount of process A of logical core #0 is different from the processing amount of process B of logical core #4 (the processing amount of process B of logical core #4 is larger), so the allowable sleep time of physical core #0 is limited to the processing amount of process B.
  • the processing amount of process A of logical core #1 is different from the processing amount of process B of logical core #5 (the processing amount of process B of logical core #5 is larger), so the allowable sleep time of physical core #1 is limited to the processing amount of process B.
  • the hibernation control device 100 (Fig. 29) of the fifth embodiment calculates the processing volume for each processing type from CPU usage rates and other factors, determines that processes with processing volumes within a predetermined range are similar processing types, and allocates the processing of that processing type to logical cores on the same physical core. This extends the time that the physical core can sleep (period w in Fig. 28), thereby saving power.
  • the fifth embodiment of the pause state control device 100 includes a pause thread control unit 110, a timer unit 120, a pause time determination unit 130, a processing time measurement unit 140, a processing time DB 150, a utilization rate DB 180, a core allocation determination unit 190, a data processing thread 101 (data processing thread Dn), and a pause thread 102 (pause thread In).
  • the fifth embodiment of the pause state control device 100 also includes a core allocation unit 23 and a CPU utilization rate acquisition unit 24 of the OS/driver 20.
  • FIG. 30 is a flowchart of the core allocation determination process in the operation of the hibernation control device 100 of FIG.
  • the core allocation determination unit 190 refers to the utilization rate DB 180 and acquires the CPU utilization rate RLn of the logical core N.
  • the core allocation determination unit 190 rearranges the logical cores N in descending order of CPU utilization rate RLn to determine a new logical core order N'.
  • step S123 the core allocation determination unit 190 notifies the core allocation unit 23 of the logical core order N′.
  • step S124 the core allocation determination unit 190 corrects the logical core orders in the utilization rate DB 180 and the processing time DB 150 based on the logical core order N', and then ends the processing of this flow.
  • FIG. 31 is a diagram illustrating an example of the operation of the core allocation unit 23 by executing the core allocation determination process of FIG.
  • the logical core order N for physical core #0 is logical core #0, followed by logical core #4.
  • the CPU utilization rate RLn is 20% for logical core #0 and 60% for logical core #4.
  • the logical core order N for physical core #1 is logical core #1, followed by logical core #5.
  • the CPU utilization rate RLn is 10% for logical core #1 and 70% for logical core #5.
  • the CPU utilization rates RLn are, in descending order, logical core #5 of physical core #1 (70%), logical core #4 of physical core #0 (60%), logical core #0 of physical core #0 (20%), and logical core #1 of physical core #1 (10%).
  • the core allocation unit 23 ( Figure 31) transfers the data processing thread running on logical core N to logical core N' based on the relationship between logical core order N and logical core order N'.
  • the core allocation unit 23 rearranges the data processing threads running on logical core N in descending order of CPU utilization rate RLn.
  • the core allocation unit 23 moves the data processing thread of logical core #5 to logical core #0 (see arrow x1), but does not move the data processing thread of logical core #4 (see arrow x2).
  • the core allocation unit 23 also moves the data processing thread of logical core #0 to logical core #1 (see arrow x3), and moves the data processing thread of logical core #1 to logical core #5 (see arrow x4).
  • the hibernation state control device 100 (FIG. 1) according to each of the above embodiments is realized by a computer 900 having a configuration as shown in FIG. 32, for example.
  • FIG. 32 is a hardware configuration diagram showing the computer 900.
  • the computer 900 includes a CPU 901, a ROM 902, a RAM 903, a HDD 904, a communication interface 906, an input/output interface 905, and a media interface 907. Note that in Fig. 32, the interface is abbreviated as "I/F".
  • the CPU 32 operates based on programs stored in the ROM 902 or HDD 904, and embodies each part of the hibernation control device 100 ( Figure 1).
  • the ROM 902 stores a boot program executed by the CPU 32 when the computer 900 starts up, as well as programs that depend on the computer 900's hardware.
  • the CPU 32 controls an input device 910 such as a mouse or keyboard, and an output device 911 such as a display, via the input/output interface 905.
  • the CPU 32 acquires data from the input device 910 via the input/output interface 905, and outputs generated data to the output device 911.
  • a GPU Graphics Processing Unit
  • a processor may also be used as a processor in addition to the CPU 32.
  • the HDD 904 stores programs executed by the CPU 32 and data used by those programs.
  • the communication interface 906 receives data from other devices via a communication network (e.g., network 922) and outputs the data to the CPU 32, and also transmits data generated by the CPU 32 to other devices via the communication network.
  • a communication network e.g., network 922
  • the media interface 907 reads the program or data stored on the recording medium 912 and outputs it to the CPU 32 via the RAM 903.
  • the CPU 32 loads the program related to the target processing from the recording medium 912 onto the RAM 903 via the media interface 907, and executes the loaded program.
  • the recording medium 912 is an optical recording medium such as a DVD (Digital Versatile Disc) or a PD (Phase Change Rewritable Disk), a magneto-optical recording medium such as an MO (Magneto Optical Disk), a magnetic recording medium, a conductive memory tape medium, or a semiconductor memory, etc.
  • the computer 900 functions as the hibernation control device 100 ( Figure 1) configured as one device according to this embodiment
  • the CPU 32 of the hibernation control device 100 realizes the functions of the hibernation control device 100 by executing a program loaded onto the RAM 903.
  • the HDD 904 stores data in the RAM 903.
  • the CPU 32 reads and executes a program related to the target processing from the recording medium 912.
  • the CPU 32 may read a program related to the target processing from another device via a communication network (NW 922).
  • the sleep state control device 100 is a sleep state control device for a data processing system that uses simultaneous multithreading of the CPU to logically increase the number of CPU cores and assigns data processing threads Dn (data processing threads 101) to the logical cores to execute data processing in parallel, and is equipped with a sleep thread control unit 110 that instructs the execution timing and sleep period of a sleep instruction using sleep thread In (sleep thread 102) that operates with a higher priority than data processing thread Dn, and the sleep thread control unit 110 executes a sleep thread that is an instruction that forces logical cores corresponding to the same physical core to be paused at the same timing and for the same duration, thereby pausing all logical cores on the same physical core.
  • sleep thread control unit 110 that is an instruction that forces logical cores corresponding to the same physical core to be paused at the same timing and for the same duration, thereby pausing all logical cores on the same physical core.
  • the sleep state control device 100 has the sleep thread control unit 110 use sleep thread In, which operates with a higher priority than data processing thread Dn, to instruct the execution timing of the sleep command and the sleep period. Sleep thread In then executes an instruction to sleep a logical core, putting the logical core to sleep. The sleep thread control unit 110 instructs sleep thread In on the execution timing of the sleep command and the sleep period. As a result, the sleep thread control unit 110 executes sleep thread In, which is an instruction to force logical cores corresponding to the same physical core to sleep at the same timing and for the same duration, thereby putting all logical cores on the same physical core to sleep.
  • each logical core enters sleep at the same time, allowing the physical core to transition to a deep sleep state and achieving power savings (requirement 1 is met). Furthermore, the sleep period is set within a range that does not affect performance by referring to CPU usage and application processing time, so processing throughput is not reduced (requirement 2 is met).
  • logical cores on the same physical core can be forced to sleep at the same timing for the same amount of time, and each logical core can be dropped into the same deep c-state, thereby transitioning the physical core to a deeper core c-state (see core c-state (CCx) in Figure 38).
  • data processing thread Dn has a pause instruction function that calls pause thread In upon completing its own processing and yields the processing; upon receiving a pause instruction from data processing thread Dn, pause thread In changes itself from an executable state to a standby state and yields CPU usage time to data processing thread Dn.
  • the dormant thread In may call the function epoll_wait(), which puts the thread into sleep until a timer or event occurs.
  • This alternative configuration also allows logical cores on the same physical core to be forced to sleep at the same timing for the same amount of time, and each logical core to drop into the same deep c-state, transitioning the physical core to a deeper core c-state. Therefore, as with the dormant state control device 100 of the first embodiment ( Figure 1), it is possible to effectively transition the physical core to a deeper core c-state, thereby saving power.
  • the hibernation control device 100 ( Figure 11) is equipped with a scheduler 22 that controls the timing of data processing.
  • the scheduler 22 schedules the timing of data processing threads on logical cores in accordance with the hibernation periods determined for each physical core by the hibernation thread control unit 110, thereby synchronizing the hibernation timing of all logical cores on the physical core.
  • the hibernation control device 100 (Fig. 15) is characterized by the inclusion of a pause time determination unit 130 that determines the pause timing and pause time for the physical core based on the processing deadline and past processing time results when an application on a logical core processes data that arrives periodically.
  • the hibernation time determination unit 130 measures the processing completion time of the logical core with the longest processing time among the logical cores on the same physical core, and sets the forced sleep start timing to match the processing completion time of that logical core, and the sleep time specified as the processing deadline minus the processing completion time, and is characterized by predicting the available sleep time from past processing time results and determining the forced sleep start timing and sleep time.
  • the hibernation control device 100 (Figs. 1 and 3) is characterized by including an idle state determination unit 170 that determines the core c-state to which a physical core should transition based on the forced sleep start timing and sleep time determined by the hibernation time determination unit 130, transitions each logical core included in that physical core to the corresponding c-state, and wakes up the core in advance before the processing deadline, taking into account the wake-up time from the core c-state.
  • the hibernation control device 100 (Figs. 1 and 3) is characterized by including a core allocation determination unit 190 that calculates the processing volume for each processing type, including CPU usage, determines that processes with processing volumes within a predetermined range are similar processing types, and allocates processes of that processing type to logical cores on the same physical core.
  • a core allocation determination unit 190 that calculates the processing volume for each processing type, including CPU usage, determines that processes with processing volumes within a predetermined range are similar processing types, and allocates processes of that processing type to logical cores on the same physical core.
  • the above-mentioned configurations, functions, processing units, processing means, etc. may be realized in hardware, for example by designing them as integrated circuits.
  • the above-mentioned configurations, functions, etc. may be realized by software that allows a processor to interpret and execute programs that realize each function.
  • Information on the programs, tables, files, etc. that realize each function can be stored in memory, recording devices such as hard disks and SSDs (Solid State Drives), or recording media such as IC (Integrated Circuit) cards, SD (Secure Digital) cards, and optical discs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Power Sources (AREA)

Abstract

休止状態制御装置（１００）は、ＣＰＵの同時マルチスレッディングを用いて、論理的にＣＰＵコアを増加させ、論理コアにデータ処理スレッドＤｎを割当ててデータ処理を並列実行するデータ処理システムの休止状態制御装置であって、データ処理スレッドＤｎよりも高優先度で動作する休止スレッドＩｎを用いて、休止命令の実行タイミングおよび休止期間を指示する休止スレッド制御部（１１０）を備え、休止スレッド制御部（１１０）は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる命令である休止スレッドＩｎを実行し、同一物理コア上の論理コアを全て休止させる。

Description

休止状態制御装置、休止状態制御方法およびプログラム
　本発明は、休止状態制御装置、休止状態制御方法およびプログラムに関する。
　ＬＰＩ（Low Power Idle）ハードウェア制御ついて述べる。
　ＣＰＵには、ハードウェア制御によるＣＰＵのアイドル状態を制御する機能があり、ＬＰＩハードウェア制御機能と呼ばれる。ＬＰＩハードウェア制御機能は、CPUidleやC-stateと呼称されることも多く、以下、ＬＰＩハードウェア制御機能のアイドル状態を説明する。
　アイドル状態にて、ＣＰＵは、ＣＰＵ負荷が少なくなると、ＣＰＵの回路の一部の電源をＯＦＦにすることで、省電力化を試行する（非特許文献１）。
　図３３は、ＣＰＵのアイドル状態の一例を表にして示す図である。なお、ＣＰＵハードウェアに依って状態定義は異なるため、図３３はあくまでも参考例である。
　図３３に示すように、ＣＰＵのアイドル状態には、グレードＣ０～Ｃ６があり、ＣＰＵの負荷がない時間が長くなるにつれ、深いアイドル状態へ遷移する。深いアイドル状態の方がＣＰＵ消費電力は小さくなるが、一方で、深いアイドル状態になるほど、復帰までに要する時間が延びるため、低遅延の観点で課題となる場合がある。
　アイドル状態は、ＣＰＵハードウェアに依って状態定義が異なる。例えば、Ｃ４やＣ５が無い機種、Ｃ１の次がＣ１Ｅというステートである機種等のバリエーションがある。
　ステートが深くなるにつれ省電力効果は大きくなるが、それだけ、アイドル状態から復帰に要する時間も大きくなる。
　また、どの深さまでＣＰＵのアイドル状態が遷移するかは、ＣＰＵのハードウェア制御になり、ＣＰＵ製品依存となる。つまり、ＯＳのカーネルなどからは制御できない場合が多い。
　図３４は、ステートまでに遷移する時間（RESIDENCY）と、復帰に要する時間（WAKE-UP LATENCY）の最大値の一例を表にして示す図である。図３４は、Intel Xeon CPU E5-26X0 v4（「Intel」および「Intel Xeon」は、登録商標）におけるC-state情報を表わしている。
［ＣＰＵアイドルガバナ］
　Linux kernel4（「Linux」は登録商標）は、ＣＰＵアイドル状態 (C-state)を管理するため、２種類のＣＰＵアイドルガバナを用意している。
　ＣＰＵアイドルガバナには、周期処理有りシステム向けのラダーガバナと、周期処理無しシステム向けのメニューガバナの種別がある。ラダーガバナは、最初は最も浅いアイドル状態遷移のみを許容し、周期処理までの期間にタスクが無い場合に、段階的に深いアイドル状態へ遷移していく。ただし、周期処理が無いと、浅いアイドル状態のままとなるため、周期処理ベースである必要がある。また、メニューガバナは、ヒューリスティックなアプローチでアイドル期間とアイドル状態を推定する。例えば、メニューガバナは、直近８回のアイドル期間から、次のアイドル期間を推定し、アイドル期間に適するアイドル状態へ遷移させる。これにより、メニューガバナは、直接深いアイドル状態へ遷移させることが可能である。
　周期処理無しシステムで使用されるメニューガバナは、直近のアイドル期間の実績から、次のアイドル期間に適するアイドル状態の深さを推定する方式である。メニューガバナは、アイドル時間が規則的なワークロードについては効果を得られるが、不規則なワークロードでの効果は限定的となる。
　図３５は、メニューガバナのロジック概要を説明する図である。
　図３５に示すように、メニューガバナは、直近のアイドル時間を記録する（ステップＳ３０）。そして、メニューガバナは、次のアイドル時間を推定する（ステップＳ３１）。例えば、ステップＳ３０で記録したアイドル時間をもとに、偏差が小さい場合は平均値を次のアイドル時間として採用する。メニューガバナは、次のアイドル時間の推定をもとに、適するアイドル状態の深さを推定する（ステップＳ３２）。例えば、次のアイドル時間の推定値がアイドル状態からの復帰時間と同等であれば、アイドル状態が深すぎると判断し、浅いアイドル状態へ遷移させる。
　上記、２種類のラダーガバナ、メニューガバナのうち、いずれのガバナについても、新たなタスクが到着した際に、アイドル状態から事前起床を命令し、復帰させて準備をさせておく機構は有していない。このため、深いアイドル状態に遷移している状態でのタスク割り当て時には、復帰時間分の遅延時間が発生する問題がある。
　図３６および図３７は、演算に使用するＣＰＵコアのC-state遷移イメージ図である。横軸は経過時間を示し、縦軸はアイドル状態のグレードＣ０～Ｃ６を示す。図３６は、タスクなし時間が短い場合を示し、図３７は、タスクなし時間が長い場合を示す。
　図３６に示す期間Ｐ０は、ＣＰＵが或るタスク処理を行っている期間である。期間Ｐ１は、このタスク処理が終了しタスクがない期間を示す。このとき、ＣＰＵは、Ｃ１状態を経てＣ２状態に遷移している。
　時刻ｔ０で新たなタスクが発生する。期間Ｐ２はＣＰＵがＣ２状態からＣ０状態に復帰するまでの遅延期間である。ＣＰＵがＣ０状態に遷移したのち、期間Ｐ３にて、時刻ｔ０で発生したタスクが実行される。
　同様に、図３７に示す期間Ｐ４は、ＣＰＵがタスク処理を行っている期間である。期間Ｐ５は、該当タスク処理が終了しタスクがない時間を示す。このとき、ＣＰＵは、Ｃ１状態を経てＣ５状態まで段階的に遷移している。
　時刻ｔ１で新たなタスクが発生する。期間Ｐ６は、このタスク発生から新たなタスク処理を開始するまでの期間であり、このときＣＰＵはＣ５状態からＣ０状態に復帰するまでの遅延期間である。その後、期間Ｐ７にて、時刻ｔ１で発生したタスクが実行される。
　図３６に示すように、タスクが発生した時刻ｔ０にてＣＰＵコアが浅いアイドル状態にあり、タスク発生後、復帰までの期間Ｐ２が短い。しかし、図３７に示すように、タスクが発生した時刻ｔ０にてＣＰＵコアが深いアイドル状態にあると、復帰までの期間Ｐ６は図３６に示す例よりも長くなる。つまり、ＣＰＵコアが深いアイドル状態まで落ちると、復帰するまでに長い期間を要し、リアルタイム性が損なわれる。
　上記したような復帰までの遅延期間が延びてしまうことは、例えば一例として、無線アクセスシステムの（ＢＢＵ：Base Band Unit）のようにリアルタイム性が最優先されるシステムでは、看過できない問題である。
　このため、基地局にあっては、アイドル状態への遷移を無効にする、若しくは、アイドル状態の遷移を、Ｃ１状態等の限られた深さに限定する設定を投入する対応が採られる。すなわち、省電力性を犠牲にし、リアルタイム性を指向するチューニングが行われる場合がある。
　従来の基地局にあっては、深いアイドル状態まで落ちたら復帰するまで待つしかなかった。このため、省電力性を犠牲にし、深いところまでは落とさない対策が採られていた。
　なお、本発明は、ｖＲＡＮ（virtual Radio Access Network）に限定されるものではなく、無線アクセスシステムにおけるＢＢＵはあくまで一例である。
［ＳＭＴ技術］
　汎用サーバ上で、ＣＰＵの同時マルチスレッディング（ＳＭＴ：Simultaneous Multi Threading）を活用して論理的にＣＰＵコアを増加させ、データ処理を並列実行するシステムがある。ＣＰＵは、同時マルチスレッディング（ＳＭＴ）機能を有し、１つの物理コアを複数の論理コアに分離して動作することが可能である。例えば、Intel Hyper Threading等のＳＭＴは、ＣＰＵのマイクロ命令の演算器を論理コア間で共有させ、演算器の稼働率を上げる。また、論理コアの休止状態に応じて、物理コアの休止状態が変化する。
［c-state］
　ＣＰＵは、論理コア単位のc-stateのほかに、物理コア単位とパッケージ（ソケット）単位のc-stateが存在する。
　図３８は、ＳＭＴ技術におけるc-stateの種別を説明する図である。
　図３８左図に示すように、パッケージ（ＣＰＵソケット）５０は、２つの物理コア５１を備え、物理コア５１は、コアごとに２つのスレッドを実行する論理コア５２を有する。
　図３８右図は、図３８左図のパッケージ（ＣＰＵソケット）５０、物理コア５１、論理コア５２にそれぞれ対応するパッケージc-state(PCx)、コアc-state (CCx)、c-state (Cx)の省電力効果および性能影響を示すイメージ図である。図３８右図に示すように、省電力効果および性能影響はいずれも、パッケージc-state (PCx)が最も大きく、コアc-state (CCx)、c-state (Cx)の順に小さくなる。
　全ての論理コアが一定のc-state(Cx)に落ちない限り、物理コアのコアc-state (CCx)は落ちない。パッケージc-state (PCx)でも同様であり、全ての物理コアのコアc-state (CCx)が落ちない限り、パッケージc-state (PCx)は落ちない。
　また、c-state制御の単位が大きくなるにつれ省電力効果は高まるが、同時に起床時間などの性能へのインパクトも大きくなる。
国際公開第２０２４／０１３８３１号
Energy-Efficient Platforms - Considerations for Application Software and Services，Intel，［online］,［令和６年３月１日検索］,インターネット〈URL:https://www.intel.com/content/dam/doc/white-paper/energy-efficient-platforms-2011-white-paper.pd〉
　従来の同時マルチスレッディング（ＳＭＴ）を用いるＣＰＵでは、下記（１）（２）の課題がある。
　図３９は、図３８左図のＳＭＴを用いるＣＰＵのc-stateにおける課題（１）を説明する図である。なお、図３９の「物理＃０」は、図面表記のスペースの関係で「物理コア＃０」を表わし、「論理＃０」「論理＃４」は、「論理コア＃０」「論理コア＃４」を表わす（以下、該当する各図において同様の表記方法を採る）。
　図３９の場合、「論理コア＃０」のスレッドは、処理Ａを実行し、その後「論理コア＃０」のc-stateは、グレードの最も低いＣ６（図３３）に落ちる。一方、「論理コア＃４」は、Ｃ６から起き上がり(sleep復帰し) 、「論理コア＃４」のスレッドは、処理Ｂを実行する。図３９の符号ａ１とａ２に示すように、「論理コア＃０」「論理コア＃４」がアイドルになるタイミングがバラバラなため、「物理コア＃０」がsleepできない（図３９の物理コアc-state：ＣＣ０）。
　同時ＳＭＴを採用するＣＰＵでは、物理コア上の全論理コアの処理がない状態になって初めて物理コアをアイドル状態に落とすことができる。このため、各論理コアがアイドル状態になるタイミングがバラバラなため、物理コアを効果的にsleep（深いコアc-stateへ遷移）させることができないため余分な電力消費がされるという課題がある。
　図４０は、図３８左図のＳＭＴを用いるＣＰＵのc-stateにおける課題（２）を説明する図である。
　図４０の場合、「論理コア＃０」は、浅いc-stateのＣ１（図３３）にあり、その後sleep復帰して「論理コア＃０」のスレッドは、処理Ａを実行する（図４０の符号ｂ１）。また、「論理コア＃４」は、最も深いc-stateのＣ６（図３３）にあり、その後sleep復帰して「論理コア＃４」のスレッドは、処理Ｂを実行する（図４０の符号ｂ２）。
　ここで、物理コアは、論理コアのうち浅いc-stateに合わされるが、論理コアのc-stateの深さはカーネルとＨＷ（ハードウェア）制御にゆだねられる。このため、両方の論理コアの処理がない場合でも物理コアを深いc-stateに落とせるとは限らないため、余分な電力消費がされる可能性があるという課題がある。図４０の符号ｃ１とｃ２に示すように、両方の論理コアの処理がなく、片方の「論理コア＃０」が浅いc-stateのＣ１である場合、「物理コア＃０」を深いコアc-stateにできない（図４０の物理コアc-state：ＣＣ１のままである）。
　このような背景を鑑みて本発明がなされたのであり、本発明は、物理コアを効果的により深いコアc-stateへ遷移させて、省電力化を図ることを課題とする。
　前記した課題を解決するため、ＣＰＵの同時マルチスレッディングを用いて、論理的にＣＰＵコアを増加させ、論理コアにデータ処理スレッドを割当ててデータ処理を並列実行するデータ処理システムの休止状態制御装置であって、前記データ処理スレッドよりも高優先度で動作する休止スレッドを用いて、休止命令の実行タイミングおよび休止期間を指示する休止スレッド制御部を備え、前記休止スレッド制御部は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる命令である前記休止スレッドを実行し、同一物理コア上の前記論理コアを全て休止させることを特徴とする休止状態制御装置とした。
　本発明によれば、物理コアを効果的により深いコアc-stateへ遷移させて、省電力化を図ることができる。
本発明の第１の実施形態に係る休止状態制御装置の概略構成図である。 本発明の基本的な考え方を説明する図である。 本発明の第１の実施形態に係る休止状態制御装置の基本動作を説明する図である。 本発明の第１の実施形態に係る休止状態制御装置の基本動作における休止指示処理のフローチャートである。 本発明の第１の実施形態に係る休止状態制御装置の基本動作における休止実行処理のフローチャートである。 本発明の第１の実施形態に係る休止状態制御装置の基本動作の別形態を説明する図である。 本発明の第１の実施形態に係る休止状態制御装置の基本動作の別形態における休止指示処理のフローチャートである。 本発明の第１の実施形態に係る休止状態制御装置の基本動作の別形態における休止実行処理のフローチャートである。 本発明の第２の実施形態に係る休止状態制御装置のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。 本発明の第２の実施形態に係る休止状態制御装置のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。 本発明の第２の実施形態の休止状態制御装置の動作を説明する図である。 本発明の第２の実施形態に係る休止状態制御装置の動作における休止指示処理のフローチャートである。 本発明の第２の実施形態に係る休止状態制御装置の基本動作の別形態における休止実行処理のフローチャートである。 本発明の第３の実施形態に係る休止状態制御装置のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。 本発明の第３の実施形態に係る休止状態制御装置の動作を説明する図である。 本発明の第３の実施形態に係る休止状態制御装置の動作における休止時間決定処理のフローチャートである。 本発明の第３の実施形態に係る休止状態制御装置の休止時間決定処理の動作説明図である。 本発明の第３の実施形態に係る休止状態制御装置の動作における休止指示処理のフローチャートである。 本発明の第３の実施形態に係る休止状態制御装置のc-state決定方法を説明する図である。 本発明の第３の実施形態に係る休止状態制御装置のc-state指定方法を説明する図である。 本発明の第４の実施形態に係る休止状態制御装置の動作を説明する図である。 本発明の第４の実施形態に係る休止状態制御装置のアイドル状態電力ＤＢのテーブル例を示す図である。 本発明の第４の実施形態に係る休止状態制御装置の動作における休止時間決定処理のフローチャートである。 本発明の第４の実施形態に係る休止状態制御装置の休止時間決定処理の動作説明図である。 本発明の第４の実施形態に係る休止状態制御装置の動作におけるアイドル状態決定処理のフローチャートである。 本発明の第４の実施形態に係る休止状態制御装置の動作における休止指示処理のフローチャートである。 本発明の第５の実施形態に係る休止状態制御装置のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。 本発明の第５の実施形態に係る休止状態制御装置のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。 本発明の第５の実施形態に係る休止状態制御装置の動作を説明する図である。 本発明の第５の実施形態に係る休止状態制御装置の動作におけるコア割当決定処理のフローチャートである。 本発明の第５の実施形態に係る休止状態制御装置のコア割当決定処理を実行することによる、コア割当部の動作例を示す図である。 本発明の実施形態に係るサーバのハードウェア構成図である。 C-stateの状態の一例を表にして示す図である。 ステートまでに遷移する時間（RESIDENCY）と、復帰に要する時間（WAKE-UP LATENCY）の最大値の一例を表にして示す図である。 メニューガバナのロジック概要を説明する図である。 演算に使用するＣＰＵコアのc-state遷移イメージ図である。 演算に使用するＣＰＵコアのc-state遷移イメージ図である。 ＳＭＴ技術におけるc-stateの種別を説明する図である。 ＳＭＴを用いるＣＰＵのc-stateにおける課題（１）を説明する図である。 ＳＭＴを用いるＣＰＵのc-stateにおける課題（２）を説明する図である。
　以下、図面を参照して本発明を実施するための形態（以下、「本実施形態」という）におけるデータ処理システム等について説明する。
（第１の実施形態）
　図１は、本発明の第１の実施形態に係る休止状態制御装置の概略構成図である。以下、各実施形態では、物理コアを深いコアc-stateに遷移させることで省電力化を図る休止状態制御装置に適用した例である。ＣＰＵを深いパッケージc-stateに遷移させることで省電力化を図る休止状態制御装置にも同様に適用可能である。
　図１に示すように、休止状態制御装置１００を有するサーバは、ＨＷ（ハードウェア）１０と、ＯＳ／ドライバ２０と、アプリケーション（ＡＰＬ）３０と、を備える。
　ハードウェア１０は、コアを含んで構成されるＣＰＵ１１を備えている。ＣＰＵ１１は、省電力状態に遷移して自身の処理能力を縮退可能なプロセッサである。
　ＯＳ／ドライバ２０は、ＣＰＵアイドルドライバ２１と、スケジューラ２２と、コア割当部２３と、ＣＰＵ使用率取得部２４と、を備える。
　休止状態制御装置１００は、ＣＰＵの同時マルチスレッディングを用いて、論理的にＣＰＵコアを増加させ、論理コアにデータ処理スレッド１０１（以下、機能および動作の説明において、適宜、データ処理スレッドＤｎという）を割当ててデータ処理を並列実行するデータ処理システムに備えられる。
　休止状態制御装置１００は、ＡＰＬ３０上に配置され、休止スレッド制御部１１０と、タイマ部１２０と、休止時間決定部１３０と、処理時間計測部１４０と、処理時間ＤＢ１５０と、アイドル状態電力ＤＢ１６０と、アイドル状態決定部１７０と、使用率ＤＢ１８０と、コア割当決定部１９０と、データ処理スレッド１０１（データ処理スレッドＤｎ）と、休止スレッド１０２（以下、機能および動作の説明において、適宜、休止スレッドＩｎという）と、を有する。
 <データ処理スレッドＤｎ>
　データ処理スレッド１０１（データ処理スレッドＤｎ）は、論理コアに割当てられてアプリケーション内のデータ処理を実行する処理単位の命令である。
・第１の実施形態の別形態（後記図６乃至図８）
　第１の実施形態の別形態では、データ処理スレッドＤｎは、自身の処理を完了させたタイミングで自ら休止スレッドＩｎを呼び出し、処理を明け渡す休止指示機能を有する。データ処理スレッドＤｎは、タイマ部１２０に、論理コアＮに対応する物理コアＭの休止時間SPmを設定する（後記図７のステップＳ３２）。データ処理スレッドＤｎは、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出し、自身を実行状態から待機状態に設定する（後記図７のステップＳ３３）。
 <休止スレッドＩｎ>
　休止スレッド１０２（休止スレッドＩｎ）は、データ処理スレッドＤｎよりも高優先度で動作する。
　休止スレッドＩｎは、休止スレッド制御部１１０からの指示を受けて論理コアを休止させる命令を実行し、論理コアを休止させる。
　実装イメージとしては、休止スレッドＩｎは、タイマやイベント発生までsleepさせる関数epoll_wait()を呼び出す。
・第１の実施形態（後記図３）における休止スレッドＩｎ
　第１の実施形態では、休止スレッドＩｎは、データ処理スレッドＤｎから休止指示を受け取る（後記図５のステップＳ２１）。休止スレッドＩｎは、休止スレッド制御部１１０から休止指示を受け取ると、データ処理スレッドＤｎよりも高優先度な実行状態となり、データ処理スレッドＤｎからＣＰＵ使用時間を奪取（プリエンプト）する。
　休止スレッドＩｎは、休止スレッド制御部１１０から通知のあった休止状態に遷移するように休止命令を発行する（後記図５のステップＳ２１）。休止スレッドＩｎは、タイマ部１２０から起床指示が出た際に呼び出される（後記図５のステップＳ２２）。その後、休止スレッドＩｎは、自らを実行可能状態から待機状態に設定し、データ処理スレッドＤｎにＣＰＵ使用時間を明け渡す（後記図５のステップＳ２３）。
・第１の実施形態の別形態における休止スレッドＩｎ
　第１の実施形態では、休止スレッドＩｎは、データ処理スレッドＤｎから休止指示を受け取る（後記図８のステップＳ４１）。別形態では、第１の実施形態と異なり、データ処理スレッドＤｎは終了しているため、ＣＰＵ使用時間の奪取（プリエンプト）は発生しない。休止スレッドＩｎは、データ処理スレッドＤｎから通知のあった休止状態に遷移するように休止命令を発行する（後記図８のステップＳ４２）。休止スレッドＩｎは、タイマ部１２０から起床指示が出た際に呼び出され、自らを実行可能状態から待機状態に設定し、データ処理スレッドＤｎにＣＰＵ使用時間を明け渡す（後記図８のステップＳ４３）。
 <休止スレッド制御部１１０>
　休止スレッド制御部１１０は、休止スレッドＩｎに対し、休止命令の実行タイミングおよび休止期間を指示する。
　休止スレッド制御部１１０は、データ処理スレッドＤｎよりも高優先度で動作する休止スレッドＩｎを用いて、休止命令の実行タイミングおよび休止期間を指示する。詳細には、休止スレッド制御部１１０は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる命令である休止スレッドＩｎを実行し、同一物理コア上の論理コアを全て休止させる。すなわち、休止スレッド制御部１１０は、複数の休止スレッドＩｎを用いて、結果的に「同一物理コア上の全ての論理コア」を休止させる。
　休止スレッド制御部１１０は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる。
・第１の実施形態（後記図３）における休止スレッド制御部１１０
　第１の実施形態では、休止スレッド制御部１１０は、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出す（後記図４のステップＳ１３）。休止スレッド制御部１１０は、タイマ部１２０に、論理コアＮに対応する物理コアＭの休止時間SPmを設定する（後記図４のステップＳ１４）。
・第２の実施形態（後記図１１）における休止スレッド制御部１１０
　第２の実施形態では、休止スレッド制御部１１０は、スケジューラ２２に、現時点からSPｍの期間は物理コアＭ上のすべての論理コアにおいてデータ処理スレッドを開始しないようにスケジュール指示を出す（後記図１２のステップＳ５４）。休止スレッド制御部１１０は、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出す（後記図１２のステップＳ５５）。休止スレッド制御部１１０は、タイマ部１２０に、論理コアＮに対応する物理コアＭの休止時間SPmを設定する（後記図１２のステップＳ５６）。
・第３の実施形態（後記図１５）における休止スレッド制御部１１０
　第３の実施形態では、休止スレッド制御部１１０は、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出す（後記図１８のステップＳ８３）。
 <タイマ部１２０>
　タイマ部１２０は、物理コアＭの休止時間経過後、物理コアに対応する論理コア上の休止スレッドＩｎに対して、起床指示を出す。
・第１の実施形態および別形態におけるタイマ部１２０
　第１の実施形態では、タイマ部１２０は、物理コアＭの休止時間SPm経過後、物理コアＭに対応する論理コアＮ上の休止スレッドＩｎに対して、起床指示を出す（後記図４のステップＳ１５、後記図７のステップＳ３４）。
・第２の実施形態（後記図１１）におけるタイマ部１２０
　第２の実施形態では、タイマ部１２０は、物理コアＭの休止時間SPm経過後、物理コアＭに対応する論理コアＮ上の休止スレッドＩｎに対して、起床指示を出す（後記図１２のステップＳ５７）。
・第３の実施形態（後記図１５）におけるタイマ部１２０
　第３の実施形態では、タイマ部１２０は、物理コアＭの休止時間SPm経過後、物理コアＭに対応する論理コアＮ上の休止スレッドＩｎに対して、起床指示を出す（後記図１８のステップＳ８５）。
 <休止時間決定部１３０>
　休止時間決定部１３０は、論理コア上のアプリケーションが定期的に到着するデータを処理する場合に、処理期限と過去の処理時間の実績をもとに、物理コアにおける休止タイミングおよび休止時間を決定する。
　休止時間決定部１３０は、同一物理コア上の論理コアのうち、処理時間の長い論理コア上の処理完了時刻を計測し、当該論理コアの処理完了時刻に合わせる強制sleep開始タイミングと、処理期限から処理完了時刻を引いた長さに指定するsleep時間と、を有し、過去の処理時間実績からsleep可能な時間を予測し、強制sleep開始タイミングおよびsleep時間を決定する。
・第３の実施形態（後記図１５）における休止時間決定部１３０
　第３の実施形態では、休止時間決定部１３０は、処理時間ＤＢ１５０を参照し、論理コアＮ上のデータ処理スレッドの処理時間DLnを取得する（後記図１６のステップＳ７１）。休止時間決定部１３０は、処理時間DLnに安全係数SFをかけることで該当休止周期における休止可能時間TLnを計算する（後記図１６のステップＳ７２）。休止時間決定部１３０は、同一物理コアＭに含まれる論理コアＮの休止可能時間TLnを比較し、最も大きなTLnを物理コアＭの休止時間TPmとして決定する（後記図１６のステップＳ７３）。
　また、休止時間決定部１３０は、タイマ部１２０に、論理コアＮに対応する物理コアＭの休止時間SPmを設定する（後記図１８のステップＳ８４）。
・第４の実施形態（後記図２１）における休止時間決定部１３０
　第４の実施形態では、休止時間決定部１３０は、同一物理コアＭに含まれる論理コアＮの休止可能時間TLnを比較し、最も大きなTLnを物理コアＭの休止時間TPmとして決定し、休止期間SPm=T-TPmを休止スレッド制御部１１０とアイドル状態決定部１７０に通知する（後記図２３のステップＳ９３）。
 <処理時間計測部１４０>
　処理時間計測部１４０は、データ処理スレッドＤｎがデータ処理を実行する際の処理時間を計測する。
 <処理時間ＤＢ１５０>
　処理時間ＤＢ１５０は、処理時間計測部１４０からの処理時間データを蓄積し、休止時間決定部１３０が論理コアＮ上のデータ処理スレッドの処理時間DLnを取得するための処理時間DLnを記憶する。
 <アイドル状態電力ＤＢ１６０>
　アイドル状態電力ＤＢ１６０は、アイドル状態決定部１７０が休止期間SPｍに対応する各アイドル状態の電力量を取得するための、休止時間ごとの、アイドル状態（C0継続電力量、C1起床電力量、C1遷移電力量、C1継続電力量、C2…）を記憶する（後記図２２）。
 <アイドル状態決定部１７０>
　アイドル状態決定部１７０は、休止時間決定部１３０が決定した強制sleep開始タイミングとsleep時間をもとに、物理コアを遷移すべきコアc-stateを決定し、当該物理コアに含まれる各論理コアを対応するc-stateに遷移させるとともに、コアc-stateからの起床時間を考慮して処理期限前に事前起床させる。
・第４の実施形態（後記図２１）におけるアイドル状態決定部１７０
　第４の実施形態では、アイドル状態決定部１７０は、休止時間決定部１３０から休止期間SPｍを取得する（後記図２５のステップＳ１０１）。アイドル状態決定部１７０は、アイドル状態電力ＤＢ１６０（後記図２２）を参照し、休止期間SPｍに対応する各アイドル状態の電力量を取得する（後記図２５のステップＳ１０２）。アイドル状態決定部１７０は、取得したアイドル状態の電力量の中から、最も電力量の小さいものを物理コアＭのアイドル状態Cmとして決定し、物理コアＭのアイドル状態Cmを休止スレッド制御部１１０に通知する（後記図２５のステップＳ１０３）。
 <使用率ＤＢ１８０>
　使用率ＤＢ１８０は、コア割当決定部１９０がＣＰＵ使用率を含む処理種別ごとの処理量を算出するためのＣＰＵ使用率を記憶する。
 <コア割当決定部１９０>
　コア割当決定部１９０は、ＣＰＵ使用率を含む処理種別ごとの処理量を算出し、処理量の大きさが所定範囲にある処理同士は類似する処理種別と判断して、当該処理種別の処理を同一物理コア上の論理コアに配置する。
・第５の実施形態（後記図２９）におけるコア割当決定部１９０
　第５の実施形態では、ステップＳ１２１でコア割当決定部１９０は、使用率ＤＢ１８０を参照し、論理コアＮのＣＰＵ使用率RLnを取得する（後記図３０のステップＳ１２１）。
　ステップＳ１２２でコア割当決定部１９０は、ＣＰＵ使用率RLnの大きい順に論理コアＮを並べ替えて新しい論理コア順序N’を決定する（後記図３０のステップＳ１２２）。コア割当決定部１９０は、論理コア順序N’をコア割当部２３に通知する（後記図３０のステップＳ１２３）。コア割当決定部１９０は、論理コア順序N’に基づき、使用率ＤＢ１８０と処理時間ＤＢ１５０の論理コア順序を修正する（後記図３０のステップＳ１２４）。
 <スケジューラ２２>
　スケジューラ２２は、データ処理のタイミングを制御する。具体的には、スケジューラ２２は、休止スレッド制御部１１０が物理コアごとに決定した休止期間に合わせ、論理コア上のデータ処理スレッドのタイミングをスケジュールし、物理コア上のすべての論理コアの休止タイミングを合わせる。
　以下、上述のように構成された休止状態制御装置１００の動作を説明する。
［基本的な考え方］
　本発明は、カーネルスレッドによるmwait発行等により、同一物理コア上の論理コアを同じタイミング、および同じ時間だけ強制的にsleepさせ、かつ各論理コアを同じ深さのc-stateに落とすことで、物理コアを深いコアc-stateに遷移させる。
　また、本発明は、同一ＣＰＵソケット上の論理コアを同じタイミング、および同じ時間だけsleepさせ、かつ各論理コアを同じ深さのc-stateに落とすことで、ＣＰＵを深いパッケージc-stateに遷移させる。
　図２は、本発明の基本的な考え方を説明する図である。図２は、従来技術の図３９および図４０と対比する図である。
　図２は、本発明の「同一物理コア上の論理コアを同じタイミング、および同じ時間だけ強制的にsleepさせ、かつ各論理コアを同じ深さのc-stateに落とすことで、物理コアを深いコアc-stateに遷移させる」場合を例に採る。図示は省略するが、「同一ＣＰＵソケット上の論理コアを同じタイミング、および同じ時間だけsleepさせ、かつ各論理コアを同じ深さのc-stateに落とすことで、ＣＰＵを深いパッケージc-stateに遷移させる」場合も同様である。
　図２の白抜き矢印ａに示すように、カーネルスレッドによるmwait発行等により、同一物理コア＃０上の論理コア＃０，論理コア＃４を同じタイミング、および同じ時間（図２の符号ｂ）だけ強制的にsleepさせる。
　本実施形態では、強制sleep（図２の白抜き矢印ａ）により論理コア＃０，論理コア＃４がアイドルになるタイミングをずらして揃え、物理コア＃０がsleepする時間を作る（図２の符号ｂ）。
　また、本実施形態では、コアc-stateを意識して論理コア＃０，論理コア＃４のc-stateを揃える（図２の破線囲みｃ）。ここでは、論理コア＃０，論理コア＃４を同じ深さのc-stateのＣ６に落とすことで、物理コア＃０を深いコアc-state：ＣＣ６に遷移させる。
［基本動作］
　休止状態制御装置１００の基本動作を説明する。
　図３は、休止状態制御装置１００の基本動作を説明する図である。図１と同一構成部分には同一符号を付している。図３において、該当する機能部については、太枠で囲んだブロックおよび信号線で表記する（以下、同様の表記方法を採る）。
　図３の太枠ブロックに示すように、基本動作を実行する休止状態制御装置１００は、休止スレッド制御部１１０と、タイマ部１２０と、休止スレッド１０２（休止スレッドＩｎ）と、ＣＰＵアイドルドライバ２１と、ＣＰＵ１１と、を用いる。
　休止状態制御装置１００は、休止スレッド制御部１１０が、データ処理スレッドＤｎよりも高優先度で動作する休止スレッドＩｎを用いて、休止命令の実行タイミングおよび休止期間を指示する。そして、休止スレッドＩｎが、論理コアを休止させる命令を実行し、論理コアを休止させる。休止スレッド制御部１１０が休止スレッドＩｎに対し、休止命令の実行タイミングや休止期間を指示する。このように、休止スレッド制御部１１０は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる命令である休止スレッドＩｎを実行し、同一物理コア上の論理コアを全て休止させる。
　休止状態制御装置１００は、データ処理スレッドＤｎよりも高優先度で動作する。
 <休止指示フロー>
　図４は、図３の休止状態制御装置１００の基本動作における休止指示処理のフローチャートである。
　ステップＳ１１で休止スレッド制御部１１０は、前回から休止周期Ｔ経ったか否かを判別する。前回から休止周期Ｔ経っていない場合（Ｓ１１：Ｎｏ）、ステップＳ１２で一定時間待機して、ステップＳ１１に戻る。
　前回から休止周期Ｔ経っている場合（Ｓ１１：Ｙｅｓ）、ステップＳ１３で休止スレッド制御部１１０は、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出す。休止状態は、例えば管理者が休止状態を指定する。
　ステップＳ１４で休止スレッド制御部１１０は、タイマ部１２０に、論理コアＮに対する物理コアＭの休止時間SPmを設定する。
　ステップＳ１５でタイマ部１２０は、物理コアＭの休止時間SPm経過後、物理コアＭに対応する論理コアＮ上の休止スレッドＩｎに対して、起床指示を出す。
　ステップＳ１６で休止スレッド制御部１１０は、休止継続か否かを判別し、休止継続の場合（Ｓ１６：Ｙｅｓ）は、ステップＳ１１に戻り、休止継続でない場合（Ｓ１６：Ｎｏ）は、本フローの処理を終了する。
 <休止実行フロー>
　図５は、図３の休止状態制御装置１００の基本動作における休止実行処理のフローチャートである。
　ステップＳ２１で休止スレッドＩｎは、休止スレッド制御部１１０から休止指示を受け取ると、データ処理スレッドＤｎよりも高優先度な実行状態となり、データ処理スレッドＤｎからＣＰＵ使用時間を奪取（プリエンプト）する。
　ステップＳ２２で休止スレッドＩｎは、休止スレッド制御部１１０から通知のあった休止状態に遷移するように休止命令を発行する。
　ステップＳ２３で休止スレッドＩｎは、タイマ部１２０から起床指示が出た際に呼び出される。その後、休止スレッドＩｎは、自らを実行可能状態から待機状態に設定し、データ処理スレッドＤｎにＣＰＵ使用時間を明け渡して本フローの処理を終了する。
［基本動作の別形態］
　休止状態制御装置１００の基本動作の別形態を説明する。
　図６は、休止状態制御装置１００の基本動作の別形態を説明する図である。図１と同一構成部分には同一符号を付している。
　図６の太枠ブロックに示すように、別形態の休止状態制御装置１００は、休止スレッド制御部１１０と、タイマ部１２０と、データ処理スレッド１０１（データ処理スレッドＤｎ）と、休止スレッド１０２（休止スレッドＩｎ）と、ＣＰＵアイドルドライバ２１と、ＣＰＵ１１と、を用いる。
　別形態の休止状態制御装置１００は、データ処理スレッドＤｎを改造して、データ処理スレッドＤｎが自身の処理を完了させたタイミングで自ら休止スレッドＩｎを呼び出し、処理を明け渡す。実装イメージとしては、休止スレッドＩｎは、タイマやイベント発生までsleepさせる関数epoll_wait()を呼び出す。
　データ処理スレッドＤｎは、自身の処理を完了させたタイミングで自ら休止スレッドＩｎを呼び出し、処理を明け渡す休止指示機能を有し、休止スレッドＩｎは、データ処理スレッドＤｎから休止指示を受け取ると、自らを実行可能状態から待機状態に設定し、データ処理スレッドＤｎにＣＰＵ使用時間を明け渡す。
 <休止指示フロー>
　図７は、図３の休止状態制御装置１００の基本動作の別形態における休止指示処理のフローチャートである。
　ステップＳ３１で休止スレッドＩｎは、データ処理スレッドＤｎのデータ処理が完了したか否かを判別する。データ処理スレッドＤｎのデータ処理が完了していない場合（Ｓ３１：Ｎｏ）、ステップＳ３１に戻る。
　データ処理スレッドＤｎのデータ処理が完了した場合（Ｓ３１：Ｙｅｓ）、ステップＳ３２でデータ処理スレッドＤｎは、タイマ部１２０に、論理コアＮに対応する物理コアＭの休止時間SPmを設定する。
　ステップＳ３３でデータ処理スレッドＤｎは、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出す。その後、データ処理スレッドＤｎは、自身を実行状態から待機状態に設定する。
　ステップＳ３４でタイマ部１２０は、物理コアＭの休止時間SPm経過後、物理コアＭに対応する論理コアＮ上の休止スレッドＩｎに対して、起床指示を出す。
　ステップＳ３５で休止スレッドＩｎは、休止継続か否かを判別し、休止継続の場合（Ｓ３５：Ｙｅｓ）は、ステップＳ３１に戻り、休止継続でない場合（Ｓ３５：Ｎ）は、本フローの処理を終了する。
 <休止実行フロー>
　図８は、図６の休止状態制御装置１００の基本動作の別形態における休止実行処理のフローチャートである。
　ステップＳ４１で休止スレッドＩｎは、データ処理スレッドＤｎから休止指示を受け取る。データ処理スレッドＤｎは終了しているため、ＣＰＵ使用時間の奪取（プリエンプト）は発生しない。
　ステップＳ４２で休止スレッドＩｎは、データ処理スレッドＤｎから通知のあった休止状態に遷移するように休止命令を発行する。
　ステップＳ４３で休止スレッドＩｎは、タイマ部１２０から起床指示が出た際に呼び出される。その後、休止スレッドＩｎは、自らを実行可能状態から待機状態に設定し、データ処理スレッドＤｎにＣＰＵ使用時間を明け渡して本フローの処理を終了する。
（第２の実施形態）
　図９および図１０は、本発明の第２の実施形態を説明する図である。図９は、第１の実施形態のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。図１０は、第２の実施形態のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。
　第１の実施形態は、ＣＰＵが同時マルチスレッディング（ＳＭＴ）を有効化している際、同一の物理コアに対応する論理コアに対して外部（カーネルスレッド等）から同じタイミングで同じ時間幅の休止を強制させることで、ＣＰＵの電力を削減する。
　しかし、第１の実施形態では、すでに実行中のデータ処理がある場合にはそれを一時停止して強制的に休止状態に入ってしまうため、余計な起床時間やスレッド切り替えによる性能影響がある。例えば、図９の白抜き矢印ａに示すように、第１の実施形態では、カーネルスレッドによるmwait発行等により、強制sleepを行う。その後、図９の白抜き矢印ｅに示すように、起床・スレッド切り替えを行う。ただし、処理途中（図９の符号ｄに示す処理Ａの途中）でも強制的にsleepさせるため、性能影響を及ぼす可能性がある。
　そこで、データ処理のタイミングをスケジューラ２２（後記図１１）により制御して休止のタイミングを合わせる方法が考えられる。
　第２の実施形態では、スケジューラ２２により論理コア上のアプリの動作タイミングを制御し、同一物理コア上のすべての論理コアの休止タイミングを合わせる。具体的には、物理コアごとに決定した休止期間に合わせ、スケジューラ２２が論理コア上のデータ処理スレッドＤｎのタイミングをスケジュールし、物理コア上のすべての論理コアを休止状態にすることで、物理コアを深いコアc-stateに遷移させる。
　図１０の白抜き矢印ａに示すように、カーネルスレッドによるmwait発行等により、同一物理コア＃０上の論理コア＃０，論理コア＃４を同じタイミングで強制的にsleepさせる。第２の実施形態では、第１の実施形態と同様に、強制sleep（図１０の白抜き矢印ａ）により、物理コア＃０がsleepする時間を作る。
　第２の実施形態では、図１０の白抜き矢印ｆに示すように、スケジューラ２２がデータ処理の開始を遅らせて（図１０の例では、スケジューラ２２が論理コア＃０の処理Ａの開始を遅らせて処理Ａが分断されないようにして）物理コア＃０がsleepする時間を作る。
　図１１は、本発明の第２の実施形態の休止状態制御装置１００の動作を説明する図である。図１と同一構成部分には同一符号を付している。
　図１１の太枠ブロックに示すように、第２の実施形態の休止状態制御装置１００は、休止スレッド制御部１１０と、タイマ部１２０と、スケジューラ２２と、データ処理スレッド１０１（データ処理スレッドＤｎ）と、休止スレッド１０２（休止スレッドＩｎ）と、ＣＰＵアイドルドライバ２１と、ＣＰＵ１１と、を用いる。
　第２の実施形態の休止状態制御装置１００は、休止スレッド制御部１１０が、物理コアごとに決定した休止期間に合わせ、スケジューラ２２が論理コア上のデータ処理スレッドのタイミングをスケジュールし、データ処理の開始を遅らせて物理コアがsleepする時間を作る。物理コア上のすべての論理コアが休止状態にすることで、物理コアを深いコアc-stateに遷移させる。
 <休止指示フロー>
　図１２は、図１１の休止状態制御装置１００の動作における休止指示処理のフローチャートである。
　ステップＳ５１で休止スレッド制御部１１０は、前回から休止周期Ｔ経ったか否かを判別する。前回から休止周期Ｔ経っていない場合（Ｓ５１：Ｎｏ）、ステップＳ５２で一定時間待機してステップＳ５１に戻る。
　前回から休止周期Ｔ経っている場合（Ｓ５１：Ｙｅｓ）、ステップＳ５３で休止スレッド制御部１１０は、物理コアＭ上のすべての論理コアの処理完了を待つ。
　ステップＳ５４で休止スレッド制御部１１０は、スケジューラ２２に、現時点からSPｍの期間は物理コアＭ上のすべての論理コアにおいてデータ処理スレッドを開始しないようにスケジュール指示を出す。
　ステップＳ５５で休止スレッド制御部１１０は、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出す。
　ステップＳ５６で休止スレッド制御部１１０は、タイマ部１２０に、論理コアＮに対応する物理コアＭの休止時間SPmを設定する。
　ステップＳ５７でタイマ部１２０は、物理コアＭの休止時間SPm経過後、物理コアＭに対応する論理コアＮ上の休止スレッドＩｎに対して、起床指示を出す。
　ステップＳ５８で休止スレッド制御部１１０は、スケジューラ２２に、物理コアＭ上のすべての論理コアにおけるデータ処理スレッド開始を解禁するようにスケジュール指示を出す。
　ステップＳ５９で休止スレッド制御部１１０は、休止継続か否かを判別し、休止継続の場合（Ｓ５９：Ｙｅｓ）は、ステップＳ５１に戻り、休止継続でない場合（Ｓ５９：Ｎｏ）は、本フローの処理を終了する。
 <休止実行フロー>
　図１３は、図１１の休止状態制御装置１００の基本動作の別形態における休止実行処理のフローチャートである。
　ステップＳ６１で休止スレッドＩｎは、休止スレッド制御部１１０から休止指示を受け取る。データ処理スレッドＤｎは終了しているため、ＣＰＵ使用時間の奪取（プリエンプト）は発生しない。
　ステップＳ６２で休止スレッドＩｎは、休止スレッド制御部１１０から通知のあった休止状態に遷移するように休止命令を発行する。
　ステップＳ６３で休止スレッドＩｎは、タイマ部１２０から起床指示が出た際に呼び出される。その後、休止スレッドＩｎは、自らを実行可能状態から待機状態に設定し、データ処理スレッドＤｎにＣＰＵ使用時間を明け渡して本フローの処理を終了する。
（第３の実施形態）
　第１の実施形態は、どのタイミングでどれくらいの時間を強制的にsleepさせればよいか決定できない。しかし、定期的にデータが到着して一定の処理期限内に処理を完了させる場合（音声・映像のデータ変換処理やＲＡＮ処理等）は、過去の実績からどのタイミングならsleepできるか推定が可能である。
　そこで、第３の実施形態では、過去の処理時間実績からsleep可能な時間を予測し、強制sleep開始タイミングとsleep時間を決定する。
　ここで、sleep開始タイミングとは、同一物理コア上の論理コアのうち、処理時間の長い論理コア上の処理完了時刻を計測し、当該論理コアの処理完了時刻に合わせることをいう。また、sleep時間とは、処理期限から処理完了時刻を引いた長さに指定することをいう。
　図１４は、本発明の第３の実施形態のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。
　図１４に示す処理開始時刻ｔ１は、同一物理コア＃０上の論理コア＃０，論理コア＃４の処理開始時刻、処理完了時刻ｔ２は、強制sleep開始タイミング、処理期限ｔ３は、論理コア＃０，論理コア＃４の処理が完了しなければならない期限である。
　図１４の白抜き矢印ｈに示す強制sleepは、全論理コア上の処理完了時刻であるSleep開始タイミングで発行される（図１４の符号ｉ）。図１４の矢印ｊに示すsleep時間は、処理期限ｔ３から処理完了時刻ｔ２を引いた時間（ｔ３－ｔ２）となる。この強制sleep開始タイミングとsleep時間は、過去の処理時間実績からsleep可能な時間を予測して決定することができる。
　図１５は、本発明の第３の実施形態の休止状態制御装置１００の動作を説明する図である。図１と同一構成部分には同一符号を付している。
　図１５の太枠ブロックに示すように、第３の実施形態の休止状態制御装置１００は、休止スレッド制御部１１０と、タイマ部１２０と、休止時間決定部１３０と、処理時間計測部１４０と、処理時間ＤＢ１５０と、使用率ＤＢ１８０と、データ処理スレッド１０１（データ処理スレッドＤｎ）と、休止スレッド１０２（休止スレッドＩｎ）と、ＣＰＵアイドルドライバ２１と、ＣＰＵ１１と、ＣＰＵ使用率取得部２４と、を用いる。
　第３の実施形態の休止状態制御装置１００は、休止スレッド制御部１１０が、物理コアごとに決定した休止期間に合わせ、過去の処理時間実績からsleep可能な時間を予測し、強制sleep開始タイミングとsleep時間を決定する。物理コアをsleepするタイミングと最大のsleep時間が決定でき、物理コアを効果的により深いコアc-stateへ遷移させる。
 <休止時間決定フロー>
　図１６は、図１１の休止状態制御装置１００の動作における休止時間決定処理のフローチャートである。図１７は、図１６の休止時間決定処理の動作説明図である。
　ステップＳ７１で休止時間決定部１３０は、処理時間ＤＢ１５０を参照し、論理コアＮ上のデータ処理スレッドの処理時間DLnを取得する。
　ステップＳ７２で休止時間決定部１３０は、処理時間DLnに安全係数SF（図１７の破線丸囲み符号ｋ）をかけることで該当休止周期における休止可能時間TLnを計算する（TLn=DLn×SF）。
　ステップＳ７３で休止時間決定部１３０は、同一物理コアＭに含まれる論理コアＮの休止可能時間TLnを比較し、最も大きなTLnを物理コアＭの休止時間TPmとして決定する。そして、休止時間決定部１３０は、休止期間SPm=T-TPmを休止スレッド制御部１１０に通知して本フローの処理を終了する。
　なお、第１および第２の実施形態では、管理者から与えた休止可能時間TLmを用いているが、第１および第２の実施形態においても、第３の実施形態と同様に、休止時間決定フロー（図１６）を実行して、休止時間を決定してもよい。
 <休止指示フロー>
　図１８は、図１５の休止状態制御装置１００の動作における休止指示処理のフローチャートである。
　ステップＳ８１で休止スレッド制御部１１０は、物理コアＭの処理開始からTPm経ったか否かを判別する。物理コアＭの処理開始からTPm経っていない場合（Ｓ８１：Ｎｏ）、ステップＳ８２で一定時間待機してステップＳ８１に戻る。
　物理コアＭの処理開始からTPm経った場合（Ｓ８１：Ｙｅｓ）、ステップＳ８３で休止スレッド制御部１１０は、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出す。
　ステップＳ８４で休止時間決定部１３０は、タイマ部１２０に、論理コアＮに対応する物理コアＭの休止時間SPmを設定する。
　ステップＳ８５でタイマ部１２０は、物理コアＭの休止時間SPm経過後、物理コアＭに対応する論理コアＮ上の休止スレッドＩｎに対して、起床指示を出す。
　ステップＳ８６で休止スレッド制御部１１０は、休止継続か否かを判別し、休止継続の場合（Ｓ８６：Ｙｅｓ）は、ステップＳ８１に戻り、休止継続でない場合（Ｓ８６：Ｎｏ）は、本フローの処理を終了する。
 <休止実行フロー>
　休止実行フローは、図３の休止状態制御装置１００の休止実行処理のフローチャートと同様であるため説明を省略する。
　なお、第３の実施形態以降の実施形態おいて、スケジューラ２２（図１）によるデータ処理スレッドの処理タイミングスケジュールは必須ではなく、第１の実施形態と同様、スケジューラ２２の関与なく強制スリープによりプリエンプトさせる。ただし、第２の実施形態で記載したスケジューラ２２を用いることも可能である。第３の実施形態以降の各実施形態に、第２の実施形態を組み合わせることで、第２の実施形態の効果（処理途中の強制sleepを避ける効果）を併せて得ることかできる。
（第４の実施形態）
　第３の実施形態は、定期的にデータが到着するケースにおいて、物理コアをsleepするタイミングと最大のsleep時間とを決定できる。しかし、c-stateの深さの決定方法や、c-state制御の方法は含まれていない。
　第４の実施形態では、第３の実施形態で決定したsleep開始タイミングとsleep時間から、該当物理コアを遷移すべきコアc-stateを決定し、物理コアに含まれる各論理コアを対応するc-stateに遷移させる。また、c-stateからの起床時間を考慮して処理期限前に事前起床させる。
　第４の実施形態は、第３の実施形態の過去の処理時間実績からsleep可能な時間を予測し、強制sleep開始タイミングとsleep時間を決定する方法に加え、<c-state決定方法>と<c-state指定方法>を導入する。以下、<c-state決定方法>、<c-state指定方法>を順に説明する。
 <c-state決定方法>
　c-state決定方法について述べる。
　c-state決定方法は、c-stateへの遷移時間、継続時間、起床時間の間の消費電力量が最も小さくなるc-stateを決定する。事前にc-stateごとに上記各時間で発生する消費電力量を計測しておき、判断に利用してもよい。
　図１９は、c-state決定方法を説明する図であり、横軸は時間、縦軸はc-stateの深さを示している。図１９上図は、c-stateがＣ０とＣ１の場合のc-state決定方法を示し、図１９下図は、c-stateがＣ０とＣ６の場合のc-state決定方法を示す。
　まず、図１９上図に示すように、第１乃至第３の実施形態の休止状態制御によって、強制sleepが実行されると（図１９上図の符号ｋ）、短い遷移（図１９上図の符号ｌ）後、Ｃ１継続時間となる（図１９上図の符号ｎ）。CPUidleガバナによって事前起床が指示（図１９上図の符号ｍ）されると、短い遷移後、Ｃ１起床時間（図１９上図の符号ｏ）を経てc-stateがＣ０に復帰する。強制sleep（図１９上図の符号ｋ）の処理完了時刻ｔ２からc-stateＣ０復帰の処理期限ｔ３までの期間（図１９上図の矢印ｐ）の消費電力量（Ｊ：joule）を測定する。事前測定結果では、Ｃ１の場合：１０Ｊである。図１９上図に示す浅いc-stateＣ１では、Ｃ１継続時間（図１９上図の符号ｎ）が長く、事前起床（図１９上図の符号ｍ）によるＣ１起床時間（図１９上図の符号ｏ）も短いが、省電力効果は小さい。
　次に、図１９下図に示すように、第１乃至第３の実施形態の休止状態制御によって、強制sleepが実行されると（図１９下図の符号ｋ）、少し長い遷移（図１９下図の符号ｌ）後、Ｃ６継続時間となる（図１９下図の符号ｎ）。CPUidleガバナによって事前起床が指示（図１９下図の符号ｍ）されると、長い遷移後、Ｃ６起床時間（図１９下図の符号ｏ）を経てc-stateがＣ０に復帰する。強制sleep（図１９下図の符号ｋ）の処理完了時刻ｔ２からc-stateＣ０復帰の処理期限ｔ３までの期間（図１９上図の矢印ｐに表記）の消費電力量（Ｊ）を測定する。事前測定結果では、Ｃ６の場合：５Ｊである。図１９下図に示す深いc-stateＣ６では、Ｃ６継続時間（図１９下図の符号ｎ）が短く、事前起床（図１９下図の符号ｍ）によるＣ６起床時間（図１９下図の符号ｏ）は非常に長いが、Ｃ６に遷移すると最も省電力となる。
　第４の実施形態は、図１９に示すc-stateへの遷移時間、継続時間、起床時間の間の消費電力量が最も小さくなるc-stateを決定する。
 <c-state指定方法>
　c-state指定方法について述べる。
　c-state指定方法は、強制sleepスレッドがCPUidle frameworkに対して復帰時間を指定する方法や、sysfs・CPUidleガバナに対して復帰時間を指定する方法がある。
　図２０は、c-state指定方法を説明する図である。
　図２０に示す強制sleepスレッド２００は、アプリケーション（ＡＰＬ）３０上で第１乃至第４の実施形態の休止状態制御装置１００のＣＰＵ１１（図１）が実行する休止状態制御方法のプログラムである。
　休止状態制御装置１００を有するサーバは、ＨＷ（ハードウェア）１０（図１）にderiver/hardwareを備え、ＯＳ／ドライバ２０（図１）にkernelを備える。Kernelは、既存のタスクスケジューラ２１０と、sysfs２１１と、cpuidle governor２１２と、cpuidle framework２０１と、を有する。deriver/hardwareは、cpuidle driver(ACPI/intel_idle)２０２を有する。
　c-state指定方法は、強制sleepスレッド２００が、（１）CPUidle frameworkに対して復帰時間を指定する方法と、（２）sysfs２１１およびpuidle governor２１２に対して復帰時間を指定する方法とがある。
　（１）c-state指定方法は、強制sleepスレッド２００がcpuidle framework２０１に対し、cpuidle_idle_call（復帰時間指定）を発行し、これを受けてcpuidle framework２０１が、cpuidle driver(ACPI/intel_idle)２０２に、cpuidle_enter（c-state指定）を設定し、cpuidle driver(ACPI/intel_idle)２０２がcpuidleを制御する。
　（２）c-state指定方法は、強制sleepスレッド２００がsysfs２１１に対し、復帰時間を指定し、sysfs２１１が、cpuidle framework２０１に対し、sysfs経由で復帰時間を指定する。
　図２１は、本発明の第４の実施形態の休止状態制御装置１００の動作を説明する図である。図１と同一構成部分には同一符号を付している。
　図２１の太枠ブロックに示すように、第４の実施形態の休止状態制御装置１００は、休止スレッド制御部１１０と、タイマ部１２０と、休止時間決定部１３０と、アイドル状態電力ＤＢ１６０と、アイドル状態決定部１７０と、休止スレッド１０２（休止スレッドＩｎ）と、ＣＰＵアイドルドライバ２１と、ＣＰＵ１１と、ＣＰＵ使用率取得部２４と、を用いる。
　第４の実施形態の休止状態制御装置１００は、第３の実施形態で決定したsleep開始タイミングとsleep時間から、該当物理コアを遷移すべきコアc-stateを決定し、物理コアに含まれる各論理コアを対応するc-stateに遷移させる。また、c-stateからの起床時間を考慮して処理期限前に事前起床させる。
　図２２は、アイドル状態電力ＤＢ１６０のテーブル例を示す図である。
　図２２に示すように、アイドル状態電力ＤＢ１６０は、休止時間ごとの、アイドル状態（C0継続電力量、C1起床電力量、C1遷移電力量、C1継続電力量、C2…）を記憶する。例えば、休止時間（0-100us）の場合、C0継続電力量「0.2mJ」、C1起床電力量「0.05mJ」、C1遷移電力量「0.1mJ」、C1継続電力量「0.1mJ」である。アイドル状態決定部１７０は、このアイドル状態電力ＤＢ１６０を参照することで、休止期間SPｍに対応する各アイドル状態の電力量を取得することができる。アイドル状態決定フローの詳細については、図２５により後記する。
 <休止時間決定フロー>
　図２３は、図２１の休止状態制御装置１００の動作における休止時間決定処理のフローチャートである。図２４は、図２３の休止時間決定処理の動作説明図である。
　ステップＳ９１で休止時間決定部１３０は、処理時間ＤＢ１５０を参照し、論理コアＮ上のデータ処理スレッドの処理時間DLnを取得する。
　ステップＳ９２で休止時間決定部１３０は、処理時間DLnに安全係数SF（図２４の破線丸囲み符号ｔ）をかけることで該当休止周期における休止可能時間TLnを計算する（TLn=DLn×SF）。
　ステップＳ９３で休止時間決定部１３０は、同一物理コアＭに含まれる論理コアＮの休止可能時間TLnを比較し、最も大きなTLnを物理コアＭの休止時間TPmとして決定する。そして、休止時間決定部１３０は、休止期間SPm=T-TPmを休止スレッド制御部１１０とアイドル状態決定部１７０に通知して本フローの処理を終了する。
 <アイドル状態決定フロー>
　図２５は、図２１の休止状態制御装置１００の動作におけるアイドル状態決定処理のフローチャートである。
　ステップＳ１０１でアイドル状態決定部１７０は、休止時間決定部１３０から休止期間SPｍを取得する。
　ステップＳ１０２でアイドル状態決定部１７０は、アイドル状態電力ＤＢ１６０（図２２）を参照し、休止期間SPｍに対応する各アイドル状態の電力量を取得する。例えば、休止期間SPｍに対応する各アイドル状態の電力量（C0=0.2mJ，C1=0.25mJ，…）を取得する。
　ステップＳ１０３でアイドル状態決定部１７０は、取得したアイドル状態の電力量の中から、最も電力量の小さいものを物理コアＭのアイドル状態Cmとして決定する。アイドル状態決定部１７０は、物理コアＭのアイドル状態Cmを休止スレッド制御部１１０に通知して本フローの処理を終了する。
 <休止指示フロー>
　図２６は、図２１の休止状態制御装置１００の動作における休止指示処理のフローチャートである。
　ステップＳ１１１で休止スレッド制御部１１０は、物理コアＭの処理開始からTPm経ったか否かを判別する。物理コアＭの処理開始からTPm経っていない場合（Ｓ１１１：Ｎｏ）、ステップＳ１１２で一定時間待機してステップＳ１１１に戻る。
　物理コアＭの処理開始からTPm経った場合（Ｓ１１１：Ｙｅｓ）、ステップＳ１１３で休止スレッド制御部１１０は、論理コアＮに対応する休止スレッドＩｎに、休止状態Cmを指定して休止指示を出す。
　ステップＳ１１４で休止時間決定部１３０は、Cmに対応する起床時間Wmを考慮した休止時間を決定する。
　ステップＳ１１５で休止時間決定部１３０は、タイマ部１２０に、論理コアＮに対応する物理コアＭの休止時間SPm’を設定する（SPm’= SPm-Wm）。
　ステップＳ１１６でタイマ部１２０は、物理コアＭの休止時間SPm'経過後、物理コアＭに対応する論理コアＮ上の休止スレッドＩｎに対して、起床指示を出す。
　ステップＳ１１７で休止スレッド制御部１１０は、休止継続か否かを判別し、休止継続の場合（Ｓ１１７：Ｙｅｓ）は、ステップＳ１１１に戻り、休止継続でない場合（Ｓ１１７：Ｎｏ）は、本フローの処理を終了する。
（第５の実施形態）
　図２７および図２８は、本発明の第５の実施形態を説明する図である。図２７は、第１の実施形態のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。図２８は、第５の実施形態のＳＭＴを用いるＣＰＵのc-stateにおける説明図である。
　第１の実施形態は、ＣＰＵが同時マルチスレッディング（ＳＭＴ）を有効化している際、同一の物理コアに対応する論理コアに対して外部（カーネルスレッド等）から同じタイミングで同じ時間幅の休止を強制させることで、ＣＰＵの電力を削減する。
　第１の実施形態により、一定の期間の強制sleepは可能である。しかし、処理種別によってsleepできる時間が異なるため、すべての処理に影響を与えない期間のsleepしようとすると、処理量の多い処理種別に合わせてsleep可能時間が減ってしまうことが考えられる。
　例えば、図２７の符号ｖ１とｖ２に示すように、物理コア＃０の論理コア＃０と論理コア＃４では、論理コア＃０の処理Ａと論理コア＃４の処理Ｂとは処理量が異なる（論理コア＃４の処理Ｂの処理量が多い）ので、物理コア＃０におけるsleep可能時間は、処理量の多い処理Ｂに制限されてしまう。同様に、物理コア＃１の論理コア＃１と論理コア＃５では、論理コア＃１の処理Ａと論理コア＃５の処理Ｂとは処理量が異なる（論理コア＃５の処理Ｂの処理量が多い）ので、物理コア＃１におけるsleep可能時間は、処理量の多い処理Ｂに制限されてしまう。
　第５の実施形態では、処理種別が類似するアプリケーションを同一物理コアにアサインする。具体的には、第５の実施形態の休止状態制御装置１００（図２９）は、ＣＰＵ使用率などから処理種別ごとの処理量を算出し、処理量の大きさが所定範囲にある処理同士は類似する処理種別と判断して、当該処理種別の処理を同一物理コア上の論理コアに配置する。これにより、物理コアのsleepできる時間を延ばし（図２８の期間ｗ）、省電力化する。
　図２９は、本発明の第５の実施形態の休止状態制御装置１００の動作を説明する図である。図１と同一構成部分には同一符号を付している。
　図２９の太枠ブロックに示すように、第５の実施形態の休止状態制御装置１００は、休止スレッド制御部１１０と、タイマ部１２０と、休止時間決定部１３０と、処理時間計測部１４０と、処理時間ＤＢ１５０と、使用率ＤＢ１８０と、コア割当決定部１９０と、データ処理スレッド１０１（データ処理スレッドＤｎ）と、休止スレッド１０２（休止スレッドＩｎ）と、を用いる。また、第５の実施形態の休止状態制御装置１００は、ＯＳ／ドライバ２０のコア割当部２３と、ＣＰＵ使用率取得部２４と、を用いる。
 <コア割当決定フロー>
　図３０は、図２９の休止状態制御装置１００の動作におけるコア割当決定処理のフローチャートである。
　ステップＳ１２１でコア割当決定部１９０は、使用率ＤＢ１８０を参照し、論理コアＮのＣＰＵ使用率RLnを取得する。
　ステップＳ１２２でコア割当決定部１９０は、ＣＰＵ使用率RLnの大きい順に論理コアＮを並べ替えて新しい論理コア順序N’を決定する。
　ステップＳ１２３でコア割当決定部１９０は、論理コア順序N’をコア割当部２３に通知する。
　ステップＳ１２４でコア割当決定部１９０は、論理コア順序N’に基づき、使用率ＤＢ１８０と処理時間ＤＢ１５０の論理コア順序を修正して本フローの処理を終了する。
 <コア割当部２３の動作例>
　図３１は、図３０のコア割当決定処理を実行することによる、コア割当部２３の動作例を示す図である。
　図３１では、物理コア＃０の論理コア順序Nは、論理コア＃０、論理コア＃４の順である。そしてＣＰＵ使用率RLnは、論理コア＃０が２０％、論理コア＃４が６０％となっている。また、物理コア＃１の論理コア順序Nは、論理コア＃１、論理コア＃５の順である。そしてＣＰＵ使用率RLnは、論理コア＃１が１０％、論理コア＃５が７０％となっている。したがって、ＣＰＵ使用率RLnは、高い順に、物理コア＃１の論理コア＃５（７０％）、物理コア＃０の論理コア＃４（６０％）、物理コア＃０の論理コア＃０（２０％）、物理コア＃１の論理コア＃１（１０％）となる。
　コア割当部２３（図３１）は、論理コア順序Nと論理コア順序N’の関係から、論理コアＮに乗っているデータ処理スレッドを論理コアＮ’に移し替える。図３１の場合、コア割当部２３は、ＣＰＵ使用率RLnが高い順に論理コアＮに乗っているデータ処理スレッドを並べ替える。新しい論理コア順序N’では、コア割当部２３は、論理コア＃５のデータ処理スレッドを論理コア＃０に移動し（矢印ｘ１参照）、論理コア＃４のデータ処理スレッドは移動しない（矢印ｘ２参照）。また、コア割当部２３は、論理コア＃０のデータ処理スレッドを論理コア＃１に移動し（矢印ｘ３参照）、論理コア＃１のデータ処理スレッドを論理コア＃５に移動する（矢印ｘ４参照）。
［ハードウェア構成］
　上記各実施形態に係る休止状態制御装置１００（図１）は、例えば図３２に示すような構成のコンピュータ９００によって実現される。
　図３２は、コンピュータ９００を示すハードウェア構成図である。
　コンピュータ９００は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＨＤＤ９０４、通信インタフェース９０６、入出力インタフェース９０５、およびメディアインタフェース９０７を有する。なお、図３２ではインタフェースのことを“I/F”と記載している。
　ＣＰＵ３２は、ＲＯＭ９０２またはＨＤＤ９０４に格納されたプログラムに基づいて動作し、休止状態制御装置１００（図１）の各部を具現化する。ＲＯＭ９０２は、コンピュータ９００の起動時にＣＰＵ３２によって実行されるブートプログラムや、コンピュータ９００のハードウェアに依存するプログラム等を格納する。
　ＣＰＵ３２は、入出力インタフェース９０５を介して、マウスやキーボード等の入力装置９１０、および、ディスプレイ等の出力装置９１１を制御する。ＣＰＵ３２は、入出力インタフェース９０５を介して、入力装置９１０からデータを取得するともに、生成したデータを出力装置９１１へ出力する。なお、プロセッサとしてＣＰＵ３２とともに、ＧＰＵ（Graphics Processing Unit）等を用いてもよい。
　ＨＤＤ９０４は、ＣＰＵ３２により実行されるプログラムおよび当該プログラムによって使用されるデータ等を記憶する。通信インタフェース９０６は、通信網（例えば、ネットワーク９２２）を介して他の装置からデータを受信してＣＰＵ３２へ出力し、また、ＣＰＵ３２が生成したデータを、通信網を介して他の装置へ送信する。
　メディアインタフェース９０７は、記録媒体９１２に格納されたプログラムまたはデータを読み取り、ＲＡＭ９０３を介してＣＰＵ３２へ出力する。ＣＰＵ３２は、目的の処理に係るプログラムを、メディアインタフェース９０７を介して記録媒体９１２からＲＡＭ９０３上にロードし、ロードしたプログラムを実行する。記録媒体９１２は、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、磁気記録媒体、導体メモリテープ媒体又は半導体メモリ等である。
　例えば、コンピュータ９００が本実施形態に係る一装置として構成される休止状態制御装置１００（図１）として機能する場合、休止状態制御装置１００のＣＰＵ３２は、ＲＡＭ９０３上にロードされたプログラムを実行することにより休止状態制御装置１００の機能を実現する。また、ＨＤＤ９０４には、ＲＡＭ９０３内のデータが記憶される。ＣＰＵ３２は、目的の処理に係るプログラムを記録媒体９１２から読み取って実行する。この他、ＣＰＵ３２は、他の装置から通信網（ＮＷ９２２）を介して目的の処理に係るプログラムを読み込んでもよい。
［効果］
　以上説明したように、休止状態制御装置１００（図１、図３）は、ＣＰＵの同時マルチスレッディングを用いて、論理的にＣＰＵコアを増加させ、論理コアにデータ処理スレッドＤｎ（データ処理スレッド１０１）を割当ててデータ処理を並列実行するデータ処理システムの休止状態制御装置であって、データ処理スレッドＤｎよりも高優先度で動作する休止スレッドＩｎ（休止スレッド１０２）を用いて、休止命令の実行タイミングおよび休止期間を指示する休止スレッド制御部１１０を備え、休止スレッド制御部１１０は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる命令である休止スレッドを実行し、同一物理コア上の論理コアを全て休止させることを特徴とする。
　このようにすることにより、休止状態制御装置１００は、休止スレッド制御部１１０が、データ処理スレッドＤｎよりも高優先度で動作する休止スレッドＩｎを用いて、休止命令の実行タイミングおよび休止期間を指示する。そして、休止スレッドＩｎが、論理コアを休止させる命令を実行し、論理コアを休止させる。休止スレッド制御部１１０が休止スレッドＩｎに対し、休止命令の実行タイミングや休止期間を指示する。これにより、休止スレッド制御部１１０は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる命令である休止スレッドＩｎを実行し、同一物理コア上の論理コアを全て休止させる。その結果、各論理コアが同じタイミングで休止状態に入ることで、物理コアが深い休止状態に遷移し、省電力化することができる（要件１を満たす）。また、ＣＰＵ使用率やアプリの処理時間を参照して性能影響を与えない範囲で休止期間を設定するので、処理のスループットを下げない（要件２を満たす）。
　特に、カーネルスレッドによるmwait発行等により、同一物理コア上の論理コアを同じタイミングで、同じ時間だけ強制的にsleepさせ、かつ各論理コアを同じ深さのc-stateに落とすことで、物理コアを深いコアc-stateに遷移させることができる（図３８のコアc-state (CCx)参照）。
　また、同様の方法で、同一ＣＰＵソケット上の論理コアを同じタイミングで、同じ時間だけsleepさせ、かつ各論理コアを同じ深さのc-stateに落とすことで、ＣＰＵを深いパッケージc-stateに遷移させることができる（図３８のパッケージc-state (PCx)参照）。
　休止状態制御装置１００（図６）において、データ処理スレッドＤｎは、自身の処理を完了させたタイミングで自ら休止スレッドＩｎを呼び出し、処理を明け渡す休止指示機能を有し、休止スレッドＩｎは、データ処理スレッドＤｎから休止指示を受け取ると、自らを実行可能状態から待機状態に設定し、データ処理スレッドＤｎにＣＰＵ使用時間を明け渡すことを特徴とする。
　また、休止スレッドＩｎは、タイマやイベント発生までsleepさせる関数epoll_wait()を呼び出す態様を採ってもよい。この別形態によっても同一物理コア上の論理コアを同じタイミングで、同じ時間だけ強制的にsleepさせ、かつ各論理コアを同じ深さのc-stateに落とすことができ、物理コアを深いコアc-stateに遷移させることができる。したがって、第１の実施形態の休止状態制御装置１００（図１）の場合と同様に、物理コアを効果的により深いコアc-stateへ遷移させて、省電力化を図ることができる。
　休止状態制御装置１００（図１１）において、データ処理のタイミングを制御するスケジューラ２２を備え、スケジューラ２２は、休止スレッド制御部１１０が物理コアごとに決定した休止期間に合わせ、論理コア上のデータ処理スレッドのタイミングをスケジュールし、物理コア上のすべての論理コアの休止タイミングを合わせることを特徴とする。
　このようにすることにより、処理途中の強制sleepを避けることができ、余計な起床時間やスレッド切り替えによる性能影響を未然に防ぐことができる。
　休止状態制御装置１００（図１５）において、論理コア上のアプリケーションが定期的に到着するデータを処理する場合に、処理期限と過去の処理時間の実績をもとに、物理コアにおける休止タイミングおよび休止時間を決定する休止時間決定部１３０を備えることを特徴とする。
　このようにすることにより、どのタイミングでどれくらいの時間を強制的にsleepさせればよいかを決定することができ、物理コアを効果的により深いコアc-stateへ遷移させて、さらに電力化を図ることができる。
　休止状態制御装置１００（図２１）において、休止時間決定部１３０は、同一物理コア上の論理コアのうち、処理時間の長い論理コア上の処理完了時刻を計測し、当該論理コアの処理完了時刻に合わせる強制sleep開始タイミングと、処理期限から処理完了時刻を引いた長さに指定するsleep時間と、を有し、過去の処理時間実績からsleep可能な時間を予測し、強制sleep開始タイミングおよびsleep時間を決定することを特徴とする。
　このようにすることにより、定期的にデータが到着するケースにおいて物理コアをsleepするタイミングと最大のsleep時間が決定でき、物理コアを効果的により深いコアc-stateへ遷移させて、より一層省電力化を図ることができる。
　休止状態制御装置１００（図１、図３）において、休止時間決定部１３０が決定した強制sleep開始タイミングとsleep時間をもとに、物理コアを遷移すべきコアc-stateを決定し、当該物理コアに含まれる各論理コアを対応するc-stateに遷移させるとともに、コアc-stateからの起床時間を考慮して処理期限前に事前起床させるアイドル状態決定部１７０を備えることを特徴とする。
　このようにすることにより、定期的にデータが到着するケースにおいて物理コアをsleepするタイミングと最大のsleep時間が決定できることに加え、c-stateの深さの決定方法やc-state制御の方法を最適化することができ、物理コアを効果的により深いコアc-stateへ遷移させて、より一層省電力化を図ることができる。
　休止状態制御装置１００（図１、図３）において、ＣＰＵ使用率を含む処理種別ごとの処理量を算出し、処理量の大きさが所定範囲にある処理同士は類似する処理種別と判断して、当該処理種別の処理を同一物理コア上の論理コアに配置するコア割当決定部１９０を備えることを特徴とする。
　このようにすることにより、類似する処理種別の処理を同一物理コア上の論理コアに配置することで、物理コアのsleepできる時間を延ばし、より一層省電力化することができる。
　なお、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中に示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。
　１０　ＨＷ（ハードウェア）
　１１　ＣＰＵ
　２０　ＯＳ／ドライバ
　２１　ＣＰＵアイドルドライバ
　２２　スケジューラ
　２３　コア割当部
　２４　ＣＰＵ使用率取得部
　３０　アプリケーション（ＡＰＬ）
　１００　休止状態制御装置
　１０１　データ処理スレッドＤｎ
　１０２　休止スレッドＩｎ
　１１０　休止スレッド制御部
　１２０　タイマ部
　１３０　休止時間決定部
　１４０　処理時間計測部
　１５０　処理時間ＤＢ
　１６０　アイドル状態電力ＤＢ
　１７０　アイドル状態決定部
　１８０　使用率ＤＢ
　１９０　コア割当決定部

Claims (8)

  1. 　ＣＰＵの同時マルチスレッディングを用いて、論理的にＣＰＵコアを増加させ、論理コアにデータ処理スレッドを割当ててデータ処理を並列実行するデータ処理システムの休止状態制御装置であって、
    　前記データ処理スレッドよりも高優先度で動作する休止スレッドを用いて、休止命令の実行タイミングおよび休止期間を指示する休止スレッド制御部を備え、
    　前記休止スレッド制御部は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる命令である前記休止スレッドを実行し、同一物理コア上の前記論理コアを全て休止させる
    　ことを特徴とする休止状態制御装置。
  2. 　データ処理のタイミングを制御するスケジューラを備え、
    　前記スケジューラは、前記休止スレッド制御部が物理コアごとに決定した休止期間に合わせ、前記論理コア上のデータ処理スレッドのタイミングをスケジュールし、前記物理コア上のすべての前記論理コアの休止タイミングを合わせる
    　ことを特徴とする請求項１に記載の休止状態制御装置。
  3. 　前記論理コア上のアプリケーションが定期的に到着するデータを処理する場合に、処理期限と過去の処理時間の実績をもとに、前記物理コアにおける休止タイミングおよび休止時間を決定する休止時間決定部を備える
    　ことを特徴とする請求項１に記載の休止状態制御装置。
  4. 　前記休止時間決定部は、
    　同一物理コア上の前記論理コアのうち、処理時間の長い論理コア上の処理完了時刻を計測し、当該論理コアの処理完了時刻に合わせる強制sleep開始タイミングと、前記処理期限から前記処理完了時刻を引いた長さに指定するsleep時間と、を有し、
    　過去の処理時間実績からsleep可能な時間を予測し、前記強制sleep開始タイミングおよび前記sleep時間を決定する
    　ことを特徴とする請求項３に記載の休止状態制御装置。
  5. 　前記休止時間決定部が決定した前記強制sleep開始タイミングと前記sleep時間をもとに、前記物理コアを遷移すべきコアc-stateを決定し、当該物理コアに含まれる各論理コアを対応するc-stateに遷移させるとともに、前記コアc-stateからの起床時間を考慮して処理期限前に事前起床させるアイドル状態決定部を備える
    　ことを特徴とする請求項４に記載の休止状態制御装置。
  6. 　ＣＰＵ使用率を含む処理種別ごとの処理量を算出し、処理量の大きさが所定範囲にある処理同士は類似する処理種別と判断して、当該処理種別の処理を同一物理コア上の論理コアに配置するコア割当決定部を備える
    　ことを特徴とする請求項１に記載の休止状態制御装置。
  7. 　ＣＰＵの同時マルチスレッディングを用いて、論理的にＣＰＵコアを増加させ、論理コアにデータ処理スレッドを割当ててデータ処理を並列実行するデータ処理システムの休止状態制御装置の休止状態制御方法であって、
    　前記休止状態制御装置は、
    　前記データ処理スレッドよりも高優先度で動作する休止スレッドを用いて、休止命令の実行タイミングおよび休止期間を指示する休止スレッド制御部と、を有し、
    　前記休止スレッド制御部は、同一の物理コアに対応する論理コアに対して同じタイミングでかつ、同じ時間幅の休止を強制させる命令である前記休止スレッドを実行し、同一物理コア上の前記論理コアを全て休止させる
    　ことを特徴とする休止状態制御方法。
  8. 　コンピュータを、請求項１乃至６のいずれか一項に記載の休止状態制御装置として機能させるためのプログラム。
PCT/JP2024/014714 2024-04-11 2024-04-11 休止状態制御装置、休止状態制御方法およびプログラム Pending WO2025215802A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/014714 WO2025215802A1 (ja) 2024-04-11 2024-04-11 休止状態制御装置、休止状態制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/014714 WO2025215802A1 (ja) 2024-04-11 2024-04-11 休止状態制御装置、休止状態制御方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2025215802A1 true WO2025215802A1 (ja) 2025-10-16

Family

ID=97350517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/014714 Pending WO2025215802A1 (ja) 2024-04-11 2024-04-11 休止状態制御装置、休止状態制御方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2025215802A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255981A (ja) * 2000-03-10 2001-09-21 Toshiba Corp コンピュータシステム、このコンピュータシステムに用いられる入力装置、コンピュータ、省電力制御方法及び記録媒体
JP2001521219A (ja) * 1997-10-23 2001-11-06 インターナショナル・ビジネス・マシーンズ・コーポレーション マルチスレッド式プロセッサでのスレッド優先順位の変更
WO2008155806A1 (ja) * 2007-06-20 2008-12-24 Fujitsu Limited バリア同期方法、装置、及びマルチコアプロセッサ
JP2011505752A (ja) * 2007-11-29 2011-02-24 エイ１０ ネットワークス インコーポレイテッド 分散多重処理セキュリティゲートウエイのためのシステム及び方法
JP2012141864A (ja) * 2011-01-05 2012-07-26 Hitachi Ltd Ｓｍｔプロセッサにおけるプロセッサ使用率の算出方法
JP2014225242A (ja) * 2013-03-15 2014-12-04 インテル・コーポレーション 異種システムをブートし、コアの対称的なビューを表示する方法
JP2015210813A (ja) * 2014-04-24 2015-11-24 富士通株式会社 同期方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001521219A (ja) * 1997-10-23 2001-11-06 インターナショナル・ビジネス・マシーンズ・コーポレーション マルチスレッド式プロセッサでのスレッド優先順位の変更
JP2001255981A (ja) * 2000-03-10 2001-09-21 Toshiba Corp コンピュータシステム、このコンピュータシステムに用いられる入力装置、コンピュータ、省電力制御方法及び記録媒体
WO2008155806A1 (ja) * 2007-06-20 2008-12-24 Fujitsu Limited バリア同期方法、装置、及びマルチコアプロセッサ
JP2011505752A (ja) * 2007-11-29 2011-02-24 エイ１０ ネットワークス インコーポレイテッド 分散多重処理セキュリティゲートウエイのためのシステム及び方法
JP2012141864A (ja) * 2011-01-05 2012-07-26 Hitachi Ltd Ｓｍｔプロセッサにおけるプロセッサ使用率の算出方法
JP2014225242A (ja) * 2013-03-15 2014-12-04 インテル・コーポレーション 異種システムをブートし、コアの対称的なビューを表示する方法
JP2015210813A (ja) * 2014-04-24 2015-11-24 富士通株式会社 同期方法

Similar Documents

Publication Publication Date Title
JP5885920B2 (ja) 仮想ｃｐｕベースの、周波数、及び電圧制御
JP6060445B2 (ja) レイテンシガイダンスに基づくプラットフォームのパワーマネジメント
US6986068B2 (en) Arithmetic processing system and arithmetic processing control method, task management system and task management method
US20130074085A1 (en) System and method for controlling central processing unit power with guaranteed transient deadlines
JP5312478B2 (ja) データ・プロセッサのパフォーマンス予測
EP2550576B1 (en) Reducing power consumption by masking a process from a processor performance management system
US9128705B2 (en) System and method for controlling central processing unit power with reduced frequency oscillations
CN109906437B (zh) 基于线程重要性的处理器核停止和频率选择
CN107533479B (zh) 功率知晓调度和功率管理器
US8744831B2 (en) Simulation apparatus, simulation method and recording medium for recording simulation program
CN104969142A (zh) 用于以有保证的瞬态最后期限来控制中央处理单元功率的系统和方法
JP4553307B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2005527906A (ja) 分離式電源管理状態を提供する方法および装置
WO2000077599A1 (en) Information processing system, information processing method, method and apparatus for task assignment, and medium storing program
CN104756043B (zh) 用于以有保证的瞬态最后期限来控制中央处理单元功率的系统和方法
Kim et al. An event-driven power management scheme for mobile consumer electronics
WO2024166168A1 (ja) ＣＰＵ ｉｄｌｅ機能制御装置、サーバ内演算システム、ＣＰＵ ｉｄｌｅ機能制御方法およびプログラム
CN119522407A (zh) 任务调度装置、计算系统、任务调度方法以及程序
JP6928263B2 (ja) 情報処理装置、計算機制御方法、および計算機制御プログラム
Feller et al. State of the art of power saving in clusters and results from the EDF case study
CN118860119A (zh) 一种处理器的控制方法、装置及电子设备
KR101087429B1 (ko) 전력 관리 방법 및 장치
US12632287B2 (en) Dynamic interrupt steering and processor unit idle state demotion
KR101075949B1 (ko) 모바일 내장형 시스템을 위한 전력 관리 시스템 및 그 방법
CN118819270A (zh) 一种信息处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24934991

Country of ref document: EP

Kind code of ref document: A1