KR20100073157A - 클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법 - Google Patents

클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법 Download PDF

Info

Publication number
KR20100073157A
KR20100073157A KR1020080131750A KR20080131750A KR20100073157A KR 20100073157 A KR20100073157 A KR 20100073157A KR 1020080131750 A KR1020080131750 A KR 1020080131750A KR 20080131750 A KR20080131750 A KR 20080131750A KR 20100073157 A KR20100073157 A KR 20100073157A
Authority
KR
South Korea
Prior art keywords
power
host
management
proxy
manager
Prior art date
Application number
KR1020080131750A
Other languages
English (en)
Inventor
오수철
김성운
남궁한
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131750A priority Critical patent/KR20100073157A/ko
Priority to US12/507,403 priority patent/US8495393B2/en
Priority to JP2009190305A priority patent/JP2010146546A/ja
Publication of KR20100073157A publication Critical patent/KR20100073157A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3055Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3058Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G06F11/3062Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations where the monitored property is the power consumption
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs

Abstract

본 발명은 클러스터 시스템의 호스트에 대한 원격 전원 관리 기술에 관한 것으로, 본 발명에 실시예에 따른 원격 전원 관리 시스템은, 클러스터 시스템을 구성하는 다수의 호스트의 전원을 각각 관리하며 다수의 그룹으로 구분되는 다수의 관리 노드; 상기 각 그룹을 관리하는 다수의 전원 프록시 서버로서, 상기 각 전원 프록시 서버는 해당 그룹의 상기 각 관리 노드의 전원 상태를 모니터링하여 프록시 모니터링 정보를 구성하고, 전원 설정이 요구되는 특정 호스트의 관리 노드에 전원 설정 명령을 전송하는 전원 프록시 서버; 및 상기 각 프록시 모니터링 정보를 이용하여 상기 다수의 호스트의 전원 상태를 모니터링하고, 상기 전원 설정 명령을 상기 특정 호스트의 관리 노드가 속한 그룹의 전원 프록시 서버로 전송하는 전원 관리 서버를 포함하는 것을 특징으로 한다.
Figure P1020080131750
클러스터 시스템, 원격 전원 관리, 프록시 마스터, 전원 스케쥴

Description

클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법 {Remote power management system and method for managing cluster system}
본 발명은 클러스터 시스템의 호스트에 대한 원격 전원 관리 기술에 관한 것으로서, 구체적으로는 클러스터 시스템의 다수의 호스트를 그룹화하고, 각 그룹을 관리하는 전원 프록시 서버를 이용하여 클러스터 시스템을 모니터링하고 각 호스트에 대하여 전원을 설정할 수 있는 클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력사업의 일환으로 수행한 연구로부터 도출된 것이다 [과제관리번호: 2007-S-016-02, 과제명: 저비용 대규모 글로벌 인터넷 서비스 솔루션 개발].
컴퓨터는 다양한 장치들을 포함하여 구성되며 각 장치들마다 상당한 전력을 소모하기 때문에, 컴퓨터 시스템의 전력 소모를 줄이기 위한 많은 연구들이 진행되고 있다.
종래의 컴퓨터의 전원 관리 기술은, 하나의 컴퓨터 노드에 대하여 하드웨어의 전원을 관리할 수 있을 뿐, 클러스터 시스템을 구성하는 다수의 호스트에 대하 여 통합적으로 전원 모니터링 및 전원 제어를 할 수 없는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 본 발명이 해결하고자 하는 과제는 클러스터 시스템을 구성하는 다수의 호스트에 대한 전원 상태를 모니터링 할 수 있고, 각 호스트에 대하여 전원 설정을 할 수 있는 클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법을 제공하는 것이다.
전술한 과제를 해결하기 위하여, 본 발명의 일면에 따른 원격 전원 관리 시스템은, 클러스터 시스템을 구성하는 다수의 호스트의 전원을 각각 관리하며 다수의 그룹으로 구분되는 다수의 관리 노드; 상기 각 그룹을 관리하는 다수의 전원 프록시 서버로서, 상기 각 전원 프록시 서버는 해당 그룹의 상기 각 관리 노드의 전원 상태를 모니터링하여 프록시 모니터링 정보를 구성하고, 전원 설정이 요구되는 특정 호스트의 관리 노드에 전원 설정 명령을 전송하는 전원 프록시 서버; 및 상기 각 프록시 모니터링 정보를 이용하여 상기 다수의 호스트의 전원 상태를 모니터링하고, 상기 전원 설정 명령을 상기 특정 호스트의 관리 노드가 속한 그룹의 전원 프록시 서버로 전송하는 전원 관리 서버를 포함하는 것을 특징으로 한다.
본 발명의 다른 면에 따른 전원 프록시 서버를 이용한 원격 전원 관리 방법은, 다수의 호스트의 전원을 각각 관리하는 다수의 관리 노드로 상기 호스트의 전원 상태를 요청하는 단계; 상기 다수의 호스트의 전원 상태를 수신하여 프록시 모니터링 정보를 구성하는 단계; 및 전원 관리 서버로부터 프록시 모니터링 정보의 요청 수신시, 상기 구성된 프록시 모니터링 정보를 전송하는 단계를 포함하는 것을 특징으로 한다.
본 발명은, 클러스터 시스템을 구성하는 다수의 호스트에 대하여 모니터링 정보를 제공하고, 각 호스트에 대하여 전원 설정을 수행할 수 있어, 클러스터 시스템에 대해서도 효율적인 전원 관리를 할 수 있는 효과가 있다.
또한 각 호스트에 대하여 전원 정책 및 전원 스케쥴을 설정할 수 있으므로 클러스터 시스템의 전원 관리를 효과적으로 실시할 수 있으며, 이를 통하여 전력 소모를 감소시킬 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 클러스터 시스템의 원격 전원 관리 시스템의 구조를 도시한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 클러스터 시스템의 원격 전원 관리 시스템(10)은 클러스터 시스템을 구성하는 다수의 호스트 단말(이하, '호스트'라 칭함)의 전원을 각각 관리하는 관리 노드(300), 복수의 관리 노드(300)를 모니터링하는 복수의 전원 프록시 서버(200) 및 전원 관리 서버(100)를 포함하여 구성될 수 있다.
즉, 이러한 원격 전원 관리 시스템(10)은 계층적인 구조를 가지며, 각 계층은 하위 계층으로 복수의 요소를 포함할 수 있다. 이러한 계층적 구조를 통하여, 전원 관리 서버(100)를 간단하고 효율적으로 구성할 수 있도록 할 수 있다.
이러한 계층 구조에 대하여 상세히 설명하면, 관리 노드(300)는 다수의 그룹으로 구분될 수 있으며(300a 그룹, 300b 그룹 내지 300n 그룹), 각 그룹은 복수의 관리 노드(예컨대, 300a 그룹의 경우 300a1, 300a2 내지 300aM)를 포함할 수 있다. 이러한 그룹은 실시예에 따라 256개의 관리 노드(300)를 포함할 수 있다.
각 그룹은 하나의 전원 프록시 서버(200)에 의하여 관리된다. 따라서 본 발명의 실시예에 따른 원격 전원 관리 시스템(10)은 관리 노드(300)의 그룹 수와 같은 수의 전원 프록시 서버(200a, 200b 내지 200n)를 포함하여 구성될 수 있다.
전원 관리 서버(100)는 n 개의 전원 프록시 서버(200a, 200b 내지 200n)를 관리할 수 있다. 즉, 전원 관리 서버(100)는 전원 프록시 서버(200)를 통하여 관리 노드(300)를 관리하거나 또는 모니터링 할 수 있다.
도 2는 전원 설정 및 전원 상태 모니터링을 위한 명령어 흐름을 도시한 도면이다.
도 2에 도시된 바와 같이, 전원 설정 명령 및 전원 상태 모니터링 요청은 계층적 구조를 경유하여 전송될 수 있다.
즉, 특정 호스트에 대하여 전원 설정을 하기 위하여, 전원 관리 서버(100)는 그 특정 호스트에 대한 전원 설정 명령을 생성하고, 그 특정 호스트를 관리하는 관리 노드(300)가 포함된 그룹을 관리하는 전원 프록시 서버(200)를 경유하여, 전원 설정 명령을 전송할 수 있다. 이를 위하여, 전원 관리 서버(100)는 원격 전원 관리 시스템(10)의 계층적 구조에 대한 정보, 예컨대 특정 호스트를 관리하는 관리 노 드(300)의 그룹 정보, 그 그룹을 관리하는 전원 프록시 서버(200) 정보 등을 유지할 수 있다.
전원 프록시 서버(200)는 전원 관리 서버(100)로부터 전원 설정 명령을 수신하면, 그 전원 설정 명령에 포함된 특정 호스트 또는 그 특정 호스트를 관리하는 관리 노드(300)를 인식하여, 그 관리 노드(300)에 전원 설정 명령을 제공할 수 있다.
또한, 전원 상태 모니터링을 위하여, 전원 프록시 서버(200)는 관리하고 있는 그룹의 복수의 관리 노드(300)에 대하여 각각 전원 상태 모니터링을 요청하고, 그 요청에 대한 응답을 수신하여 모니터링 정보(이하, '프록시 모니터링 정보'라 칭함)를 구성할 수 있다. 이를 위하여, 전원 프록시 서버(200)는 설정된 시간 간격 또는 일정 시간 간격마다 관리하고 있는 그룹의 복수의 관리 노드(300)에 대하여 전원 상태 모니터링을요청하여 프록시 모니터링 정보를 구성하고 유지할 수 있으며, 또는 전원 관리 서버(100)로부터 요청을 수신한 경우 프록시 모니터링 정보를 구성하도록 실시할 수 있다.
전원 프록시 서버(200)는 관리하고 있는 그룹의 관리 노드(300)에 대하여 프록시 모니터링 정보를 구성하고 유지하고 있으므로, 전원 관리 서버(100)는 특정 호스트의 전원 상태를 알기 위하여 그 특정 호스트가 속한 그룹을 관리하는 전원 프록시 서버(200)에 프록시 모니터링 정보를 요청할 수 있다.
또한 전원 관리 서버(100)는 일정 시간마다 또는 사용자의 요청에 따라 복수의 전원 프록시 서버(200)에게 프록시 모니터링 정보를 요청하여, 클러스터 시스템 전체에 대한 모니터링 정보를 구성하거나 유지할 수 있다.
이하에서는, 도 3 내지 도 5를 참조하여 본 발명의 실시예에 따른 클러스터 시스템의 원격 전원 관리 시스템(10)의 구성 요소에 대하여 상세히 설명한다.
도 3은 전원 관리 서버의 구성도이다.
도 3에 도시된 바와 같이, 전원 관리 서버(100)는 전원 설정 관리부(110), 전원 상태 관리부(120), 데이터베이스 관리부(130), 데이터베이스(140) 및 사용자 인터페이스부(150)를 포함할 수 있다.
전원 설정 관리부(110)는 특정 호스트에 대하여 전원 설정을 지시하기 위하여 전원 설정 명령을 설정할 수 있으며, 그 특정 호스트를 관리하는 관리 노드(300)가 속한 그룹을 관리하는 전원 프록시 서버(200)에 설정된 전원 설정 명령을 전송할 수 있다.
이때, 전원 설정 명령은 사용자의 입력을 기반으로, 또는 기 설정된 정책에 따라 생성될 수 있다. 이러한 전원 설정 명령에 대해서는 도 6을 참조하여 후술한다.
전원 상태 관리부(120)는 다수의 전원 프록시 서버(200)에 프록시 모니터링 정보를 요청하고, 그 요청에 따른 응답을 수신하여 클러스터 시스템의 전원 상태에 대한 모니터링 정보를 구성할 수 있다. 전술한 바와 같이, 전원 상태 관리부(120)는 사용자의 요청에 의하여 모니터링 정보를 구성할 수 있으며, 또는 일정 시간마다 모니터링 정보를 재구성 할 수 있다.
데이터베이스(140)는 클러스터 시스템의 모니터링 정보 또는 그에 대한 이력 을 저장할 수 있으며, 이를 위하여 데이터베이스 관리부(130)는 전원 상태 관리부(320)에서 구성된 클러스터 시스템의 모니터링 정보를 데이터베이스(140)로 제공하여 데이터베이스를 관리할 수 있다. 이러한 데이터베이스를 관리함에 있어, 데이터베이스 관리부(130)는 일정 시간마다 재구성된 클러스터 시스템의 모니터링 정보를 전원 상태 관리부(320)로부터 제공받을 수 있다.
사용자 인터페이스부(150)는 클러스터 시스템의 모니터링 정보를 사용자에게 제공할 수 있으며, 또한 전원 설정 명령을 위한 사용자의 입력을 입력받아 전원 설정 관리부(110)에 제공할 수 있다. 이러한 사용자 인터페이스부(150)는 웹 환경에 기반한 사용한 인터페이스를 제공할 수 있으며, 이를 이용하여 사용자는 웹 환경을 기반으로 클러스터 시스템의 모니터링 정보를 확인하거나, 전원 설정 명령을 수행할 수 있다.
도 4는 전원 프록시 서버의 구성도이다.
도 4에 도시된 바와 같이, 전원 프록시 서버(200)는 프록시 전원 설정 관리부(210), 프록시 전원 상태 관리부(220) 및 관리 노드 구동부(230)를 포함할 수 있다.
프록시 전원 설정 관리부(210)는 전원 관리 서버(100)로부터 전송된 전원 설정 명령을 수신하여, 그 전원 설정 명령의 대상이 되는 특정 호스트의 관리 노드(300)에 전송할 수 있다. 이때, 전술한 특정 호스트는 전원 프록시 서버(200)가 관리하는 그룹에 속하는 호스트이다. 이러한 전원 설정 명령을 전송하기 위하여, 전원 프록시 서버(200)는 그 전원 프록시 서버(200)가 관리하는 그룹에 대한 호스 트에 대한 정보 또는 각 호스트를 관리하는 관리 노드(300)에 대한 정보를 유지할 수 있다.
프록시 전원 상태 관리부(220)는 전원 프록시 서버(200)가 관리하는 그룹의 각 관리 노드(300)로 해당 호스트의 전원 상태를 요청하고, 그 요청에 따른 응답을 수신하여 그 그룹에 대한 프록시 모니터링 정보를 구성할 수 있다. 또한, 프록시 전원 상태 관리부(220)는 전원 관리 서버(100)로부터 프록시 모니터링 정보가 요청되면, 구성된 프록시 모니터링 정보를 전원 관리 서버(100)에 제공할 수 있다.
이때, 프록시 전원 상태 관리부(220)는, 일정 시간마다, 전원 프록시 서버(200)가 관리하는 그룹의 각 관리 노드(300)에 해당 호스트의 전원 상태를 요청하여 프록시 모니터링 정보를 재구성할 수 있으며, 또는 전원 관리 서버(100)의 요청을 수신하여 프록시 모니터링 정보를 구성할 수도 있다. 또한 프록시 전원 상태 관리부(220)는 프록시 모니터링 정보를 저장하고, 그 이력을 관리할 수도 있다.
관리 노드 구동부(230)는 턴 오프 되어있는 호스트 또는 그 호스트를 구성하는 장치를 턴 온 시키도록 그 호스트의 관리 노드(300)를 제어할 수 있다. 또한 관리 노드 구동부(230)는 전원 관리 서버(100)에 의하여 설정된 시간마다 호스트를 턴 온 시키도록 그 호스트의 관리 노드(300)를 제어할 수 있다. 또는 전원 관리 서버(100)에 의한 요청에 따라 턴 온 시키도록 그 호스트의 관리 노드(300)를 제어할 수 있다.
도 5는 관리 노드의 구성도이다.
관리 노드(300)는, 그 관리 노드(300)가 관리하는 호스트의 각 장치에 대하 여 전원을 관리할 수 있으며, 또한 각 장치의 전원 상태를 확인하여 이를 전원 프록시 서버(200)에 제공할 수 있다.
이를 위하여, 도 5에 도시된 바와 같이, 관리 노드(300)는 클록 관리부(311), 디스크 관리부(312), 디스플레이 관리부(313), 호스트 전원 관리부(314), 노드 전원 설정 관리부(310) 및 노드 전원 상태 관리부(320)를 포함할 수 있다.
클록 관리부(311)는 전원 설정 명령에 따라서 중앙처리 장치의 클록을 제어하여 동작 속도를 변경시킬 수 있다.
이는, 클럭에 동기화되어 동작하는 중앙처리장치의 특성상 동작속도를 낮추게 되면 중앙처리장치의 전력 소모가 감소하기 때문이다. 또한 전력량은 전압의 제곱에 비례함으로, 전압을 낮추게 되면 소모 전력량이 감소함을 이용한 것이다. 이러한 중앙처리장치의 동작속도 또는 전압을 조정하여 중앙처리장치에서 소모되는 전력을 감소시키기 위하여, 클록 관리부(311)는 DVS(Dynamic Voltage Scaling) 기술을 적용할 수 있다.
디스크 관리부(312)는 하드 디스크 등의 디스크 장치의 전원을 관리할 수 있다. 예컨대, 디스크 관리부(312)는 하드 디스크를 슬립모드로 변경하도록 제어할 수 있다.
디스플레이 관리부(313)는 디스플레이 장치의 전원을 관리할 수 있으며, 이를 위하여 호스트의 디스플레이 카드의 출력을 제어하여 디스플레이 장치의 전원을 관리할 수 있다.
호스트 전원 관리부(314)는 호스트 단말의 전원 장치를 관리할 수 있다. 예 컨대, 호스트 전원 관리부(314)는 호스트를 슬립 모드 또는 하이버네이션 모드 등으로 변경하도록 제어할 수 있다.
노드 전원 설정 관리부(310)는 전원 프록시 서버(200)로부터 전원 설정 명령을 수신하고, 수신된 전원 설정 명령에 따라 클록 관리부(311), 디스크 관리부(312), 디스플레이 관리부(313) 및 호스트 전원 관리부(314) 중 적어도 하나를 제어할 수 있다.
즉, 노드 전원 설정 관리부(310)는 전원 설정 명령에 포함된 호스트의 중앙처리 장치, 디스크 장치, 디스플레이 장치, 호스트 전원 장치 등에 대한 전원 설정 값을 각각 클록 관리부(311), 디스크 관리부(312), 디스플레이 관리부(313), 호스트 전원 관리부(314)에게 제공하여 제어를 수행할 수 있다.
이러한 전원 설정 값은, 관리 노드(300)의 저장 수단(예컨대, 메모리 등)에 저장될 수 있으며, 또한 호스트의 하드 디스크에 복사본을 저장할 수 있다. 이는, 시스템 오동작 등으로 호스트가 재 기동하는 경우에, 하드 디스크에 저장된 복사본을 이용하여 관리 노드(300)가 전원 설정을 수행할 수 있도록 하기 위함이다.
전술한 클록 관리부(311), 디스크 관리부(312), 디스플레이 관리부(313), 호스트 전원 관리부(314) 및 노드 전원 설정 관리부(310)는 각 장치의 전원을 제어하기 위하여 ACPI(Advanced Configuration and Power Interface)를 적용할 수 있다.
ACPI는 인텔, 마이크로소프트, 도시바가 공동으로 개발한 전력 관리 규격으로, 컴퓨터를 구성하는 다양한 장치에 제공되는 전력량을 각각 조절할 수 있게 하여, 사용하고 있지 않는 장치에는 전원을 공급하지 않거나 소량의 전원을 제공하도 록 할 수 있다. 이를 위해 ACPI는 각 컴퓨터를 구성하는 장치에 대한 다양한 전원 상태를 정의하고, 시스템 상태에 따라서 각 부품의 전원 상태를 변경할 수 있는 인터페이스를 제공할 수 있다. 운영체제 혹은 응용 프로그램은 ACPI를 사용하여 각 부품에서 소모되는 전력량을 조절할 수 있다. 이때 각 부품을 언제 저전력 모드로 변화시키고 정상 동작 모드로 변화시킬지를 결정하는 알고리즘은 운영체제 혹은 응용프로그램, 특히 본 실시예에서는 노드 전원 설정 관리부(310)가 결정할 수 있다.
노드 전원 상태 관리부(320)는 전원 프록시 서버(200)의 요청에 따라, 호스트의 중앙처리 장치, 디스크 장치, 디스플레이 장치 및 전원 장치 중 적어도 하나의 전원 상태를 보고할 수 있다.
더 상세히 설명하면, 노드 전원 상태 관리부(320)에 의하여 보고되는 각 장치의 전원 상태에 대한 정보는, 노드 상태 정보, 전원정책 정보, DVS 정보, 중앙처리 장치 동작속도 정보, 디스크 상태 정보 및 디스플레이 상태 정보를 포함할 수 있다.
노드 상태 정보는, 호스트가 켜져 있는지, 꺼져 있는 지, 슬립모드 또는 하이버네이션 모드를 수행하는 지에 대한 정보를 포함할 수 있다.
전원정책 정보는 호스트의 관리 노드(300)에 적용된 전원정책에 대한 정보이다. 전원정책에 대해서는 도 6을 참조하여 후술한다.
DVS 정보는 호스트의 관리 노드(300)에 적용된 DVS에 대한 정보이며, 중앙처리 장치 동작속도 정보는 호스트 중앙처리 장치의 동작 속도에 대한 상태정보 이다.
디스크 상태 정보는 디스크가 동작 중인지, 슬립 상태인지 또는 스탠바이 상태인지에 대한 정보이며, 디스플레이 상태 정보는 디스플레이 장치가 켜져 있는지 또는 꺼져 있는지를 나타내는 정보이다.
이하에서는 도 6을 참조하여 전원 설정 명령에 대하여 설명한다.
도 6은 전원 설정 명령의 전원 정책 및 전원 스케쥴을 도시한 도면이다.
도 6에 도시된 바와 같이, 전원 설정 명령은 전원 정책에 대한 정보 및 전원 스케쥴에 대한 정보를 포함하여 구성될 수 있다.
전원 정책은 퍼포먼스 모드, 절전(power saving) 모드, 사용자 설정(custom) 모드를 지원한다.
퍼포먼스 모드는 호스트가 최대 성능을 내도록 설정하는 것으로 호스트에 대하여 전원 관리를 수행하지 않는다. 예컨대, 퍼포먼스 모드는 중앙처리 장치가 최대 성능을 내도록 정격 전압을 설정하고, 디스크, 디스플레이, 호스트 전원장치에 대해서는 전원관리(즉, 절전모드)를 수행하지 않음으로써, 호스트가 최대 성능을 낼 수 있도록 설정할 수 있다.
절전 모드는 중앙처리 장치, 디스크 장치, 디스플레이 장치, 호스트 전원 장치에 대하여 각각 절전 모드를 설정할 수 있다.
이하에서 각 장치에 대하여 설정할 수 있는 절전 모드 정보, 즉 전원 설정 값에 대하여 더 상세히 설명한다.
중앙처리 장치에 대한 절전 모드 정보로는, DVS 사용 여부, DVS 관리자의 종류, 중앙처리 장치의 동작 주파수, 상한 임계치 및 하한 임계치를 포함할 수 있다. 즉, DVS 관리자는 performance, ondemand, fixed의 종류를 가질 수 있으며, DVS 관리자를 fixed로 설정할 경우 중앙처리 장치의 동작 주파수를 설정할 수 있다. 또한 DVS 관리자를 ondemand로 설정할 경우, 중앙처리 장치의 동작 주파수에 대하여 상한 및 하한 임계치를 설정할 수 있다. 이러한 중앙처리 장치에 대한 절전 모드 정보를 이용하여 클록 관리부(311)는 호스트의 중앙처리 장치에 대하여 전원 관리를 수행할 수 있다.
디스크 장치에 대한 절전 모드 정보로는, 타임아웃과 슬립모드에 대한 정보를 포함할 수 있다. 즉, 하드 디스크가 지정된 시간 동안 동작하지 않으면, 하드 디스크를 스탠바이 모드 또는 슬립 모드로 전환하도록 타임아웃 정보를 설정할 수 있으며, 또한 전술한 타임아웃 시간 후에 전환할 모드(예컨대, 스탠바이 또는 슬립 모드)를 지정하여 슬립모드 정보를 설정할 수 있다. 이러한 디스크 장치에 대한 절전 모드 정보를 이용하여 디스크 관리부(312)는 호스트의 디스크 드라이브에 대하여 전원 설정을 수행할 수 있다.
디스플레이 장치에 대한 절전 모드 정보로는, 디스플레이 장치가 지정된 시간동안 사용되지 않을 경우 전원을 끄도록 설정하는 타임아웃 정보를 포함할 수 있다. 이러한 디스플레이 장치에 대한 절전 모드 정보를 이용하여 디스플레이 관리부(313)는 디스플레이 장치에 대하여 전원 설정을 수행할 수 있다.
호스트 전원 장치에 대한 절전 모드 정보로는, 타임, 모드, 시스템 켜짐 시간에 대한 정보를 포함할 수 있다. 즉, 타임 정보는 시스템이 슬립 모드도 전환될 시간을 시와 분단위 등으로 지정할 수 있으며, 모드 정보는 시스템이 전환될 모드 가 슬립인지 하이버네이션 모드인지 지정할 수 있다. 또한 시스템 켜짐 시간 정보는 슬립 혹은 하이버네이션모드로 전환된 호스트의 전원을 켜는 시간을 시와 분단위 등으로 지정할 수 있다. 이러한 호스트 전원 장치에 대한 절전 모드 정보를 이용하여 호스트 전원 관리부(314)는 호스트 전원 장치에 대하여 전원 설정을 수행할 수 있다.
사용자 설정 모드는 사용자가 전술한 호스트의 각 장치(중앙처리 장치, 디스크 장치, 디스플레이 장치 및 호스트 전원 장치)에 대하여 전원 설정의 세부값을 자유롭게 변경하여 입력하여 절전 모드를 설정하도록 할 수 있다. 이러한 사용자 설정 모드는 복수개 설정되어질 수도 있다.
전술한 퍼포먼스 모드 및 절전 모드에 대한 전원 설정값은 시스템에 의하여 기 설정된 값으로서, 사용자가 그 설정값을 변경할 수 없다.
도 6은 전원 스케쥴의 예시를 보여주고 있다. 도시된 예시에 따르면, 00시부터 08시30분까지는 퍼포먼스 모드 정책을 적용한다. 08시30분부터 11시30분까지는 절전모드 정책을 적용하며, 11시30분부터 15시까지는 제1 사용자 설정 모드 정책을 적용한다. 이후, 15시부터 20시 30분까지 다시 퍼포먼스 모드 정책을 사용하고, 20시 30분부터 24시까지는 제2 사용자 설정 모드 정책을 적용한다.
이와 같이, 전원 스케쥴에 대한 정보는 호스트에 적용될 전원 정책 정보를 시간대 마다 또는 일정 시간 간격마다 다르게 설정할 수 있다.
이하에서는 본 발명의 실시예에 따른, 원격 전원 관리 방법에 대하여 설명한다. 본 실시예에서는 전원 프록시 서버(200)를 기준으로 설명한다.
원격 전원 관리를 위하여, 전원 프록시 서버(200)는 다수의 호스트의 전원을 각각 관리하는 다수의 관리 노드로 호스트의 전원 상태를 요청할 수 있으며, 그 다수의 호스트의 전원 상태를 수신하여 프록시 모니터링 정보를 구성할 수 있다.
또한 전원 프록시 서버(200)는 전원 관리 서버(100)로부터 프록시 모니터링 정보의 요청 수신시, 구성된 프록시 모니터링 정보를 전송할 수 있다.
또한 전원 프록시 서버(200)는 전원 관리 서버(100)로부터 특정 호스트에 대한 전원 설정 명령을 수신하면, 그 특정 호스트의 관리 노드(300)로 전원 설정 명령을 전송할 수 있다.
이 때, 전원 설정 명령은, 전술한 특정 호스트의 중앙처리 장치, 디스크 장치, 디스플레이 장치 및 호스트 전원 장치 중 적어도 하나에 대한 장치전원 설정값을 포함할 수 있다.
더 상세히 설명하면, 전원 설정 명령은 퍼포먼스 모드 정보, 절전 모드 정보 및 사용자 설정 모드 정보 중 적어도 하나를 포함할 수 있다. 이 때 퍼포먼스 모드 정보는 그 특정 호스트의 중앙처리 장치, 디스크 장치, 디스플레이 장치 및 호스트 전원 장치가 최대 성능을 발휘하도록 설정을 지시할 수 있다. 절전 모드 정보는 그 특정 호스트의 중앙처리 장치, 디스크 장치, 디스플레이 장치 및 호스트 전원 장치 중 적어도 하나에 대하여 절전 모드의 설정을 지시할 수 있으며, 사용자 설정 모드 정보는 중앙처리 장치, 디스크 장치, 디스플레이 장치 및 호스트 전원 장치 중 적어도 하나에 대하여 사용자에 의하여 설정된 값에 따라 절전 모드의 설정하도록 지시할 수 있다.
이상, 본 발명에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 자명하다. 따라서 본 발명의 보호 범위는, 전술한 실시예에 국한되서는 아니되며 이하의 특허청구범위의 기재에 의한 범위 및 그와 균등한 범위를 포함하여 정하여져야 할 것이다.
도 1은 본 발명의 실시예에 따른 클러스터 시스템의 구조를 도시한 구성도.
도 2는 전원 설정 및 전원 상태 모니터링을 위한 명령어 흐름을 도시한 도면.
도 3은 전원 관리 서버의 구성도.
도 4는 전원 프록시 서버의 구성도.
도 5는 관리 노드의 구성도.
도 6은 전원 설정 명령의 전원 정책 및 전원 스케쥴을 도시한 도면.

Claims (16)

  1. 클러스터 시스템을 구성하는 다수의 호스트의 전원을 각각 관리하며 다수의 그룹으로 구분되는 다수의 관리 노드;
    상기 각 그룹을 관리하며, 상기 그룹의 상기 각 관리 노드의 전원 상태를 모니터링하여 프록시 모니터링 정보를 구성하고, 전원 설정이 요구되는 특정 호스트의 관리 노드에 전원 설정 명령을 전송하는 전원 프록시 서버; 및
    상기 각 프록시 모니터링 정보를 이용하여 상기 다수의 호스트의 전원 상태를 모니터링하고, 상기 전원 설정 명령을 상기 특정 호스트의 관리 노드가 속한 그룹의 전원 프록시 서버로 전송하는 전원 관리 서버
    를 포함하는 원격 전원 관리 시스템.
  2. 제1항에 있어서, 상기 전원 설정 명령은,
    상기 호스트가 최대 성능을 내도록 설정을 지시하는 퍼포먼스 모드 정보와,
    상기 호스트의 중앙처리 장치, 디스크 장치, 디스플레이 장치 및 호스트 전원장치 중 적어도 하나에 대하여 제1 절전 모드의 설정을 지시하는 절전 모드 정보 및
    사용자에 의하여 제2 절전 모드가 설정되도록 지시하는 사용자 설정 모드 정보 중 적어도 하나를 포함하는 것인 원격 전원 관리 시스템.
  3. 제2항에 있어서, 상기 전원 설정 명령은,
    각 시간에 대하여 상기 퍼포먼스 모드, 상기 절전 모드 및 상기 사용자 설정 모드 중 어느 하나를 설정하는 스게쥴 정보를 더 포함하는 것인 원격 전원 관리 시스템.
  4. 제1항에 있어서, 상기 전원 프록시 서버는,
    상기 전원 관리서버로부터 상기 전원 설정 명령을 수신하여, 상기 특정 호스트의 관리 노드에 전송하는 프록시 전원 설정 관리부; 및
    상기 전원 프록시 서버가 관리하는 그룹의 상기 각 관리 노드로 상기 호스트의 전원 상태를 요청하고, 상기 요청에 따른 응답을 수신하여 상기 그룹에 대한 상기 프록시 모니터링 정보를 구성하는 프록시 전원 상태 관리부
    를 포함하는 원격 전원 관리 시스템.
  5. 제4항에 있어서, 상기 전원 프록시 서버는,
    일정시간 마다 상기 그룹의 상기 각 관리 노드에 상기 호스트의 상기 전원 상태를 요청하여 상기 프록시 모니터링 정보를 재구성하는 것인 원격 전원 관리 시스템.
  6. 제4항에 있어서, 상기 전원 프록시 서버는,
    턴오프된 호스트를 턴온시키도록 상기 관리 노드를 제어하는 관리 노드 구동 부
    를 더 포함하는 것인 원격 전원 관리 시스템.
  7. 제6항에 있어서, 상기 관리 노드 구동부는,
    상기 전원 관리 서버에 의하여 설정된 시간마다, 상기 관리 노드를 턴온시키도록 제어하는 것인 원격 전원 관리 시스템.
  8. 제1항에 있어서, 상기 전원 관리 서버는,
    상기 전원 설정 명령을 설정하여, 상기 특정 호스트의 관리 노드가 속한 그룹의 전원 프록시 서버로 전송하는 전원 설정 관리부; 및
    상기 다수의 전원 프록시 서버에 상기 프록시 모니터링 정보를 요청하고, 상기 요청에 따른 응답을 수신하여 상기 클러스터 시스템의 모니터링 정보를 구성하는 전원 상태 관리부
    를 포함하는 것인 원격 전원 관리 시스템.
  9. 제8항에 있어서, 상기 전원 관리 서버는,
    상기 클러스터 시스템의 모니터링 정보를 데이터베이스로 관리하는 데이터베이스 관리부를 더 포함하며,
    상기 데이터베이스 관리부는, 일정 시간마다 재구성된 상기 클러스터 시스템의 모니터링 정보를 상기 전원 상태 관리부로부터 제공받는 것인 원격 전원 관리 시스템.
  10. 제8항에 있어서, 상기 전원 관리 서버는,
    상기 클러스터 시스템의 모니터링 정보를 사용자에게 제공하고, 상기 전원 설정 명령을 위한 사용자의 입력을 입력받아 상기 전원 설정 관리부에 제공하는 사용자 인터페이스부
    를 더 포함하는 것인 원격 전원 관리 시스템.
  11. 제1항에 있어서, 상기 관리 노드는,
    상기 호스트의 중앙처리 장치의 클록을 제어하여 전원을 관리하는 클록 관리부;
    상기 호스트의 디스크 장치의 전원을 관리하는 디스크 관리부;
    상기 호스트의 디스플레이 장치의 전원을 관리하는 디스플레이 관리부; 및
    상기 호스트의 전원장치를 관리하는 호스트 전원 관리부; 중 적어도 하나와,
    상기 전원 설정 명령을 수신하고, 상기 수신된 전원 설정 명령에 따라 상기 클록 관리부, 상기 디스크 관리부, 상기 디스플레이 관리부 및 상기 호스트 전원 관리부 중 적어도 하나를 제어하는 노드 전원 설정 관리부;를 포함하는 것인 원격 전원 관리 시스템.
  12. 제11항에 있어서, 상기 관리 노드는,
    상기 전원 프록시 서버의 요청에 따라 상기 중앙처리 장치, 상기 디스크 장치, 상기 디스플레이 장치 및 상기 전원 장치 중 적어도 하나의 전원상태를 보고하는 노드 전원 상태 관리부
    를 더 포함하는 것인 원격 전원 관리 시스템.
  13. 다수의 호스트의 전원을 각각 관리하는 다수의 관리 노드로 상기 호스트의 전원 상태를 요청하는 단계;
    상기 다수의 호스트의 전원 상태를 수신하여 프록시 모니터링 정보를 구성하는 단계; 및
    전원 관리 서버로부터 프록시 모니터링 정보의 요청 수신시, 상기 구성된 프록시 모니터링 정보를 전송하는 단계
    를 포함하는 전원 프록시 서버를 이용한 원격 전원 관리 방법.
  14. 제13항에 있어서,
    상기 전원 관리 서버로부터 특정 호스트에 대한 전원 설정 명령을 수신하면, 상기 특정 호스트의 관리 노드로 상기 전원 설정 명령을 전송하는 단계
    를 더 포함하는 전원 프록시 서버를 이용한 원격 전원 관리 방법.
  15. 제14항에 있어서, 상기 전원 설정 명령은,
    상기 특정 호스트의 중앙처리 장치, 디스크 장치, 디스플레이 장치 및 호스 트 전원 장치 중 적어도 하나에 대한 장치전원 설정값을 포함하는 것인 전원 프록시 서버를 이용한 원격 전원 관리 방법.
  16. 제 15항에 있어서, 상기 전원 설정 명령은,
    상기 특정 호스트의 상기 중앙처리 장치, 상기 디스크 장치, 상기 디스플레이 장치 및 상기 호스트 전원 장치에 대하여 최대 성능을 내도록 설정을 지시하는 퍼포먼스 모드 정보와,
    상기 특정 호스트의 상기 중앙처리 장치, 상기 디스크 장치, 상기 디스플레이 장치 및 상기 호스트 전원 장치 중 적어도 하나에 대하여 제1 절전 모드의 설정을 지시하는 절전 모드 정보 및
    사용자에 의하여 제2 절전 모드가 설정되도록 지시하는 사용자 설정 모드 정보 중 적어도 하나를 포함하는 것인 전원 프록시 서버를 이용한 원격 전원 관리 방법.
KR1020080131750A 2008-12-22 2008-12-22 클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법 KR20100073157A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080131750A KR20100073157A (ko) 2008-12-22 2008-12-22 클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법
US12/507,403 US8495393B2 (en) 2008-12-22 2009-07-22 Remote power management system and method for cluster system
JP2009190305A JP2010146546A (ja) 2008-12-22 2009-08-19 クラスタシステムに対する遠隔電源管理システム及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131750A KR20100073157A (ko) 2008-12-22 2008-12-22 클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20100073157A true KR20100073157A (ko) 2010-07-01

Family

ID=42267846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131750A KR20100073157A (ko) 2008-12-22 2008-12-22 클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US8495393B2 (ko)
JP (1) JP2010146546A (ko)
KR (1) KR20100073157A (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8892721B2 (en) * 2009-12-31 2014-11-18 Schneider Electric USA, Inc. Power monitoring system with proxy server for processing and transforming messages and context-specific caching
JP5645647B2 (ja) * 2010-03-01 2014-12-24 キヤノン株式会社 電力制御システムおよびその制御方法
US10324430B2 (en) 2011-02-09 2019-06-18 Vertiv It Systems, Inc. Infrastructure control fabric system and method
EP2673712B1 (en) * 2011-02-09 2024-01-17 Vertiv IT Systems, Inc. Infrastructure control fabric system and method
JP5127962B2 (ja) 2011-06-29 2013-01-23 株式会社東芝 情報処理装置および動作制御方法
US9454199B2 (en) * 2012-06-28 2016-09-27 Intel Corporation Power management control of remote servers
US10067547B2 (en) 2012-06-28 2018-09-04 Intel Corporation Power management control of remote servers
US9250666B2 (en) * 2012-11-27 2016-02-02 International Business Machines Corporation Scalable data collection for system management
JP2014203093A (ja) * 2013-04-01 2014-10-27 京セラドキュメントソリューションズ株式会社 画像処理システム及び画像形成装置
EP2960791A1 (en) * 2014-06-27 2015-12-30 Fujitsu Limited Method of executing an application on a distributed computer system, a resource manager and a distributed computer system
US10534023B1 (en) 2014-08-11 2020-01-14 Google Llc Data center energy monitoring
US20170187819A1 (en) * 2015-12-29 2017-06-29 Nexenta Systems, Inc. Negotiating proxy server for distributed storage and compute clusters
US11314317B2 (en) 2016-10-31 2022-04-26 Microsoft Technology Licensing, Llc Supervisory control of power management
US10782771B2 (en) * 2017-08-18 2020-09-22 Kabushiki Kaisha Toshiba System and method for energy usage scaling for networked devices
US10761584B2 (en) * 2018-03-16 2020-09-01 Vigyanlabs Innovations Private Limited System and method to enable prediction-based power management
US20220229484A1 (en) * 2019-09-17 2022-07-21 Hewlett-Packard Development Company, L.P. Power management setting configuration

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0588792A (ja) 1991-09-27 1993-04-09 Fujitsu Ltd データ転送制御方式
JP2918088B2 (ja) 1994-02-10 1999-07-12 株式会社日立製作所 階層型ネットワーク管理システムおよびネットワーク管理情報の制御方法
JPH0991254A (ja) 1995-09-20 1997-04-04 Nec Corp 消費電力低減制御システム及びその方法
JPH10312370A (ja) 1997-05-12 1998-11-24 Hitachi Ltd 省電力機能を有するネットワークシステム
JP2000222082A (ja) 1999-01-29 2000-08-11 Toshiba Corp コンピュータ及びコンピュータの省電力方法
JP3886309B2 (ja) 1999-11-16 2007-02-28 日本電気株式会社 ネットワーク管理システム及びネットワーク管理方法
US6587950B1 (en) * 1999-12-16 2003-07-01 Intel Corporation Cluster power management technique
JP3483511B2 (ja) 2000-01-31 2004-01-06 キヤノン株式会社 画像形成システム、サーバ端末装置、画像形成システムにおける制御方法、記憶媒体及び管理コンピュータ
US7051215B2 (en) * 2003-06-13 2006-05-23 Intel Corporation Power management for clustered computing platforms
US20050228967A1 (en) 2004-03-16 2005-10-13 Sony Computer Entertainment Inc. Methods and apparatus for reducing power dissipation in a multi-processor system
US7370362B2 (en) * 2005-03-03 2008-05-06 Cisco Technology, Inc. Method and apparatus for locating rogue access point switch ports in a wireless network
JP2007011494A (ja) 2005-06-28 2007-01-18 Sharp Corp 情報処理装置および情報処理システム
US7702931B2 (en) * 2006-06-27 2010-04-20 Hewlett-Packard Development Company, L.P. Adjusting power budgets of multiple servers
JP2008083841A (ja) 2006-09-26 2008-04-10 Nec Computertechno Ltd ブレードサーバ、ブレード装置、及びブレードサーバの電力管理方法
KR100866604B1 (ko) * 2007-01-23 2008-11-03 삼성전자주식회사 전원제어 장치 및 전원제어 방법
JP4966753B2 (ja) 2007-06-08 2012-07-04 株式会社日立製作所 情報処理システム、および情報処理方法
US8041976B2 (en) * 2008-10-01 2011-10-18 International Business Machines Corporation Power management for clusters of computers
US8276010B2 (en) * 2009-02-12 2012-09-25 Cisco Technology, Inc. Network based system to control and monitor power consumption of networked elements

Also Published As

Publication number Publication date
US20100162013A1 (en) 2010-06-24
JP2010146546A (ja) 2010-07-01
US8495393B2 (en) 2013-07-23

Similar Documents

Publication Publication Date Title
KR20100073157A (ko) 클러스터 시스템에 대한 원격 전원 관리 시스템 및 그 방법
KR100968202B1 (ko) 소비전력 감소를 위한 클러스터 시스템 및 그의 전원 관리방법
US7739388B2 (en) Method and system for managing data center power usage based on service commitments
KR100800369B1 (ko) 전력 제어를 위한 컴퓨터 판독 가능 기록 매체, 방법 및 장치
US7421601B2 (en) Method and system for controlling power in a chip through a power-performance monitor and control unit
KR101303690B1 (ko) 전력 관리 장치 및 그 방법, 전력 제어 시스템
US7228441B2 (en) Multi-server and multi-CPU power management system and method
US20060184287A1 (en) System and method for controlling power to resources based on historical utilization data
US20110010566A1 (en) Power management by selective authorization of elevated power states of computer system hardware devices
US8583952B2 (en) Power management of computers based on user inactivity and power state requirements for active processes
JP2009193577A (ja) 集中電力管理方法、装置側エージェント、集中電力管理コントローラ及び集中電源管理システム
CA2699309A1 (en) Systems and methods to adaptively load balance user sessions to reduce energy consumption
US9069618B1 (en) Updating kernal affinity for applications executing in a multiprocessor system
US8176498B2 (en) Power setting adjustments by mission operating system in response to requests from platform manager
US8806246B1 (en) Enforcing and complying with a computing device power policy
JPH07261889A (ja) コンピュータシステムの節電方法及び装置
US8732394B2 (en) Advanced disk drive power management based on maximum system throughput
Durham et al. Platform support for autonomic computing: A research vehicle
TW202227975A (zh) 機架管理系統、方法及控制器
KR20140077542A (ko) 클러스터 시스템의 호스트에 대한 원격 전력 관리 시스템
US20180113503A1 (en) Deep off power states
EP2083537B1 (en) Data network and method of controlling thereof
WO2013112141A1 (en) Storage system device management
KR101438461B1 (ko) 전력 제어 스위칭 모듈을 구비한 클라우드 스토리지 시스템
EP2503430B1 (en) System resource management in an electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application