KR20140016696A - 시스템 성능 평가장치 및 방법 - Google Patents

시스템 성능 평가장치 및 방법 Download PDF

Info

Publication number
KR20140016696A
KR20140016696A KR1020120083763A KR20120083763A KR20140016696A KR 20140016696 A KR20140016696 A KR 20140016696A KR 1020120083763 A KR1020120083763 A KR 1020120083763A KR 20120083763 A KR20120083763 A KR 20120083763A KR 20140016696 A KR20140016696 A KR 20140016696A
Authority
KR
South Korea
Prior art keywords
performance
scenario
performance evaluation
embedded system
information
Prior art date
Application number
KR1020120083763A
Other languages
English (en)
Inventor
박지훈
윤승현
이승욱
전재욱
조성진
Original Assignee
삼성전자주식회사
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 성균관대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020120083763A priority Critical patent/KR20140016696A/ko
Priority to PCT/KR2013/006910 priority patent/WO2014021645A1/ko
Priority to US14/418,696 priority patent/US20150269051A1/en
Publication of KR20140016696A publication Critical patent/KR20140016696A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414—Workload generation, e.g. scripts, playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G06F9/45529—Embedded in an application, e.g. JavaScript in a Web browser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Abstract

본 발명은 사용자의 경험을 기반으로 시스템의 성능을 평가하는 장치 및 방법을 개시한다.
이를 위해 미리 약속 또는 설정된 조건을 기준으로 임베디드 시스템의 구동에 따른 사용자의 경험 정보를 수집하고, 상기 임베디드 시스템의 성능 평가를 위한 시나리오 선정을 위해 시나리오 선정 조건을 설정한다. 상기 설정한 시나리오 선정 조건을 기반으로 상기 수집한 경험 정보로부터 획득한 필요 경험 정보에 의해 사용자의 경험 패턴을 분석하고, 상기 분석에 따른 결과를 기반으로 복수의 지원 가능한 시나리오들 중 상기 임베디드 시스템의 성능 평가를 위한 최적의 시나리오를 선택함으로써, 상기 선택한 시나리오에 의해 임베디드 시스템에 대한 성능을 평가한다.

Description

시스템 성능 평가장치 및 방법{APPRATUSE AND METHOD FOR EVALUATING PERFORMANCE OF A SYSTEM}
본 발명은 시스템의 성능을 평가하기 위한 장치 및 방법에 관한 것으로, 특히 사용자의 경험을 기반으로 시스템의 성능을 평가하는 장치 및 방법에 관한 것이다.
최근 휴대형 기기와 같이 중앙처리장치 (CPU), 그래픽 처리 장치 (GPU) 등이 포함된 복잡한 임베디드 (embedded) 기기가 출시되고 있다. 상기 임베디드 기기는 내부 칩의 종류, 구조 등의 요인으로 인해, 그 성능이 각기 다른 특징을 가진다. 이처럼 복잡한 특징을 가지는 임베디드 기기의 객관적인 성능은 특정 프로그램을 실행하고, 해당 프로그램의 수행시간 등의 측정에 의해 평가하는 것이 일반적이다.
예컨대 시스템의 성능은 시간의 흐름에 따른 소프트웨어의 동작에 대한 시뮬레이션 (simulation)을 통해 평가되거나 복수의 프로그램들을 실행하여 소요되는 시간을 측정하는 것에 의해 평가된다.
이러한 시스템의 성능 평가 기술은 사용자 경험 (User Experience)이 결여되어 있다. 뿐만 아니라 많이 사용하지 않는 프로그램을 대상으로 성능을 평가할 경우에 측정된 성능과 실제 사용자가 체감하는 성능은 상이한 결과를 야기할 수 있다.
또한 기존에 주로 사용되던 시스템의 성능 평가 기술은 시스템에 구비된 CPU의 성능을 평가하는 것에 초점이 맞추어져 있어, GPU 또는 HW IP를 복합적으로 사용하는 시스템에 대한 성능 평가를 하기에는 무리가 있다.
따라서 성능을 평가하고자 하는 대상 시스템을 구성하는 주요 구성들에 대한 복합적인 성능 평가가 가능한 방안 마련이 절실히 요구된다.
본 발명은 사용자의 경험을 이용하여 시나리오 기반의 프로그램을 실행하여 시스템의 객관적인 성능을 평가하는 장치 및 방법을 제공한다.
또한 본 발명은 사용자가 시스템의 성능 평가를 위해 많이 사용하는 시나리오를 기반으로 평가 프로그램을 구성하여 실제 시스템의 성능을 평가하는 장치 및 방법을 제공한다.
또한 본 발명은 사용자의 경험을 이용한 시나리오 기반의 프로그램을 실행하여 시스템 내의 복합적인 구성에 의한 해당 시스템의 성능을 평가하는 장치 및 방법을 제공한다.
본 발명의 실시 예에 따른 성능평가장치에서 임베디드 시스템의 성능을 평가하는 방법은, 미리 약속 또는 설정된 조건을 기준으로 사용자의 경험에 따른 경험 정보를 수집하는 과정과, 시스템의 성능 평가를 위한 시나리오의 선정을 위한 시나리오 선정 조건을 설정하는 과정과, 상기 설정한 시나리오 선정 조건을 기반으로 상기 수집한 경험 정보로부터 획득한 필요 경험 정보에 의해 사용자의 경험 패턴을 분석하고, 상기 분석에 따른 결과를 기반으로 복수의 지원 가능한 시나리오들 중 시스템의 성능 평가를 위한 최적의 시나리오를 선택하는 과정과, 상기 선택한 시나리오에 의해 임베디드 시스템에 대한 성능을 평가하는 과정을 포함한다.
또한 본 발명의 실시 예에 따른 임베디드 시스템의 성능을 평가하는 성능평가장치는, 미리 약속 또는 설정된 조건을 기준으로 사용자의 경험에 따른 경험 정보를 수집하는 정보 수집부와, 시스템의 성능 평가를 위한 시나리오의 선정을 위한 시나리오 선정 조건을 설정하는 조건 설정부와, 상기 설정한 시나리오 선정 조건을 기반으로 상기 수집한 경험 정보로부터 획득한 필요 경험 정보에 의해 사용자의 경험 패턴을 분석하고, 상기 분석에 따른 결과를 기반으로 복수의 지원 가능한 시나리오들 중 시스템의 성능 평가를 위한 최적의 시나리오를 선택하는 시나리오 선정부와, 상기 선택한 시나리오에 의해 임베디드 시스템에 대한 성능을 평가하는 성능 평가부를 포함한다.
본 발명은 임베디드 시스템에서 사용자의 경험을 고려하여 성능을 평가할 수 있어, 보다 정확하면서 유용한 성능 평가 정보를 얻을 수 있다. 즉 임베디드 시스템에 대해 이루어진 성능 평가 결과에 대한 활용 가치를 높일 수 있는 효과가 있다.
뿐만 아니라 본 발명의 실시 예에 따르면, 성능을 평가할 대상 시스템의 주요 구성 별로의 성능을 평가할 수 있어, 대상 시스템에 대한 복합적인 성능 평가가 가능하다.
그 외에 본 발명의 실시 예로 인해 얻을 수 있거나 예측되는 효과에 대해서는 본 발명의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉 본 발명의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 발명의 실시 예에 따른 성능 평가를 위한 전체 시스템 구성을 보이고 있는 도면;
도 2는 본 발명의 실시 예에 따라 사용자의 경험을 기반으로 시스템의 성능을 평가하는 성능평가장치(110)의 구성을 보이고 있는 도면;
도 3은 도 2에서 보이고 있는 시나리오 선정부(230)의 상세 구성을 보이고 있는 도면;
도 4는 도 2에서 보이고 있는 성능 평가부(240)의 상세 구성을 보이고 있는 도면;
도 5는 본 발명의 실시 예에 따른 성능평가장치(110)에서 임베디드 시스템에 대한 성능 평가를 위해 수행하는 제어 흐름을 보이고 있는 도면;
도 6은 도 5에서의 성능 평가 서브루틴에 따른 구체적인 동작에 상응한 제어 흐름을 보이고 있는 도면.
이하 본 발명에 따른 상세한 설명에서는 상술한 기술적 과제를 이루기 위한 대표적인 실시 예를 제시할 것이다. 또한, 본 발명에 대한 설명의 편의를 위하여 정의하고 있는 개체들의 명칭들을 동일하게 사용할 수 있다. 하지만 설명의 편의를 위해 사용된 명칭들이 본 발명에 따른 권리를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 대해 동일 또는 용이한 변경에 의해 적용이 가능함은 물론이다.
후술될 본 발명의 실시 예에서는 시스템의 성능 평가를 위한 시나리오를 선정하기 위해 고려할 사용자의 경험에 관한 정보 (이하 ‘경험 정보’라 칭함)를 수집하는 구성 및 이를 위한 동작과, 시스템의 성능 평가를 위해 적용할 시나리오를 선정하는 구성 및 이를 위한 동작과, 상기 선정된 시나리오를 기반으로 성능 평가를 수행하는 구성 및 이를 위한 동작에 대해 구체적으로 설명할 것이다.
이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 이때 도면에 있어 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대해서는 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시 예에 따른 성능 평가를 위한 전체 시스템 구성을 보이고 있다. 여기서 상기 전체 시스템은 성능평가장치(110), 임베디드 시스템(120) 및 데이터베이스(130)를 포함한다. 상기 데이터베이스(130)와 상기 성능평가장치(110)는 임베디드 시스템(120) 내에 구비될 수도 있다. 그렇지 않고 상기 데이터베이스(130)는 상기 성능평가장치(110) 내에 구비될 수도 있다.
도 1을 참조하면, 성능평가장치(110)는 사용자의 경험 정보를 수집하고, 상기 수집한 경험 정보를 데이터베이스(130)로 제공한다. 여기서 상기 사용자의 경험 정보는 성능 평가 대상인 임베디드 시스템(120)에 대한 성능을 평가하기 위해 사용할 사용자의 경험과 관련된 정보를 의미한다. 예컨대 상기 경험 정보는 사용자의 연령, 성별, 위치, 날씨 등의 정보와, 사용자가 사용한 프로그램의 종류, 실행 횟수 (실행 빈도), 사용 시간 등의 정보를 포함한다.
상기 성능평가장치(110)는 시나리오 선정 조건을 설정하고, 상기 설정한 시나리오 선정 조건에 의해 미리 수집된 경험 정보를 고려하여 상기 임베디드 시스템(120)의 성능 평가를 위한 최적의 시나리오를 선정한다.
예컨대 상기 성능평가장치(110)는 상기 설정한 시나리오 선정 조건을 기반으로 앞서 수집한 경험 정보로부터 필요 경험 정보를 획득하고, 상기 획득한 필요 경험 정보에 의해 사용자의 경험 패턴을 분석한다.
이때 상기 시나리오 선정 조건은 성능 평가를 위한 시나리오 선정 시에 사용할 정보로써, 상기 데이터베이스(130)에 저장된 경험 정보들 중 상기 임베디드 시스템(120)의 성능 평가를 위한 최적의 시나리오를 선정하기 위해 사용할 경험 정보를 선별하기 위한 정보이다. 즉 상기 시나리오 선정 조건은 상기 데이터베이스(130)에 저장된 경험 정보들로부터 최적의 시나리오 선정 시에 필요한 경험 정보만을 추출하기 위한 정보이다.
예컨대 상기 시나리오 선정 조건은 경험 정보를 구성하는 사용자의 연령, 성별, 위치, 날씨 등이 될 수 있다. 그 외에 상기 시나리오 선정 조건은 경험 정보를 수집하기 위해 사전에 약속 또는 설정된 조건에 관한 정보, 즉 프로그램, 사용자, 사용 시간 등에 관한 정보를 더 포함할 수도 있다.
상기 성능평가장치(110)는 상기 분석에 따른 결과를 기반으로 복수의 지원 가능한 시나리오들 중 상기 임베디드 시스템(120)의 성능 평가를 위한 최적의 시나리오를 선택한다.
상기 성능평가장치(110)는 상기 선택한 최적의 시나리오에 따라 실행할 프로그램을 정리 및 구성하고, 상기 구성한 프로그램에 상응한 동작이 상기 임베디드 시스템(120)에 의해 수행될 수 있도록 한다.
상기 성능평가장치(110)는 상기 구성한 프로그램에 따른 동작 수행에 의해 상기 임베디드 시스템(120)에 대해 이루어진 성능 평가 결과를 분석한다. 상기 성능평가장치(110)는 상기 성능 평가 결과에 대한 분석이 완료될 시, 상기 분석에 따른 결과를 운영자에게 제공하거나 저장한다.
상기 데이터베이스(130)는 상기 성능평가장치(110)로부터 제공되는 사용자의 경험 정보를 저장한다. 상기 데이터베이스(130)는 상기 저장된 경험 정보 중 상기 성능평가장치(110)로부터 제공되는 시나리오 선정 조건을 만족하는 필요 경험 정보를 추출하고, 상기 추출한 필요 경험 정보를 상기 성능평가장치(110)로 제공한다.
그렇지 않고 상기 성능평가장치(110)가 상기 데이터베이스(130)로부터 필요 경험 정보만을 읽어갈 수도 있다. 뿐만 아니라 상기 데이터베이스(130)가 상기 성능평가장치(110)의 요청에 의해 저장된 모든 경험 정보를 상기 성능평가장치(110)로 제공하고, 상기 성능평가장치(110)가 시나리오 선정 조건을 만족하는 필요 경험 정보를 추출하여 사용하도록 할 수도 있다.
도 2는 본 발명의 실시 예에 따라 사용자의 경험을 기반으로 시스템의 성능을 평가하는 성능평가장치(110)의 상세 구성을 보이고 있다. 여기서 상기 성능평가장치(110)는 정보 수집부(210), 조건 설정부(220), 시나리오 선정부(230), 성능 평가부(240), 출력부(250) 및 저장부(260)를 포함한다.
도 2를 참조하면, 정보 수집부(210)는 성능 평가 대상인 임베디드 시스템(120) (이하 ‘대상 시스템’이라는 일반화된 용어를 사용함)을 사용자가 이용함으로 인한 경험 정보를 수집한다. 예컨대 상기 정보 수집부(210)는 성능 평가할 대상 시스템에 구비되거나 상기 대상 시스템과 별도로 구비된 센서 등을 이용하여 대상 시스템의 구동에 따른 경험 정보를 수집한다. 이때 경험 정보는 사용자의 연령, 성별, 위치, 날씨 등을 포함할 수 있다.
상기 정보 수집부(210)는 경험 정보를 사전에 약속 또는 설정된 소정의 조건을 기준으로 수집할 수 있다. 예컨대 상기 소정의 조건은 프로그램, 사용자, 사용 시간 등이 될 수 있다. 즉 상기 정보 수집부(210)는 대상 시스템에서 구동 가능한 프로그램 별로 경험 정보를 수집하거나 사용자 별로의 경험 정보를 수집하거나 사용 시간 별로 경험 정보를 수집할 수 있다.
한편 상기 정보 수집부(210)에 의해 수집된 경험 정보는 대상 시스템의 성능 평가를 위한 최적의 시나리오가 선정될 수 있도록 시나리오 선정부(230)로 제공된다.
조건 설정부(220)는 성능 평가를 위한 시나리오 선정 시에 사용할 정보, 즉 시나리오 선정 조건을 설정한다. 상기 시나리오 선정 조건은 사전에 수집된 경험 정보들로부터 필요 경험 정보를 선별하기 위한 정보가 될 수 있다. 이때 상기 필요 경험 정보는 대상 시스템의 성능 평가를 위한 최적의 시나리오를 선정하기 위해 사용할 경험 정보를 의미한다.
예컨대 상기 시나리오 선정 조건으로는 경험 정보를 구성하는 사용자의 연령, 성별, 위치, 날씨 등이 사용될 수 있다. 그 외에 상기 시나리오 선정 조건은 경험 정보를 수집하기 위해 사전에 약속 또는 설정된 조건에 관한 정보, 즉 프로그램, 사용자, 사용 시간 등에 관한 정보를 더 포함할 수도 있다.
상기 조건 설정부(220)는 대상 시스템의 성능 평가를 수행하는 운영자로부터 시나리오 선정 조건을 수집하거나 사전에 각 시나리오 별로 시나리오 선정 조건을 설정한 후 그 중 하나를 선택하는 것이 가능하다. 상기 미리 설정된 시나리오 선정 조건 중 하나를 선택하는 가장 쉬운 방안은 운영자에 의해 선택되도록 하는 것이다.
상기 조건 설정부(220)는 대상 시스템의 성능 평가를 위한 최적의 시나리오를 선정할 수 있도록, 상기 시나리오 선정부(230)에게 상기 설정된 시나리오 선정 조건을 제공한다.
상기 시나리오 선정부(230)는 상기 정보 수집부(210)에 의해 수집된 경험 정보를 내부 또는 외부에 구비된 데이터베이스(130)로 전달한다. 이로써 상기 데이터베이스(130)는 상기 시나리오 선정부(210)에 의해 제공되는 경험 정보를 저장한 후 소정의 프로세스에 의해 관리한다.
예컨대 상기 데이터베이스(130)는 상기 정보 수집부(210)에 의해 수집되어 상기 시나리오 선정부(230)에 의해 제공되는 경험 정보를 프로그램 별 또는 사용자 별 또는 사용 시간 별로 저장하거나 관리할 수 있다. 하지만 저장 용량 등을 고려할 시에 상기 데이터베이스(130)는 외부, 즉 네트워크를 통해 접근이 가능한 원격지에 존재하는 것이 바람직하다.
상기 시나리오 선정부(230)는 상기 조건 설정부(220)로부터 제공된 시나리오 선정 조건을 이용하여 상기 정보 수집부(210)에 의해 수집된 경험 정보 또는 상기 데이터베이스(130)에 저장된 경험 정보로부터 필요 경험 정보를 획득한다. 예컨대 상기 시나리오 선정부(230)는 상기 시나리오 선정 조건을 기반으로 상기 정보 수집부(210)로부터 제공된 경험 정보 또는 상기 데이터베이스(130)에 저장된 경험 정보를 분석하고, 그 분석된 결과에 의해 필요 경험 정보를 획득한다.
하지만 상기 정보 수집부(210) 및/또는 상기 데이터베이스(130)에 의해 필요 경험 정보만이 제공될 수 있다면, 상기 시나리오 선정부(230)는 상기 조건 설정부(220)로부터 시나리오 선정 조건을 굳이 제공받지 않아도 된다. 즉 상기 시나리오 선정부(230)가 시나리오 선정 조건을 기반으로 필요 경험 정보를 획득하는 동작이 생략될 수 있다.
상기 시나리오 선정부(230)는 획득한 필요 경험 정보를 사용하여 대상 시스템의 성능 평가를 위한 바람직한 시나리오를 선정한다. 상기 시나리오 선정부(230)는 시나리오를 선정할 시에 필요 경험 정보 외에 대상 시스템의 하드웨어 구성을 추가로 고려할 수 있다.
일 예로 ‘10대 남성이 많이 사용하는 프로그램 위주의 성능을 평가’하기 위해 해당 연령 (즉, 10대) 및 성별 (즉, 남자)이 상기 조건 설정부(220)에 의해 시나리오 선정 조건으로 설정되었음을 가정한다. 이 경우 상기 시나리오 선정부(230)는 사용자의 경험 정보가 관리되고 있는 데이터베이스(130)에 접근하여 상기 조건 설정부(220)에 의해 제공된 시나리오 선정 조건을 만족하는 필요 경험 정보를 획득한다. 즉 상기 시나리오 선정부(230)는 데이터베이스(130)에 접근하여 현재 기기의 정보와 ‘10대’라는 연령 및 ‘남자’라는 성별 등에 부합하는 필요 경험 정보를 획득한다.
상기 시나리오 선정부(230)는 시나리오 선정 조건에 의해 획득한 필요 경험 정보를 기반으로 현재 기기에서 10대 남자에 의해 주로 사용되는 프로그램의 구동에 따른 성능을 평가하기 위한 최적의 시나리오를 선정한다.
상기 시나리오 선정부(230)에 의해 선정된 시나리오는 성능 평가부(240)로 제공된다.
상기 성능 평가부(240)는 상기 시나리로 선정부(230)에 의해 선정된 시나리오에 따라 대상 시스템의 성능을 평가한다. 이를 위해 상기 성능 평가부(240)는 선정된 시나리오에 따라 대상 시스템에서 구동될 평가 프로그램을 구성하고, 상기 구성한 평가 프로그램에 의해 대상 시스템, 즉 임베디드 시스템(120)이 구동하도록 한다.
일 예로 ‘사용자가 웹을 통해 정보를 검색하면서 동시에 5분 가량 음악을 듣는 시나리오’가 선정되었다면, 상기 성능 평가부(240)는 웹 브라우저에 해당하는 프로그램과 5분 정도 길이의 음악을 재생할 프로그램을 평가 프로그램으로 구성한다.
상술한 바에 의해 구성된 평가 프로그램은 임베디드 시스템(120)에 의해 실행된다. 상기 성능 평가부(240)는 상기 임베디드 시스템(120)에 의한 실행되는 웹 브라우저의 성능과 음악 재생 성능을 분석한다. 예컨대 상기 웹 브라우저의 성능과 음악 재생 성능은 CPU, GPU 및 HW IP 각각에 대한 성능 분석으로 표현될 수 있다. 즉 대상 시스템에서 수행되는 프로그램에 대한 성능은 CPU, GPU 및 HW IP 각각에 대한 성능 분석으로 표현될 수 있다.
다른 예로 상기 성능 평가부(240)는 평가 프로그램을 임베디드 시스템(120)으로 제공함으로써, 상기 임베디드 시스템(120)이 평가 프로그램을 수행한 후 그에 따른 성능 평가 결과를 상기 성능 평가부(240)로 제공한다. 이 경우 상기 성능 평가부(240)는 상기 임베디드 시스템(120)로부터 제공되는 성능 평가 결과를 기반으로 CPU, GPU 및 HW IP 각각에 대한 성능 결과를 분석할 수 있다.
상기 성능 평가부(240)는 상기 임베디드 시스템에 대해 이루어진 성능 평가의 결과를 출력부(250) 및/또는 저장부(260)로 제공한다.
상기 출력부(250)는 상기 성능 평가부(240)에 의해 제공되는 성능 평가에 따른 결과를 디스플레이 등의 매체를 통해 운영자에게 제공한다. 상기 저장부(260)는 상기 성능 평가부(240)에 의해 제공되는 성능 평가에 따른 결과를 대상 기기 및 성능 평가가 이루어진 날짜 및 시간에 관한 정보와 함께 저장한다.
도 3은 도 2에서 보이고 있는 시나리오 선정부(230)의 상세 구성을 보이고 있다. 상기 시나리오 선정부(230)는 대상 시스템의 사용자 경험을 수집하여 데이터베이스(130)에 저장하고, 그 결과를 바탕으로 사용자 시나리오를 선정하기 위해, 버퍼(310), 선정부(320) 및 통신부(330)를 포함한다.
도 3을 참조하면, 버퍼(310)는 정보 수집부(210)에 의해 주기적 또는 비 주기적으로 수집된 경험 정보를 임시로 저장한다. 상기 버퍼(310)는 소정 주기 또는 별도의 지시에 의해 임시 저장된 경험 정보를 통신부(330)로 전달한다.
상기 통신부(330)는 소정의 네트워크를 통해 원격지에 존재하는 데이터베이스(130)로의 접근이 가능하다. 따라서 상기 통신부(330)는 상기 버퍼(310)에 의해 전달되는 경험 정보를 상기 데이터베이스(130)로 전송한다.
이로써 상기 데이터베이스(130)는 상기 제공되는 경험 정보를 저장 및 관리할 수 있다. 일 예로 상기 데이터베이스(130)는 디바이스 (대상 시스템)의 정보, 사용자의 연령, 위치, 자주 사용하는 프로그램 등으로 구성된 경험 정보를 저장한다. 상기 데이터베이스(130)를 원격지에 구비하도록 하는 것은 사용자 별로 제공되는 경험 정보를 저장하기 위한 디스크 용량에 제한이 없도록 하기 위함이다.
선정부(320)는 조건 설정부(220)에 의해 설정된 시나리오 선정 조건에 관한 정보를 제공받으면, 상기 통신부(330)를 통해 상기 데이터베이스(130)에 접속한다. 그 후 상기 선정부(320)는 상기 조건 설정부(220)로부터 제공받은 시나리오 선정 조건을 기반으로 상기 접속한 데이터베이스(130)에서 필요 경험 정보를 획득한다.
예컨대 상기 선정부(320)는 상기 시나리오 선정 조건을 기반으로 상기 데이터베이스(130)에 저장된 경험 정보를 분석하고, 그 분석된 결과에 의해 필요 경험 정보를 획득한다.
상기 선정부(320)는 획득한 필요 경험 정보를 사용하여 대상 시스템에 대한 성능을 평가하기 위해 바람직한 시나리오를 선정한다. 상기 선정부(320)는 시나리오를 선정할 시에 필요 경험 정보 외에 대상 시스템의 하드웨어 구성을 추가로 고려할 수 있다.
상기 선정부(320)는 상술한 바에 의해 선정한 시나리오에 관한 정보를 성능 평가부(240)로 전달한다.
도 4는 도 2에서 보이고 있는 성능 평가부(240)의 상세 구성을 보이고 있다. 상기 성능 평가부(240)는 사용자 경험에 기반한 대상 시스템, 즉 임베디드 시스템(120)의 성능을 평가하기 위해, 프로그램 구동부(410), 프로그램 데이터베이스(420), 평가 프로그램(430) 및 결과 분석부(440)를 포함한다.
도 4를 참조하면, 프로그램 구동부(410)는 시나리오 선정부(230)로부터 선정된 시나리오에 관한 정보를 제공받는다. 상기 프로그램 구동부(410)는 상기 제공받은 시나리오를 위해 이용할 평가 프로그램을 구성한다. 예컨대 상기 프로그램 구동부(410)는 프로그램 데이터베이스(420)에 의해 관리되고 있는 프로그램들 중 상기 제공받은 시나리오를 위해 이용할 프로그램을 추출하고, 상기 추출한 프로그램을 평가 프로그램으로 구성한다.
참조번호 430은 상기 프로그램 구동부(410)에 의해 구성된 평가 프로그램의 구성 예를 보이고 있다. 상기 참조번호 430의 평가 프로그램이 n개의 프로그램 (프로그램 1 (432), 프로그램 2 (434)...... 프로그램 n (436))으로 구성된 예를 보이고 있다. 이때 상기 평가 프로그램을 구성하는 프로그램들은 모든 프로그램이 서로 상이하거나 일부 프로그램이 동일할 수 있다.
상기 프로그램 구동부(410)에 의해 구성된 평가 프로그램(430) 또는 평가 프로그램(430)에 관한 정보는 평가 대상인 임베디드 시스템(120)으로 제공된다. 따라서 상기 임베디드 시스템(120)이 평가 프로그램을 앞서 선정된 시나리오에 따라 구동하고, 이에 따른 성능 평가를 수행하여 그 결과를 상기 성능 평가부(240)를 구성하는 결과 분석부(440)로 제공한다.
상기 결과 분석부(440)는 상기 임베디드 시스템(120)로부터 제공되는 성능 평가 결과를 기반으로 평가 대상 구성 (예컨대 CPU, GPU, HW IP 등) 각각의 성능을 분석한다. 즉 상기 결과 분석부(440)는 CPU 결과 분석부(442), GPU 결과 분석부(444), HW IP 결과 분석부(446) 등을 포함한다.
이 경우 상기 임베디드 시스템(120)로부터 제공되는 성능 평가 결과는 상기 CPU 결과 분석부(442), GPU 결과 분석부(444), HW IP 결과 분석부(446) 각각에 전달된다. 상기 CPU 결과 분석부(442)는 앞서 구성한 평가 프로그램 각각의 수행 시간을 바탕으로 상기 전달된 성능 평가 결과를 분석함으로써, 각 평가 프로그램에 대응한 실시간 CPU 점유율 정보를 획득한다. 상기 GPU 결과 분석부(444)는 상기 전달된 성능 평가 결과를 분석하여 GPU에 의한 각 평가 프로그램의 구동에 대응한 실시간 프레임 레이트 (frame rate)에 관한 정보를 획득한다. 상기 HW IP 결과 분석부(446)는 상기 전달된 성능 평가 결과를 분석하여 동영상이나 음악 재생 IP에 있어서 실시간 프레임 레이트 (frame rate)에 관한 정보를 획득한다.
상기 CPU 결과 분석부(442), GPU 결과 분석부(444), HW IP 결과 분석부(446) 각각에 의해 획득된 분석 결과는 출력부(250) 및/또는 저장부(260)로 제공된다.
도 5는 본 발명의 실시 예에 따른 성능평가장치(110)에서 임베디드 시스템에 대한 성능 평가를 위해 수행하는 제어 흐름을 보이고 있다.
도 5를 참조하면, 성능평가장치(110)는 성능 평가를 위한 대상 시스템에서의 사용자 경험 정보를 수집한다 (510단계). 즉 대상 시스템에 대한 성능 평가 시에 사용자의 경험을 고려하기 위한 경험 정보를 수집하는 서브 루틴을 수행한다.
예컨대 상기 성능평가장치(110)는 사용자의 경험 정보를 충분히 수집하기 위해 대상 시스템, 즉 임베디드 시스템(120)의 센서 정보를 활용하여 사용자의 연령, 성별, 위치, 날씨 등의 정보를 주기적 또는 비주기적으로 수집한다. 이때 주기적 또는 비주기적으로 수집되는 사용자의 경험 정보는 임베디드 시스템(120)을 사용하는 사용자의 동의에 의해 이루어진다.
상기 성능평가장치(110)는 상술한 정보 외에 임베디드 시스템(120)에서 사용자가 현재 사용하는 프로그램에 관한 정보도 경험 정보로써 수집할 수 있다. 이때 상기 프로그램에 관한 정보는 사용자가 사용하는 프로그램 종류, 프로그램 별 실행 빈도 수, 프로그램 별 사용 시간 등의 정보를 포함한다.
상기 성능평가장치(110)는 수집한 사용자의 경험 정보를 내부에 구비된 버퍼에 저장한다. 상기 성능평가장치(110)는 버퍼에 저장된 사용자의 경험 정보를 일정 시간이 경과하거나 설정된 시간이 도래할 시에 네트워크를 통해 원격지에 위치하는 데이터베이스(130)로 전달한다. 이로써 성능 평가를 위한 대상 시스템에서의 사용자 경험 정보 수집과, 상기 수집한 사용자 경험 정보에 대한 저장을 위한 경험 정보 수집 서브루틴에 따른 동작이 완료된다.
상기 성능평가장치(110)는 대상 시스템, 즉 임베디드 시스템(120)에 대한 시나리오 선정 조건을 설정한다 (520단계). 즉 대상 시스템에 대한 성능 평가 시에 사용자의 경험을 고려할 수 있도록 시나리오 선정 조건을 설정하는 서브 루틴을 수행한다.
예컨대 상기 성능평가장치(110)는 사용자의 경험을 기반으로 대상 시스템에 대한 성능 평가를 위한 성능 평가 시나리오를 선정한다. 따라서 상기 성능평가장치(110)는 원하는 시나리오를 얻기 위해 시나리오 선정 조건을 설정하여야 한다. 이때 상기 시나리오 선정 조건은 사용자의 나이, 성별, 선호 프로그램 등의 정보를 기반으로 설정할 수 있다.
상술한 바에 의해 시나리오 선정 조건이 설정되면, 상기 성능평가장치(110)는 상기 설정된 시나리오 선정 조건을 만족하는 시나리오를 선정한다 (530단계). 즉 사용자의 경험을 고려하여 설정된 시나리오 선정 조건을 기반으로 대상 시스템에 대한 성능 평가 시나리오를 선정하는 서브 루틴을 수행한다.
예컨대 상기 성능평가장치(110)는 상기 설정된 시나리오 선정 조건을 기반으로 사용자의 경험에 따른 패턴, 즉 사용자 경험 패턴을 분석한다. 이를 위해 상기 성능평가장치(110)는 원격지에 존재하는 데이터베이스(130)에 저장된 사용자의 경험 정보를 설정된 시나리오 선정 조건을 기반으로 검색하고, 상기 검색 결과를 기반으로 사용자 경험 패턴을 분석한다. 상기 사용자 경험 패턴에 대한 분석이 완료되면, 상기 성능평가장치(110)는 상기 분석된 사용자 경험 패턴, 즉 사용자의 나이, 성별 또는 선호 프로그램에 따른 성능 평가를 위해 적합 (최적 또는 선호)한 시나리오를 선정한다.
상술한 바에 의해 성능 평가를 위한 시나리오가 선정되면, 상기 성능평가장치(110)는 상기 선정된 시나리오를 기반으로 대상 시스템, 즉 임베디드 시스템(120)에 대한 성능을 평가한다 (540단계). 이를 위해, 사용자의 경험을 고려하여 선정한 시나리오에 따른 동작에 상응한 임베디드 시스템(120)에서의 성능 평가 서브 루틴을 수행한다.
예컨대 상기 성능평가장치(110)는 선정한 시나리오에 따른 동작을 수행하기 위해 평가 프로그램을 구성하고, 상기 구성한 평가 프로그램 또는 상기 평가 프로그램에 관한 정보를 임베디드 시스템(120)으로 제공한다. 이로써 상기 임베디드 시스템(120)은 상기 성능평가장치(110)에 의해 구성된 평가 프로그램에 의해 상기 선정한 시나리오에 따른 동작을 수행한다. 그리고 상기 선정한 시나리오에 따른 동작을 수행하여 획득한 성능 평가 결과에 관한 정보는 상기 성능평가장치(110)로 제공된다.
상기 성능평가장치(110)는 상기 임베디드 시스템(120)로부터 제공되는 성능 평가 결과를 기반으로, 상기 평가 프로그램을 수행한다. 이로써, 상기 임베디드 시스템(120)에 있어서의 주요 구성에 대한 성능을 분석한다. 상기 성능평가장치(110)는 상기 임베디드 시스템(120)의 주요 구성에 대한 성능 분석 결과를 화면을 통해 출력하거나 별도의 데이터베이스에 기록한다.
한편 상술한 도 5에 따른 동작을 기반으로 성능평가장치(110)는 다른 시나리오에 의한 성능 평가를 반복적으로 수행할 수 있다. 뿐만 아니라 해당 사용자가 프로그램을 직접 종료할 수도 있다.
도 6은 도 5에서의 성능 평가 서브루틴에 따른 구체적인 동작에 상응한 제어 흐름을 보이고 있다. 도 6에서의 동작은 사용자 경험에 기반한 시나리오를 선정하기 위해 시나리오 특성 값을 설정하고, 상기 설정된 특정 값에 의해 사용자의 경험 정보가 저장된 데이터베이스를 검색하여 성능 평가를 위한 시나리오의 선정이 이미 이루어진 상태를 전제로 하고 있다.
도 6을 참조하면, 성능평가장치(110)는 610단계에서 운영자 또는 설정된 조건에 의해 대상 시스템에 대한 성능 평가가 요청되는지를 감시한다. 이때 설정된 조건이라 함은 운영자가 대상 시스템에 대한 성능 평가를 위해 미리 설정한 시간 또는 시점이거나 시나리오 선정 조건을 만족하는 사용자에 의한 프로그램 이용 등과 같이 특정 이벤트가 발생된 상황이 될 수 있다.
그 외에 상기 성능평가장치(110)는 대상 시스템에 대한 성능 평가를 수행하기 위한 여건이 마련되었는지에 의해 성능 평가 요청 여부를 판단할 수도 있다. 만약 대상 시스템 또는 성능평가장치(110)가 상기 대상 시스템에 대한 성능 평가를 수행할 준비가 되어 있지 않을 경우에 상기 대상 시스템에 대한 성능 평가가 시작되는 것이 바람직하지 않을 수 있다.
따라서 상기 성능평가장치(110)는 성능 평가 요청이 있을 때, 즉 성능 평가를 위한 준비가 완료될 때까지 대기한다.
상기 성능평가장치(110)는 앞에서 예시된 바를 고려하여 대상 시스템에 대한 성능 평가 요청이 확인되면, 612단계에서 성능 평가를 위한 시작 신호를 송신한다. 이때 상기 시작 신호의 송신은 상기 성능평가장치(110) 내에서 내부적으로 이루어질 수 있는 동작으로 성능 평가를 위한 절차에 있어 명시적으로 나타날 필요는 없다. 단지 발명의 이해를 쉽도록 하기 위해 추가로 설명하였다.
상기 성능평가장치(110)는 614단계에서 선정된 시나리오를 기반으로 대상 시스템에 대한 성능을 평가하기 위해 구동할 프로그램, 즉 평가 프로그램을 구성한다.
상기 성능평가장치(110)는 평가 프로그램에 대한 선택이 이루어지면, 616단계에서 대상 시스템에 대한 성능 평가를 수행한다. 즉 앞서 구성된 평가 프로그램이 대상 시스템 상에서 구동될 수 있도록 하고, 그 결과로써 제공되는 성능 평가에 관한 정보를 기반으로 상기 대상 시스템을 구성하는 주요 구성, 예컨대 CPU, GPU, HW IP 각각에 대한 성능을 분석한다.
상기 성능평가장치(110)는 618단계에서 현재 진행되고 있는 성능 평가에 대한 완료 여부를 지속적 또는 주기적으로 판단한다. 상기 성능평가장치(110)는 상기 대상 시스템의 주요 구성 각각에 대한 성능 분석을 실시간으로 수행하지 않는다면, 상기 대상 시스템에 의한 성능 평가가 완료될 때까지 대기 상태를 유지한다. 이 경우 상기 성능평가장치(110)는 대상 시스템에 의한 성능 평가가 완료된 후 상기 대상 시스템의 주요 구성에 대한 성능 분석을 수행할 것이다.
상기 성능평가장치(110)는 상기 대상 시스템에 대한 성능 평가가 완료되었음을 감지하면, 620단계에서 상기 완료된 성능 평가 결과를 화면을 통해 출력하거나 별도의 데이터베이스에 보관한다. 즉 상기 성능평가장치(110)는 상기 대상 시스템의 주요 구성 각각에 대해 이루어진 성능 분석 결과를 화면을 통해 출력하거나 저장한다.
상기 성능평가장치(110)는 622단계에서 운영자 등에 의해 성능 평가 종료가 요청되는 지를 판단한다. 상기 성능평가장치(110)은 운영자 등에 의한 성능 평가 종료가 요청되지 않을 시, 상기 612단계로 진행하여 다른 시나리오 선정 조건에 의해 선정된 시나리오에 따른 성능 평가를 반복하여 수행할 수 있다.
한편 상술한 바와 같이 대상 시스템의 성능 평가에 따른 동작이 수행되는 중에 해당 사용자가 프로그램을 직접 종료할 수 있다. 뿐만 아니라 다른 시나리오의 구성으로 성능 평가를 반복적으로 수행할 수도 있다.
상술한 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재 기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비 휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다.
본 발명의 컨텐츠 제공장치 및 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 컨텐츠 제공장치 및 방법은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 그래픽 처리 장치가 기 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

Claims (10)

  1. 성능평가장치에서 임베디드 시스템의 성능을 평가하는 방법에 있어서,
    미리 약속 또는 설정된 조건을 기준으로 상기 임베디드 시스템의 구동에 따른 사용자의 경험 정보를 수집하는 과정과,
    상기 임베디드 시스템의 성능 평가를 위한 시나리오 선정을 위해 시나리오 선정 조건을 설정하는 과정과,
    상기 설정한 시나리오 선정 조건을 기반으로 상기 수집한 경험 정보로부터 획득한 필요 경험 정보에 의해 사용자의 경험 패턴을 분석하고, 상기 분석에 따른 결과를 기반으로 복수의 지원 가능한 시나리오들 중 상기 임베디드 시스템의 성능 평가를 위한 최적의 시나리오를 선택하는 과정과,
    상기 선택한 시나리오에 의해 임베디드 시스템에 대한 성능을 평가하는 과정을 포함하는 성능 평가 방법.
  2. 제1항에 있어서, 상기 임베디드 시스템에 대한 성능을 평가하는 과정은,
    평가 프로그램 실행의 시작을 검출할 시, 상기 선택한 시나리오에 따른 평가 프로그램을 구성하고, 상기 구성한 평가 프로그램을 기반으로 상기 임베디드 시스템에 대한 성능을 평가하는 과정임을 특징으로 하는 성능 평가 방법.
  3. 제1항에 있어서, 상기 임베디드 시스템에 대한 성능을 평가하는 과정은,
    평가 프로그램 실행의 시작을 검출할 시, 상기 선택한 시나리오에 따른 평가 프로그램을 구성하고, 상기 구성한 평가 프로그램에 의해 상기 임베디드 시스템을 구동시켜 성능을 평가하고, 상기 성능 평가에 의한 결과를 기반으로 상기 임베디드 시스템에 구비된 중앙처리장치, 그래픽처리장치, 하드웨어 IP 별로의 처리 결과를 분석하는 과정임을 특징으로 하는 성능 평가 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 경험 정보는 사용자의 디바이스 정보, 성별, 연령, 위치, 사용하는 프로그램의 종류, 실행 빈도 수, 사용 시간 및 날씨에 관한 정보를 포함하며,
    상기 시나리오 선정 조건은 상기 경험 정보를 분류하는 기준이 되는 정보로써, 디바이스 정보, 성별, 연령, 위치 중 적어도 하나의 정보에 의해 정의됨을 특징으로 하는 성능 평가 방법.
  5. 제4항에 있어서,
    상기 성능 평가에 따른 결과를 화면에 표시하거나 상기 성능 평가에 따른 결과 또는 상기 수집한 경험 정보를 내부 또는 네트워크를 통해 연결되는 외부 데이터베이스에 저장하는 과정을 더 포함하는 성능 평가 방법.
  6. 임베디드 시스템의 성능을 평가하는 성능평가장치에 있어서,
    미리 약속 또는 설정된 조건을 기준으로 상기 임베디드 시스템의 구동에 따른 사용자의 경험 정보를 수집하는 정보 수집부와,
    상기 임베디드 시스템의 성능 평가를 위한 시나리오 선정을 위해 시나리오 선정 조건을 설정하는 조건 설정부와,
    상기 설정한 시나리오 선정 조건을 기반으로 상기 수집한 경험 정보로부터 획득한 필요 경험 정보에 의해 사용자의 경험 패턴을 분석하고, 상기 분석에 따른 결과를 기반으로 복수의 지원 가능한 시나리오들 중 상기 임베디드 시스템의 성능 평가를 위한 최적의 시나리오를 선택하는 시나리오 선정부와,
    상기 선택한 시나리오에 의해 임베디드 시스템에 대한 성능을 평가하는 성능 평가부를 포함하는 성능평가장치.
  7. 제6항에 있어서, 상기 성능 평가부는,
    평가 프로그램 실행의 시작을 검출할 시, 상기 선택한 시나리오에 따른 평가 프로그램을 구성하고, 상기 구성한 평가 프로그램을 기반으로 상기 임베디드 시스템에 대한 성능을 평가함을 특징으로 하는 성능평가장치.
  8. 제6항에 있어서, 상기 성능 평가부는,
    평가 프로그램 실행의 시작을 검출할 시, 상기 선택한 시나리오에 따른 평가 프로그램을 구성하고, 상기 구성한 평가 프로그램에 의해 상기 임베디드 시스템을 구동시켜 성능을 평가하고, 상기 성능 평가에 의한 결과를 기반으로 상기 임베디드 시스템에 구비된 중앙처리장치, 그래픽처리장치, 하드웨어 IP 별로의 처리 결과를 분석함을 특징으로 하는 성능평가장치.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 경험 정보는 사용자의 디바이스 정보, 성별, 연령, 위치, 사용하는 프로그램의 종류, 실행 빈도 수, 사용 시간 및 날씨에 관한 정보를 포함하며,
    상기 시나리오 선정 조건은 상기 경험 정보를 분류하는 기준이 되는 정보로써, 디바이스 정보, 성별, 연령, 위치 중 적어도 하나의 정보에 의해 정의됨을 특징으로 하는 성능평가장치.
  10. 제9항에 있어서,
    상기 성능 평가에 따른 결과를 화면에 표시하는 출력부와,
    내부 또는 네트워크를 통해 연결되는 외부에 구비되며, 상기 성능 평가에 따른 결과 또는 상기 수집한 경험 정보를 저장하는 데이터베이스를 가지는 저장부를 더 포함하는 성능평가장치.
KR1020120083763A 2012-07-31 2012-07-31 시스템 성능 평가장치 및 방법 KR20140016696A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120083763A KR20140016696A (ko) 2012-07-31 2012-07-31 시스템 성능 평가장치 및 방법
PCT/KR2013/006910 WO2014021645A1 (ko) 2012-07-31 2013-07-31 시스템 성능 평가장치 및 방법
US14/418,696 US20150269051A1 (en) 2012-07-31 2013-07-31 Device and method for evaluating system performance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120083763A KR20140016696A (ko) 2012-07-31 2012-07-31 시스템 성능 평가장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140016696A true KR20140016696A (ko) 2014-02-10

Family

ID=50028257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120083763A KR20140016696A (ko) 2012-07-31 2012-07-31 시스템 성능 평가장치 및 방법

Country Status (3)

Country Link
US (1) US20150269051A1 (ko)
KR (1) KR20140016696A (ko)
WO (1) WO2014021645A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656725B1 (ko) * 2015-03-04 2016-09-13 삼성에스디에스 주식회사 데이터베이스 성능 저하 분석 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7089172B2 (en) * 2001-12-28 2006-08-08 Testout Corporation System and method for simulating a computer environment and evaluating a user's performance within a simulation
US7596373B2 (en) * 2002-03-21 2009-09-29 Mcgregor Christopher M Method and system for quality of service (QoS) monitoring for wireless devices
EP1680741B1 (en) * 2003-11-04 2012-09-05 Kimberly-Clark Worldwide, Inc. Testing tool for complex component based software systems
US20060036562A1 (en) * 2004-08-12 2006-02-16 Yuh-Cherng Wu Knowledge elicitation
US7310625B2 (en) * 2004-08-12 2007-12-18 Sap Aktiengesellschaft Knowledge network generation
US7444315B2 (en) * 2004-08-12 2008-10-28 Sap Aktiengesellschaft Virtual community generation
US20070156420A1 (en) * 2005-12-29 2007-07-05 Microsoft Corporation Performance modeling and the application life cycle
US8171459B2 (en) * 2007-11-16 2012-05-01 Oracle International Corporation System and method for software performance testing and determining a frustration index
US8520808B2 (en) * 2008-10-08 2013-08-27 Synchronoss Technologies System and method for robust evaluation of the user experience in automated spoken dialog systems
US9176883B2 (en) * 2009-04-30 2015-11-03 HGST Netherlands B.V. Storage of data reference blocks and deltas in different storage devices
US8320898B2 (en) * 2010-09-16 2012-11-27 Qualcomm Incorporated Systems and methods for optimizing the configuration of a set of performance scaling algorithms
US9011292B2 (en) * 2010-11-01 2015-04-21 Nike, Inc. Wearable device assembly having athletic functionality
US10127564B2 (en) * 2011-09-15 2018-11-13 Stephan HEATH System and method for using impressions tracking and analysis, location information, 2D and 3D mapping, mobile mapping, social media, and user behavior and information for generating mobile and internet posted promotions or offers for, and/or sales of, products and/or services
US10129211B2 (en) * 2011-09-15 2018-11-13 Stephan HEATH Methods and/or systems for an online and/or mobile privacy and/or security encryption technologies used in cloud computing with the combination of data mining and/or encryption of user's personal data and/or location data for marketing of internet posted promotions, social messaging or offers using multiple devices, browsers, operating systems, networks, fiber optic communications, multichannel platforms
US8984307B2 (en) * 2012-05-21 2015-03-17 Qualcomm Incorporated System and method for dynamic battery current load management in a portable computing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656725B1 (ko) * 2015-03-04 2016-09-13 삼성에스디에스 주식회사 데이터베이스 성능 저하 분석 방법 및 장치

Also Published As

Publication number Publication date
WO2014021645A1 (ko) 2014-02-06
US20150269051A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
CN105653456B (zh) 应用程序性能测试方法、装置和系统
CN108255729B (zh) 一种基于Unity平台的手机游戏自动化测试方法和系统
CN112364439B (zh) 自动驾驶系统的仿真测试方法、装置以及存储介质
CN106488468A (zh) WiFi性能测试方法及系统
KR20160063381A (ko) 시험 장치를 모니터링하는 원격 컴퓨팅 장치를 위한 모바일 애플리케이션 인터랙티브 사용자 인터페이스
CN109669798B (zh) 崩溃分析方法、装置、电子设备，及存储介质
CN111176960A (zh) 一种用户操作行为跟踪方法、装置、设备及存储介质
CN106454391A (zh) 一种直播转点播方法、装置及终端
KR20170014184A (ko) 향토산업과 연관된 환경정보 데이터를 수집 및 분석하기 위한 시스템 및 그 방법
US9906608B2 (en) Intelligent adaptation of mobile applications based on constraints and contexts
CN105786693A (zh) 一种自测试执行系统及方法以及移动终端
CN104506526A (zh) 一种打猎相机、对其进行监控的方法、系统及后台系统
CN110209559B (zh) 一种非侵入式监测方法、控制设备及存储介质
CN110472162A (zh) 评估方法、系统、终端及可读存储介质
US9459938B1 (en) Personal trend management
KR20140016696A (ko) 시스템 성능 평가장치 및 방법
CN108182090A (zh) 基于blink内核的Flash插件加载方法及装置
TWI596960B (zh) 行動網路效能之測試系統及測試方法
CN111258893A (zh) 随机组装交易路径的移动端应用自动化测试装置
CN110865931B (zh) 模拟方法、装置、电子设备和存储介质
KR102301293B1 (ko) 컴퓨터의 노후화 정도를 분석하는 사용자 단말의 성능 측정 방법
CN104811695A (zh) 一种机顶盒设备的测试方法和装置
US10412570B2 (en) Broadcasting device status
US10396910B2 (en) Over the air commands for RF testing
Zayas et al. TRIANGLE: a Platform to Validate 5G KPIs in End to End scenarios

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application