KR20120079513A

KR20120079513A - 휴대 단말기 성능 평가 방법 및 장치

Info

Publication number: KR20120079513A
Application number: KR1020110000718A
Authority: KR
Inventors: 이우광; 신동군
Original assignee: 삼성전자주식회사
Priority date: 2011-01-05
Filing date: 2011-01-05
Publication date: 2012-07-13
Also published as: US20120173187A1

Abstract

본 발명은 휴대 단말기 성능 평가 방법 및 장치에 관한 것이다. 본 발명의 실시예에 따른 휴대 단말기 성능 평가 방법은 기 설정된 목록의 어플리케이션을 실행하는 단계; 상기 실행된 어플리케이션 별로 스토리지(storage) 접근 패턴을 추출하는 단계; 상기 추출된 스토리지 접근 패턴을 이용하여 상기 실행된 어플리케이션 별로 테스트 시나리오를 생성하는 단계; 상기 생성된 테스트 시나리오를 이용하여 어플리케이션 별로 벤치마킹(benchmarking) 테스트를 수행하는 단계; 및 상기 수행된 벤치마킹 테스트의 결과를 이용하여 상기 휴대 단말기의 성능을 평가하는 단계를 포함하는 것을 특징으로 한다.

Description

휴대 단말기 성능 평가 방법 및 장치 {METHOD AND APPARATUS FOR EVALUATING PERFORMANCE OF MOBILE TERMINAL}

본 발명은 휴대 단말기 성능 평가 방법 및 장치에 관한 것으로서, 특히 어플리케이션들이 휴대 단말기 내에 설치된 스토리지(storage)에 접근하는 패턴을 분석하여 휴대 단말기의 성능을 평가하는 방법과 이를 구현하는 장치에 관한 것이다.

최근 휴대 단말기 보급률의 급속한 증가로 휴대 단말기는 이제 현대인의 생활필수품으로 자리매김하게 되었다. 이와 같은 휴대 단말기는 고유의 음성 통화 서비스, 각종 데이터 전송 서비스와 다양한 부가서비스도 제공할 수 있게 되어 기능상 멀티미디어 통신기기로 변모하게 되었다.

현재 출시된 휴대 단말기의 종류는 매우 다양하며, 휴대 단말기 마다 성능도 서로 다르다. 일반적으로 휴대 단말기의 성능 평가 시, CPU(Central Processing Unit)의 클럭(clock), 메모리의 크기, 배터리 수명, LCD 종류 등을 평가하게 된다.

또한 휴대 단말기 내에 설치된 스토리지(storage)에서 1MB read/write/copy 또는 10KB*100 files read/write/copy를 수행하는데 소요되는 시간을 측정하여 휴대 단말기의 성능을 평가하기도 한다.

휴대 단말기 내에는 여러 어플리케이션들이 존재하는데, 상기와 같은 성능 평가 방법은 실제 어플리케이션이 구동될 때의 입출력(I/O) 패턴에 기반한 성능 평가 방법이 아니기 때문에, 평가 결과가 휴대 단말기의 성능을 객관적으로 반영하고 있다고 보기 어렵다.

본 발명의 목적은 객관적인 휴대 단말기의 성능을 반영할 수 있는 휴대 단말기 성능 평가 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 실시예에 따른 휴대 단말기 성능 평가 방법은 기 설정된 목록의 어플리케이션을 실행하는 단계; 상기 실행된 어플리케이션 별로 스토리지(storage) 접근 패턴을 추출하는 단계; 상기 추출된 스토리지 접근 패턴을 이용하여 상기 실행된 어플리케이션 별로 테스트 시나리오를 생성하는 단계; 상기 생성된 테스트 시나리오를 이용하여 어플리케이션 별로 벤치마킹(benchmarking) 테스트를 수행하는 단계; 및 상기 수행된 벤치마킹 테스트의 결과를 이용하여 상기 휴대 단말기의 성능을 평가하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 휴대 단말기는 적어도 하나의 어플리케이션 및 벤치마킹 프로그램을 저장하는 스토리지(storage); 실행되는 어플리케이션 별로 스토리지 접근 패턴을 추출하는 접근 패턴 추출부; 상기 추출된 스토리지 접근 패턴을 이용하여 상기 실행된 어플리케이션 별로 테스트 시나리오를 생성하는 접근 패턴 분석부; 상기 생성된 테스트 시나리오를 이용하여 어플리케이션 별로 벤치마킹(benchmarking) 테스트를 수행하는 테스트 수행부; 및 상기 수행된 벤치마킹 테스트의 결과를 이용하여 상기 휴대 단말기의 성능을 평가하는 성능 평가부를 포함하는 것을 특징으로 한다.

본 발명에서는 실행되는 어플리케이션 마다 스토리지(storage)에 어떻게 접근하는지의 접근 패턴을 이용하여, 테스트 시나리오를 생성하고, 생성된 테스트 시나리오를 이용하여 벤치마킹(benchmarking) 테스트를 수행한다. 즉, 어플리케이션을 직접 실행해보고 접근 패턴에 따라 테스트 시나리오를 각각 생성하여 벤치마킹 테스트를 수행하기 때문에, 실제 어플리케이션 동작 패턴을 반영할 수 있으며, 이로 인해, 좀 더 객관적이고 정확하게 휴대 단말기의 성능을 평가할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 휴대 단말기(100)의 내부 구성도이다.
도 2는 본 발명에 적용되는 벤치마크 시스템의 프로토콜 스택(Protocol Stack)을 도시하는 도면이다.
도 3은 본 발명의 실시예에 따른 휴대 단말기(100)의 성능 평가 과정을 설명하는 순서도이다.
도 4는 본 발명의 실시예에 따른 스토리지 접근 패턴(Storage Access Pattern)의 데이터 형식의 예시도이다.
도 5는 본 발명의 실시예에 따른 테스트 시나리오(Test Scenario)의 데이터 형식의 예시도이다.
도 6은 본 발명의 실시예에 따른 도 3의 305단계의 세부 과정을 설명하는 순서도이다.
도 7은 본 발명의 실시예에 따른 도 3의 306단계의 세부 과정을 도시하는 순서도이다.
도 8 및 도 9는 본 발명의 실시예에 따른 벤치마킹 프로그램의 실행 화면의 예시도이다.
도 10은 본 발명의 실시예에 따른 벤치마킹 프로그램의 실행 화면의 다른 예시도이다.

본 발명에서 '벤치마킹(Benchmarking)'은 휴대 단말기의 성능을 측정하고 평가하는 동작 및 시스템을 의미한다. 구체적으로 벤치마킹은 휴대 단말기 내의 파일 시스템(File System)의 성능을 측정하고 평가하는 동작에 해당한다. 본 발명에서 '벤치마킹 프로그램(Benchmarking program)'은 휴대 단말기의 성능을 평가하기 위한 어플리케이션으로서 휴대 단말기 내의 스토리지(storage)에 저장된다. 본 발명에서 '벤치마킹 테스트(Benchmarking Test)'는 테스트 시나리오에 따라 어플리케이션을 수행하여 수행 시간을 측정하고, 측정된 수행 시간을 통해 휴대 단말기의 성능을 평가하는 테스트를 의미한다.

본 발명에서 '파일 시스템(File System)'은 휴대 단말기 내에 설치된 스토리지에 접근하기 위한 시스템을 의미한다. 본 발명의 휴대 단말기는 어플리케이션이 파일 시스템에 접근하면, 파일 시스템은 플래시 변환 계층(Flash Translation Layer)을 통해 스토리지인 플래시 메모리(Flash Memory)에 접근하는 구성을 갖는다. 파일 시스템은 파일 시스템 드라이버 관리자(FSD Manager), 캐시 관리자(Cache Manager), TexFAT 파일 시스템, 디스크 캐시(Disk Cache), 파티션 드라이버(Partition Driver), 블록 드라이버(Block Driver)를 포함할 수 있다.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 하기 설명은 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만을 설명하며, 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

본 발명의 실시예에 따른 휴대 단말기는 이동통신 단말기, 휴대용 멀티미디어 재생 장치(Portable Multimedia Player-PMP), 개인 정보 단말기(Personal Digital Assistant-PDA), 스마트 폰(Smart Phone), MP3 플레이어 등과 같은 정보 통신 기기 및 멀티미디어 기기가 될 수 있다.

도 1은 본 발명의 실시예에 따른 휴대 단말기(100)의 내부 구성도이다. 본 발명의 휴대 단말기(100)는 무선통신부(110), 오디오처리부(120), 저장부(130), 입력부(140), 표시부(150) 및 제어부(160)를 포함한다.

무선통신부(110)는 휴대 단말기(100)의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 무선통신부(110)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한, 무선통신부(110)는 무선 채널을 통해 데이터를 수신하여 제어부(160)로 출력하고, 제어부(160)로부터 출력된 데이터를 무선 채널을 통해 전송할 수 있다.

오디오처리부(120)는 코덱(CODEC)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱으로 구성될 수 있다. 오디오 처리부(120)는 디지털 오디오 신호를 오디오 코덱을 통해 아날로그 오디오 신호로 변환하여 스피커(SPK)를 통해 재생하고, 마이크(MIC)로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오 신호로 변환한다.

저장부(130)는 휴대 단말기(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 스토리지(storage)에 해당한다. 저장부(130)는 프로그램 영역과 데이터 영역으로 구분될 수 있으며, 프로그램 영역은 휴대 단말기(100)의 전반적인 동작을 제어하는 프로그램 및 휴대 단말기(100)를 부팅시키는 운영체제(OS, Operating System) 및 기타 어플리케이션들을 저장한다. 어플리케이션으로는 인터넷 브라우저 어플리케이션, 지도 탐색 어플리케이션, 음악 및 비디오 재생 어플리케이션, 사진 촬영 어플리케이션 및 동영상 촬영 어플리케이션 등이 포함될 수 있다. 데이터 영역은 휴대 단말기(100)의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 이미지, 동영상, 폰 북, 오디오 데이터 등을 저장할 수 있다.

본 발명에서 저장부(130)는 플래시 메모리(Flash Memory)로 구성됨이 바람직하다. 특히, 저장부(130)는 iNAND 및 moviNAND 등의 임베디드 낸드 플래시 메모리(Embedded NAND Flash Memory)로 구성될 수 있다. iNAND의 경우, 플래시 변환 계층(Flash Translation Layer)이 펌웨어(Firmware)로 내장되어 있으며, 읽기 속도는 30MB/sec, 쓰기 속도는 12MB/sec이며, 3.3V의 구동 전압을 필요로 한다. moviNAND는 최대 용량은 32GB, 최대 속도는 52MB/sec이며, 3.3V의 구동 전압을 필요로 한다.

본 발명의 저장부(130)는 휴대 단말기(100)의 성능을 측정하기 위한 벤치마킹 프로그램을 저장한다. 또한 저장부(130)는 벤치마킹 프로그램 실행 시, 실행해야할 어플리케이션의 목록, 어플리케이션 별 스토리지 접근 패턴에 관한 정보, 어플리케이션 별 테스트 시나리오에 관한 정보, 성능 평가 시 어플리케이션 별로 적용하는 가중치에 관한 정보를 저장한다.

입력부(140)는 휴대 단말기(100)를 제어하기 위한 사용자의 키 조작 신호를 입력받아 제어부(160)로 전달한다. 입력부(140)는 3*4 패드, Qwerty 패드 등 숫자 키, 문자 키, 방향키를 포함하는 키패드로 구성될 수 있으며, 터치 패널(touch panel)로 구성될 수 있다. 이외에도 입력부(140)는 버튼 키(button key), 조그 키(jog key), 휠 키(wheel key)로 구성될 수 있다. 입력부(140)는 사용자 입력에 따라 휴대 단말기(100)의 어플리케이션들(통화 기능, 음악 재생 기능, 동영상 재생 기능, 이미지 디스플레이 기능, 카메라 촬영 기능, DMB 방송 출력 기능 등)을 실행하는 입력 신호를 생성하여 제어부(160)에 전달한다.

표시부(150)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있으며, 휴대 단말기(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(150)는 휴대 단말기(100)의 부팅 화면, 대기 화면, 메뉴 화면, 통화 화면, 기타 어플리케이션 화면을 출력하는 기능을 수행한다. 본 발명에서 표시부(150)는 벤치마킹 테스트 수행 결과에 해당하는 각 어플리케이션의 대표 시간을 어플리케이션 별로 구분하여 표시한다. 또한 표시부(150)는 휴대 단말기(100)의 성능 점수를 포함하는 벤치마킹 테스트 결과 화면을 표시한다.

제어부(160)는 휴대 단말기(100)의 각 구성 요소에 대한 전반적인 동작을 제어한다. 본 발명에서 제어부(160)는 접근 패턴 추출부(161), 접근 패턴 분석부(162), 테스트 수행부(163) 및 성능 평가부(164)를 포함한다.

접근 패턴 추출부(161)는 실행되는 어플리케이션 별로 스토리지 접근 패턴을 추출하는 구성요소이다. 접근 패턴 추출부(161)는 어플리케이션 실행 시, 파일 시스템(File System)을 후킹(hooking)하여 어플리케이션 별 스토리지 접근 패턴을 추출한다. 스토리지 접근의 프로토콜 스택(protocol stack)에서 파일 시스템(File System) 단은 어플리케이션(Application) 단의 아래에 위치하며, 접근 패턴 추출부(161)는 어플리케이션 단과 파일 시스템 단 사이에서 접근 패턴을 가지고 온다. 스토리지 접근 패턴은 휴대 단말기 부팅 후 경과 시간(Current Time), 오퍼레이션 소요 시간(Elapsed Time), 오퍼레이션의 종류(Read/Write), 입출력 요청(I/O Request)이 접근한 섹터 주소(Start Sector) 및 섹터 크기(Sector Size)를 포함할 수 있다.

접근 패턴 분석부(162)는 추출된 스토리지 접근 패턴을 이용하여 실행된 어플리케이션 별로 테스트 시나리오를 생성하는 구성요소이다. 접근 패턴 분석부(162)는 접근하는 데이터의 크기가 스몰 데이터(small data)인지 라지 데이터(large data)인지 여부와 접근 위치가 연속(sequential)인지 임의(random)인지 여부 등에 대해 통계를 산출하여 어떻게 벤치마킹할 지에 대한 테스트 시나리오를 생성한다. 테스트 시나리오는 테스트 아이디(Test ID), 섹터 주소(Start Sector), 섹터 크기(Sector Size), 오퍼레이션의 종류(Read/Write), 다음 테스트와의 시간 간격(Delay Time) 및 어플리케이션 이름(App name)을 포함할 수 있다.

테스트 수행부(163)는 생성된 테스트 시나리오를 이용하여 어플리케이션 별로 벤치마킹 테스트를 수행하는 구성요소이다. 본 발명의 실시예에 따라 테스트 수행부(163)는 스토리지 접근 패턴을 추출을 위해 실행했던 어플리케이션들 대해, 생성된 테스트 시나리오를 이용하여 벤치마킹 테스트를 실행하고, 어플리케이션 별로 기 설정된 횟수만큼 테스트를 수행하여 테스트 수행 시간을 측정하며, 측정된 테스트 수행 시간들의 평균값을 계산하고, 계산된 평균값을 해당 어플리케이션의 대표 시간으로 결정한다.

성능 평가부(164)는 수행된 벤치마킹 테스트의 결과를 이용하여 휴대 단말기(100)의 성능을 평가하는 구성요소이다. 성능 평가부(164)는 저장부(130)에서 벤치마킹 테스트가 수행된 어플리케이션 별로 할당된 가중치를 확인하고, 결정된 어플리케이션의 대표 시간에 각각 해당 가중치를 적용하고, 가중치가 적용된 어플리케이션의 대표 시간들의 평균값을 계산하고, 계산된 평균값에 해당하는 점수를 휴대 단말기의 성능으로 평가한다.

도 2는 본 발명에 적용되는 벤치마크 시스템의 프로토콜 스택(Protocol Stack)을 도시하는 도면이다.

벤치마크 시스템의 프로토콜 스택은 벤치마크(Benchmark)(201), 어플리케이션(Application)(202), 파일 시스템(File System)(203), 플래시 변환 계층(Flash Translation Layer)(204) 및 플래시 메모리(Flash Memory)(205)로 구성된다.

벤치마크(201), 어플리케이션(202), 파일 시스템(203), 플래시 변환 계층(204)은 소프트웨어 계층이며, 플래시 메모리(205)는 하드웨어 계층이다.

파일 시스템(203)은 FAT32(File Allocation Table 32) 파일 시스템, ExFAT(Extended File Allocation Table) 파일 시스템 등으로 구성될 수 있으며, ExFAT 파일 시스템에서의 섹터 사이즈(Sector Size)는 512~4096바이트까지 사용 가능하며, 2796202개의 파일을 하나의 디렉토리에 저장할 수 있다.

본 발명의 휴대 단말기(100) 성능 평가 과정은 벤치마크(201)에서 수행되며, 도 1의 접근 패턴 추출부(161), 접근 패턴 분석부(162), 테스트 수행부(163) 및 성능 평가부(164)는 벤치마크(201) 내에 포함된다.

벤치마크(201)가 어플리케이션(202)을 실행하면, 어플리케이션(202)은 파일 시스템(203)에 접근한다. 이 때, 벤치마크(201)는 어플리케이션(202)과 파일 시스템(203) 사이에서 어플리케이션(202)이 파일 시스템(203)에 접근하는 패턴을 후킹(hooking)하여 접근 패턴을 추출한다. 벤치마크(201)는 휴대 단말기 부팅 후 경과 시간(Current Time), 오퍼레이션 소요 시간(Elapsed Time), 오퍼레이션의 종류(Read/Write), 입출력 요청(I/O Request)이 접근한 섹터 주소(Start Sector) 및 섹터 크기(Sector Size) 등을 접근 패턴으로 추출하여 일시적으로 저장한다.

벤치마크(201)는 어플리케이션(202) 별로 추출된 접근 패턴을 이용하여 테스트 시나리오를 생성한다. 벤치마크(201)는 생성된 테스트 시나리오를 플래시 변환 계층(204)에 적용하여 벤치마킹 테스트를 수행하며, 벤치마킹 테스트 수행 결과를 플래시 변환 계층(204)으로부터 수신한다. 벤치마크(201)는 하나의 어플리케이션에 대해 기 설정된 횟수만큼 벤치마킹 테스트를 수행하여, 복수의 테스트 수행 결과를 플래시 변환 계층(204)으로부터 가지고 오게 된다. 테스트 수행 결과는 테스트 수행 소요 시간에 해당한다.

벤치마크(201)는 플래시 변환 계층(204)으로부터 수신한 복수의 테스트 수행 결과를 이용하여 어플리케이션 별로 대표 시간을 결정한다. 벤치마크(201)는 어플리케이션 별로 측정된 테스트 수행 시간들의 평균값을 계산하고, 계산된 평균값을 해당 어플리케이션의 대표 시간으로 결정한다.

벤치마크(201)는 결정된 어플리케이션의 대표 시간을 이용하여 휴대 단말기(100)의 성능을 평가한다. 벤치마크(201)는 어플리케이션 별 대표 시간에 가중치를 적용하고, 가중치가 적용된 어플리케이션의 대표 시간들의 평균값을 계산하고, 계산된 평균값에 해당하는 점수로 휴대 단말기(100)의 성능을 평가한다.

이상으로 성능 평가를 수행하는 휴대 단말기(100)의 내부 구성 및 벤치마크 시스템의 프로토콜 스택에 대해 설명하였으며, 이하에서는 상기 휴대 단말기(100)에서 수행하는 성능 평가 과정을 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 휴대 단말기(100)의 성능 평가 과정을 설명하는 순서도이다.

301단계에서 제어부(160)는 저장부(130)에 저장된 벤치마킹 프로그램을 실행한다. 벤치마킹 프로그램은 휴대 단말기(100)의 성능을 평가하기 위한 어플리케이션에 해당한다. 휴대 단말기(100) 내에는 벤치마킹 프로그램 실행 메뉴가 포함되며, 사용자는 벤치마킹 프로그램 실행 메뉴에서 입력부(140)를 통해 벤치마킹 프로그램을 실행시킬 수 있다.

사용자의 입력에 따라 벤치마킹 프로그램을 실행하면, 제어부(160)는 302단계에서 기 설정된 목록의 어플리케이션을 실행한다. 본 발명에서는 휴대 단말기(100)의 성능을 평가하기 위해, 휴대 단말기(100) 내에 설치된 하나 이상의 어플리케이션을 실행하여 스토리지 접근 패턴을 추출하게 된다. 이 때, 실행되는 어플리케이션은 휴대 단말기(100) 사용에 있어서 가장 빈번히 사용되는 어플리케이션으로 구성될 수 있다. 제어부(160)는 가장 빈번히 사용되는 어플리케이션들로 하나의 목록을 구성하며, 벤치마킹 프로그램 실행 시, 상기 목록에 포함되는 어플리케이션들을 실행할 수 있다. 상기 어플리케이션 목록은 고정되거나 사용자 설정에 의해 변경될 수 있다. 또한 제어부(160)는 어플리케이션 실행 시, 어플리케이션 마다 실행 빈도수를 측정하고, 실행 빈도수의 순위를 반영하여 어플리케이션 목록을 구성할 수 있다. 제어부(160)는 302단계에서 인터넷 브라우저(Internet Browser) 어플리케이션, 지도 탐색(Maps) 어플리케이션, 음악 및 비디오 재생(Music & Video) 어플리케이션, 사진 촬영(Camera) 어플리케이션 및 동영상 촬영(Camcoder) 어플리케이션의 5개의 어플리케이션을 실행할 수 있다.

하나 또는 둘 이상의 어플리케이션 실행 후, 303단계에서 접근 패턴 추출부(161)는 실행되는 어플리케이션 별로 스토리지 접근 패턴을 추출한다. 도 2를 참조할 때, 벤치마크(201) 내의 접근 패턴 추출부(161)는 어플리케이션(202)을 실행 후, 파일 시스템(File System)을 후킹(hooking)하여 어플리케이션 별로 스토리지 접근 패턴을 추출한다. 스토리지 접근 패턴은 휴대 단말기(100) 부팅 후 경과 시간(Current Time), 오퍼레이션 소요 시간(Elapsed Time), 오퍼레이션의 종류(Read/Write), 입출력 요청(I/O Request)이 접근한 섹터 주소(Start Sector) 및 섹터 크기(Sector Size)로 구성될 수 있다.

도 4는 본 발명의 실시예에 따른 스토리지 접근 패턴(Storage Access Pattern)의 데이터 형식의 예시도이다.

도 4는 Current Time 영역(401), Elapsed Time 영역(402), Read/Write 영역(403), Start Sector 영역(404) 및 Sector Size 영역(405)으로 구성되는 스토리지 접근 패턴의 데이터 형식을 도시하고 있다. Current Time 영역(401)은 휴대 단말기(100) 부팅 후 경과 시간을 포함한다. Elapsed Time 영역(402)은 읽기(Read), 쓰기(Write), 복사(Copy) 등의 오퍼레이션(operation)을 수행하는데 소요되는 시간을 포함하며, Read/Write 영역(403)은 입출력(I/O)이 읽기인지 쓰기인지의 오퍼레이션 종류를 포함한다. Start Sector 영역(404)은 입출력(I/O)이 발생한 위치 또는 논리적 섹터 주소(Logical Sector Address)를 포함하며, Sector Size 영역(405)은 입출력(I/O)이 발생한 섹터의 크기를 포함한다.

본 발명의 실시예에 따라 접근 패턴 추출부(161)는 한 번의 입출력(I/O)이 끝난 후 바로 다음 입출력(I/O)이 이어지는 연속(consecutive) 패턴, 입출력(I/O) 동작 중간 중간에 휴식 기간을 부여한 중지(pause) 패턴, 한 번에 많은 입출력(I/O)을 발생시키고, 중간 중간에 휴식 기간을 부여하는 돌발(burst) 패턴 등으로 분류되는 '입출력 발생 시간'을 스토리지 접근 패턴으로서 추가적으로 추출할 수 있다.

접근 패턴 추출부(161)가 스토리지 접근 패턴을 추출하면, 304단계에서 접근 패턴 분석부(162)는 추출된 스토리지 접근 패턴을 이용하여 실행된 어플리케이션 별 테스트 시나리오를 생성한다. 휴대 단말기(100) 성능의 객관적인 평가를 위해, 추출된 스토리지 접근 패턴 자체로 휴대 단말기(100)의 성능을 바로 평가하지 않으며, 접근 패턴 분석부(162)는 추출된 스토리지 접근 패턴으로 테스트 시나리오를 생성한다. 즉, 접근 패턴 분석부(162)는 접근하는 데이터의 크기가 스몰 데이터(small data)인지 라지 데이터(large data)인지 여부, 접근 위치가 연속(sequential)인지 임의(random)인지 여부 등에 대해 통계를 산출하여 테스트 시나리오를 생성한다. 테스트 시나리오는 테스트 아이디(Test ID), 섹터 주소(Start Sector), 섹터 크기(Sector Size), 오퍼레이션의 종류(Read/Write), 다음 테스트와의 시간 간격(Delay Time) 및 어플리케이션 이름(App name)을 포함할 수 있다.

도 5는 본 발명의 실시예에 따른 테스트 시나리오(Test Scenario)의 데이터 형식의 예시도이다.

도 5는 Test ID 영역(501), Start Sector 영역(502), Sector Size 영역(503) Read/Write 영역(504), Delay Time 영역(505) 및 App Name 영역(506)으로 구성되는 테스트 시나리오의 데이터 형식을 도시하고 있다. Test ID(501) 영역은 테스트 고유의 식별자를 포함한다. 테스트 고유의 식별자는 테스트 순서가 될 수 있다. Start Sector(502) 영역은 입출력(I/O)이 발생하는 위치 또는 논리적 섹터 주소(Logical Sector Address 또는 Logical Block Address)를 포함한다. 입출력(I/O)이 발생하는 위치로는 발생 위치가 연속(sequential)인지, 임의(random)인지, 선형으로 증가하거나 감소하는지(order), 구역이 지정되었는지(partition)에 관한 정보가 포함될 수 있다.

Sector Size 영역(503)은 입출력(I/O) 발생하는 섹터의 크기를 포함하며, 스몰 데이터(small data)인지 라지 데이터(large data)인지 여부를 포함할 수 있다. 스몰 데이터는 예를 들어 10KB 크기의 데이터가 될 수 있으며, 라지 데이터는 1MB 크기의 데이터가 될 수 있다.

Read/Write 영역(403)은 입출력(I/O)이 읽기인지 쓰기인지의 오퍼레이션 종류를 포함하며, Delay Time 영역(505)은 테스트와 테스트 사이의 시간 간격을 포함한다. 또한 App Name(506)은 어플리케이션 이름을 포함한다.

접근 패턴 분석부(162)가 어플리케이션 별로 테스트 시나리오를 생성하면, 테스트 수행부(163)는 305단계에서 생성된 테스트 시나리오를 이용하여 어플리케이션 별로 벤치마킹 테스트를 수행한다. 테스트 수행부(163)는 스토리지 접근 패턴을 추출하는데 실행했던 어플리케이션들 대해 테스트 시나리오를 이용하여 벤치마킹 테스트를 실행하고, 어플리케이션 별로 대표 수행 시간을 결정한다. 305단계의 세부 과정은 도 6에서 구체적으로 설명한다.

테스트 수행부(163)가 어플리케이션 별로 벤치마킹 테스트를 수행하면, 306단계에서 성능 평가부(164)는 수행된 벤치마킹 테스트의 결과를 이용하여 휴대 단말기(100)의 성능을 평가한다. 성능 평가부(164)는 어플리케이션 별 대표 수행 시간을 종합하여 휴대 단말기(100) 전체의 성능을 평가하게 된다. 306단계의 세부 과정은 도 7에서 구체적으로 설명한다.

도 6은 본 발명의 실시예에 따른 도 3의 305단계의 세부 과정을 설명하는 순서도이다.

601단계에서 테스트 수행부(163)는 테스트 시나리오가 생성된 어플리케이션들 중에서 어느 하나의 어플리케이션에 대해 테스트 시나리오에 따라 벤치마킹 테스트를 실행한다. 본 발명의 실시예에 따라 테스트 수행부(163)는 도 3의 302단계의 어플리케이션 실행 순서대로 601단계에서 벤치마킹 테스트를 실행할 수 있다. 테스트 수행부(163)는 테스트 아이디(Test ID) 및 어플리케이션 이름(App Name)을 참조하여 실행할 어플리케이션을 결정하고, 테스트 시나리오에 포함된 섹터 주소(Sector Start), 섹터 크기(Sector Size), 오퍼레이션 종류(Read/Write)를 참조하여 어플리케이션을 실행하고, 테스트 간의 시간 간격(Delay Time)을 참조하여 다음 어플리케이션을 실행한다.

602단계에서 테스트 수행부(163)는 벤치마킹 테스트의 수행 시간을 측정한다. 테스트 수행부(163)는 어플리케이션 실행 후, 해당 섹터 주소(Sector Start) 및 섹터 크기(Sector Size)에 대해 오퍼레이션(읽기 또는 쓰기)을 수행하는 시간을 측정한다.

본 발명에서 테스트 수행부(163)는 하나의 어플리케이션에 대해 복수회의 벤치마킹 테스트를 수행하며, 603단계에서 테스트 수행부(163)는 벤치마킹 테스트의 횟수(n)가 기 설정된 횟수(NT)에 도달하는지 판단한다. NT는 어플리케이션의 대표 시간을 결정하는데 필요한 최소한의 테스트 측정 횟수에 해당한다. n이 NT에 도달하지 않은 것으로 판단하는 경우, 테스트 수행부(163)는 601단계로 진행하여 하나의 어플리케이션에 대해 벤치마킹 테스트를 반복 수행한다. 이 때, 테스트 수행부(163)는 테스트 시나리오를 구성하는 Delay Time 영역(505)을 참조하여 벤치마킹 테스트를 반복 수행한다.

603단계에서 n이 NT에 도달한 것으로 판단하면, 테스트 수행부(163)는 604단계로 진행하여 측정된 테스트 수행 시간들 중 최대값 및 최소값을 제외한다. 최대값과 최소값은 평균값을 산출하는데 오차로 작용할 수 있기 때문에, 테스트 수행부(163)는 최대값과 최소값은 제외한다.

이후, 테스트 수행부(163)는 605단계에서 최대값 및 최소값을 제외한 나머지 테스트 수행 시간들의 평균값을 계산한다. 예를 들어, 테스트 수행부(163)가 하나의 어플리케이션에 대해 13회 벤치마킹 테스트를 수행한 경우, 최대값 및 최소값을 제외한 11개의 테스트 수행 시간들의 평균값을 계산한다.

이후, 606단계에서 테스트 수행부(163)는 계산된 평균값을 해당 어플리케이션의 대표 시간으로 결정한다.

607단계에서 테스트 수행부(163)는 모든 테스트 시나리오에 대해 벤치마킹 테스트를 수행했는지 여부를 판단한다. 예를 들어, 도 3의 304단계에서 접근 패턴 분석부(162)가 5개의 어플리케이션에 대해 각각 테스트 시나리오를 생성한 경우, 테스트 수행부(163)는 607단계에서 5개의 테스트 시나리오에 대해 벤치마킹 테스트를 모두 수행했는지 여부를 판단한다.

벤치마킹 테스트를 수행하지 않은 테스트 시나리오가 존재하는 경우, 테스트 수행부(163)는 601단계로 진행하여 다음 테스트 시나리오에 따라 벤치마킹 테스트를 실행한다. 이 때, 테스트 수행부(163)는 테스트 시나리오를 구성하는 Delay Time영역(505)을 참조하여 다음 어플리케이션의 벤치마킹 테스트를 실행한다.

모든 테스트 시나리오에 대해 벤치마킹 테스트를 수행한 경우, 테스트 수행부(163)는 608단계로 진행하여 벤치마킹 테스트를 종료한다.

본 발명의 실시예에 따라 테스트 수행부(163)는 608단계 이후, 표시부(150)를 제어하여 어플리케이션 마다 결정된 대표 시간을 표시할 수 있다. 사용자는 어플리케이션 별 대표 시간을 통해 어플리케이션 마다 스토리지 접근에 소요되는 시간을 확인할 수 있다.

또한 테스트 수행부(163)는 측정된 테스트 수행 시간들 중 최대값 및 최소값을 제외하지 않고, 측정된 테스트 수행 시간들 전체에 대해 평균값을 계산하고, 계산된 평균값을 해당 어플리케이션의 대표 시간으로 결정할 수 있다.

도 7은 본 발명의 실시예에 따른 도 3의 306단계의 세부 과정을 도시하는 순서도이다.

701단계에서 성능 평가부(164)는 어플리케이션 별로 가중치를 확인한다. 사용자들은 모든 어플리케이션을 동일한 빈도로 사용하는 것은 아니며, 자주 사용하는 어플리케이션과 자주 사용하지 않는 어플리케이션이 존재한다. 이러한 사용 빈도수는 가중치로서 휴대 단말기(100)의 성능을 평가하는데 적용될 수 있다. 가중치는 어플리케이션 마다 고정된 값으로 저장부(130)에 저장될 수 있으며, 사용 빈도수의 변화에 따라 변경 설정될 수 있다. 즉, 제어부(160)는 어플리케이션 별로 사용 빈도수를 측정하고, 사용 빈도수에 따라 가중치를 변경하여 설정하고, 설정된 가중치를 저장부(130)에 저장할 수 있다. 또한, 제어부(160)는 입출력(I/O) 오버헤드(overhead)를 측정하고, 입출력 오버헤드가 높을수록 가중치를 높게 설정할 수 있다.

701단계에서 성능 평가부(164)는 저장부(130)를 통해 벤치마킹 테스트가 수행된 어플리케이션 별로 할당된 가중치를 확인하게 된다.

이후, 702단계에서 성능 평가부(164)는 결정된 어플리케이션의 대표 시간에 각각 해당 가중치를 적용한다. 예를 들어, 5개의 어플리케이션에 대해 각각 대표 시간이 결정된 경우, 성능 평가부(164)는 각각의 어플리케이션에 대응하는 가중치를 대표 시간에 곱하여 5개의 가중치가 적용된 대표 시간을 산출한다.

703단계에서 성능 평가부(164)는 가중치가 적용된 대표 시간들의 평균값을 계산한다. 즉, 5개의 어플리케이션에 대해 벤치마킹 테스트를 수행한 경우, 성능 평가부(164)는 5개의 가중치 적용 대표 시간의 평균값을 계산하게 된다.

이후, 704단계에서 성능 평가부(164)는 계산된 평균값에 해당하는 점수를 휴대 단말기의 성능으로 평가한다. 저장부(130)에는 가중치 적용 대표 시간들의 평균값에 대응하는 점수 테이블이 저장된다. 예를 들어, 점수는 0점부터 10점 사이로 설정되고, 각각의 점수에는 가중치 적용 대표 시간들의 평균값의 범위가 대응되어 설정될 수 있다. 성능 평가부(164)는 평균값을 계산한 후, 계산된 평균값에 해당하는 점수를 휴대 단말기(100)의 성능으로 판단한다.

본 발명의 실시예에 따라 성능 평가부(164)는 표시부(150)를 제어하여 휴대 단말기(100)의 성능 평가 점수를 표시할 수 있다.

또한 테스트 수행부(163)가 표시부(150)를 통해 각 어플리케이션의 대표 시간 및 확인 키를 표시하는 경우, 사용자가 입력부(140)를 통해 확인 키를 입력하면 성능 평가부(164)는 701단계 내지 704단계를 수행한 후, 표시부(150)를 제어하여 휴대 단말기(100)의 성능 평가 점수를 표시할 수 있다.

도 8 및 도 9는 본 발명의 실시예에 따른 벤치마킹 프로그램의 실행 화면의 예시도이다. 도 8 및 도 9는 테스트 수행부(163)가 각 어플리케이션에 대해 벤치마킹 테스트를 수행한 후, 각 어플리케이션의 대표 시간을 표시하는 화면에 해당한다.

도 8은 Music & Video Pattern, Camera Pattern, Camcoder Pattern, Internet Pattern 및 Maps Pattern에 대한 결과 표시 영역을 표시하고 있으며, 도 9는 Write 1MB file, Read 1MB file, Copy 1MB file, Write 10KB*100 files, Read 10KB*100 files, Copy 10KB*100 files, Music & Video Pattern, Camera Pattern, Camcoder Pattern, Internet Pattern 및 Maps Pattern에 대한 결과 표시 영역을 표시하고 있다. 결과 표시 영역에는 벤치마킹 테스트가 수행된 어플리케이션의 대표 시간이 표시된다. 테스트 수행부(163)는 벤치마킹 테스트를 수행한 후, 표시부(150)를 제어하여 도 8 또는 도 9에 도시된 벤치마킹 테스트 결과 화면을 표시하게 된다.

도 10은 본 발명의 실시예에 따른 벤치마킹 프로그램의 실행 화면의 다른 예시도이다. 도 10은 휴대 단말기(100)의 성능 점수를 표시하는 화면에 해당한다.

도 10은 휴대 단말기(100)의 성능 점수('Test Result Score : 10.0') 및 'OK'로 표시된 확인키를 표시하고 있다. 사용자는 도 10에 도시된 화면을 휴대 단말기(100)의 성능을 확인할 수 있다. 또한 사용자는 휴대 단말기 별로 성능 점수 확인을 통해 휴대 단말기 성능을 객관적으로 비교할 수 있다.

한편, 본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100 : 휴대 단말기 201 : 벤치마크(Benchmark)
110 : 무선통신부 202 : 어플리케이션(Application)
120 : 오디오처리부 203 : 파일 시스템(File System)
130 : 저장부 204 : 플래시 변환 계층(Flash Translation Layer)
140 : 입력부 205 : 플래시 메모리(Flash Memory)
150 : 표시부
160 : 제어부
161 : 접근 패턴 추출부
162 : 접근 패턴 분석부
163 : 테스트 수행부
164 : 성능 평가부

Claims

휴대 단말기 성능 평가 방법에 있어서,
기 설정된 목록의 어플리케이션을 실행하는 단계;
상기 실행된 어플리케이션 별로 스토리지(storage) 접근 패턴을 추출하는 단계;
상기 추출된 스토리지 접근 패턴을 이용하여 상기 실행된 어플리케이션 별로 테스트 시나리오를 생성하는 단계;
상기 생성된 테스트 시나리오를 이용하여 어플리케이션 별로 벤치마킹(benchmarking) 테스트를 수행하는 단계; 및
상기 수행된 벤치마킹 테스트의 결과를 이용하여 상기 휴대 단말기의 성능을 평가하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기 성능 평가 방법.
제1항에 있어서,
상기 추출하는 단계는
상기 실행된 어플리케이션 별로, 휴대 단말기 부팅 후 경과 시간(Current Time), 오퍼레이션 소요 시간(Elapsed Time), 오퍼레이션의 종류(Read/Write), 입출력 요청(I/O Request)이 접근한 섹터 주소(Start Sector) 및 섹터 크기(Sector Size)를 포함하는 스토리지 접근 패턴을 추출하는 단계인 것을 특징으로 하는 휴대 단말기 성능 평가 방법.
제2항에 있어서,
상기 생성하는 단계는
상기 실행된 어플리케이션 별로, 테스트 아이디(Test ID), 상기 섹터 주소(Start Sector), 상기 섹터 크기(Sector Size), 상기 오퍼레이션의 종류(Read/Write), 다음 테스트와의 시간 간격(Delay Time) 및 어플리케이션 이름(App name)을 포함하는 테스트 시나리오를 생성하는 단계인 것을 특징으로 하는 휴대 단말기 성능 평가 방법.
제3항에 있어서,
상기 수행하는 단계는
상기 기 설정된 목록의 어플리케이션에 대해 벤치마킹 테스트를 실행하는 단계;
어플리케이션 별로 기 설정된 횟수만큼 테스트 수행 시간을 측정하는 단계;
어플리케이션 별로 상기 측정된 테스트 수행 시간들의 평균값을 계산하는 단계; 및
상기 계산된 평균값을 해당 어플리케이션의 대표 시간으로 결정하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기 성능 평가 방법.
제4항에 있어서,
상기 평가하는 단계는
상기 벤치마킹 테스트가 수행된 어플리케이션 별로 할당된 가중치를 확인하는 단계;
어플리케이션 별로 상기 결정된 어플리케이션의 대표 시간에 가중치를 적용하는 단계;
상기 가중치가 적용된 어플리케이션의 대표 시간들의 평균값을 계산하는 단계; 및
상기 계산된 평균값에 해당하는 점수를 휴대 단말기의 성능으로 평가하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기 성능 평가 방법.
제4항에 있어서,
상기 결정된 어플리케이션의 대표 시간을 어플리케이션 별로 구분하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기 성능 평가 방법.
제1항에 있어서,
상기 실행하는 단계는
상기 휴대 단말기 내에 설치된 벤치마킹 프로그램(Benchmarking program) 실행 명령 입력 시, 상기 기 설정된 목록의 어플리케이션을 실행하는 단계인 것을 특징으로 하는 휴대 단말기 성능 평가 방법.
제1항에 있어서,
상기 실행하는 단계는
인터넷 브라우저 어플리케이션, 지도 탐색 어플리케이션, 음악 및 비디오 재생 어플리케이션, 사진 촬영 어플리케이션 및 동영상 촬영 어플리케이션을 각각 실행하는 단계인 것을 특징으로 하는 휴대 단말기 성능 평가 방법.
적어도 하나의 어플리케이션 및 벤치마킹 프로그램을 저장하는 스토리지(storage);
실행되는 어플리케이션 별로 스토리지 접근 패턴을 추출하는 접근 패턴 추출부;
상기 추출된 스토리지 접근 패턴을 이용하여 상기 실행된 어플리케이션 별로 테스트 시나리오를 생성하는 접근 패턴 분석부;
상기 생성된 테스트 시나리오를 이용하여 어플리케이션 별로 벤치마킹(benchmarking) 테스트를 수행하는 테스트 수행부; 및
상기 수행된 벤치마킹 테스트의 결과를 이용하여 상기 휴대 단말기의 성능을 평가하는 성능 평가부를 포함하는 것을 특징으로 하는 휴대 단말기.
제9항에 있어서,
상기 스토리지는
상기 추출된 스토리지 접근 패턴 및 상기 생성된 테스트 시나리오를 저장하는 것을 특징으로 하는 휴대 단말기.
제9항에 있어서,
상기 접근 패턴 추출부는
상기 실행된 어플리케이션 별로, 휴대 단말기 부팅 후 경과 시간(Current Time), 오퍼레이션 소요 시간(Elapsed Time), 오퍼레이션의 종류(Read/Write), 입출력 요청(I/O Request)이 접근한 섹터 주소(Start Sector) 및 섹터 크기(Sector Size)를 포함하는 스토리지 접근 패턴을 추출하는 것을 특징으로 하는 휴대 단말기.
제11항에 있어서,
상기 접근 패턴 분석부는
상기 실행된 어플리케이션 별로, 테스트 아이디(Test ID), 상기 섹터 주소(Start Sector), 상기 섹터 크기(Sector Size), 상기 오퍼레이션의 종류(Read/Write), 다음 테스트와의 시간 간격(Delay Time) 및 어플리케이션 이름(App name)을 포함하는 테스트 시나리오를 생성하는 것을 특징으로 하는 휴대 단말기.
제12항에 있어서,
상기 테스트 수행부는
상기 기 설정된 목록의 어플리케이션에 대해 벤치마킹 테스트를 실행하고, 각각의 어플리케이션 별로 기 설정된 횟수만큼 테스트 수행 시간을 측정하고, 상기 측정된 테스트 수행 시간들의 평균값을 계산하고, 상기 계산된 평균값을 해당 어플리케이션의 대표 시간으로 결정하는 것을 특징으로 하는 휴대 단말기.
제13항에 있어서,
상기 성능 평가부는
상기 벤치마킹 테스트가 수행된 어플리케이션 별로 할당된 가중치를 확인하고, 상기 결정된 어플리케이션의 대표 시간에 가중치를 적용하고, 상기 가중치가 적용된 어플리케이션의 대표 시간들의 평균값을 계산하고, 상기 계산된 평균값에 해당하는 점수를 휴대 단말기의 성능으로 평가하는 것을 특징으로 하는 휴대 단말기.
제13항에 있어서,
상기 결정된 어플리케이션의 대표 시간을 어플리케이션 별로 구분하여 표시하는 표시부를 더 포함하는 것을 특징으로 하는 휴대 단말기.