KR102064634B1

KR102064634B1 - 테스트 장치 및 방법

Info

Publication number: KR102064634B1
Application number: KR1020157017698A
Authority: KR
Inventors: 콜린 허드슨; 마이클 오가라
Original assignee: 키사이트 테크놀로지스 싱가포르 (세일즈) 피티이. 엘티디.
Priority date: 2012-12-04
Filing date: 2013-11-14
Publication date: 2020-01-09
Also published as: US20150318935A1; GB2511027A; US9774407B2; KR20150135198A; CN105009500B; CN105009500A; DE112013005799T5; WO2014087130A1; TW201427335A

Abstract

테스트 장치는 장비를 비-결정론적으로 테스트하도록 구성된다. 상기 테스트 장치는 테스트 애플리케이션의 제어 하에 비-결정론적인 테스트 규칙을 자동적으로 실행하도록 배열된 테스트 컴퓨터를 포함한다. 상기 테스트 컴퓨터에 연결된 네트워크 시뮬레이터는 상기 테스트 받는 장비와 통신하도록 동작가능한 통신 회로를 구비한다. 상기 네트워크 시뮬레이터는 상기 비-결정론적인 테스트 규칙에 따라 상이한 네트워크 상태로 구성가능하고, 상기 테스트 애플리케이션은 상기 네트워크 시뮬레이터를 제어하여 복수의 상이한 네트워크 상태들 사이를 전이하도록 동작가능하다. 상기 네트워크 시뮬레이터와 상기 테스트 받는 장비 사이에 언스크립트된 통신에 대한 데이터가 모니터링되고 테스트 평결을 결정하기 위해 분석될 수 있다.

Description

테스트 장치 및 방법{APPARATUS AND METHOD FOR TESTING}

본 발명은 테스트 장치 및 방법에 관한 것으로, 보다 상세하게는 예를 들어, 성능, 상호 동작가능성 및 무선 표준과의 순응 면에서 유저 장비를 테스트하거나 무선으로 테스트하는 컴퓨터로 구현된 장치 및 방법에 관한 것이다.

유저 장비를 테스트하는 장치 및 방법은 존재하지만, 이용가능한 테스트 장치 및 방법은 다수의 문제를 나타낸다.

본 명세서에서 "스크립트(script)-기반" 테스트라고 언급되는 제1 알려진 유형의 무선 테스트에서, 테스트 컴퓨터는 네트워크 시뮬레이터를 제어하여, 네트워크 시뮬레이터가 유저 장비에 일련의 메시지를 송신하고 유저 장비가 이에 응답하게 하는 매우 한정된 테스트 스크립트를 자동적으로 실행하게 한다. 이것은 통과(pass) 결과가 선행 원인의 필연적인 결과인 결정론적인 테스트 유형이다. 선행 원인은 단일 메시지 또는 일련의 메시지일 수 있으나 필연적인 결과는 테스트 받는 장비로부터 응답에 의해 충족되거나 충족되지 않을 수 있다. 이런 유형의 스크립트-기반 테스트에서 필연적인 결과를 충족하면 "통과"를 나타내는 반면, 예상된 곳에서 필연적인 결과가 없으면 "실패(fail)"를 나타낸다. 스크립트-기반 테스트는 무선 유저 장비의 자동화된 대규모 테스트에는 우수하지만 매우 융통성이 없어서 종종 결함 유형을 누락하여, 매우 한정된 테스트 스크립트를 실패하는 것에 의해 구체적으로 식별되지 않는다.

대안은 운영자들이 유저 장비로 송신될 테스트 메시지를 인식적으로 결정하고 그 다음에 테스트할 것을 결정하는 응답을 모니터링하는 유저-기반 테스트이다. 이것은 유저가 각 테스트 메시지를 결정하고 그 응답을 평가하는 수동 공정이다. 이 수동 공정은 인적 에러를 받기 쉽고 제한된 스케일가능성을 가지고 있다.

상기 알려진 테스트 기술 중 그 어느 것도 상이한 네트워크 조건의 범위에서 유저 장비 거동의 반복가능한 대규모 테스트에 효과가 없었다.

본 발명의 실시예는 장비, 특히 무선 디바이스를 테스트하기 위한 개선된 장치 및 방법을 제공하는 것이다.

본 란은 이후 상세한 설명에서 보다 상세히 설명된 내용을 간략한 형태로 선택된 개요를 소개하기 위해 제공된 것이다. 이 란은 청구된 주제의 핵심적 특징이나 본질적 특징을 식별하려고 의도된 것이 아니고, 청구된 주제의 범위를 결정하는 것으로 사용하려고 의도된 것도 아니다.

본 발명의 일 측면에 따라 장비를 테스트하도록 구성가능한 테스트 장치로서, 상기 장치는, 테스트 애플리케이션의 제어 하에 테스트를 실행하도록 배열된 테스트 컴퓨터; 및 상기 테스트 받는 장비와 통신하도록 동작가능한 통신 회로를 구비하는 네트워크 시뮬레이터를 포함하고, 상기 테스트 애플리케이션은 복수의 상이한 네트워크 상태들 사이에서 네트워크 시뮬레이터 전이를 제어하도록 동작가능하고, 적어도 하나의 상기 네트워크 상태에서 상기 네트워크 시뮬레이터와 상기 장비 사이에 언스크립트된 통신(unscripted communication)에 대한 데이터를 모니터링하는, 상기 테스트 장치가 제공된다. 상기 데이터는 테스트 평결을 결정하기 위해 이후 분석될 수 있다

본 발명의 다른 측면에 따라 장비를 비-결정론적(non-determinative)으로 테스트하도록 구성가능한 테스트 장치로서, 상기 장치는, 테스트 애플리케이션의 제어 하에 비-결정론적 테스트 규칙(test regime)을 자동적으로 실행하도록 배열된 테스트 컴퓨터; 및 상기 테스트 컴퓨터에 연결되고 상기 테스트 받는 장비와 통신하도록 동작가능한 통신 회로를 구비하는 네트워크 시뮬레이터를 포함하고, 상기 네트워크 시뮬레이터는 상기 비 결정론적 테스트 규칙에 따라 상이한 네트워크 상태로 구성가능하고, 상기 테스트 애플리케이션은 상기 네트워크 시뮬레이터를 제어하여 복수의 상이한 네트워크 상태들 사이에서 전이하고, 상기 전이들 사이의 상호 작용 기간에 상기 네트워크 시뮬레이터와 상기 장비 사이에 언스크립트된 통신에 대한 데이터를 모니터링하도록 동작가능한, 상기 테스트 장치가 제공된다.

본 발명의 또 다른 측면에 따라 컴퓨터에서 실행되도록 구성된 컴퓨터 프로그램 코드를 포함하는 장비를 네트워크 시뮬레이터-기반으로 테스트하기 위한 테스트 애플리케이션으로서, 상기 컴퓨터 코드는, 컴퓨터에서 실행될 때, 상기 컴퓨터로 하여금, 비-결정론적 테스트 규칙에 따라 사용되는 네트워크 파라미터를 사용하여 제1 네트워크 시뮬레이터 상태를 수립하는 단계; 상기 네트워크 시뮬레이터가 상기 제1 상태에 있는 동안 상기 네트워크 시뮬레이터와 상기 장비 사이의 언스크립트된 통신 기간을 모니터링하는 단계; 상기 네트워크 시뮬레이터가 상기 테스트 규칙에 따라 제2 세트의 네트워크 파라미터에 기초하여 제2 네트워크 시뮬레이터 상태로 전이하고, 상기 네트워크 시뮬레이터가 상기 제2 상태에 있는 동안 상기 네트워크 시뮬레이터와 상기 장비 사이의 언스크립트된 통신 기간을 모니터링하는 단계; 및 각 네트워크 시뮬레이터 상태 및 상기 네트워크 시뮬레이터와 상기 장비 사이의 연관된 통신에 관한 로그 데이터를 로그 파일에 레코드하는 단계를 수행하도록 동작가능한, 상기 테스트 애플리케이션이 제공된다.

본 발명의 또 다른 측면에 따라 장비를 테스트하도록 구성된 네트워크 시뮬레이터로서, 상기 네트워크 시뮬레이터는, 프로토콜 스택 모듈; 상기 장비와 통신하는 적어도 하나의 안테나를 포함하는 송신 회로; 및 테스트 애플리케이션과 인터페이스를 구비하는 제어기를 포함하고, 상기 제어기는 프로토콜 스택 파라미터들을 포함하는 파라미터를 상기 테스트 애플리케이션으로부터 수신하고, 상기 네트워크 시뮬레이터가 상기 파라미터에 기초하여 복수의 프로그래밍된 네트워크 시뮬레이터 상태들 사이에서 연속적으로 전이하도록 동작가능하고, 상기 제어기는 각 네트워크 상태 동안 상기 테스트 받는 장비와 상기 네트워크 시뮬레이터 사이의 언스크립트된 통신 기간을 모니터링하도록 동작가능한, 상기 네트워크 시뮬레이터가 제공된다.

테스트 장치, 테스트 애플리케이션 및 네트워크 시뮬레이터의 다른 및 선택적인 특징은 종속 청구항에 제공된다.

본 발명은 본 발명의 전술된 측면들 중 임의의 것을 구현하기 위한 시스템, 장치 및 제조 물품을 더 제공한다.

바람직한 특징은 이 기술 분야에 통상의 지식을 가진 자에 명백한 것으로 적절히 조합될 수 있고, 본 발명의 측면들 중 임의의 것과 조합될 수 있다.

본 발명은 이제 이하 도면을 참조하여 상세히 설명된다:
도 1은 종래 기술에 따른 무선 테스트 장치를 도시하는 도면;
도 2는 스크립트-기반 테스트에 따른 테스트 스크립트를 도시하는 개략도;
도 3은 본 발명의 일 실시예에 따른 무선 테스트 장치를 도시하는 도면;
도 4는 본 발명의 일 실시예에 따른 비-스크립트된 자동화된 테스트를 도시하는 개략도;
도 5는 로그 파일의 데이터의 일부를 도시하는 도면.

본 발명에 따른 실시예는 이제 단지 예시로서 설명된다.

각 실시예에 있는 특징은 도면 및 상세한 설명에서 상이한 참조 부호로 식별될 수 있으나, 하나의 실시예에 있는 특성 및 이에 기인하는 기능을 포함하는 유사한 특징은 다른 실시예의 것과 상호 교환될 수 있는 것으로 이해된다.

도 1은 알려진 유형의 무선 테스트 장치를 도시한다. 이 장치는, 데이터베이스(102)에 연결되고 임의의 네트워크 시뮬레이터(104)에 더 연결된 테스트 컴퓨터(100)를 구비한다. 네트워크 시뮬레이터는 이 경우에 알려진 무선 통신 표준에 따라 베이스 스테이션 거동을 에뮬레이팅할 수 있는 프로토콜 스택을 구비한다. 네트워크 시뮬레이터의 프로토콜 스택은 무선 트랜시버 모듈에 연결되고 이 무선 트랜시버 모듈은 유저 장비(108)와 양방향 무선 통신을 할 수 있는 안테나(106)에 연결된다.

도 1의 배열에서, 유저 장비(108)는 테스트 받는 장비이다. 테스트 컴퓨터(100)에서 실행되는 테스트 애플리케이션(120)은 데이터베이스(102)로부터 테스트 사양(test specification)을 호출하고, 네트워크 시뮬레이터(104)를 통해 실행될 수 있는 테스트 스크립트를 구성한다. 데이터베이스에 레코드될 수 있는 테스트 스크립트는 24.008, 24.301, 25.331, 36.331 또는 44.018 시리즈와 같은 3GPP 기술적 사양에 기초할 수 있다.

사용시, 테스트 애플리케이션(120)은 테스트 스크립트에 따라 여러 프로토콜 스택 층을 위한 설정 및 다른 구성가능한 네트워크 설정을 포함하지만 이들로 제한되지 않는 네트워크 시뮬레이터를 위한 제어 파라미터를 결정한다. 바람직하게는, 테스트 애플리케이션(120)은 또한 테스트 스크립트에 따라 네트워크 시뮬레이터 트랜시버 유닛(106)과 유저 장비(108) 사이에 메시지의 송신을 스케줄링하거나 및/또는 제어한다.

도 2는 예시적인 스크립트-기반 결정론적 테스트 기술의 테스트 스크립트를 도시한다. 시간(T1)에서 테스트 스크립트에 따라 제1 테스트 메시지(200)는 네트워크 시뮬레이터로부터 (예를 들어, 네트워크 시뮬레이터 트랜시버 유닛(106)에 의해) 유저 장비(108)로 송신된다. 시간(R1)에서 유저 장비(108)로부터 응답 메시지(220)는 네트워크 시뮬레이터에 의해 수신된다. 시간(T2)에서 제2 테스트 메시지(202)는 네트워크 시뮬레이터로부터 유저 장비(108)로 송신되고 이에 응답하여 유저 장비(108)로부터 다른 응답 메시지(222)가 시간(R2)에서 네트워크 시뮬레이터에 수신된다. 이 예에서, 테스트 스크립트의 예시적인 부분은 테스트 메시지(204) 및 응답(224) 메시지의 제3 사이클을 포함한다.

메시지의 유형은 무선 자원 제어 메시지(예를 들어, 무선 베어러(bearer) 셋업 메시지 및 무선 베어러 셋업 완료(Complete) 응답), 인증 및 보안 제어 메시지(예를 들어, 보안 모드 커맨드, 보안 모드 완료 응답)를 포함할 수 있으나 이들로 제한되지 않는다. 일반적으로, 이 스크립트는 수 십 내지 수 백 개의 메시지를 수반하고, 수 분 내지 수 시간 동안 실행될 수 있다.

네트워크 시뮬레이터로부터 송신된 각 메시지는 스크립트 내 특정 차후 테스트 메시지가 유저 장비(108)로부터 더 앞선 응답을 고려하는 경우에도 정확히 테스트 스크립트에 따라 규정된다. 그리하여, 이러한 테스트 스크립트는 유저 장비(108)로부터 응답에 따라 추종되거나 또는 추종되지 않을 수 있는 스크립트 브랜치(script branch)를 포함하는 경우에도 매우 결정론적으로 유지된다. 응답은 "통과" 또는 "실패" 중 하나인 평결(verdict)(250)을 제공한다. 이런 유형의 결정론적 테스트에서 예상된 응답은 선행 원인의 필연적인 결과이다. 선행 원인은 단일 테스트 메시지 또는 일련의 테스트 메시지일 수 있으나 필연적인 결과는 유저 장비(108) 응답에 의해 충족될 수도 있고 또는 충족되지 않을 수도 있다. 이런 유형의 스크립트-기반 테스트에서 필연적인 결과를 식별하는 테스트 소프트웨어는 "통과"를 나타내는 반면, 예상된 곳에서 필연적인 결과의 부재는 "실패"를 나타낸다.

다른 극단은 네트워크 시뮬레이터의 그래픽 유저 인터페이스의 사람 운영자가 유저 장비(108)에 송신될 테스트 메시지를 생성하고, 테스트 실행 시간에 유저 장비(108)로부터 다시 수신된 응답을 분석하는 비-자동화된 유저 구동 테스트이다. 사람 운영자는 그 다음에 송신할 테스트 메시지를 결정하고, 또한 통상 가이드라인 자료를 참조하여 유저 장비(108)가 통과하였는지 또는 실패하였는지 여부를 결정할 수 있다.

도 3은 본 발명의 일 실시예에 따른 무선 테스트 장치를 도시한다.

이 장치는, 데이터베이스(310)에 연결되고 네트워크 시뮬레이터(328)에 더 연결된 테스트 컴퓨터(300)를 구비한다. 네트워크 시뮬레이터(328)는 제어기(332), 프로토콜 스택 모듈(들)(330), 및 무선 트랜시버(334)를 포함한다. 프로토콜 스택 모듈(330)은 무선 트랜시버(334)에 연결되고, 이 무선 트랜시버는 유저 장비(340)와 양방향 무선 통신을 할 수 있는 안테나(336)에 연결된다. 테스트 받는 장비(340)는, 예를 들어, 셀룰러 폰, PDA, 태블릿 또는 다른 모바일 컴퓨터, 컴퓨터에 연결된 동글(dongle), 컴퓨터에서 실행되는 소프트웨어 기반 프로토콜 스택, 프로토타입 하드웨어 및/또는 기계 대 기계 유형 애플리케이션을 위한 내장된 무선 디바이스일 수 있다.

테스트 컴퓨터(300)는 이 예에서 테스트 애플리케이션(302), 로거(logger) 애플리케이션(304) 및 후 처리(post-processing) 애플리케이션(306)을 포함하는 한 벌의 애플리케이션을 구비한다. 테스트 컴퓨터(300)에서 실행되는 신규한 테스트 애플리케이션(302)은 데이터베이스(310)로부터 테스트 사양을 호출하고, 네트워크 시뮬레이터(328)를 통해 자동적으로 실행될 수 있는 신규한 유형의 비-결정론적 테스트 규칙을 구성한다. 데이터베이스에서 레코드될 수 있는 특정 테스트 사양의 예는 장기간의 시그널링 오버헤드(즉, 시그널링 볼륨), 및/또는 시그널링 이벤트 빈도(시그널링 타이밍)를 결정하기 위한 것을 포함하지만 이들로 제한되지 않는다.

이 예에서, 프로토콜 스택 모듈(330)은 여러 층이 예를 들어, 2G, 3G 및/또는 LTE(또한 4G라고도 언급됨) 원격 통신 프로토콜을 포함하는 여러 알려진 무선 원격 통신 무선 액세스 기술을 지원할 수 있다는 점에서 구성가능한 프로토콜 스택이다.

사용시, 테스트 애플리케이션(302)은 테스트 사양에 따라 여러 프로토콜 스택(330) 층을 위한 설정 및 다른 구성가능한 네트워크 설정을 포함하는 네트워크 시뮬레이터(328)를 위한 제어 파라미터를 결정한다. 테스트 애플리케이션(302)은 제어 파라미터를 네트워크 시뮬레이터(328)의 제어기(332)에 송신하도록 구성된다. 제어기(332)는 네트워크 시뮬레이터(328)의 프로토콜 스택 내 구성가능한 블록의 제어 파라미터 및 바람직하게는 테스트의 초기 부분에 따라 요구되는 임의의 다른 네트워크 시뮬레이터 설정을 설정한다. 예를 들어, 테스트 애플리케이션(302)으로부터의 명령에 따라 제어기(322)는 층 3, 2 또는 1(층 1은 또한 물리적 층 또는 PHY 층으로 알려져 있다)에 파라미터를 포함하는 여러 프로토콜 스택 층의 구성가능한 파라미터를 설정할 수 있다. 비-결정론적 테스트 규칙에 따라 제1 원하는 네트워크 상태를 달성하도록 네트워크 시뮬레이터(328)를 이렇게 파라미터화하는 것은 테스트의 제1 부분에서 요구되는 제1 네트워크 상태에 따라 예를 들어 PDCP 파라미터, RLC/MAC 파라미터 및 PHY 층 파라미터를 위한 설정을 수반할 수 있다. 특히, 이런 유형의 테스트에서 유저 장비(340)에 의해 개시되는 구성 프로시저를 수용/거부/무시를 설정할 수 있고, 타이머 및 또는 카운터의 값을 유저 장비(340)로 시그널링하는 것이 유용할 수 있다.

유저 장비(340)를 테스트할 때 사용되는 초기 네트워크 상태는 특정 파라미터화된 네트워크 설정일 수 있다. 대안적으로 또는 추가적으로, 이것은 메시지 또는 메시지 세트가 특정 파라미터화된 상태에서 네트워크 시뮬레이터(328)로부터 송신될 수 있게 한다. 이후, 테스트 애플리케이션(302)은 네트워크 시뮬레이터(328)를 제어하여, 파라미터화된 네트워크 시뮬레이터와 유저 장비(340)가 언스크립트된 방식으로 통신하는 상호작용 모드에 들어가게 한다. 예를 들어, 테스트에서 사용될 초기 네트워크 상태를 채용하는 것은 유저 장비(340)로부터 네트워크 시뮬레이터(328)로 하나 이상의 메시지를 통신하는 것에 의해 추종될 수 있고, 네트워크 시뮬레이터(328)는 그 상태에 기초하여 응답할 수 있다.

테스트 규칙을 실행하는 동안 테스트 컴퓨터(300)는 네트워크 시뮬레이터(328)의 제어기(332)와 통신하며 유지된다. 로거 소프트웨어(304)는 네트워크 시뮬레이터(328)와 유저 장비(340) 사이에 이벤트와 통신 시리즈에 관한 데이터를 로그 파일에 레코드한다. 이러한 로그 파일은, 예를 들어, 네트워크 시뮬레이터와 유저 장비에 의해 채용된 여러 상태와 조건의 시간 스탬프된 레코드, 및/또는 이들 사이에 송신된 메시지의 레코드를 포함할 수 있다. 로그 파일은, 예를 들어, 페이로드 데이터 및/또는 사이즈 데이터를 포함하는 메시지 그 자체에 관한 데이터를 더 포함할 수 있다.

일정 시점 후, 테스트 애플리케이션(302)은 제2 상태에서 유저 장비(340)와 네트워크 시뮬레이터(328) 사이에 다른 언스크립트된 상호 작용을 가능하게 하는 제2 상호작용 모드에 들어가기 위하여 네트워크 시뮬레이터(328)가 제2 네트워크 상태로 변하게 할 수 있다. 초기 네트워크 상태로부터 제2 네트워크 상태로 변하는 것은 예를 들어 특정 시간 지연 후에 일어나거나, 특정 시간에 일어나도록 자동적으로 또는 수동으로 프로그래밍되거나 또는 유저 장비(340) 또는 네트워크 시뮬레이터(328)와 연관된 트리거에 응답하여 일어나도록 프로그래밍될 수 있다. 예를 들어, 트리거는 유저 장비(340)와 연관된 특정 이벤트일 수 있거나 또는 네트워크 시뮬레이터(328)와 연관된 특정 이벤트일 수 있다. 네트워크 시뮬레이터(328) 또는 유저 장비(340) 중 어느 하나에 대한 트리거 이벤트는, 예를 들어, 특정 조건의 수립 또는 특정 메시지의 송신을 포함할 수 있다. 제2 네트워크 상태는 네트워크의 재-파라미터화일 수 있다. 대안적으로 또는 추가적으로, 제2 네트워크 상태는 파라미터화된(또는 재파라미터화된) 네트워크 시뮬레이터(328)로부터 유저 장비(340)로 특정 메시지 또는 메시지 세트를 송신하는 것일 수 있다.

테스트 애플리케이션에 의해 실행된 테스트 규칙에 따라 임의의 개수의 프로그래밍된 네트워크 시뮬레이터 상태 변화가 있을 수 있고 그 사이에 언스크립트된 상호작용 기간이 배치된다. 본 설명으로부터, 초기 네트워크 시뮬레이터 상태를 전개하면, 테스트 애플리케이션(302)은 알려진 테스트 스크립트에서와 같이 네트워크 시뮬레이터 무선 트랜시버(334)와 유저 장비(340) 사이에 매우 한정된 스크립트된 메시지의 송신을 구동하지 않는다는 것이 명백하다. 대신, 상호작용 모드는 유저 장비(340)와 네트워크 시뮬레이터(328) 사이에 언스크립트된 기간의 통신 유형을 나타내고, 이 동안 테스트 애플리케이션(302)의 제어 하에 네트워크 시뮬레이터(328)는 언스크립트된 통신을 모니터링하고 레코드한다. 이들은 시그널링 시퀀스, 유저 데이터, 비활동 기간 또는 임의의 다른 시스템 거동을 포함할 수 있다. 이들 통신 유형은, 예를 들어, 유저 장비(340)가 네트워크에 등록을 시도하는 것, 유저 장비(340)에 의해 생성된 전송할 데이터 채널을 요청하는 것, 및/또는 유저 장비(340)에 의해 모니터링된 네트워크 조건에 대한 측정값을 송신하는 것을 포함한다. 그 다음 네트워크 시뮬레이터 상태 변화를 위한 프로그래밍된 트리거가 검출될 때 제어는 테스트 규칙에 따라 공정을 앞으로 이동시킨다.

도 4는 비 결정론적 테스트 규칙을 구현하는 본 발명의 일 실시예에 따라 그 중에서도 특히 도 3의 네트워크 시뮬레이터(328)와 유저 장비(340) 사이의 통신을 개략적으로 도시한다.

시간(TS1)에서, 네트워크 시뮬레이터(328)는 테스트 소프트웨어(302)에 의해 자동적으로 실행된 테스트 규칙에 따라 초기 네트워크 상태를 채용한다. 이 예에서, 초기 네트워크 상태는 네트워크 시뮬레이터(328)로부터 유저 장비(340)로 테스트 메시지(400)를 송신하는 것 뿐만 아니라 네트워크 시뮬레이터(328)를 파라미터화하는 것을 포함한다. 이후, 네트워크 시뮬레이터(328)는 네트워크 시뮬레이터(328)와 유저 장비(340) 사이에 언스크립트된 통신 기간(402)이 존재하는 상호작용 모드에 들어간다. 전술된 설명으로부터 본 상황에서 "상호작용 모드"는 테스트 애플리케이션(302)에 의해 스크립트되지 않거나 직접 제어되지 않는 파라미터화된 네트워크 시뮬레이터(328)와 유저 장비(340) 사이의 통신 기간을 의미하고, 오히려 유저 장비(340)와 네트워크 시뮬레이터(328)는 이 상황에서 정상 동작 모드에 따라 상호작용 통신을 추종하도록 인에이블되는 것이 명백하다. 통신은 테스트 애플리케이션(302)과 로거 애플리케이션(307)을 실행하는 테스트 컴퓨터(300)에 의해 모니터링되고 레코드된다.

차후 시간(TSC1)에 테스트 애플리케이션(302)은 네트워크 시뮬레이터(328)의 상태 변화를 위한 프로그래밍된 트리거를 인식하고, 네트워크 시뮬레이터(328)를 필요에 따라 재-파라미터화하고 시간(TS2)에 제2 네트워크 상태를 채용하도록 상태 변화를 구현한다. 제2 네트워크 상태에서, 네트워크 시뮬레이터(328)는 유저 장비(340)와 상호작용 통신 모드(404)에 들어간다. 이전과 같이, 테스트 컴퓨터(300)는 제2 상태와 유사한 네트워크와 유저 장비(340) 사이에 언스크립트된 상호작용 통신 기간을 모니터링하고 관련 데이터를 로그 파일에 레코드한다. 제2 상호작용 통신 기간(404)은 테스트 애플리케이션(302)이 제어 네트워크 시뮬레이터(328)의 다른 상태 변화를 위한 트리거를 결정하는 시간(TSC2)에 종료된다.

네트워크 시뮬레이터(328)를 제3 네트워크 상태로 이렇게 다르게 상태 변화시키는 것은 시간(TS3)에서 일어난다. 이 예에서, 네트워크 시뮬레이터(328)의 제3 네트워크 상태는 임의의 테스트 메시지를 유저 장비(340)로 송신함이 없이 재파라미터화에 의해 달성된다. 이후, 네트워크 시뮬레이터(328)와 유저 장비(340)는 테스트 컴퓨터에 의해 로그 파일에 레코드된 언스크립트된 제3 상호작용 통신 기간(404)에 들어간다. 이전과 같이, 상호작용 통신 기간은 시간(TSC3)에서 프로그래밍된 트리거를 제어하는 것에 의해 결정으로 종료된다.

구현된 테스트 규칙은 임의의 원하는 개수의 프로그래밍된 네트워크 시뮬레이터 상태 변화와 상호작용 통신 기간을 포함할 수 있다. 로그 파일은, 예를 들어, 네트워크 시뮬레이터 설정, 유저 장비 조건 또는 설정, 유저 장비 디바이스 ID, 유저 장비 유형 및/또는 제조사, 메시지 유형, 시간 스탬프, 페이로드 데이터, 애플리케이션 코드, 및/또는 유저 장비의 비-결정론적 무선 테스트 규칙의 상황에서 사용가능한 임의의 다른 데이터를 포함하는 정보를 포함할 수 있다.

후 처리 소프트웨어(306)는 로그 파일을 자동적으로 파싱하여 테스트 평결을 결정하는데 사용된다. 예를 들어, 후 처리 소프트웨어는 로그 파일을 파싱하여 상이한 네트워크 구성 하에서 (예를 들어, 가변 트랜시버 전력 레벨 및/또는 채널 품질 하에서) 달성되는 데이터 처리량을 결정할 수 있다. 대안적으로 또는 추가적으로, 후 처리 소프트웨어는 네트워크와 높은 레벨의 불필요한 통신을 초래하는 특정 유저 장비 디바이스를 포함하는 유저 장비(340)와 네트워크 시뮬레이터(328) 사이의 여러 통신 유형을 자동적으로 식별할 수 있다. 후 처리 소프트웨어는 바람직하게는 메시지 카운트 및/또는 메시지 지연에 대한 유용한 리포트를 양산하거나 및/또는 특정 문제를 알람하기 위하여 테스트 사양과 결과를 자동적으로 비교할 수 있다.

이 기술 분야에 통상의 지식을 가진 자라면 테스트 컴퓨터(300)와 네트워크 시뮬레이터(328)는 2개 이상의 컴퓨터를 포함할 수 있다는 것과, 본 명세서에 설명된 여러 테스트 애플리케이션과 네트워크 시뮬레이션 기능은 여러 및/또는 다수의 컴퓨터에 걸쳐 구현될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 테스트 컴퓨터(300)는 디바이스를 제어하거나 및/또는 애플리케이션 프로그램을 실행하도록 구성된 자동화 컴퓨터에 의해 지원될 수 있다. 테스트 스크립트는 자동화 컴퓨터에 미리 한정된 연결을 통해 송신된 커맨드를 포함할 수 있다. 자동화 컴퓨터는 유저 한정된 구성 파일에서 커맨드를 룩업하고, 예를 들어, 테스트 컴퓨터의 범위 외의 애플리케이션 또는 하드웨어를 제어하거나, 및/또는 애플리케이션 또는 하드웨어로부터 상태 정보를 요청하는 것일 수 있는 적절한 액션을 취할 수 있다. 프로토콜 스택 또는 프로토콜 스택 내 층, 또는 네트워크 시뮬레이터의 다른 성분은, 도시된 것과 상이하게 구현될 수 있고 네트워크 시뮬레이터의 일부는 요구되는 바와 같이 상이한 컴퓨터에 걸쳐 구현될 수 있다. 대안적으로, 테스트 컴퓨터와 네트워크 시뮬레이터는 하나의 디바이스로 제공될 수 있다.

소프트웨어 전용 환경에서 프로토콜 스택 기능을 포함하는 테스트 유저 또는 다른 장비를 테스트하는 것이 가능하다. 이러한 배열에서, 테스트 장비는 모바일 폰과 같은 무선 유저 장비와 연관된 표준 하드웨어 전체를 요구하지 않는다. 그리하여, 본 발명의 다른 실시예는 소프트웨어 환경에서 및 안테나와 같은 표준 하드웨어 없이 장비 테스트를 수행하도록 구성된다.

이러한 컴퓨터의 하드웨어 요소, 운영 시스템 및 프로그래밍 언어는 특성상 종래의 것일 수 있고, 이 기술 분야에 통상의 지식을 가진 자라면 이와 적절히 친숙한 것으로 가정된다. 물론, 이들 기능은 적어도 부분적으로, 목적 수립 하드웨어 또는 애플리케이션 특정 펌웨어로 구현될 수 있다. 일부가 본 발명을 수행하는데 필요한 설명된 임의의 성분이나 기능은, 다수의 성분 또는 플랫폼에 걸쳐 임의의 적절한 방식으로 분배되어, 처리 부하를 분배할 수 있을 것이다.

여기서, 본 명세서에서 설명된 방법 및 장치의 측면은 서버와 같은 컴퓨팅 디바이스에서 실행될 수 있다. 본 기술의 프로그램 측면은 일반적으로 기계 판독가능한 매체의 유형으로 구현되거나 이 위에 운반되는 실행가능한 코드 및/또는 연관된 데이터 형태의 "제품" 또는 "제조 물품"으로 고려될 수 있다.

"저장" 유형 매체는, 소프트웨어 프로그래밍을 언제나 저장할 수 있는, 예를 들어, 여러 반도체 메모리, 테이프 드라이브, 디스크 드라이브 등과 같은 컴퓨터, 프로세서 등의 메모리 또는 이들의 연관된 모듈 중 어느 것이나 전부를 포함한다. 소프트웨어의 전부나 일부는 종종 인터넷 또는 여러 다른 원격 통신 네트워크를 통해 통신될 수 있다. 이러한 통신은, 예를 들어, 하나의 컴퓨터 또는 프로세서로부터 다른 컴퓨터 또는 프로세서로 소프트웨어를 로딩할 수 있다. 따라서, 소프트웨어 요소를 구비할 수 있는 다른 유형의 매체는 유선 및 광 지상선 네트워크를 통해 및 여러 무선 링크를 통해 국부 디바이스들 간에 물리적 인터페이스에 걸쳐 사용되는 광파, 전계 및 전자기파를 포함한다. 유선 또는 무선 링크, 광 링크 등과 같이 전파를 운반하는 물리적 요소는 소프트웨어를 운반하는 매체로 고려될 수도 있다. 본 명세서에 사용된 바와 같이, 컴퓨터 또는 기계 "판독가능한 매체"라는 용어는 유형적인 비-일시적인 "저장" 매체로 제한되지 않는 한, 실행할 프로세서에 명령을 제공하는데 참여하는 임의의 매체를 말한다.

그리하여, 기계 판독가능한 매체는 유형적인 저장 캐리어, 반송파 매체 또는 물리적 트랜잭션 매체를 포함하나 이들로 제한되지 않는 많은 형태를 취할 수 있다. 비-휘발성 저장 매체는 도면에 도시된 인코더, 디코더 등을 구현하는데 사용될 수 있는 컴퓨터(들) 등에 있는 저장 디바이스들 중 어느 것과 같은, 예를 들어, 광 디스크 또는 자기 디스크를 포함한다. 휘발성 저장 매체는 컴퓨터 플랫폼의 메인 메모리와 같은 동적 메모리를 포함한다. 유형적인 송신 매체는 컴퓨터 시스템 내에 버스를 포함하는 와이어를 포함하는 동축 케이블; 구리선 및 광섬유를 포함한다. 반송파 송신 매체는 무선 주파수(RF) 및 적외선(IR) 데이터 통신 동안 생성되는 것과 같은 전기 또는 전자기 신호, 또는 음향 또는 광파 형태를 취할 수 있다. 컴퓨터-판독가능한 매체의 공통 형태는 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학적 매체, 펀치 카드, 페이퍼 테이프, 홀(hole) 패턴을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령을 운반하는 반송파, 이 반송파를 운반하는 케이블 또는 링크, 또는 컴퓨터가 프로그래밍 코드 및/또는 데이터를 판독할 수 있는 임의의 다른 매체를 포함한다. 많은 이들 형태의 컴퓨터 판독가능한 매체는 하나 이상의 명령의 하나 이상의 시퀀스를 실행할 프로세서로 운반할 때 수반될 수 있다.

전술된 설명은 최상의 모드인 것으로 고려되고, 적절한 경우, 본 발명을 수행하는 다른 모드를 설명한 것이지만, 이 기술 분야에 통상의 지식을 가진 자라면 본 발명은 바람직한 실시예의 상세한 설명에 개시된 특정 장치 구성 또는 방법 단계로 제한되지 않는다는 것을 이해할 수 있을 것이다. 본 명세서에 여러 변형이 이루어질 수 있고 본 명세서에 개시된 주제는 여러 형태와 예로 구현될 수 있고 개시 내용은 단지 일부만이 본 명세서에 설명된 다수의 응용에 적용될 수 있는 것으로 이해된다. 이하 청구범위는 본 개시 내용의 범위 내에 있는 임의의 및 모든 응용, 변형 및 변경을 청구하는 것으로 의도된다. 이 기술 분야에 통상의 지식을 가진 자라면 본 발명이 넓은 응용 범위를 구비하고, 본 실시예는 첨부된 청구범위에 한정된 본 발명의 개념을 벗어남이 없이 넓은 범위의 변형을 취할 수 있다는 것을 인식할 수 있을 것이다.

본 발명은 특정 예시적인 실시예 면에서 설명되었으나, 본 명세서에 개시된 특징의 여러 변형, 변경 및/또는 조합은 이하 청구범위에 개시된 본 발명의 사상과 범위를 벗어남이 없이 이 기술 분야에 통상의 지식을 가진 자에 명백한 것으로 이해된다.

Claims

테스트 받는 장비를 비-결정론적으로 테스트하도록 구성가능한 테스트 장치로서, 상기 장치는,
테스트 애플리케이션의 제어 하에 비-결정론적 테스트 규칙(test regime)을 자동적으로 실행하도록 배열된 테스트 컴퓨터; 및
상기 테스트 컴퓨터에 연결되고 상기 테스트 받는 장비와 통신하도록 동작가능한 통신 회로를 구비하는 네트워크 시뮬레이터를 포함하고,
상기 네트워크 시뮬레이터는 상기 비 결정론적 테스트 규칙에 따라 상이한 네트워크 상태로 구성가능하고, 상기 테스트 애플리케이션은 상기 네트워크 시뮬레이터를 제어하여 복수의 상이한 네트워크 상태들 사이에서 전이하고, 상기 전이들 사이의 상호 작용 기간에 상기 네트워크 시뮬레이터와 상기 장비 사이에 언스크립트된 통신(unscripted communication)에 대한 데이터를 모니터링하도록 동작가능하고,
상기 테스트 애플리케이션은 상기 네트워크 시뮬레이션의 파라미터를 설정하여 네트워크 상태 사이에서 전이하도록 하는 것을 특징으로 하는 테스트 장치.
제1항에 있어서, 상기 네트워크 시뮬레이터는 상기 테스트 애플리케이션에 의해 구성가능한 프로토콜 스택 모듈을 포함하는 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 네트워크 시뮬레이터는 상이한 무선 액세스 기술을 채용하는 네트워크 상태들 사이에 상기 테스트 애플리케이션을 통해 구성가능한 프로토콜 스택 모듈을 포함하는 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 테스트 애플리케이션은 상이한 네트워크 상태들 사이에 복수의 미리 프로그래밍된 전이를 포함하는 테스트 규칙을 포함하는 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 테스트 애플리케이션은 상기 네트워크 시뮬레이터가 새로운 네트워크 상태로 전이하는 일부로 새로운 네트워크 설정을 채용하도록 동작가능한 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 테스트 애플리케이션은 새로운 네트워크 상태에서 상기 네트워크 시뮬레이터가 테스트 메시지를 상기 장비에 송신하도록 동작가능한 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 네트워크 시뮬레이터는 특정 시간 또는 시간 지연 중 하나 이상에 기초하여 상이한 네트워크 상태들 사이에서 전이하도록 동작가능한 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 네트워크 시뮬레이터는 상기 장비와 상기 네트워크 시뮬레이터 중 하나 이상과 연관된 트리거 이벤트에 응답하여 상이한 네트워크 상태들 사이에서 전이하도록 동작가능한 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 네트워크 시뮬레이터는 트리거 이벤트에 응답하여 상이한 네트워크 상태들 사이에서 전이하도록 동작가능하고, 상기 트리거 이벤트는 상기 장비와 상기 네트워크 시뮬레이터 중 하나 이상에서 충족된 조건인 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 네트워크 시뮬레이터는 트리거 이벤트에 응답하여 상이한 네트워크 상태들 사이에서 전이하도록 동작가능한 것을 특징으로 하는 테스트 장치.
제10항에 있어서, 상기 트리거 이벤트는 상기 장비로부터 상기 네트워크 시뮬레이터에 의해 수신된 미리 결정된 메시지인 것을 특징으로 하는 테스트 장치.
제1항 또는 제2항에 있어서, 상기 복수의 네트워크 상태에 관한 데이터와, 관련 네트워크 상태에 대해 상기 네트워크 시뮬레이터와 상기 장비 사이의 통신에 관한 연관된 데이터를 레코드하도록 동작가능한 로거(logger)를 더 포함하는 것을 특징으로 하는 테스트 장치.
제12항에 있어서, 테스트 결과를 결정하기 위해 상기 로거에 의해 레코드된 데이터를 자동적으로 분석하도록 동작가능한 소프트웨어 도구를 더 포함하는 것을 특징으로 하는 테스트 장치.
장비를 네트워크 시뮬레이터 기반으로 테스트하기 위한 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로서, 상기 방법은,
비-결정론적 테스트 규칙에 따라 사용되는 네트워크 파라미터를 사용하여, 상기 네트워크 시뮬레이터를 제1 네트워크 상태로 수립하는 단계;
상기 네트워크 시뮬레이터가 상기 제1 네트워크 상태에 있는 동안 상기 네트워크 시뮬레이터와 상기 장비 사이의 언스크립트된 통신 기간을 모니터링하는 단계;
상기 네트워크 시뮬레이터가 상기 테스트 규칙에 따라 제2 세트의 네트워크 파라미터에 기초하여 제2 네트워크 상태로 전이하고, 상기 네트워크 시뮬레이터가 상기 제2 네트워크 상태에 있는 동안 상기 네트워크 시뮬레이터와 상기 장비 사이의 언스크립트된 통신 기간을 모니터링하는 단계; 및
각 네트워크 상태 및 상기 네트워크 시뮬레이터와 상기 장비 사이의 연관된 통신에 관한 로그 데이터를 로그 파일에 레코드하는 단계를 포함하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
테스트 받는 장비를 비-결정론적으로 테스트하도록 구성된 네트워크 시뮬레이터로서, 상기 네트워크 시뮬레이터는,
프로토콜 스택 모듈;
상기 장비와 통신하는 송신 회로; 및
테스트 애플리케이션과의 인터페이스를 구비하는 제어기를 포함하고,
상기 제어기는 프로토콜 스택 파라미터들을 포함하는 파라미터를 상기 테스트 애플리케이션으로부터 수신하고, 상기 네트워크 시뮬레이터가 상기 파라미터에 기초하여 복수의 프로그래밍된 네트워크 상태들 사이에서 연속적으로 전이하도록 동작가능하고, 상기 제어기는 각 네트워크 상태 동안 상기 테스트 받는 장비와 상기 네트워크 시뮬레이터 사이의 언스크립트된 무선 통신 기간을 모니터링하도록 동작가능하고,
상기 테스트 애플리케이션은 상기 네트워크 시뮬레이션의 파라미터를 설정하여 네트워크 상태 사이에서 전이하도록 하는 것을 특징으로 하는 네트워크 시뮬레이터.
제15항에 있어서, 상기 장비와 통신하는 상기 송신 회로는 적어도 하나의 안테나를 포함하는 것을 특징으로 하는 네트워크 시뮬레이터.