KR20070122574A - 무선 디바이스의 멀티미디어 성능의 양태를 결정하는 방법및 장치 - Google Patents

무선 디바이스의 멀티미디어 성능의 양태를 결정하는 방법및 장치 Download PDF

Info

Publication number
KR20070122574A
KR20070122574A KR1020077027131A KR20077027131A KR20070122574A KR 20070122574 A KR20070122574 A KR 20070122574A KR 1020077027131 A KR1020077027131 A KR 1020077027131A KR 20077027131 A KR20077027131 A KR 20077027131A KR 20070122574 A KR20070122574 A KR 20070122574A
Authority
KR
South Korea
Prior art keywords
test
multimedia
wireless device
data
operable
Prior art date
Application number
KR1020077027131A
Other languages
English (en)
Other versions
KR100950878B1 (ko
Inventor
파루크 우스마니
케니 포크
티아 매닝 카세트
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20070122574A publication Critical patent/KR20070122574A/ko
Application granted granted Critical
Publication of KR100950878B1 publication Critical patent/KR100950878B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/24—Arrangements for testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/273—Tester hardware, i.e. output processing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24—Transfer of terminal data
    • H04W8/245—Transfer of terminal data from a network towards a terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

장치 및 방법은, 무선 디바이스로 다운로딩가능한 테스트 스크립트를 포함하는 테스트 구성의 실행에 기초하여, 무선 디바이스의 멀티미디어 API 의 실행 및 테스트하도록 동작가능한 멀티미디어 테스트 엔진을 포함할 수도 있다. 테스트 엔진은, 무선 디바이스 상의 메모리 내에 상주하고, 테스트 구성에 기초하여, 멀티미디어 테스트 데이터, 일부 경우에는, 무선 디바이스 성능 데이터를 수집하고, 수집된 데이터를 분석하고 그 수집된 데이터를 인증된 사용자가 볼 수 있게 멀티미디어 API 테스트 레포트를 발생시키도록 동작가능한 또 다른 디바이스로 포워딩하도록 동작가능하다.
멀티미디어 API, 무선 네트워크, 멀티미디어 테스트 구성, 테스트 스크립트

Description

무선 디바이스의 멀티미디어 성능의 양태를 결정하는 방법 및 장치{METHODS AND APPARATUS FOR DETERMINING ASPECTS OF MULTIMEDIA PERFORMANCE OF A WIRELESS DEVICE}
35 U.S.C. §119 에 따른 우선권 주장
본 특허출원은, 2005년 4월 21일에 출원되고, 본 발명의 양수인에게 양도되어, 여기에 참조로서 명백히 포함되는, 발명의 명칭이 "멀티미디어 테스트 엔진을 무선 디바이스에 제공하는 방법 및 장치 (Methods And Apparatus For Providing Multimedia Test Engines For A Wireless Device)" 인, 가출원번호 제60/674,108호를 우선권 주장한다.
배경
일반적으로 기술된 실시형태들은 무선 통신 디바이스 및 소프트웨어 테스트에 관한 것이다. 더 상세하게는, 기술된 실시형태들은, 무선 디바이스 상의 멀티미디어 API (Application Programming Interface; 애플리케이션 프로그래밍 인터페이스) 를 테스트하는 구조에 관한 것이다.
무선 네트워크는, 구리선이나 광케이블과 같은 직접적인 전기적 접속 없이, 하나 이상의 무선 디바이스를 다른 컴퓨터 디바이스에 접속시킨다. 무선 디바이스는, 무선 또는 부분적으로 무선인 컴퓨터 네트워크에 걸쳐, 통상 패킷 형태의 데이터를 전달하고, 그 무선 디바이스가 데이터 패킷을 송수신할 수 있도록 무선 네트워크 상의 "데이터" 채널 또는 "통신" 채널을 개방한다. 종종, 무선 디바이스들은, 프로그램 및 하드웨어 컴포넌트와 같은 무선 디바이스 자원을 가지며, 이들은, 네트워크를 통해 데이터를 송수신하도록 개방된 통신 접속을 이용하는 것과 같이, 그들의 설계 및 특정 프로토콜이나 구성 (configuration) 에 따라 데이터를 이용 및 발생시키도록 개별적으로, 그리고 협동적으로 동작한다.
증가된 컴퓨팅 능력을 가진 무선 디바이스가 제조되고 있으며, 이는 개인용 컴퓨터와 동등해지고 있다. 이들 "스마트" 무선 디바이스, 이를 테면, 셀룰러 전화는, 셀룰러 전화상에서 동작하는 소프트웨어 애플리케이션을 소프트웨어 개발자가 생성하는 것을 허용하는 API 를 개발자의 로컬 컴퓨터 플랫폼상에 인스톨하고 있다. 그 API 는, 무선 디바이스 시스템 소프트웨어와 소프트웨어 애플리케이션 사이에 위치하여, 특정 셀룰러 전화 시스템 소스 코드를 갖도록 소프트웨어 개발자에게 요구함이 없이, 셀룰러 전화 기능성을 애플리케이션에 대해 이용가능하게 한다.
비디오, 오디오, 및 클립을 수신, 디스플레이, 및 송신하는 멀티미디어 피쳐는, 현재 무선 디바이스를 통해 제공되고 있는 최신 혁신들의 일부이며, 이는 배포 (release) 전에 더 길고 더 복잡한 테스트를 요구한다. 새로운 멀티미디어 애플리케이션은 새로운 API 를 요구할 수도 있기 때문에, 캐리어 및/또는 OEM (Original Equipment Manufacturer) 이 새로운 애플리케이션 프로그램을 테스트해야 할 뿐만 아니라, 모든 새로운 멀티미디어 API 를 테스트해야 한다. 더욱이, 메인 애플리케이션의 테스트는, 임의의 기본적인 API 의 사전 테스트 없이는 가능 하지 않을 수도 있다.
따라서, 멀티미디어 API 들이 그들에 의존하는 멀티미디어 애플리케이션과 관계없이 테스트되고 실행되는 테스트 구조를 제공하는 장치 및 방법을 제공하는 것이 이로울 것이다.
개요
기술된 실시형태들은, 멀티미디어 API 를 실행 및 테스트하는 시스템적이고 자동화된 방식을 제공하도록 동작가능한 장치, 방법, 컴퓨터 판독가능 매체 및 프로세서를 포함한다. 그러한 실시형태들은, 무선 디바이스 칩셋 공급자/OEM 의 회귀 테스트하는 것 (regression testing) 을 감소시킬 수도 있다. 더욱이, 애플리케이션 테스트 시간은, 애플리케이션과 관계없이 기본적인 API 를 테스트함으로써 감소될 수도 있다.
일부 양태에서, 무선 네트워크를 통해 무선 디바이스 상의 멀티미디어 API 를 테스트하는 방법은, 무선 디바이스 상에서, 하나 이상의 테스트 스크립트를 포함한 멀티미디어 테스트 구성을 획득하는 단계를 포함한다. 이 방법은, 무선 디바이스 상에서 하나 이상의 테스트 스크립트를 실행시키는 단계를 더 포함하며, 그 하나 이상의 테스트 스크립트는 무선 디바이스 상에 수록된 소정의 멀티미디어 API 를 실행하도록 동작가능하다. 또한, 이 방법은, 테스트 스크립의 실행에 기초하여, 무선 디바이스 상에, 멀티미디어 API 의 성능과 관련한 멀티미디어 테스트 데이터를 기록하는 단계를 포함한다. 부가적으로, 이 방법은, 멀티미디어 API 의 성능 분석을 위해, 기록된 멀티미디어 테스트 데이터를 포워딩하는 단계를 포함한다. 관련 양태에서, 머신-판독가능 매체는, 머신에 의해 실행될 때, 그 머신으로 하여금 상기 언급된 오퍼레이션들을 수행하게 하는 명령을 포함한다. 다른 관련 양태에서, 하나 이상의 프로세서는 상기 언급된 액션들을 수행하도록 구성된다.
다른 양태에서, 무선 디바이스는, 무선 디바이스 상에서, 하나 이상의 테스트 스크립트를 포함한 멀티미디어 테스트 구성을 획득하는 수단을 포함한다. 무선 디바이스는 또한, 무선 디바이스 상에서 하나 이상의 테스트 스크립트를 실행시키는 수단을 포함하며, 그 하나 이상의 테스트 스크립트는 무선 디바이스 상에 수록된 소정의 멀티미디어 API 를 실행하도록 동작가능하다. 또, 무선 디바이스는, 테스트 스크립트의 실행에 기초하여, 무선 디바이스 상에, 멀티미디어 API 의 성능과 관련한 멀티미디어 테스트 데이터를 기록하는 수단을 포함한다. 부가적으로, 무선 디바이스는, 멀티미디어 API 의 성능 분석을 위해, 기록된 멀티미디어 테스트 데이터를 포워딩하는 수단을 포함한다.
또 다른 양태에서, 무선 디바이스는, 처리 엔진, 및 그 처리 엔진에 인터페이스를 제공하도록 동작가능한 API 를 포함한다. 무선 디바이스는 처리 엔진에 의해 실행가능한 멀티미디어 테스트 엔진을 구비한 메모리를 더 포함한다. 멀티미디어 테스트 엔진은, API 의 성능을 호출 및 테스트하도록 동작가능한 테스트 스크립트를 갖는 테스트 구성을 포함한다. 또, 멀티미디어 테스트 엔진은 모니터링 로직 및 레포팅 로직을 포함한다. 모니터링 로직은, API 의 오퍼레이션 및 테스트 스크립트의 실행과 연관된 멀티미디어 테스트 데이터를 모니터링 및 기 록하도록 동작가능하다. 레포팅 로직은, 기록된 멀티미디어 테스트 데이터를 무선 네트워크에 걸쳐 소정의 디바이스로 포워딩하도록 동작가능하다.
추가 양태에서, 무선 네트워크를 통해 무선 디바이스 상의 멀티미디어 API 의 성능을 결정하는 방법은, 소정의 멀티미디어 API 의 성능을 테스트하도록 동작가능한 테스트 스크립트를 포함한 테스트 구성을 발생시키는 단계를 포함한다. 이 방법은, 테스트 구성을 무선 네트워크에 걸쳐 무선 디바이스로 포워딩하는 단계를 더 포함한다. 또한, 이 방법은, 테스트 구성의 실행에 기초하여 무선 네트워크에 걸쳐 무선 디바이스로부터 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 수신하고, 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 분석하는 단계를 포함한다. 부가적으로, 이 방법은, 상기 분석에 기초하여 테스트 레포트를 발생시키는 단계를 포함한다. 관련 양태에서, 머신-판독가능 매체는, 머신에 의해 실행될 때, 그 머신으로 하여금 상기 언급된 오퍼레이션들을 수행하게 하는 명령을 포함한다. 다른 관련 양태에서, 하나 이상의 프로세서가 상기 언급된 액션들을 수행하도록 동작된다.
또 다른 양태에서, 장치는, 소정의 멀티미디어 API 의 성능을 테스트하도록 동작가능한 테스트 스크립트를 포함한 테스트 구성을 발생시키는 수단을 포함한다. 또한, 이 장치는, 테스트 구성을 무선 네트워크에 걸쳐 무선 디바이스로 포워딩하는 수단을 포함한다. 또, 이 장치는, 테스트 구성의 실행에 기초하여 무선 네트워크에 걸쳐 무선 디바이스로부터 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 수신하는 수단을 포함한다. 또한, 이 장치는, 수신된 멀티미디 어 테스트 데이터 및 무선 디바이스 성능 데이터를 분석하는 수단을 포함한다. 부가적으로, 이 장치는, 상기 분석에 기초하여 테스트 레포트를 발생시키는 수단을 포함한다.
추가 양태에서, 장치는, 무선 디바이스 상에 상주하는 멀티미디어 API 를 테스트하도록 동작가능한 무선 디바이스 상의 테스트 구성의 실행에 기초하여, 무선 디바이스에 의해 수집된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 수신 및 저장하도록 동작가능한 정보 저장소 (information repository) 를 포함한다. 또한, 이 장치는, 소정의 임계값에 기초하여, 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 분석하도록 동작가능한 분석 엔진을 포함한다. 부가적으로, 이 장치는, 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터의 분석에 기초하여 테스트 레포트를 발생시키도록 동작가능한 레포트 발생기를 포함한다.
도면의 간단한 설명
이하, 개시된 실시형태들은, 그 개시된 실시형태들을 제한하기 위해서가 아닌 설명하기 위해 제공된 첨부된 도면과 함께 설명될 것이며, 동일한 도면 부호는 동일한 엘리먼트를 나타낸다.
도 1 은, 무선 디바이스의 멀티미디어 API 를 테스트하는 시스템의 일 양태의 개략도이다.
도 2 는, 도 1 의 무선 디바이스의 블록도의 일 양태이다.
도 3 은, 도 1 의 멀티미디어 분석 서버의 블록도의 일 양태이다.
도 4 는, 도 1 의 멀티미디어 분석 모듈과 연관된 구성 발생기 모듈의 일 양태의 개략도이다.
도 5 는, 도 1 의 테스트 워크스테이션의 블록도의 일 양태이다.
도 6 은, 도 1 의 셀룰러 전화 네트워크 양태의 일 양태의 개략도이다.
도 7 은, 도 1 의 멀티미디어 분석 서버와 관련하여 시스템의 오퍼레이션의 일 양태와 연관된 흐름도이다.
도 8 은, 도 1 의 무선 디바이스와 관련하여 시스템의 오퍼레이션의 일 양태와 연관된 흐름도이다.
상세한 설명
무선 디바이스 상의 API 를 테스트하는 장치 및 방법이 본 명세서 내에 설명되어 있다. 일부 비-제한적인 경우에는, 예를 들어, 테스트 결과가, 데이터 스루풋 대 품질에 대해 레포팅하고; CPU 사용에 기초하여 멀티미디어 프레임을 드롭시키고; 서로 다른 캐리어, 제조업자, 펌웨어, 및 모델 전반에 걸쳐 멀티미디어 API 성능을 비교하며; 상이한 무선 디바이스에 걸쳐 수집된 멀티미디어 데이터 품질을 비교함으로써 멀티미디어 애플리케이션을 최적화시키기 위해 사용될 수도 있다.
도 1 은, 무선 디바이스 (102) 내에 수록된 멀티미디어 API (156) 를 테스트 및 실행하도록 동작가능한 시스템 (100) 의 일 양태를 나타낸다. 일반적으로, 시스템 (100) 은, 무선 디바이스 (102), 멀티미디어 분석 서버 (104), 테스트 워크스테이션 (106), 및 시스템 컴포넌트들로 하여금 전자 통신하게 하는 무선 네트워 크 (110) 를 포함할 수도 있다. 본 명세서 내에 개시된 실시형태들은 멀티미디어 API 를 테스트하는 장치 및 방법을 설명하고 있지만, 다른 양태에서, 테스트 하의 API 는 멀티미디어 애플리케이션 및 멀티미디어 서브시스템으로 제한되지 않으며, 무선 디바이스 (102) 상에 상주하는 임의의 소프트웨어 컴포넌트를 포함할 수도 있다.
무선 디바이스 (102) 내에 수록된 방법들은, 테스트 구성 (138) 내에 수록된 하나 이상의 테스트 스크립트 (142) 및/또는 테스트 데이터를 수신하는 단계를 포함할 수도 있다. 메모리 상주 멀티미디어 테스트 엔진 (114) 에 의해 동작되는 테스트 스크립트 (142) 가 멀티미디어 애플리케이션의 오퍼레이션을 시뮬레이션하여, 멀티미디어 API (156) 로의 호출을 개시하고, 이로써 무선 디바이스 (102) 상에 상주하는 멀티미디어 서브시스템에 액세스한다. 모든 인커밍 및 아웃고잉 비디오 및 오디오 데이터는 물론, 디바이스 성능 데이터, 예를 들어, 무선 주파수 ("RF") 환경 데이터 및 데이터 스루풋이 무선 디바이스 (102) 상에서 모니터링 및 기록될 수도 있다. 또, 상기 개시된 방법들은, 무선 디바이스 (102) 와 소정의 수신지, 예를 들어, 멀티미디어 분석 서버 (104) 사이에 멀티미디어 접속을 설정할 수도 있다. 테스트 구성 (138) 에 기초하여 발생된, 기록된 데이터는, 멀티미디어 분석 서버 (104) 를 통해 호스팅된 멀티미디어 분석 모듈 (118) 로 포워딩될 수도 있으며, 여기서 그 기록된 데이터는 정보 저장소 (128) 내에 저장될 수도 있다.
분석 제어 로직 (120) 에 의해 제어되는 멀티미디어 분석 모듈 (118) 은, 분 석 엔진 (122) 및 레포트 발생기 (124) 를 더 포함할 수도 있다. 분석 엔진 (122) 에 의해 수행된 분석은, 수신된 멀티미디어 파일을 송신된 데이터와 비교하는 것, 스루풋 및 품질을 분석하는 것, 및 무선 성능 데이터를 저장된 임계값과 비교하는 것을 포함하여, 하나 이상의 API 의 성능을 결정하는 것을 포함할 수도 있다. 인증된 사용자, 예를 들어, 테스트 엔지니어 (108) 에 의해 멀티미디어 분석 서버 (104) 상에서 볼 수 있는 분석은 그래프, 차트 등을 포함할 수도 있다. 더욱이, 레포트 발생기 (124) 는, API 성능 분석, 테스트 데이터, 및 테스트 구성 중 하나 또는 임의의 조합을 포함할 수도 있는 테스트 레포트 (126) 를 발생시키도록 동작가능하다. 테스트 레포트 (126) 는, 예를 들어, 이-메일을 통해, 수신지 어드레스, 예를 들어, 테스트 워크스테이션 (106) 을 동작시키는 테스트 엔지니어 (108) 에게, 또는 API 성능에 관심이 있는 임의의 다른 소정의 상대방에게 전자적으로 전송될 수도 있다. 그러나, 그 분석 엔진 (122) 및 레포트 발생기 (124) 가 디바이스의 처리 능력과 메모리에 따라, 무선 디바이스 (102) 상에 상주할 수도 있다는 것을 알아야 한다.
더욱이, 워크스테이션 (106) 은, 유선 접속 (109) 을 통해, 또는 무선 네트워크 (110) 를 통해, 멀티미디어 분석 서버 (104) 의 기능성으로의 액세스를 테스트 엔지니어 (108) 에게 제공할 수도 있다. 시스템 (100) 의 일부 양태에서, 테스트 워크스테이션 (106) 은, 무선 디바이스 (102) 와 직접 통신할 수도 있다. 다른 양태에서, 테스트 워크스테이션 (106) 은 원격 서버 (104) 에 종속적일 수도 있으며, 여기서, 원격 서버 (104) 는 무선 디바이스 (102) 와의 접속성을 관리 하고, 무선 디바이스 (102) 로부터 정보를 요구하거나 그 무선 디바이스 (102) 와의 접속을 요구하는 디바이스, 예를 들어, 테스트 워크스테이션 (106) 의 아이덴티티를 확인하도록 동작가능하다. 예를 들어, 테스트 레포트 (126) 에 기초하여, 새로운 테스트 구성 (138) 이 발생될 수도 있고, 및/또는 하나 이상의 API 의 특성을 조정하여 그들의 성능을 주어진 테스트 구성과 관련하여 변경하도록 활동들이 수행될 수도 있다.
본 명세서 내에서 수행되는 활동들은, 제한 없이, 무선 모뎀, PCMCIA 카드, 액세스 단말기, 개인용 컴퓨터, 전화, 또는 이들의 임의의 조합이나 서브 조합을 포함한, 유선 또는 무선 통신 포털을 포함하는, 임의의 형태의 무선 디바이스 또는 컴퓨터 모듈 상에서 수행될 수도 있다.
도 2 를 참조하면, 무선 디바이스 (102) 는, 소프트웨어 애플리케이션 및 테스트 스크립트, 예를 들어, 멀티미디어 테스트 엔진 (114) 및 테스트 구성 (138) 을 수신 및 실행하고, 기록된 비디오 프레임과 무선 디바이스 성능 데이터 모두를 무선 네트워크 (110) 에 걸쳐 원격 디바이스로 송신하도록 동작가능한 컴퓨터 플랫폼 (112) 을 포함할 수도 있다.
무선 디바이스 (102) 는, 임의의 타입의 컴퓨터화된 무선 디바이스, 이를 테면, 셀룰러 전화 (102), PDA, 양방향 텍스트 페이져, 휴대용 컴퓨터, 및 심지어는 무선 통신 포털을 갖고 또한 네트워크 또는 인터넷과의 유선 접속을 가질 수도 있는 개별 컴퓨터 플랫폼을 포함할 수도 있다. 무선 디바이스는, 원격 슬레이브일 수 있고, 또는 그의 최종 사용자를 갖지 않지만, 원격 센서, 진단 툴, 및 데이 터 중계와 같이, 무선 네트워크 (110) 에 걸쳐 데이터를 간단히 전달하는 다른 디바이스일 수 있다.
무선 디바이스 (102) 는, 컴퓨터 플랫폼 (112) 에 상호 접속된 입력 메커니즘 (130) 과 출력 메커니즘 (132) 을 더 포함할 수도 있다. 입력 메커니즘 (130) 은 무선 디바이스 (102) 로의 입력을 발생시키도록 동작가능하고, 키나 키보드, 마우스, 터치-스크린 디스플레이, 및 음성 인식 모듈과 같은 메커니즘을 포함할 수도 있다. 출력 메커니즘 (132) 은, 예를 들어, 정보를 무선 디바이스 (102) 사용자에게 중계하기 위해, 디스플레이, 오디오 스피커, 및 햅틱 (haptic) 피드백 메커니즘을 포함할 수도 있다.
컴퓨터 플랫폼 (112) 은 메모리 (134) 를 포함할 수도 있으며, 그 메모리 (134) 는, ROM (Read Only Memory; 판독 전용 메모리) 및/또는 RAM (Random Access Memory; 랜덤 액세스 메모리), EPROM, EEPROM, 플래시 카드, 또는 컴퓨터 플랫폼에 공통인 임의의 메모리와 같이, 휘발성 및 불휘발성 메모리를 더 포함할 수도 있다. 또, 메모리 (134) 는, 하나 이상의 플래시 메모리 셀을 포함할 수도 있고, 또는, 자기 매체, 광학 매체, 테이프, 또는 소프트 디스크나 하드 디스크와 같이, 착탈식 메모리 디바이스와 외장형 메모리 디바이스를 포함한, 임의의 2 차 또는 3 차 저장 디바이스일 수도 있다. 부가적으로, 메모리 (134) 는, 멀티미디어 테스트 데이터 (144), 예를 들어, 수신된 이미지, 오디오 및 비디오 데이터, 처리된 이미지, 오디오 및 비디오 데이터는 물론, 무선 디바이스 성능 데이터 (146), 예를 들어, RF 환경 데이터, 스루풋 및 다른 접속 관련 데이터를 포함한 테스트 데이터를 저장하도록 동작가능할 수도 있다. 더욱이, 각 무선 디바이스 (102) 는, 메모리 (134) 내에 저장된, 디바이스 ID, 제조업자의 ID, 디바이스 하드웨어와 소프트웨어 구성, 및 특정 무선 디바이스 (102) 에 관련한 다른 정보를 포함할 수도 있는 디바이스 특성 (158) 을 가질 수도 있다. 주어진 테스트 구성 (138), 및 디바이스 특정 정보 (158) 의 일부는 테스트 데이터 (144) 내에 포함될 수도 있고, 테스트 데이터 (144) 와 함께 원격 서버 (104) 로 포워딩될 수도 있다.
또, 컴퓨터 플랫폼 (112) 은 처리 어셈블리 (160) 를 포함할 수도 있으며, 이 처리 어셈블리 (160) 는, 주문형 집적 회로 (ASIC), 또는 다른 칩셋, 프로세서, 로직 회로, 또는 메모리 (134) 내에 상주하는 애플리케이션 프로그램을 실행하도록 동작가능한 다른 데이터 처리 디바이스일 수도 있다. 처리 어셈블리 (160) 는, 무선 네트워크 (110) 를 통해, 무선 디바이스 (102) 의 기능성 및 무선 디바이스 (102) 의 운용성을 가능하게 하는, 하드웨어, 소프트웨어, 펌웨어, 실행가능한 명령, 데이터, 및 이들의 조합 내에 수록된 다양한 처리 서브시스템 (162) 을 포함한다.
더욱 상세하게는, 처리 서브시스템 (162) 은, 멀티미디어 애플리케이션 대신에 API 계층 (116) 으로부터 데이터 판독 및 데이터 기입을 수신하는 임의의 서브시스템 컴포넌트를 포함하여, 컴퓨터 플랫폼 (112) 상에서 실행하는 애플리케이션 및 다른 네트워크된 디바이스와의, 통신의 개시와 유지, 및 데이터의 교환을 허용할 수도 있다. 셀룰러 전화에서와 같이, 일 양태에서, 처리 서브시스템 (162) 은, 디스플레이 시스템 모니터 (164), 사운드 시스템 모니터 (166), 진단 시스템 모니터 (168), 불휘발성 메모리, 파일 시스템, 송신, 수신, 탐색기, 계층 1, 계층 2, 계층 3, 메인 제어, 원격 프로시저, 핸드셋, 전력 관리, 디지털 신호 프로세서, 비디오, 캠코더, 보코더, 메시징, 호 관리, BLUETOOTH 시스템, BLUETOOTH LPOS, 위치 결정, 위치 엔진, 사용자 인터페이스 (UI), 슬립 (sleep), 제한된 서비스, 보안, 인증, USIM/SIM, 음성 서비스, 그래픽, USB, 및 MPEG, GPRS 등과 같은 멀티미디어를 포함할 수도 있다.
API 계층 (116) 은, 처리 어셈블리 (160) 및 그 안에 포함된 서브시스템들과 애플리케이션 프로그램을 인터페이스하는 소프트웨어 컴포넌트를 포함한다. 일 양태에서, API 계층 (116) 은, 각각의 무선 디바이스 상에서 실행하는 런타임 환경이다. 그러한 런타임 환경의 하나는, 캘리포니아주, 샌디에고에 위치한 QUALCOMM, Inc. 에 의해 개발된 BREW (Binary Runtime Environment for Windows) 소프트웨어이다. 예를 들어, 무선 컴퓨팅 디바이스 상에서 애플리케이션의 실행을 제어하도록 동작하는 다른 런타임 환경이 이용될 수도 있다.
일부 양태에서, API 계층 (116) 은, 애플리케이션 소프트웨어로 하여금 처리 어셈블리 (160) 와 통신하게 하는, 완전히 테스트된 소프트웨어 컴포넌트, 예를 들어, API 의 수집 (154) 을 포함할 수도 있다. 더욱이, 본 명세서 내에 개시된 테스트 환경에서, API 계층 (116) 은, 멀티미디어 서브시스템을 이용하는 애플리케이션을 위해, 테스트되지 않은 멀티미디어 API (156) 를 포함하는 테스트되지 않은 API 들을 포함할 수도 있다.
일부 양태에서, 메모리 상주 멀티미디어 테스트 엔진 (114) 은, 멀티미디어 API (156), 및 기본적인 처리 서브시스템 (162) 의 대응하는 멀티미디어 부분을 테스트하도록 동작가능하다. 멀티미디어 테스트 엔진 (114) 은, 테스트 구성 (138) 의 실행에 기초하여, 주어진 멀티미디어 API 의 성능과 관련한 멀티미디어 테스트 데이터 (144) 를 수집하도록 동작가능한 모니터링 및 레포팅 로직 (136) 을 포함할 수도 있다. 테스트 데이터 (144) 는, 제한하려는 것은 아니지만, 주어진 테스트 스크립트 (142) 의 실행에 관하여 임의의 처리 서브시스템 (162) 내의 임의의 정보를 포함할 수도 있다. 예를 들어, 비-제한적인 경우에, 멀티미디어 테스트 엔진 (114) 은, 디스플레이 시스템 모니터 (164) 와 그의 BREW® extension 을 통하여, 비디오 이미지 데이터 및 스틸 이미지 데이터를 수신 및 수집한다. 유사하게, 일부 양태에서, 사운드 데이터는, 무선 디바이스 OEM 계층을 통하여, 또는 사운드 시스템 모니터 (166) 와 그의 BREW® extension 을 통하여, 수집될 수도 있다. 더욱이, 일부 양태에서, RF 환경 데이터를 포함한 무선 디바이스 성능 데이터 (146) 는, 무선 디바이스 OEM 계층, 진단 시스템 모니터 (168) 와 그의 BREW® extension, 코드 분할 다중 액세스 (CDMA) 이벤트, 및 "OTA (Over The Air)" 메시지 중 하나 이상을 통하여 수집될 수도 있다. 상기 예들은 BREW® extension 및 CDMA 프로토콜을 참조하지만, 상기 기술된 실시형태들은 임의의 타입의 API 계층 및 임의의 타입의 통신 및/또는 멀티미디어 프로토콜에 적용된다는 것을 알아야 한다. 무선 디바이스 (102) 로, 그리고 그 무선 디바이스 (102) 로부터 전송되는, 멀티미디어 파일, 예를 들어, 이미지, 비디오 및 오디오 파일은, 테스트 데이터 (144) 의 멀티미디어 테스트 데이터부 (148) 내에 저장될 수도 있 다.
모니터링 및 레포팅 로직 (136) 은, 또한, 원격 디바이스, 예를 들어, 멀티미디어 분석 서버 (104) 및 테스트 워크스테이션 (106) 으로부터 송신된 제어 커맨드 (176; 도 3 참조) 를 검출하도록 동작가능하다. 제어 커맨드 (176) 의 수신 시에, 모니터링 및 레포팅 로직 (136) 은, 커맨드를 분석하여 적절한 액션을 결정하도록 동작가능하다. 예를 들어, 테스트 구성 (138) 을 다운로딩하도록 무선 디바이스 (102) 에 명령하는 부트스트랩 커맨드가 수신될 수도 있다. 또 다른 커맨드는, 멀티미디어 분석 서버 (104) 로의 테스트 데이터 (144) 의 전송을 요구할 수도 있다. 일부 실시형태에서, 테스트 데이터 (144) 는 테스트 스크립트 (142) 의 완료 시에 업로딩될 수도 있다. 다른 실시형태에서, 모니터링 및 레포팅 로직 (136) 은, 테스트 데이터 (144) 의 일부, 예를 들어, 성능 데이터 (146) 를, 테스트 스크립트 (142) 의 실행 동안 임의의 시점에서 그 데이터가 이용가능해질 때 업로딩할 수도 있다.
멀티미디어 테스트 엔진 (114) 은, 제한하려는 것은 아니지만, 무선 디바이스 (102) 에 물리적으로 부착되거나, 그 무선 디바이스 (102) 와 전기 통신하고 있는 임의의 통신 디바이스, 예를 들어, 멀티미디어 분석 서버 (104) 로부터 다운로딩되는 것을 포함하는 다양한 메커니즘에 의해, 메모리 (134) 로 로딩될 수도 있다.
더욱이, 멀티미디어 테스트 엔진 (114) 은, 일 세트의 테스트 스크립트 (142) 및 일 세트의 테스트 파라미터 (140) 를 포함할 수도 있는 테스트 구성 (138) 을 수신하도록 동작가능하다. 일 양태에서, 테스트 스크립트 (142) 는, 예를 들어, 테스트 엔지니어 (108) 에 의해, 제한하려는 것은 아니지만, PHP (Hypertext Preprocessor), PERL (Practical Extraction and Report Language), XML (eXtensible Mark-up Language), 사용자 언어, 및 이들의 임의의 조합을 포함하는, 처리 어셈블리 (160) 에 의해 실행가능한 임의의 소프트웨어 언어로 기입될 수도 있다. 모니터링 및 레포팅 로직 (136) 의 제어 하의 테스트 스크립트 (142) 는, 멀티미디어 API (156) 의 기능성을 테스트 및 실행하도록 동작가능하고, 단일 스레드될 수도 있고 또는 다수 스레드를 개시할 수도 있다.
테스트 구성 (138) 은, 모니터링 및 레포팅 로직 (136) 에 의해 이용되는 구성가능한 테스트 파라미터 (140) 를 포함하여, 수행 중인 테스트를 모니터링하고, 송수신된 멀티미디어 데이터를 저장하여, 그 결과를 결정된 어드레스로 포워딩할 수도 있다. 예를 들어, 테스트 파라미터 (140) 는, 제한하려는 것은 아니지만, CDMA 시스템용 "Searcher and Finger Info", UMTS 시스템용 "WCDMA Finger Info for TA", 핸드오프, 신호 강도, 및 인/아웃 서비스 이벤트 등을 포함한, RF 환경 데이터를 포함하는 성능 테스트 데이터를 축적하도록 모니터링 및 레포팅 로직 (136) 에 명령할 수도 있다. 또한, 무선 디바이스 (102) 에 특정한 데이터, 예를 들어, 펌웨어, 소프트웨어, 하드웨어, 모델, 제조업자, 무선 ID 가 기록될 수도 있다. 더욱이, 일부 실시형태에서는, 테스트 파라미터 (140) 가 테스트 구성 (138) 내에 개별 컴포넌트를 포함할 수도 있지만, 다른 실시형태에서는, 테스트 파라미터 (140) 는 테스트 스크립트 (142) 내에 포함될 수도 있다.
더욱이, 테스트 파라미터 (140) 는, 멀티미디어 분석 서버 (104) 로의 테스트 결과를 전송하는 타이밍 및 수신지를 제어하는 구성가능한 레포팅 파라미터를 포함할 수도 있다. 예를 들어, 테스트 결과는, 그 결과가 이용가능해질 때, 또는 테스트 스크립트들 (142) 각각 또는 테스트 스크립트들 (142) 모두의 완료 시에 송신될 수도 있다. 더욱이, 다른 실시형태에서, 모니터링 및 레포팅 로직 (136) 은, 멀티미디어 분석 서버 (104) 에 의해 발행된 커맨드에 대한 응답으로서 테스트 결과를 멀티미디어 분석 서버 (104) 에 업로딩할 수도 있다. 테스트 결과의 수신 시에, 멀티미디어 분석 서버 (104) 는, 수신을 확인응답하는 메시지를 무선 디바이스 (102) 로 다시 송신할 수도 있다.
컴퓨터 플랫폼 (112) 은, 무선 디바이스 (102) 와 무선 네트워크 (110) 의 다양한 컴포넌트들 사이에서 통신을 가능하게 하도록 동작가능한, 하드웨어, 소프트웨어, 실행가능한 명령, 데이터, 및 이들의 조합 내에 수록된 통신 모듈 (170) 을 더 포함할 수도 있다. 통신 모듈 (170) 은, 무선 디바이스로의 임의의 진입 시점, 및/또는 그 무선 디바이스로부터의 임의의 퇴출 시점을 포함할 수도 있는 임의의 컴포넌트/포트/인터페이스를 포함할 수도 있다. 그와 같이, 통신 모듈 (170) 은, 배선에 의해 접속된 통신을 위한, 그리고 무선 통신을 위한 인터페이스 컴포넌트를 포함할 수도 있다.
일 양태에서, 선택된 데이터는, 개방된 접속에 걸쳐 진행중인 음성 또는 데이터 호에 대해 "피기백하여", 무선 디바이스 (102) 와 무선 네트워크 (110) 사이의 개방된 통신 접속에 의해 송신될 수도 있다. 대안으로, 셀룰러 네트워크 구 성에서, 테스트 데이터 (144) 는, 단문 메시지 (SMS), FTP (File Transfer Protocol; 파일 전송 프로토콜), 및 HTTP (Hypertext Transfer Protocol; 하이퍼텍스트 전송 프로토콜) 을 통하여 멀티미디어 분석 서버 (104) 에 송신될 수도 있다. 더욱이, 사전 언급된 것처럼, 멀티미디어 분석 서버 (104) 의 다른 양태는, 스케쥴링된 원리나 애드 혹 원리에 따라, 네트워크 (110) 에 걸쳐 무선 디바이스 (102) 로부터 테스트 데이터 (144) 를 "획득 (pull)" 할 수도 있다.
일부 양태에서, 무선 디바이스 (102) 와 원격 디바이스, 예를 들어, 멀티미디어 분석 서버 (104) 및 테스트 워크스테이션 (106) 과의 사이의 데이터 송신은, 무선 네트워크 (110) 를 통하여 제한된-액세스 통신 채널 상에서 송신될 수도 있다. 통신 채널은, 제한된 서비스 구성 (150) 에 기초하여 설정될 수도 있고, 멀티미디어 분석 서버 (104) 로 테스트 데이터 (144) 를 송신하고 멀티미디어 테스트 엔진 (114) 의 적어도 일부 및 테스트 구성 (138) 을 무선 디바이스 (102) 로 다운로딩하기 위해 사용될 수도 있다. 제한된 액세스 통신 채널은, 일반적으로는 최종 사용자에게 이용가능하지 않고, 허용가능한 타입의 통신을 식별하는 제한된 서비스 세팅 (152), 및 이용될 수도 있는 연관된 통신 채널에 기초하여 구성될 수도 있다. 제한된 서비스 구성 (150) 은, 무선 네트워크 (110) 를 통해 다운로딩될 수도 있고, 직렬 접속을 통하여, 무선 디바이스 (102) 로 로컬 전송될 수도 있으며, 또는 무선 디바이스 (102) 상으로 사전 로딩될 수도 있다.
도 3 을 참조하면, 멀티미디어 분석 서버 (104; 또는 복수의 서버들) 는, 통신 모듈 (186) 에 의해, 테스트 구성 (138) 을 포함한 소프트 에이전트나 애플리케 이션, 이를 테면, 멀티미디어 테스트 엔진 (114) 의 임의의 부분을, 무선 네트워크 (110) 에 걸쳐 무선 디바이스 (102) 로 전송할 수도 있다. 멀티미디어 분석 서버 (104) 는, 임의의 타입의 서버, 개인용 컴퓨터, 미니 컴퓨터, 메인프레임 컴퓨터, 또는 특수 목적 컴퓨팅 디바이스나 일반 컴퓨팅 디바이스 중 임의의 컴퓨팅 디바이스, 예를 들어, 프로세서 어셈블리 (184) 중 하나 이상을 포함할 수도 있다. 또, 이용가능한 포맷의 데이터를 상대방들에게 제공하고, 및/또는 무선 디바이스 (102) 와 멀티미디어 분석 서버 (104) 사이의 데이터 흐름 제어의 개별 계층을 제공하도록 협력하여 작동하는 멀티미디어 분석 서버 (104) 와 연관된 개별 서버 또는 컴퓨터 디바이스가 존재할 수도 있다.
멀티미디어 분석 서버 (104) 는, 메모리 (172), 및 소프트웨어, 하드웨어, 데이터, 및 일반적으로는, 하나 이상의 무선 디바이스 (102) 로부터의 테스트 데이터 (144) 의 수집 및 레포팅을 관리하도록 동작가능한 임의의 실행가능한 명령을 포함한 메모리 상주 멀티미디어 분석 모듈 (118) 을 더 포함할 수도 있다. 예를 들어, 멀티미디어 분석 서버 (104) 는, 멀티미디어 분석 모듈 (118) 의 모든 컴포넌트들의 오퍼레이션을 제어하도록 동작가능한 분석 제어 로직 (120) 을 포함할 수도 있다.
멀티미디어 분석 모듈 (118) 은, 무선 디바이스 (102) 로부터 수신된 테스트 데이터 (144) 를 저장하는 정보 저장소 (128) 를 더 포함할 수도 있으며, 임의의 타입의 메모리 또는 저장 디바이스를 포함할 수도 있다. 더욱이, 정보 저장소 (128) 는, 테스트 엔진 (114) 으로부터 수신된 데이터와 추후 비교될, 무선 디바이 스 (102) 로 송신된 멀티미디어 데이터 (182) 를 저장할 수도 있다.
더욱이, 멀티미디어 분석 모듈 (118) 은, 제어 로직 (120) 의 실행에 의해, 무선 디바이스 (102) 를 통해 제어 커맨드 (176) 를 직접 실행시키거나 로컬 실행을 위해 무선 디바이스 (102) 로 제어 커맨드 (176) 를 송신하거나 어느 하나를 행하도록 동작가능한 디바이스 제어 모듈 (174) 을 포함할 수도 있다.
사전 개시된 바와 같이, 멀티미디어 분석 모듈 (118) 은, 무선 디바이스 테스트 데이터 (144) 를 수신하고, 그 데이터를 정보 저장소 (128) 에 저장하고, 데이터를 분석하여, 그 결과를 테스트 엔지니어 (108) 에게 제시하도록 동작가능하다. 분석은, 제한하려는 것은 아니지만, 데이터 스루풋 대 품질에 대한 레포트 및 표시; 처리 엔진 (160) 사용에 기초하여 드롭된 프레임 (비디오 및/또는 오디오); 다수의 제조업자, 펌웨어, 및 모델 전반에 걸친 멀티미디어 API 성능의 비교; 및 상이한 무선 디바이스들 사이의 멀티미디어 데이터 품질의 비교를 포함할 수도 있다.
일부 실시형태에서, 그 분석은, 예를 들어, 무선 디바이스 (102) 로부터 수신된 비디오 및 사운드 프레임을, 무선 디바이스 (102) 로 송신된 비디오 및 사운드 프레임과 비교하는 것과 같이, 수신된 테스트 데이터 (144) 를 분석 및 해석하기 위해, 하드웨어, 소프트웨어, 펌웨어, 데이터, 의사결정 루틴, 통계적 프로그램, 퍼지 로직, 발견적 관계 (heuristic relationship), 신경 네트워크 (neural network) 중 하나 또는 임의의 조합을 포함할 수도 있는, 분석 엔진 (122) 에 의해 수행될 수도 있다. 더욱이, 분석 엔진 (122) 은, 테스트 데이터 (144) 의 일부 로서 정보 저장소 (128) 내에 저장된 성능 데이터 (146) 를, 소정의 임계값 (180) 과 비교할 수도 있다. 그와 같은 임계 데이터는, RF 환경 데이터, 드롭된 프레임 등을 포함할 수도 있다.
예를 들어, 비디오 회의 관련 API 가 테스트되는 경우에, 분석 엔진 (122) 은, 하나 이상의 API 의 성능을 결정하기 위하여 상주하는 소스 이미지 데이터와 비교될 수도 있는, 수신된 이미지 데이터를 포함한 테스트 데이터 (144) 를 수신할 수도 있다. 예를 들어, 수신된 이미지 데이터 및 소스 이미지 데이터는, 픽셀 손실을 결정하도록 픽셀 대 픽셀 원리에 따라 비교될 수도 있다. 다른 예에서, 분석 엔진 (122) 은, RF 환경 데이터와 같은 수신된 성능 데이터 (146) 를, 수신된 이미지 데이터 품질과 관련한 조건의 식별 시도 시에 상기 기술된 픽셀 대 픽셀 분석과 상관시킬 수도 있다.
분석 엔진 (122) 의 결과를 제공하는 것 이외에, 멀티미디어 분석 모듈 (118) 은, 테이블, 맵, 그래픽 뷰, 플레인 텍스트, 대화형 프로그램이나 웹 페이지와 같은 임의의 형태의, 무선 디바이스 (102) 로부터 수집된 멀티미디어 및 RF 관련 테스트 정보의 레디 뷰 (ready view), 또는 데이터의 임의의 다른 디스플레이나 표시를 제시하도록 동작가능하다. 예를 들어, 멀티미디어 및 RF 관련 테스트 정보는, HTTP, HTTPS, FTP, 또는 일부 다른 데이터 전송 프로토콜에 의해, 원격 서버 (104) 와 액세스하는 테스트 엔지니어 (108) 에 의해 온라인으로 볼 수도 있다.
더욱이, 그래프를 포함한 완전한 분석을 인증된 사용자, 예를 들어, 테스트 엔지니어 (108) 에게 제시하는 것 이외에, 멀티미디어 분석 모듈 (118) 은, 전자 메시지, 예를 들어, 이-메일 및 팩시밀리를, 데이터의 가용도의 수신을 통지하는 테스트 워크스테이션 (106) 과 같은 디바이스에 발생하도록 동작가능할 수도 있다. 그러한 메시지는, 분석된 데이터에 기초하여 레포트 발생기 모듈 (124) 에 의해 생성된 레포트 (126) 를 더 포함할 수도 있다.
멀티미디어 분석 모듈 (118) 은, 무선 디바이스 (102) 상에 로딩된 테스트 구성 (138) 을 발생시키도록 동작가능한 구성 발생기 모듈 (178) 을 더 포함할 수도 있다. 도 4 를 참조하면, 구성 발생기 모듈 (178) 의 일 실시형태는, 하드웨어, 소프트웨어, 펌웨어, 실행가능한 명령, 데이터, 및/또는 그 구성 발생기 모듈 (178) 이 테스트 구성 (138) 을 발생시키는 것을 허용하는 임의의 다른 연관된 로직을 포함할 수도 있다. 일부 양태에서, 구성 발생기 모듈 (178) 은, 복수의 선택가능한 테스트 스크립트로부터의 선택 및 다른 파라미터에 기초하여 주어진 테스트 구성 (138) 의 다양한 컴포넌트들을 어셈블링하는 구성 로직 (202) 을 실행하도록 동작가능할 수도 있다.
예를 들어, 테스트 엔지니어 (108) 는, 원격 서버 (104) 를 통해 다수의 세트의 테스트 스크립트 (142) 를 로딩할 수도 있다. 그러나, 테스트 엔지니어 (108) 는, 복수의 테스트 스크립트 (194) 중 서브세트만을 테스트하길 원할 수도 있다. 따라서, 테스트 구성 (138) 을 형성할 때, 원하는 테스트 스크립트 (142) 만이 무선 디바이스 (102) 로 다운로딩되도록 테스트 구성으로 로딩될 것이다.
일부 양태에서, 구성 발생기 모듈 (178) 은, 테스트 구성 (138) 의 일부로서 송신되고 도 2 에서 테스트 파라미터 (140) 로 총칭되는 복수의 파라미터를 구성할 수도 있다. 일부 양태에서, 테스트 파라미터 (140) 는, 복수의 레포팅 파라미터 (190) 로부터 선택된 하나 이상의 레포팅 파라미터를 포함할 수도 있다. 복수의 레포팅 파라미터 (190) 각각은, 제한하려는 것은 아니지만, 스케쥴링된 이벤트의 발생 시, 소정의 시간에, 소정의 간격으로, 원격 서버 (104) 및 테스트 워크스테이션 (106) 과 같은 원격 디바이스에 의해 커맨드를 수신할 때 업로딩하는 것을 포함하여, 대응하는 수집된 통계가 원격 서버 (104) 로 업로딩될 수도 있을 때 결정할 수도 있다.
일 양태에서, 무선 디바이스 (102) 는, 멀티미디어 테스트 데이터 (144) 를 멀티미디어 분석 서버 (104) 로 전송할 수도 있다. 다른 실시형태에서, 테스트 엔지니어 (108) 는, 그 멀티미디어 테스트 데이터 (144) 가 또 다른 디바이스 상에 저장되길 원할 수도 있다. 따라서, 복수의 레포팅 파라미터는, 업로딩된 멀티미디어 테스트 데이터 (144) 의 수신지 어드레스를 포함할 수도 있다.
더욱이, API (156) 를 실행 및 테스트하는 것은, 멀티미디어 분석 서버 (104) 및 테스트 워크스테이션 (106) 을 포함할 수도 있는 멀티미디어 공급자를 시뮬레이션하는 디바이스와 무선 디바이스 (102) 사이에서 멀티미디어 파일을 전송하는 것을 포함할 수도 있다. 따라서, 복수의 레포팅 파라미터 (190) 는, 멀티미디어 테스트 엔진 (114) 이 멀티미디어 데이터 공급자와 데이터 전송을 실행할 수도 있는 네트워크 디바이스의 어드레스를 포함할 수도 있다. 그와 같은 디바이스는, 테스트 워크스테이션 (106) 및 멀티미디어 분석 서버 (104) 를 포함할 수도 있다.
또한, 구성 발생기 모듈 (178) 은, 하나 이상의 파라미터가 선택될 수도 있는 복수의 무선 디바이스 성능 파라미터 (192) 를 포함할 수도 있다. 그 복수의 무선 디바이스 성능 파라미터 (192) 는, 인증된 사용자로 하여금 멀티미디어 테스트 엔진 (114) 을 구성하게 하여, 무선 성능 및 테스트와 관련 및/또는 연관될 수도 있는 임의의 소정의 파라미터, 예를 들어, RF 환경 파라미터 및 드롭된 프레임 등을 모니터링 및 레포팅한다.
또한, 다양한 파라미터를 개별적으로 선택하기보다는, 구성 발생기 모듈 (178) 은, 테스트 구성 (138) 을 포함한 상기 언급된 파라미터들의 소정의 그룹을 포함하는 복수의 소정의 구성 (196) 의 메뉴로부터 선택할 능력을 사용자에게 제공할 수도 있다.
또, 일부 양태에서, 복수의 무선 디바이스 타입들/모델들 (200) 중 선택된 무선 디바이스 타입/모델, 및 복수의 네트워크 서비스 공급자들/통신 프로토콜들 (198) 중 선택된 네트워크 서비스 공급자/통신 프로토콜이 복수의 무선 디바이스 성능 파라미터들 (192) 중 주어진 파라미터와 상관될 수도 있다. 예를 들어, 어떤 파라미터들은 CDMA 허용된 시스템상에서 이용불가능할 수도 있고, 또는 적절하지 않을 수도 있지만, UMTS 시스템상에서 이용가능할 수도 있으며, 그 역도 또한 마찬가지다. 따라서, 구성 로직 (202) 은, 연관된 디바이스 타입, 네트워크 캐리어 및/또는 통신 프로토콜에 기초하여, 무선 디바이스 (102) 가 인스톨해야 하는 것이 어느 호 모니터링 능력인지를 결정할 수도 있고, 따라서, 적절한 세트의 대응 하는 파라미터를 포함한 테스트 구성 (138) 을 발생시킬 수도 있다.
더욱이, 상이한 네트워크 공급자는, 상이한 모바일 기술, 예를 들어, CDMA 및 UMTS 를 이용할 수도 있다. 따라서, 테스트 구성 (138) 을 이루는 파라미터들은, 무선 디바이스의 타입/구성/모델 및/또는 네트워크 서비스 공급자/통신 프로토콜에 따라 변할 수도 있다. 그와 같이, 구성 로직 (202) 은, 테스트 구성 (138) 의 파라미터를 선택하기 위한 적절한 메뉴를 발생시키기 위하여, 복수의 무선 디바이스 타입들/모델들 (200) 및 복수의 네트워크 서비스 공급자들/통신 프로토콜들 (198) 의 메뉴로부터 선택할 능력을 사용자에게 제공할 수도 있다.
일단, 주어진 구성 (138) 의 특정 파라미터가 결정된다면, 구성 로직 (202) 은, 고유의 구성 ID (204) 를 주어진 구성에 할당하여, 복수의 소정의 모니터링 테스트 구성들 (196) 사이와 같이, 추후 재호출을 위해 이 구성을 라이브러리에 저장할 수도 있다. 또, 구성 로직 (202), 및/또는 멀티미디어 분석 모듈 (118) 의 다른 컴포넌트, 예를 들어, 통신 모듈 (186; 도 3) 은, 하나 이상의 무선 디바이스 (102) 로 테스트 구성 (138) 을 송신하여 그 디바이스 상의 멀티미디어 API 의 실행 및 테스트를 개시하도록 동작가능할 수도 있다.
멀티미디어 분석 모듈 (118) 의 개시된 컴포넌트들의 실제 위치는, 비-제한적이며, 무선 네트워크 (110) 에 접속된 서버나 다른 디바이스 상에 물리적으로 위치될 수도 있다.
도 5 를 참조하면, 테스트 워크스테이션 (106) 은 일반적으로, 인터페이스를 멀티미디어 분석 서버 (104) 에 제공하여 본 명세서 내에 기술된 기능성에 액세스 한다. 다른 양태에서, 시스템의 하나 이상의 기능성은, 테스트 워크스테이션 (106) 내에 상주할 수도 있다. 일부 양태에서, 테스트 워크스테이션 (106) 은, 테스트 엔지니어 (108) 에 의해 발생된 일 세트의 테스트 스크립트 (142) 를 저장하고, 무선 디바이스 (102) 로 직접적으로, 및/또는 멀티미디어 분석 서버 (104) 에 의해 간접적으로 이들 스크립트를 다운로딩하도록 동작가능할 수도 있다. 더욱이, 테스트 워크스테이션 (106) 은, 멀티미디어 분석 서버 (104) 에 의해 송신된 레포트 (126) 를 수신하도록 동작가능하고, 또는 멀티미디어 분석 서버 (104) 를 통해 분석 엔진 (122) 의 결과를 볼 수도 있다. 또한, 무선 디바이스 (102) 가 메모리 내에 상주하는 멀티미디어 테스트 엔진 (114) 을 갖지 않을 수도 있기 때문에, 테스트 워크스테이션 (106) 이 직접적으로, 또는 멀티미디어 분석 서버 (104) 에 의해 간접적으로 멀티미디어 테스트 엔진 (114) 을 무선 디바이스 (102) 로 다운로딩하도록 동작가능하다.
테스트 워크스테이션 (106) 은, 무선 디바이스 (102) 와 원격 서버 (104) 모두와 통신하도록 동작가능한 임의의 타입의 서버, 개인용 컴퓨터, 미니 컴퓨터, 메인프레임 컴퓨터, 단말기, 또는 특수 목적 컴퓨팅 디바이스나 일반 컴퓨팅 디바이스 중 어느 하나의 컴퓨팅 디바이스 중 하나 이상을 포함할 수도 있다. 일 양태에서, 테스트 워크스테이션 (106) 은, 처리 어셈블리 (238), 및 테스트 워크스테이션 (106), 원격 서버 (104), 무선 디바이스 (102) 는 물론, 무선 네트워크 (110) 상의 임의의 네트워크 컴포넌트 사이에서 메시지 및 데이터를 송수신하도록 동작가능한 통신 모듈 (240) 을 포함할 수도 있다. 다른 양태에서, 테스트 워크스테 이션 (106) 은, 무선 네트워크 (110) 의 임의의 네트워크 디바이스, 이를 테면, 멀티미디어 분석 서버 (104), 그 네트워크 접속된 다른 서버, 또는 심지어는 무선 디바이스 (102) 상에 상주할 수도 있다.
테스트 워크스테이션 (106) 은, 컴퓨터 플랫폼 (224) 에 상호접속된 입력 메커니즘 (220) 과 출력 메커니즘 (222) 을 더 포함할 수도 있다. 입력 메커니즘 (220) 과 출력 메커니즘 (222) 은, 테스트 엔지니어 (108) 가 테스트 워크스테이션 (106), 멀티미디어 분석 서버 (104), 및 궁극적으로는 무선 디바이스 (102) 와 상호작용하도록 허용할 수도 있다.
워크스테이션 컴퓨터 플랫폼 (224) 은, 애플리케이션, 예를 들어, 워크스테이션 제어 모듈 (228) 및 데이터 파일, 예를 들어, 테스트 스크립트 (142) 를 저장하는 메모리 (226) 를 더 포함할 수도 있다. 테스트 워크스테이션 (106) 의 수 및 엔지니어 (18) 의 수가 비-제한적이기 때문에, 사용자 ID (234) 는 테스트 엔지니어 (108) 에 의해 메모리 (226) 내에 등록될 수도 있고, 원격 서버 (104) 와 무선 디바이스 (102) 를 포함한 네트워크 컴포넌트에 대한 개개의 테스트 워크스테이션 (106) 의 사용자를 식별하도록 동작가능할 수도 있다.
워크스테이션 제어 모듈 (228) 은, GUI (Graphic User Interface) 로직 (232), 입력 메커니즘 (220), 및 출력 메커니즘 (222) 과 함께 동작하는 워크스테이션 인증 로직 (230) 을 더 포함하여, 임의의 분석 및 커맨드 활동 선택 및 송신을 통하여 테스트 엔지니어 (108) 를 안내할 수도 있다. GUI 로직 (232) 은, 예를 들어, 이-메일 통신, 레포트 표시를 제어할 수도 있을 뿐만 아니라, 메뉴를 제 공할 수도 있으며, 그 메뉴에 의해, 디바이스 제어 모듈 (174) 은 멀티미디어 분석 모듈 (118) 의 디바이스 제어 모듈에 대한 구조 및 기능에 있어서 유사하다. 더욱이, 테스트 워크스테이션 (106) 상에 저장된, 멀티미디어 테스트 엔진 (114) 의 카피는, 테스트 운영자 (108) 가 멀티미디어 테스트 엔진 (114) 의 적어도 일부를 무선 디바이스 (102) 와 멀티미디어 분석 서버 (104) 로 송신하도록 허용할 수도 있다.
다시 도 1 을 참조하면, 무선 네트워크 (110) 는, 무선 디바이스 (102) 와 무선 네트워크 (110) 에 접속된 임의의 디바이스 사이에서 무선 통신을 가능하게 하기 위해, 적어도 부분적으로 동작가능한 임의의 통신 네트워크를 포함한다. 또, 무선 네트워크 (110) 는, 네트워크 컴포넌트들 모두, 및 그 네트워크를 형성하는 접속된 디바이스들 모두를 포함할 수도 있다. 예를 들어, 무선 네트워크 (110) 는, 셀룰러 전화 네트워크; 캘리포니아주, 샌디에고 소재의 QUALCOMM, Inc. 로부터 입수가능한 MEDIAFLOM 시스템과 같이, FLO (Forward Link Only) 네트워크와 같은 멀티캐스트 네트워크; 위성용 DVB (Digital Video Broadcasting)-S, 케이블용 DVB-C, 지상 TV 용 DVB-T, 핸드헬드를 위한 지상 TV 용 DVB-H 와 같은 DVB 네트워크; 지상 전화 네트워크; 위성 전화 네트워크; IrDA (Infrared Data Association; 적외선 통신 규격) 기반 네트워크와 같은 적외선 네트워크; 단거리 무선 네트워크; BLUETOOTH 기술 네트워크; ZIGBEE 프로토콜 네트워크; UWB (Ultra Wide Band; 초광대역) 프로토콜 네트워크; HomeRF (Home Radio Frequency; 홈 무선 주파수) 네트워 크; SWAP (Shared Wireless Access Protocol; 공유 무선 액세스 프로토콜) 네트워크; WECA (Wireless Ethernet Compatibility Alliance; 무선 이더넷 호환성 협회) 네트워크, Wi-Fi Alliance (Wireless Fidelity Alliance) 및 802.11 네트워크와 같은 광대역 네트워크; 인터넷과 같은 공중 이종의 통신 네트워크 (public heterogeneous communication network); 사설 통신 네트워크; 및 육상 모바일 무선 네트워크 중 하나 이상 또는 임의의 조합을 포함할 수도 있다.
전화 네트워크의 적절한 예는, CDMA, WCDMA (광대역 코드 분할 다중 액세스), UMTS (Universal Mobile Telecommunications system), AMPS (Advanced Mobile Phone Service), TDMA (시분할 다중 액세스), FDMA (주파수 분할 다중 액세스), OFDMA (직교 주파수 분할 다중 액세스), GSM (Global system for mobile communication), 단일 캐리어 (1X) RTT (무선 송신 기술), EV-DO (EVolution Data Only) 기술, GPRS (General Packet Radio Service), EDGE (Enhanced Data GSM Environment; 개선된 데이터 GSM 환경), HSPDA (High Speed Downlink Data Packet Access), 아날로그와 디지털 위성 시스템과 같은 아날로그와 디지털 네트워크/기술, 및 무선 통신 네트워크와 데이터 통신 네트워크 중 하나 이상에서 사용될 수도 있는 임의의 다른 기술/프로토콜 중 하나 이상, 또는 임의의 조합을 포함한다.
도 6 을 참조하면, 셀룰러 무선 시스템 (242) 의 양태는, 하나 이상의 무선 디바이스 (102) 및 캐리어 네트워크 (254) 에 의해 유선 네트워크 (250) 에 접속된 셀룰러 전화 무선 네트워크 (258) 를 포함한다. 셀룰러 전화 무선 네트워크 (258) 는, 단지 예시적이며, 임의의 시스템을 포함하여, 서로의 사이 (between and among) 에서, 및/또는 제한 없이, 무선 네트워크 캐리어 및/또는 서버를 포함한 무선 네트워크 (258) 의 컴포넌트들 사이 (between and among) 에서, 공중 경유로 음성 및 데이터를 포함하는 패킷을 전달한다.
셀룰러 무선 시스템 (242) 에 의하면, 멀티미디어 분석 서버 (104) 는, 유선 네트워크 (250) (예를 들어, LAN) 를 통해, 무선 디바이스 (102) 로부터 수집된 멀티미디어 테스트 결과 (144) 를 저장한 데이터 저장소 (244) 와 통신할 수도 있다. 또, 데이터 관리 서버 (248) 는, 멀티미디어 분석 서버 (104) 와 통신하여 사후 처리 능력, 데이터 흐름 제어 등을 제공할 수도 있다. 멀티미디어 분석 서버 (104), 데이터 저장소 (244), 및 데이터 관리 서버 (248) 는, 셀룰러 통신 서비스를 제공할 필요가 있는 임의의 다른 네트워크 컴포넌트와 함께 셀룰러 무선 시스템 (242) 상에 존재할 수도 있다.
멀티미디어 분석 서버 (104), 및/또는 데이터 관리 서버 (248) 는, 인터넷, 보안 LAN, WAN, 또는 다른 네트워크와 같이, 데이터 링크 (252 및 250) 를 통하여 캐리어 네트워크 (254) 와 통신할 수도 있다. 캐리어 네트워크 (254) 는, 모바일 스위칭 센터 (MSC; 260) 로 전송되는 메시지 (일반적으로는, 데이터 패킷) 를 제어한다. 또, 캐리어 네트워크 (254) 는, 인터넷, 및/또는 POTS (Plain Old Telephone Service) 와 같이, 네트워크 (256) 에 의해 MSC (260) 와 통신한다. 통상, 네트워크 (258) 에서, 네트워크나 인터넷부는 데이터를 전송하고, POTS 부는 음성 정보를 전송한다. MSC (260) 는, 데이터 전송을 위한 데이터 네트워크 및/또는 인터넷부, 및 음성 정보를 위한 POTS 부와 같이, 또 다른 네트워크 (262) 에 의해 다수의 BTS (기지국; 264) 에 접속될 수도 있다. BTS (264) 는 궁극적으로, SMS, 또는 다른 OTA 방법에 의해, 무선 디바이스 (102) 로 메시지를 무선 브로드캐스팅한다.
도 7 및 도 8 을 참조하면, 일부 양태에서, 무선 디바이스 상의 멀티미디어 API 를 자동으로 실행 및 테스트하는 방법은, 단계 274 및 단계 276 에서, 멀티미디어 분석 서버 (104) 로부터 무선 디바이스 (102) 로 멀티미디어 테스트 엔진 (114) 을 다운로딩하는 단계를 포함할 수도 있다. 다른 양태에서, 멀티미디어 테스트 엔진 (114) 은, 제한하려는 것은 아니지만, 무선 네트워크 (110) 에 접속된 임의의 컴퓨터 디바이스로부터 다운로딩되는 것, 및 무선 디바이스 (102) 에 배선에 의해 접속된 컴퓨터 디바이스로부터 로딩되는 것을 포함하는 다른 메커니즘에 의해 메모리 (186) 로 로딩될 수도 있다.
단계 280 에서, 상기 방법은, 멀티미디어 분석 서버 (104) 가 하나 이상의 API 의 성능을 테스트하도록 동작가능한 테스트 구성을 획득하는 단계를 포함할 수도 있다. 테스트 워크스테이션 (106) 및/또는 멀티미디어 분석 서버 (104) 를 동작시키는 인증된 사용자, 이를 테면, 테스트 엔지니어 (108) 는, 테스트 구성 (138) 내에 포함될 수도 있는 하나 이상의 테스트 스크립트 (142) 를 생성할 수도 있다. 일부 양태에서, 테스트 구성 (138) 은, 워크스테이션 (106) 으로부터 무선 디바이스 (102) 로 집적 다운로딩될 수도 있다.
단계 282 에서, 상기 방법은, 무선 디바이스 (102) 가 테스트 구성 (138) 을획득 및 분석하는 단계를 포함할 수도 있다. 예를 들어, 멀티미디어 분석 서버 (104) 는, SMS, 자동 호 접속, 또는 다른 OTA 방법에 의해, 무선 디바이스 (102) 상의 멀티미디어 테스트 엔진 (114) 으로 부트스트랩 커맨드 (176) 를 전송할 수도 있다. 부트스트랩 커맨드 (176) 의 수신 시에, 멀티미디어 테스트 엔진 (114) 은, 부트스트랩 커맨드 (176) 를 분석하고, 무선 네트워크 (110) 를 통해 원격 서버 (104) 와, HTTP 접속과 같은 접속을 설정할 수도 있다.
단계 282 를 계속 참조하면, 멀티미디어 테스트 엔진 (114) 은, 멀티미디어 분석 서버 (104) 로부터의, 하나 이상의 테스트 스크립트 (142) 를 포함한 테스트 구성 (138) 의 다운로드를 개시할 수도 있다. 다운로드 프로세스의 완료 시에, 멀티미디어 테스트 엔진 (114) 은, 확인 응답 메시지를 멀티미디어 분석 서버 (104) 로 송신할 수도 있다.
단계 284 에서, 무선 디바이스 (102) 상의 멀티미디어 테스트 엔진 (114) 은, 테스트 스크립트 (142) 를 실행시킬 수도 있다. 사전 기술된 것처럼, 테스트 스크립트 (142) 는, 제한하려는 것은 아니지만, PHP, PERL, XML, 사용자 언어, 및 이들의 임의의 조합을 포함한, 처리 엔진 (198) 에 의해 실행가능한 임의의 소프트웨어 언어로 기입될 수도 있다. 테스트 스크립트 (142) 는 멀티미디어 API (156) 를 실행 및 테스트하도록 동작가능하다. 테스트 스크립트 (142) 의 결과로서 발생 및 전송된 멀티미디어 데이터 및/또는 파일은, 테스트 데이터 (144) 로서 모니터링 및 레포팅 로직 (136) 에 의해 캡쳐링될 수도 있다.
일부 양태에서, 멀티미디어 API (156) 는, 로컬로 동작하고 무선 네트워크 (110) 를 통한 접속을 요구하지 않는다. 따라서, 그러한 경우에는, RF 환경 데 이터가 적절하지 않을 수도 있다. 그러나, 다른 양태에서, API (156) 의 테스트는, 멀티미디어 서비스 공급자를 시뮬레이션하는 디바이스와의 무선 접속을 요구할 수도 있다.
예를 들어, 단계 284 에서의 테스트 스크립트를 실행하는 프로세스에 있어서, 멀티미디어 테스트 엔진 (114) 의 제어 하의 무선 디바이스 (102) 는, 통신 모듈 (170) 에 의해, 멀티미디어 분석 서버 (104) 와의 인터넷 접속 또는 일부 다른 통신 접속을 설정할 수도 있다. HTTP, HTTPS, FTP, 또는 다른 데이터 전송 프로토콜에 기초하여, 단계 286 에서, 멀티미디어 분석 서버 (104) 는, 무선 디바이스 (102) 로 멀티미디어 데이터 및/또는 파일을 전송할 수도 있다. 테스트 구성 (138) 에 기초하여, 모니터링 및 레포팅 로직 (116) 은, 대응하는 수신된 멀티미디어 데이터를 기록하도록 동작가능할 수도 있다. 또, 모니터링 및 레포팅 로직 (116) 은, 수신된 멀티미디어 데이터 및/또는 테스트 스크립트의 처리와 관련하여 API 관련 성능을 기록하도록 동작가능할 수도 있다.
멀티미디어 서비스 제공자, 예를 들어, 멀티미디어 분석 서버 (104) 와 테스트할 때, RF 환경 데이터를 무선 디바이스 (102) 에 의해 수집하여, 테스트 엔지니어 (108) 가 RF 품질과 멀티미디어 성능을 상관시키도록 허용할 수도 있다. RF 환경 데이터는, 하나 이상의 처리 서브시스템 (162) 을 통하여 무선 디바이스 상에 수집될 수도 있다. 예를 들어, 그러한 데이터는, OEM 계층, 진단 시스템 모니터와 그의 BREW extension, CDMA 이벤트, 및 OTA 메시지 중 하나 이상에 상주할 수도 있다. 멀티미디어 테스트 엔진 (114) 은, 성능 데이터 (146) 로서 RF 환경 데이터를 저장하도록 동작가능하다. 수집된 성능 데이터는, 테스트 스크립트 (142) 및/또는 테스트 파라미터 (140) 에 기초하여 구성가능하며, 제한하려는 것은 아니지만, CDMA 시스템용 "Searcher and Finger Info", UMTS 시스템용 "WCDMA Finger Info for TA", 핸드오프, 신호 강도, 및 인/아웃 서비스 이벤트를 포함할 수도 있다.
또, 단계 292 에서, 상기 방법은, 멀티미디어 분석 서버 (104) 가 무선 디바이스 (102) 로부터의 테스트 구성 (138) 의 실행에 기초하여, 테스트 데이터 (144) 를 수신하는 단계를 포함할 수도 있다. 예를 들어, 테스트 스크립트 (142) 의 실행의 완료 시에, 멀티미디어 테스트 엔진 (114) 의 제어 하의 무선 디바이스 (102) 는, 무선 디바이스 (102) 가 액세스하고 있는 서버 (104) 와의 접속 또는 임의의 통신 수단을 이용하여 정보 저장소 (128) 로의 테스트 데이터 (144) 의 전송을 개시할 수도 있다.
단계 292 에서의 멀티미디어 분석 서버 (104) 에 의해 수신된 테스트 데이터 (144) 는, 캡쳐링된 멀티미디어 데이터, RF 환경 데이터를 포함한 성능 데이터, 및 다른 테스트 스크립트 결과를 포함할 수도 있다. 멀티미디어 테스트 엔진 (114) 이 테스트 스크립트 (142) 의 완료 시에 테스트 데이터 (144) 를 송신하도록 동작가능하지만, 테스트 엔진 (114) 은, 테스트 구성 (138) 에 기초하여, 그 데이터가 이용가능해질 때 테스트 결과를 업로딩할 수도 있다.
업로딩의 완료 시에, 멀티미디어 분석 서버 (104) 는, 테스트 데이터 (144) 의 성공적인 업로딩을 나타내는 확인응답 메시지를 무선 디바이스 (102) 로 송신하 도록 동작가능할 수도 있다.
단계 294 에서, 멀티미디어 분석 모듈 (118) 은, 수집된 데이터를 처리 및 분석할 수도 있다. 일부 양태에서, 분석 엔진 (122) 은, 정보 저장소 (128) 내에 저장된 데이터를 처리하고, 차트 및 그래프의 비쥬얼 디스플레이를 포함한 분석을 제공하도록 동작가능하다. 그러한 분석은, 예를 들어, 데이터 스루풋 대 품질, 드롭된 프레임 (비디오 및/또는 오디오), 및 프로세서 사용을 분석하는 것을 포함하여, 주어진 테스트 구성의 실행과 관련하여 API 성능을 분석하는 것을 포함할 수도 있다. 또, 분석은, 다수의 제조업자, 펌웨어, 및 모델 전반에 걸친 멀티미디어 API 성능의 비교, 및 상이한 무선 디바이스들 사이에서의 멀티미디어 데이터 품질의 비교를 포함할 수도 있다. 더욱이, 테스트가 서비스 공급자, 즉, 멀티미디어 분석 서버 (104) 로/로부터 멀티미디어를 송신 및/또는 수신하는 것을 포함할 때, 분석 엔진 (122) 및 레포트 발생기 (124) 는, 멀티미디어 데이터를 RF 환경 데이터와 상관시키는 분석 및 레포트를 생산하도록 동작가능하다. 이하 논의될 것처럼, 분석의 완전한 결과가, 사용자 동작 테스트 워크스테이션 (106) 과 같은 인증된 사용자에 의해 온라인으로 보여질 수도 있다.
단계 296 에서, 레포트 발생기 (124) 는, 단계 294 에서 수행된 완전한 분석의 적어도 서브세트를 포함하는 테스트 레포트 (126) 를 생산하도록 동작가능하다. 일부 실시형태에서, 테스트 레포트 (126) 는, 단계 294 의 분석 결과에 따라 동작하는 레포트 발생기 (124) 에 의해 발생된다. 다른 실시형태에서, 레포트 발생기 (124) 는, 정보 저장소 (128) 내의 데이터에 기초하여, 레포트 (126) 를 발생 시킬 수도 있다.
단계 298 에서, 멀티미디어 분석 서버 (104) 는, 분석이 완료되고 그래프를 포함한 완전한 분석이 이용가능하다는 것을, 소정의 상대방, 이를 테면, 테스트 엔지니어 (108) 에게 통지하도록 동작가능하다. 예를 들어, 멀티미디어 분석 모듈 (118) 은, 레포트 (126) 를 포함한 테스트 워크스테이션 (106) 과 같은 소정의 상대방에게 전자 메시지, 예를 들어, 이-메일을 발생시키도록 동작가능할 수도 있다. 수취인, 예를 들어, 테스트 엔지니어 (108) 는, 테스트 레포트 (126) 를 볼 수도 있고, 멀티미디어 API (156) 에 대한 테스트 결과를 분석할 수도 있다.
따라서, 상기 개시된 양태들은, 멀티미디어 API 를 실행 및 테스트하는 시스템적이고 자동화된 방법을 허용하고, 칩셋 공급자/OEM 가 회귀 테스트를 위해 필요로 하는 시간을 감소시킬 수도 있다.
본 명세서 내에 기술된 양태들과 관련하여 설명된 다양한 예시적인 로직들, 로직 블록들, 모듈들, 및 회로들은, 본 명세서 내에 기술된 기능들을 수행하도록 설계된, 범용 프로세서, DSP, ASIC, FPGA (필드 프로그램가능한 게이트 어레이) 나 다른 프로그램가능한 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트, 또는 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는, 마이크로프로세서일 수도 있지만, 대안으로는, 프로세서는 임의의 종래 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 관련한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 구성으로서 구현될 수도 있다.
또, 본 명세서 내에 개시된 양태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 하드웨어 내에 직접 수록될 수도 있고, 프로세서에 의해 실행되는 소프트웨어 모듈 내에 수록될 수도 있으며, 또는 2 개의 조합에 수록될 수도 있다. 소프트웨어 모듈은, RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시적인 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독하고 그 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링된다. 대안으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체가 ASIC 내에 상주할 수도 있다. ASIC 은 사용자 단말기 내에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
전술의 개시물은 예시적인 양태 및/또는 양태들을 도시하고 있지만, 첨부된 청구범위에 의해 한정된 것처럼, 상기 기술된 양태 및/또는 양태들의 범위에서 벗어남 없이, 다양한 변경 및 변형이 본 명세서 내에서 행해질 수 있음을 알아야 한다. 더욱이, 상기 기술된 양태들의 엘리먼트들이 단수로 설명 또는 청구될 수도 있지만, 단수로의 제한이 명확히 제시되지 않았다면 복수가 예상된다. 또한, 임의의 양태 및/또는 양태들의 일부 또는 전부가, 다르게 언급되지 않는다면, 임의의 다른 양태 및/또는 양태들의 일부 또는 전부로 사용될 수도 있다.

Claims (46)

  1. 무선 네트워크를 통해 무선 디바이스 상의 멀티미디어 API (Application Programming Interface) 를 테스트하는 방법으로서,
    상기 무선 디바이스 상에서, 하나 이상의 테스트 스크립트를 포함한 멀티미디어 테스트 구성 (configuration) 을 획득하는 단계;
    상기 무선 디바이스 상에서 상기 하나 이상의 테스트 스크립트를 실행시키는 단계로서, 상기 하나 이상의 테스트 스크립트는, 상기 무선 디바이스 상에 수록된 소정의 멀티미디어 API 를 실행하도록 동작가능한, 상기 실행 단계;
    상기 테스트 스크립트의 실행에 기초하여, 상기 무선 디바이스 상에, 상기 멀티미디어 API 의 성능과 관련한 멀티미디어 테스트 데이터를 기록하는 단계;
    상기 멀티미디어 API 의 성능 분석을 위해, 상기 기록된 멀티미디어 테스트 데이터를 포워딩하는 단계를 포함하는, 멀티미디어 API 테스트 방법.
  2. 제 1 항에 있어서,
    상기 멀티미디어 테스트 데이터에 대응하는 무선 디바이스 성능 데이터를 캡쳐링하는 단계를 더 포함하는, 멀티미디어 API 테스트 방법.
  3. 제 2 항에 있어서,
    상기 포워딩하는 단계는, 상기 멀티미디어 테스트 데이터 및 상기 무선 디바 이스 성능 데이터를 상기 무선 네트워크에 걸쳐 소정의 디바이스로 포워딩하는 단계를 더 포함하는, 멀티미디어 API 테스트 방법.
  4. 제 2 항에 있어서,
    상기 무선 디바이스 성능 데이터를 캡쳐링하는 단계는, 상기 테스트 구성 내에 포함된 파라미터에 기초하여, 무선 디바이스 성능 통계를 캡쳐링하는 단계를 포함하는, 멀티미디어 API 테스트 방법.
  5. 제 2 항에 있어서,
    상기 무선 디바이스 성능 데이터를 캡쳐링하는 단계는, OTA (Over The Air) 메시지 및 무선 디바이스 호 이벤트 중 하나 이상을 캡쳐링하는 단계를 더 포함하는, 멀티미디어 API 테스트 방법.
  6. 제 1 항에 있어서,
    상기 무선 디바이스 상에서 테스트 구성을 획득하는 단계는, 상기 무선 네트워크를 통해 원격 디바이스로부터 테스트 구성을 수신하는 단계를 포함하는, 멀티미디어 API 테스트 방법.
  7. 제 1 항에 있어서,
    상기 무선 네트워크에 걸쳐 소정의 디바이스와의 접속을 설정하고, 상기 테 스트 스크립트의 실행과 관련하여 소정의 디바이스로부터, 상기 무선 디바이스 상에서 실행하기 위한 멀티미디어 데이터를 수신하는 단계를 더 포함하는, 멀티미디어 API 테스트 방법.
  8. 제 6 항에 있어서,
    소정의 디바이스는, 상기 테스트 구성 내의 멀티미디어 공급자 어드레스 파라미터에 의해 결정되는, 멀티미디어 API 테스트 방법.
  9. 제 6 항에 있어서,
    소정의 디바이스와의 접속에 대응하는 RF (Radio Frequency) 환경 데이터를 캡쳐링하는 단계를 더 포함하는, 멀티미디어 API 테스트 방법.
  10. 제 8 항에 있어서,
    수신된 멀티미디어 데이터와 관련하여 스루풋 정보를 캡쳐링하는 단계를 더 포함하는, 멀티미디어 API 테스트 방법.
  11. 제 1 항에 있어서,
    상기 테스트 구성은, 상기 무선 디바이스의 타입, 상기 무선 디바이스와 연관된 네트워크 서비스 공급자의 아이덴티티, 및 상기 무선 디바이스와 연관된 통신 프로토콜의 타입 중 하나 이상에 기초하여, 복수의 테스트 구성들로부터 선택되는, 멀티미디어 API 테스트 방법.
  12. 제 1 항에 있어서,
    상기 무선 디바이스 상에서 테스트 구성을 획득하는 단계는, 소정의 제한된 서비스 구성에 기초하여, 무선 네트워크에 걸쳐 제한된 액세스 통신 채널을 설정하는 단계를 포함하는, 멀티미디어 API 테스트 방법.
  13. 제 1 항에 있어서,
    상기 기록된 멀티미디어 테스트 데이터를 포워딩하는 단계는, 상기 테스트 구성 내의 레포팅 파라미터에 기초하여 포워딩하는 단계를 더 포함하는, 멀티미디어 API 테스트 방법.
  14. 제 1 항에 있어서,
    상기 기록된 멀티미디어 테스트 데이터를 포워딩하는 단계는, 소정의 스케쥴, 소정의 이벤트, 및 원격 디바이스에 의한 요구 중 하나 이상에 기초하여 포워딩하는 단계를 더 포함하는, 멀티미디어 API 테스트 방법.
  15. 제 14 항에 있어서,
    상기 소정의 이벤트는, 하나 이상의 실행된 테스트 스크립트의 완료를 포함하는, 멀티미디어 API 테스트 방법.
  16. 머신에 의해 실행될 때, 상기 머신으로 하여금 오퍼레이션들을 수행하게 하는 명령을 포함한 머신 판독가능 매체로서,
    상기 오퍼레이션들은,
    무선 디바이스 상에서, 하나 이상의 테스트 스크립트를 포함한 멀티미디어 테스트 구성을 획득하는 오퍼레이션;
    상기 무선 디바이스 상에서 상기 하나 이상의 테스트 스크립트를 실행시키는 오퍼레이션으로서, 상기 하나 이상의 테스트 스크립트는, 상기 무선 디바이스 상에 수록된 소정의 멀티미디어 API 를 실행하도록 동작가능한, 상기 실행 오퍼레이션;
    상기 테스트 스크립트의 실행에 기초하여, 상기 무선 디바이스 상에, 상기 멀티미디어 API 의 성능과 관련한 멀티미디어 테스트 데이터를 기록하는 오퍼레이션; 및
    상기 멀티미디어 API 의 성능 분석을 위해, 상기 기록된 멀티미디어 테스트 데이터를 포워딩하는 오퍼레이션을 포함하는, 머신 판독가능 매체.
  17. 무선 디바이스 상에서, 하나 이상의 테스트 스크립트를 포함한 멀티미디어 테스트 구성을 획득하는 액션;
    상기 무선 디바이스 상에서 상기 하나 이상의 테스트 스크립트를 실행시키는 액션으로서, 상기 하나 이상의 테스트 스크립트는, 상기 무선 디바이스 상에 수록된 소정의 멀티미디어 API 를 실행하도록 동작가능한, 상기 실행 액션;
    상기 테스트 스크립트의 실행에 기초하여, 상기 무선 디바이스 상에, 상기 멀티미디어 API 의 성능과 관련한 멀티미디어 테스트 데이터를 기록하는 액션; 및
    상기 멀티미디어 API 의 성능 분석을 위해, 상기 기록된 멀티미디어 테스트 데이터를 포워딩하는 액션을 수행하도록 구성되는, 하나 이상의 프로세서.
  18. 무선 디바이스 상에서, 하나 이상의 테스트 스크립트를 포함한 멀티미디어 테스트 구성을 획득하는 수단;
    상기 무선 디바이스 상에서 상기 하나 이상의 테스트 스크립트를 실행시키는 수단으로서, 상기 하나 이상의 테스트 스크립트는, 상기 무선 디바이스 상에 수록된 소정의 멀티미디어 API 를 실행하도록 동작가능한, 상기 실행 수단;
    상기 테스트 스크립트의 실행에 기초하여, 상기 무선 디바이스 상에, 상기 멀티미디어 API 의 성능과 관련한 멀티미디어 테스트 데이터를 기록하는 수단; 및
    상기 멀티미디어 API 의 성능 분석을 위해, 상기 기록된 멀티미디어 테스트 데이터를 포워딩하는 수단을 포함하는, 무선 디바이스.
  19. 처리 엔진;
    상기 처리 엔진에 인터페이스를 제공하도록 동작가능한 API; 및
    상기 처리 엔진에 의해 실행가능한 멀티미디어 테스트 엔진을 포함한 메모리를 포함하며,
    상기 멀티미디어 테스트 엔진은, 상기 API 의 성능을 호출 및 테스트하도록 동작가능한 테스트 스크립트를 갖는 테스트 구성을 포함하고, 상기 멀티미디어 테스트 엔진은, 모니터링 로직 및 레포팅 로직을 더 포함하며, 상기 모니터링 로직은, 상기 테스트 스크립트의 실행 및 상기 API 의 오퍼레이션과 연관된 멀티미디어 테스트 데이터를 모니터링 및 기록하도록 동작가능하고, 상기 레포팅 로직은, 상기 기록된 멀티미디어 테스트 데이터를 무선 네트워크에 걸쳐 소정의 디바이스로 포워딩하도록 동작가능한, 무선 디바이스.
  20. 제 19 항에 있어서,
    상기 테스트 구성은, 상기 무선 네트워크에 걸쳐 상기 무선 디바이스에 의해 수신되는, 무선 디바이스.
  21. 제 19 항에 있어서,
    상기 모니터링 로직은, 또한, 상기 멀티미디어 테스트 데이터에 대응하는 무선 주파수 환경 데이터를 수집하도록 동작가능한, 무선 디바이스.
  22. 제 19 항에 있어서,
    상기 모니터링 로직은, 또한, OTA 메시지 및 무선 디바이스 호 이벤트 중 하나 이상으로부터 유도된 성능 데이터를 수집하도록 동작가능한, 무선 디바이스.
  23. 제 19 항에 있어서,
    상기 모니터링 로직은, 또한, 상기 멀티미디어 테스트 데이터에 대응하는 무선 디바이스 성능 데이터를 수집하도록 동작가능하고,
    상기 테스트 구성은, 복수의 소정의 레포팅 파라미터들로부터 선택된 소정의 레포팅 파라미터를 더 포함하고,
    상기 테스트 엔진은, 또한, 상기 소정의 레포팅 파라미터에 기초하여, 상기 기록된 멀티미디어 테스트 데이터 및 캡쳐링된 성능 데이터를 소정의 디바이스로 송신하도록 동작가능한, 무선 디바이스.
  24. 제 23 항에 있어서,
    상기 멀티미디어 테스트 엔진은, 소정의 멀티미디어 공급자와의 접속을 설정하고, 상기 테스트 스크립트의 실행 동안 멀티미디어 파일을 수신하도록 동작가능하고,
    상기 모니터링 로직은, 또한, 상기 수신된 멀티미디어 파일에 대응하는 접속 성능 관련 데이터를 수집하도록 동작가능하며,
    상기 레포팅 로직은, 또한, 상기 접속 성능 관련 데이터를 상기 무선 네트워크에 걸쳐 상기 소정의 디바이스로 송신하도록 동작가능한, 무선 디바이스.
  25. 제 24 항에 있어서,
    상기 테스트 구성은, 소정의 멀티미디어 공급자 어드레스 파라미터를 더 포함하고,
    상기 테스트 엔진은, 또한, 상기 소정의 멀티미디어 공급자 어드레스 파라미터에 기초하여, 상기 멀티미디어 공급자로부터 상기 멀티미디어 파일을 요구 및 수신하도록 동작가능한, 무선 디바이스.
  26. 제 19 항에 있어서,
    상기 테스트 엔진은, 또한, 상기 네트워크에 걸쳐 제한된 액세스 통신 채널을 설정하도록 동작가능하고,
    상기 제한된 액세스 통신 채널은, 소정의 제한된 서비스 구성에 기초하며,
    상기 테스트 엔진은, 또한, 상기 제한된 액세스 통신 채널에 의해, 상기 테스트 구성을 수신하거나 상기 기록된 멀티미디어 테스트 데이터를 송신하도록 동작가능한, 무선 디바이스.
  27. 제 26 항에 있어서,
    상기 제한된 액세스 통신 채널은, 상기 디바이스의 최종 사용자에게 이용불가능한, 무선 디바이스.
  28. 무선 네트워크를 통해 무선 디바이스 상의 멀티미디어 API 의 성능을 결정하는 방법으로서,
    소정의 멀티미디어 API 의 성능을 테스트하도록 동작가능한 테스트 스크립트를 포함한 테스트 구성을 발생시키는 단계;
    상기 테스트 구성을 상기 무선 네트워크에 걸쳐 상기 무선 디바이스로 포워딩하는 단계;
    상기 테스트 구성의 실행에 기초하여, 상기 무선 네트워크에 걸쳐 상기 무선 디바이스로부터 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 수신하는 단계;
    상기 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 분석하는 단계; 및
    상기 분석에 기초하여, 테스트 레포트를 발생시키는 단계를 포함하는, 멀티미디어 API 성능 결정 방법.
  29. 제 28 항에 있어서,
    멀티미디어 데이터를 상기 무선 디바이스로 송신하는 단계를 더 포함하며,
    상기 분석하는 단계는, 상기 송신된 멀티미디어 데이터를 상기 수신된 멀티미디어 테스트 데이터와 비교하는 단계를 더 포함하는, 멀티미디어 API 성능 결정 방법.
  30. 제 28 항에 있어서,
    상기 수신된 무선 디바이스 성능 데이터를 분석하는 단계는, 무선 주파수 환경 데이터를 분석하는 단계를 포함하는, 멀티미디어 API 성능 결정 방법.
  31. 제 28 항에 있어서,
    상기 분석하는 단계는, 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 소정의 임계 데이터와 비교하는 단계를 더 포함하는, 멀티미디어 API 성능 결정 방법.
  32. 제 28 항에 있어서,
    상기 테스트 레포트의 적어도 일부를 또 다른 컴퓨터 디바이스로 송신하는 단계를 더 포함하는, 멀티미디어 API 성능 결정 방법.
  33. 제 28 항에 있어서,
    상기 테스트 레포트의 적어도 일부를 뷰잉을 위해 제시하는 단계를 더 포함하는, 멀티미디어 API 성능 결정 방법.
  34. 제 28 항에 있어서,
    상기 무선 디바이스의 타입, 상기 무선 디바이스와 연관된 네트워크 서비스 공급자의 아이덴티티, 및 상기 무선 디바이스와 연관된 통신 프로토콜 중 하나 이상에 기초하여, 복수의 테스트 구성들로부터 상기 테스트 구성을 선택하는 단계를 더 포함하는, 멀티미디어 API 성능 결정 방법.
  35. 소정의 멀티미디어 API 의 성능을 테스트하도록 동작가능한 테스트 스크립트 를 포함한 테스트 구성을 발생시키는 액션;
    상기 테스트 구성을 상기 무선 네트워크에 걸쳐 상기 무선 디바이스로 포워딩하는 액션;
    상기 테스트 구성의 실행에 기초하여, 상기 무선 네트워크에 걸쳐 상기 무선 디바이스로부터 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 수신하는 액션;
    상기 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 분석하는 액션; 및
    상기 분석에 기초하여, 테스트 스크립트를 발생시키는 액션을 수행하도록 구성되는, 하나 이상의 프로세서.
  36. 머신에 의해 실행될 때, 상기 머신으로 하여금 오퍼레이션들을 수행하게 하는 명령들을 포함한 머신 판독가능 매체로서,
    상기 오퍼레이션들은,
    소정의 멀티미디어 API 의 성능을 테스트하도록 동작가능한 테스트 스크립트를 포함한 테스트 구성을 발생시키는 오퍼레이션;
    상기 테스트 구성을 상기 무선 네트워크에 걸쳐 상기 무선 디바이스로 포워딩하는 오퍼레이션;
    상기 테스트 구성의 실행에 기초하여, 상기 무선 네트워크에 걸쳐 상기 무선 디바이스로부터 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 수신하 는 오퍼레이션;
    상기 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 분석하는 오퍼레이션; 및
    상기 분석에 기초하여, 테스트 레포트를 발생시키는 오퍼레이션을 포함하는, 머신 판독가능 매체.
  37. 소정의 멀티미디어 API 의 성능을 테스트하도록 동작가능한 테스트 스크립트를 포함한 테스트 구성을 발생시키는 수단;
    상기 테스트 구성을 상기 무선 네트워크에 걸쳐 상기 무선 디바이스로 포워딩하는 수단;
    상기 테스트 구성의 실행에 기초하여, 상기 무선 네트워크에 걸쳐 상기 무선 디바이스로부터 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 수신하는 수단;
    상기 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 분석하는 수단; 및
    상기 분석에 기초하여, 테스트 레포트를 발생시키는 수단을 포함하는, 장치.
  38. 무선 디바이스 상에 상주하는 멀티미디어 API 를 테스트하도록 동작가능한 상기 무선 디바이스 상에서의 테스트 구성의 실행에 기초하여, 상기 무선 디바이스에 의해 수집된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 수신 및 저장하도록 동작가능한 정보 저장소;
    소정의 임계값에 기초하여, 상기 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터를 분석하도록 동작가능한 분석 엔진; 및
    상기 수신된 멀티미디어 테스트 데이터 및 무선 디바이스 성능 데이터의 분석에 기초하여, 테스트 레포트를 발생시키도록 동작가능한 레포트 발생기를 포함하는, 장치.
  39. 제 38 항에 있어서,
    상기 소정의 임계값은, 무선 주파수 환경 파라미터, 멀티미디어 데이터 스루풋 파라미터, 및 멀티미디어 데이터 품질 파라미터 중 하나 이상을 포함하는, 장치.
  40. 제 38 항에 있어서,
    상기 레포트 발생기는, 또한, 무선 네트워크에 걸쳐 상기 테스트 레포트의 적어도 일부를 리뷰를 위해 송신하도록 동작가능한, 장치.
  41. 제 38 항에 있어서,
    상기 무선 디바이스로 멀티미디어 데이터를 송신하도록 동작가능한 분석 제어 로직을 갖는 멀티미디어 분석 모듈을 더 포함하며,
    상기 멀티미디어 데이터는, 상기 API 를 테스트하기 위해 상기 테스트 구성 과 관련하여 동작가능한, 장치.
  42. 제 41 항에 있어서,
    상기 멀티미디어 분석 모듈은, 또한, 수행된 분석에 인증된 사용자가 액세스하는 것을 허용하도록 동작가능한, 장치.
  43. 제 41 항에 있어서,
    상기 무선 디바이스로 제어 커맨드를 전송하도록 동작가능한 디바이스 제어 모듈을 더 포함하는, 장치.
  44. 제 43 항에 있어서,
    상기 디바이스 제어 모듈은, 무선 네트워크에 걸쳐 위치된 또 다른 컴퓨터 디바이스로부터 상기 제어 커맨드를 수신하도록 동작가능한, 장치.
  45. 제 38 항에 있어서,
    상기 무선 디바이스에 의한 수신을 위해, 상기 테스트 구성을 발생 및 송신하도록 동작가능한 테스트 구성 발생기를 더 포함하며,
    상기 테스트 구성은, 상기 멀티미디어 API 를 실행 및 테스트하도록 동작가능한 하나 이상의 실행가능한 테스트 스크립트를 포함하는, 장치.
  46. 제 45 항에 있어서,
    상기 테스트 구성은, 하나 이상의 테스트 파라미터를 포함하는, 장치.
KR1020077027131A 2005-04-21 2006-04-21 무선 디바이스의 멀티미디어 성능의 양태를 결정하는 방법및 장치 KR100950878B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US67410805P 2005-04-21 2005-04-21
US60/674,108 2005-04-21

Publications (2)

Publication Number Publication Date
KR20070122574A true KR20070122574A (ko) 2007-12-31
KR100950878B1 KR100950878B1 (ko) 2010-04-06

Family

ID=37058802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077027131A KR100950878B1 (ko) 2005-04-21 2006-04-21 무선 디바이스의 멀티미디어 성능의 양태를 결정하는 방법및 장치

Country Status (12)

Country Link
US (1) US8719419B2 (ko)
EP (1) EP1872228A2 (ko)
JP (2) JP5107899B2 (ko)
KR (1) KR100950878B1 (ko)
CN (1) CN100583056C (ko)
AU (1) AU2006239986A1 (ko)
BR (1) BRPI0610776A2 (ko)
CA (1) CA2605602A1 (ko)
IL (1) IL186823A0 (ko)
MX (1) MX2007013083A (ko)
TW (1) TW200717232A (ko)
WO (1) WO2006116120A2 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050101257A1 (en) * 2002-05-30 2005-05-12 6Lan Wireless local area network test device
US8676188B2 (en) * 2006-04-14 2014-03-18 Litepoint Corporation Apparatus, system and method for calibrating and verifying a wireless communication device
US8260278B2 (en) * 2006-05-12 2012-09-04 The Mitre Corporation Framework for agile mobile applications
US20080079738A1 (en) * 2006-09-29 2008-04-03 Inventec Corporation Method and system for testing computer graphic display controller
US8176167B2 (en) * 2006-12-05 2012-05-08 Qualcomm Incorporated Methods and apparaus for requesting wireless communication device performance data and providing the data in optimal file size
US7668299B2 (en) * 2006-12-15 2010-02-23 Verizon Patent And Licensing Inc. System using script command to generate audio quality test case to test a network
US8595784B2 (en) * 2007-01-05 2013-11-26 Verizon Patent And Licensing Inc. System for testing set-top boxes and content distribution networks and associated methods
US8127270B1 (en) 2007-04-09 2012-02-28 Cisco Technology, Inc. Abstracting transformation for model driven architecture
WO2008131520A1 (en) * 2007-04-25 2008-11-06 Miovision Technologies Incorporated Method and system for analyzing multimedia content
US8645976B2 (en) * 2007-05-03 2014-02-04 Qualcomm Incorporated Application programming interface (API) for restoring a default scan list in a wireless communications receiver
US20120300649A1 (en) * 2007-05-21 2012-11-29 W2Bi, Inc. Mobile device throughput testing
US20080294383A1 (en) * 2007-05-21 2008-11-27 Ramesh Parmar Mobile device throughput testing
EP2153581B1 (en) * 2007-06-05 2013-07-31 Astrium Limited Remote testing system and method
KR100904961B1 (ko) 2007-09-28 2009-06-26 주식회사 아카넷티비 케이블 방송 환경에서 데이터 방송 어플리케이션 동작모니터링 시스템
US8387015B2 (en) * 2008-01-31 2013-02-26 Microsoft Corporation Scalable automated empirical testing of media files on media players
US8028188B2 (en) * 2008-03-04 2011-09-27 Infosys Technologies Limited System and method for testing an application installed on a wireless communication device
JP5347401B2 (ja) * 2008-09-19 2013-11-20 富士通株式会社 無線装置、及び、無線装置の制御及び監視方法
US8204498B1 (en) * 2008-09-30 2012-06-19 Sprint Communications Company L.P. Automated content download tool
US8934866B2 (en) * 2009-04-20 2015-01-13 Aetherpal Inc. System to assist a mobile device subscriber to perform self-diagnosis of the mobile device
US8213926B2 (en) * 2009-04-29 2012-07-03 Verizon Patent And Licensing Inc. Method and apparatus for providing multiservice testing
CN101909310A (zh) * 2009-06-02 2010-12-08 鸿富锦精密工业（深圳）有限公司 电子装置测试方法
US8732145B1 (en) * 2009-07-22 2014-05-20 Intuit Inc. Virtual environment for data-described applications
CA2716436A1 (en) 2010-03-01 2011-09-01 Dundas Data Visualization, Inc. Systems and methods for generating data visualization dashboards
US20120089902A1 (en) * 2010-10-07 2012-04-12 Dundas Data Visualization, Inc. Systems and methods for dashboard image generation
US9124436B2 (en) 2010-12-16 2015-09-01 Cellco Partnership Intelligent automated data usage upgrade recommendation
US8669985B2 (en) * 2010-12-20 2014-03-11 Microsoft Corporation Assessment results viewer
CA2737148A1 (en) 2011-01-06 2012-07-06 Dundas Data Visualization, Inc. Methods and systems for providing a discussion thread to key performance indicator information
US9043455B1 (en) * 2011-04-06 2015-05-26 Cellco Partnership Universal data remote
US9723092B1 (en) 2011-04-07 2017-08-01 Cellco Partnership Universal data remote application framework
US20120331343A1 (en) * 2011-06-23 2012-12-27 Qualcomm Incorporated Apparatus and method for electronic device testing
US9021008B1 (en) * 2011-08-24 2015-04-28 Amazon Technologies, Inc. Managing targeted scripts
DE112012005658B4 (de) * 2012-01-13 2016-01-07 Mitsubishi Electric Corporation Funkkommunikationsvorrichtung und Funkkommunikationsverfahren
US8850274B2 (en) * 2012-02-01 2014-09-30 Empirix, Inc. Method of embedding configuration data in a non-configuration document
US9483344B2 (en) * 2012-04-05 2016-11-01 Assurant, Inc. System, method, apparatus, and computer program product for providing mobile device support services
US8949673B2 (en) * 2012-05-23 2015-02-03 Sap Se Software systems testing interface
US8909213B2 (en) * 2012-06-08 2014-12-09 Spirent Communications, Inc. System and method for evaluating performance of concurrent mobile services of mobile devices
US8862118B2 (en) * 2012-08-08 2014-10-14 Nokia Corporation Methods, apparatuses and computer program products for automating testing of devices
GB2516986B (en) 2013-08-06 2017-03-22 Barclays Bank Plc Automated application test system
CN104657246A (zh) * 2013-11-21 2015-05-27 英业达科技有限公司 自动化测试系统及其方法
WO2015081307A1 (en) * 2013-11-26 2015-06-04 Anunta Technology Management Services Ltd. Management of cloud-based application delivery
US10146678B2 (en) * 2014-05-15 2018-12-04 Oracle International Corporation Test bundling and batching optimizations
US10162855B2 (en) 2014-06-09 2018-12-25 Dundas Data Visualization, Inc. Systems and methods for optimizing data analysis
US9471467B2 (en) * 2014-07-07 2016-10-18 Telefonaktiebolaget L M Ericsson (Publ) Evaluation of an application
CN104199770B (zh) * 2014-09-01 2018-05-01 上海斐讯数据通信技术有限公司 一种手机音乐apk的自动化测试方法
CN104243282B (zh) * 2014-09-12 2018-09-21 深圳创维数字技术有限公司 一种信息通知方法及服务器
CN105577293B (zh) * 2014-10-13 2018-10-30 炬芯（珠海）科技有限公司 一种蓝牙设备的测试方法、装置及系统
US9838888B2 (en) * 2015-02-27 2017-12-05 T-Mobile Usa, Inc. Network diagnostic applications
KR102529142B1 (ko) 2015-05-12 2023-05-03 미네우스 )( 에스.알.오. 소프트웨어 애플리케이션의 테스트 프로세스를 자동화하기 위한 방법 및 시스템
US9578529B1 (en) * 2015-07-29 2017-02-21 Verizon Patent And Licensing Inc. Cellular data testing system
FR3044191B1 (fr) * 2015-11-20 2019-01-25 Psa Automobiles Sa. Dispositif de test d’un reseau video bidirectionnel par generation de trames non video de test pour des organes
US11128734B2 (en) * 2016-05-10 2021-09-21 Veniam, Inc. Configuring a communication system using analytics of a restful API in a network of moving things
CN105915529B (zh) * 2016-05-19 2019-04-16 微梦创科网络科技（中国）有限公司 一种报文生成方法及装置
CN106371847B (zh) * 2016-09-07 2020-05-22 湖北三江航天万峰科技发展有限公司 Windows xp系统下CPCI总线RS422通信驱动方法及系统
CN107368412A (zh) * 2017-07-03 2017-11-21 上海前隆信息科技有限公司 自动化测试方法/系统、计算机可读存储介质及电子设备
US10880197B2 (en) 2018-07-13 2020-12-29 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing a network node using source code for programming a packet forwarding plane of the network node
CN109062797B (zh) * 2018-07-26 2019-12-27 百度在线网络技术（北京）有限公司 生成信息的方法和装置
CN112005224A (zh) * 2018-10-15 2020-11-27 惠普发展公司，有限责任合伙企业 用于针对性能而监视设备的数据收集
US10686671B1 (en) 2018-11-05 2020-06-16 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing network elements of an in-band network telemetry capable network
CN110046068B (zh) * 2018-11-09 2023-08-22 创新先进技术有限公司 测试方法、装置及设备
CN109710521B (zh) * 2018-12-17 2022-04-22 百度在线网络技术（北京）有限公司 多媒体应用性能测试方法、装置、计算机设备和存储介质
US11032151B1 (en) 2019-02-06 2021-06-08 Keysight Technologies, Inc. Methods, systems, and computer readable media for providing dynamically configurable, distributed network visibility device
US10733088B1 (en) * 2019-03-01 2020-08-04 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing a network node or a related application programming interface using source code metadata
US11093376B2 (en) 2019-06-19 2021-08-17 Keysight Technologies, Inc. Methods, systems, and computer readable media for configuring a test system using source code of a device being tested
US10735919B1 (en) 2019-06-26 2020-08-04 Snap Inc. Recipient-based content optimization in a messaging system
US11425020B2 (en) 2020-06-01 2022-08-23 Keysight Technologies, Inc. Methods, systems, and computer readable media for storage, retrieval, and use of programmable pipeline device profiles
US11474823B2 (en) 2020-06-15 2022-10-18 Keysight Technologies, Inc. Methods, systems, and computer readable media for on-demand, on-device compiling and use of programmable pipeline device profiles
US11297513B2 (en) 2020-06-23 2022-04-05 T-Mobile Usa, Inc. System for administering test cases from a mobile device for a telecommunications network
US11366739B2 (en) * 2020-07-16 2022-06-21 T-Mobile Innovations Llc Pipeline for validation process and testing
KR20220043651A (ko) * 2020-09-29 2022-04-05 삼성전자주식회사 무선 통신 시스템에서 네트워크 데이터 분석을 위한 구독 갱신 방법 및 장치
WO2022094417A1 (en) * 2020-11-02 2022-05-05 Innovate5G, Inc. Systems and methods for optimization of application performance on a telecommunications network
US11599434B2 (en) * 2020-12-17 2023-03-07 T-Mobile Usa, Inc. System for recommending tests for mobile communication devices maintenance release certification
CN112787894B (zh) * 2021-02-19 2022-12-13 上海剑桥科技股份有限公司 无线设备测试系统、方法、装置、介质及设备
US11523281B1 (en) * 2021-04-23 2022-12-06 T-Mobile Usa, Inc. Validating customized user equipment (UE)
US20230054831A1 (en) * 2021-08-20 2023-02-23 U.S. Bank National Association Contactless optical internet of things user identification device and system
CN114328251A (zh) * 2021-12-30 2022-04-12 高新兴物联科技有限公司 终端测试方法、测试系统及计算机可读存储介质
CN114679752B (zh) * 2022-03-29 2024-04-19 青岛海信移动通信技术有限公司 双系统共享无线通信能力的方法及终端设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495571A (en) * 1992-09-30 1996-02-27 Microsoft Corporation Method and system for performing parametric testing of a functional programming interface
JP3154312B2 (ja) 1993-12-28 2001-04-09 日本電信電話株式会社 メンテナンス情報収集方式と、該方式を構成する保守センタ側端末装置及びユーザ側端末装置
EP0830611A4 (en) 1995-06-02 2007-05-09 Cisco Systems Inc TELECONTROL OF COMPUTER PROGRAMS
US5701408A (en) * 1995-07-10 1997-12-23 International Business Machines Corporation Method for testing computer operating or application programming interfaces
US6279124B1 (en) * 1996-06-17 2001-08-21 Qwest Communications International Inc. Method and system for testing hardware and/or software applications
US5774725A (en) * 1996-06-28 1998-06-30 Microsoft Corporation Method and computer program product for simplifying construction of a program for testing computer software subroutines in an application programming interface
JPH1028088A (ja) 1996-07-11 1998-01-27 Nec Corp 携帯電話無線基地局の試験用送受信装置
US5954829A (en) * 1996-12-30 1999-09-21 Mci Communications Corporation System, method, and computer program product for digital cross connect testing
US6230006B1 (en) * 1997-09-08 2001-05-08 Acterna, Llc Test system for remotely testing switches within a telecommunications network
US6259911B1 (en) * 1998-01-06 2001-07-10 Wireless Access Network operations center hardware and software design
US6397359B1 (en) * 1999-01-19 2002-05-28 Netiq Corporation Methods, systems and computer program products for scheduled network performance testing
US6389278B1 (en) * 1999-05-17 2002-05-14 Ericsson Inc. Systems and methods for identifying a service provider from a wireless communicator based on categories of service providers that are called
US6473794B1 (en) 1999-05-27 2002-10-29 Accenture Llp System for establishing plan to test components of web based framework by displaying pictorial representation and conveying indicia coded components of existing network framework
US6901442B1 (en) * 2000-01-07 2005-05-31 Netiq Corporation Methods, system and computer program products for dynamic filtering of network performance test results
JP2001285481A (ja) 2000-03-30 2001-10-12 Matsushita Electric Ind Co Ltd マルチ表示試験装置
US7111318B2 (en) * 2000-06-02 2006-09-19 Vitale Michael J Communication system work order performance method and system
US7096474B2 (en) 2001-04-20 2006-08-22 Sun Microsystems, Inc. Mobile multimedia Java framework application program interface
JP2003124866A (ja) 2001-10-11 2003-04-25 Nec Commun Syst Ltd 移動端末故障探索システム
US6862682B2 (en) 2002-05-01 2005-03-01 Testquest, Inc. Method and apparatus for making and using wireless test verbs
AU2003280515A1 (en) * 2002-07-01 2004-01-19 Qualcomm Incorporated Remote interaction with a wireless device resident diagnostic interface across a wireless network
US7321766B2 (en) 2003-01-21 2008-01-22 Agilent Technologies, Inc System and method for testing portable communication devices
US7296190B2 (en) * 2003-01-29 2007-11-13 Sun Microsystems, Inc. Parallel text execution on low-end emulators and devices
US20040162898A1 (en) * 2003-02-14 2004-08-19 Rich Jason H. Dedicated networked device monitoring system
EP1517570B1 (en) * 2003-09-16 2007-04-25 Research In Motion Limited Method for conducting radiated performance tests of a wireless device
US7372946B2 (en) * 2003-12-11 2008-05-13 Agilent Technologies, Inc. Measurement deferral and aggregation for extensible test configuration
JP2006060762A (ja) 2004-07-21 2006-03-02 Hitachi Communication Technologies Ltd 無線通信システム、および、その診断方法、ならびに、無線通信システムの診断に用いる無線端末
US7415635B1 (en) * 2004-12-15 2008-08-19 Microsoft Corporation Integrated software test framework for performance testing of a software application
US20060229018A1 (en) * 2005-04-12 2006-10-12 Azimuth Systems, Inc. Apparatus and method for use in testing wireless devices

Also Published As

Publication number Publication date
JP2011211730A (ja) 2011-10-20
JP2008538687A (ja) 2008-10-30
WO2006116120A3 (en) 2007-05-03
TW200717232A (en) 2007-05-01
CN100583056C (zh) 2010-01-20
MX2007013083A (es) 2008-01-14
WO2006116120A2 (en) 2006-11-02
US8719419B2 (en) 2014-05-06
JP5524128B2 (ja) 2014-06-18
IL186823A0 (en) 2008-02-09
BRPI0610776A2 (pt) 2010-07-20
KR100950878B1 (ko) 2010-04-06
AU2006239986A1 (en) 2006-11-02
JP5107899B2 (ja) 2012-12-26
CA2605602A1 (en) 2006-11-02
CN101198938A (zh) 2008-06-11
US20060259629A1 (en) 2006-11-16
EP1872228A2 (en) 2008-01-02

Similar Documents

Publication Publication Date Title
KR100950878B1 (ko) 무선 디바이스의 멀티미디어 성능의 양태를 결정하는 방법및 장치
US8135395B2 (en) Methods and apparatus for monitoring configurable performance levels in a wireless device
KR100949620B1 (ko) 무선 장치의 사용 패턴을 모니터링하는 방법 및 장치
KR101052167B1 (ko) 무선 장치의 네트워크 액세스 성능을 결정하기 위한 장치 및 방법
KR101084012B1 (ko) 무선 디바이스의 음성 및/또는 데이터 프로세싱 성능을 결정하는 장치 및 방법
KR100948217B1 (ko) 무선 장치상에서 프로덕트 승인을 테스트하기 위한 장치 및방법
JP2008533935A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee