KR20050027093A

KR20050027093A - 숙련 기반 테스트 및 트레이닝을 위한 방법 및 시스템

Info

Publication number: KR20050027093A
Application number: KR1020047019034A
Authority: KR
Inventors: 오어글렌디; 카우프만그레고리엘.; 코프게리지.
Original assignee: 에스엠티엠 테크놀러지스 엘엘씨
Priority date: 2002-05-24
Filing date: 2003-05-27
Publication date: 2005-03-17
Also published as: US20040029092A1; EP1514251A2; WO2003100746A8; AU2003243317A1; AU2003243317A8; WO2003100746A2; US7300285B2; JP2005527859A

Abstract

애플리케이션의 숙련 기반 테스트 및 트레이닝을 위한 방법들 및 시스템들이 제공된다. 예시적 실시예들은 숙련 기반 시뮬레이션 및 측정 시스템 "SBSMS"을 제공하며, SBSMS는 테스트 및 트레이닝 프로그램들의 발행자들 및 저작자들이 학생들을 테스트 및 트레이닝하기 위한 시뮬레이팅된 애플리케이션 환경들을 제공할 수 있게 한다. 한 실시예에서, SBSMS는 클라이언트부 및 서버부를 포함한다. 클라이언트부는 학생에 의해 실행되고 학생의 응답들을 추적하는 시뮬레이션 엔진을 포함한다. 서버부는 클라이언트측 시뮬레이션 엔진을 구현하기 위해 사용되는 구성요소들 및 데이터를 포함하고, 숙련 기반 테스트 및 트레이닝 엔진, 시뮬레이션 구성요소들, 비시뮬레이션 구성요소들, 및 테스트들 및 트레이닝 시나리오들과 학생 정보 데이터 저장소를 포함한다. 서버부는 시뮬레이션 및 비시뮬레이션 구성요소들을 가진 시나리오의 부분들에 대한 요청들을 수신 및 만족시킨다. 서버부는 클라이언트부로부터 학생 응답들을 수신하고, 그들을 채점하여 수신하고, 데이터 저장소에 사용자마다, 시나리오마다 기초하여 그들을 저장한다. 클라이언트 및 서버부들은 테스트 및 트레이닝 시나리오들에서 숙련 기반 시뮬레이션 및 측정을 제공하기 위해 협력한다.

Description

숙련 기반 테스트 및 트레이닝을 위한 방법 및 시스템{Method and system for skills-based testing and training}

본 발명은 컴퓨터 시스템에서의 숙련 기반 테스트 및 트레이닝을 위한 방법들 및 시스템들에 관한 것이며, 특히, 오퍼레이터의 숙련들이 시뮬레이션 애플리케이션과의 상호작용에 의해 테스트될 수 있거나 트레이닝될 수 있도록 애플리케이션을 시뮬레이팅하는 방법들 및 시스템들에 관한 것이다.

조직들이 점점 더 글로벌화되고 그 기능 및 전문 기술에 따라 물리적으로 분배되며 사원의 처리들 또는 수행을 개선하기 위한 방법들을 탐색함에 따라, 효율적인 트레이닝 및 테스트 도구들에 대한 요구가 증가하고 있다. 일정한 유동 상태의 기술로 인해, 조직에서 현재 숙련 레벨의 상태를 측정하는 것이 점점 더 어렵게 되고, 새롭고 변화하는 애플리케이션들에 대해 사원을 트레이닝하기가 점점 더 어렵게 된다. 일부 조직들은 조직의 지식의 분배를 증가시킴으로써 스스로 차별화하도록 노력한다. 컴퓨터에 의한 테스트 및 트레이닝은 이러한 과제를 수행하기 위한 하나의 수단이다.

그러나, 오늘날 컴퓨터에 의한 테스트 및 트레이닝은 한정된다. 현재 2개의 방식들이 사용된다. 첫 번째 방식은 애플리케이션을 자체 론칭함으로써 애플리케이션에 관한 테스트 및 트레이닝을 관련시킨다. 이러한 방식에 대해, 애플리케이션이 적당히 면허되어야 하며, 테스트 또는 트레이닝이 제품의 특정 허가로 귀착되어야 함을 포함하는 많은 단점들이 있다. 따라서, 테스트 또는 트레이닝 시나리오는 애플리케이션의 각각의 개정으로 개정되어야 한다. 두 번째 방식은 애플리케이션으로부터 "미리 준비된(canned)"(예를 들어 캡처된) 이미지들을 사용한 테스트/트레이닝을 관련시킨다. 이것은 사용자들이 관찰한 것 또는 그들이 이미 알고 있는 것에 관한 질문들에 대답할 것을 사용자에게 요구하는 테스트들 및 트레이닝 상태들이 개발되도록 허용한다. 그러나, 특히, 사용자가 애플리케이션과 상호작용하지 않기 때문에, 트레이닝에 관한 결과들은 한정되어 있다.

그 외에도, 이들 방식들 모두를 사용하는 테스트 받는 사람 및 트레이닝 받는 사람들에 관해 수집된 정보의 유형은 통상적으로, "지식 기반(knowledge-based)" 테스트/트레이닝 또는 "성과 기반(performance-based)" 테스트/트레이닝이라 불리는 것에 한정된다. 특히, 사용자(테스트 받는 사람 또는 트레이닝 받는 사람)는 통상적으로, 질문이 옳게 또는 틀리게 대답되었는지 여부를 판단한다-즉, 사용자는 특정 주제 부분의 지식을 갖고 있다. 유사하게, 사용자가 대답들(예를 들어, 성과의 "레벨"을 구성함)의 미리 결정된 세트와 비교되거나 다른 사용자들과 비교된다면, 테스트/트레이닝은 "성과" 기반으로 고려된다. 어떠한 경우이든, 성과 또는 지식은 옳거나 틀린 대답들을 기초로 한다.

도 1은 예시적 숙련 기반 시뮬레이션 및 측정 시스템에 의해 나타난 테스트 환경의 예시적 디스플레이 스크린을 도시한 도면.

도 2는 일본어로 표현된 동일한 테스트 환경의 예시적 디스플레이 스크린을 도시한 도면.

도 3a 내지 3g는 스프레드시트 애플리케이션의 시뮬레이팅된 양상들을 사용하여 숙련들을 테스트하기 위한 테스트 시나리오의 예시적 스크린 디스플레이들을 도시한 도면들.

도 4는 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 구성요소들의 예시적 블록도.

도 5는 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 시뮬레이션 엔진의 예시적 블록도.

도 6은 숙련 기반 측정 시나리오들을 생성, 관리 및 운영하기 위해 예시적 숙련 기반 시뮬레이션 및 측정 시스템을 사용하는 전체 처리의 흐름도.

도 7은 클라이언트 시스템에 대한 시뮬레이션을 실행하기 위해 예시적 숙련 기반 측정 환경에 의해 수행되는 단계들의 예시적 흐름도.

도 8은 클라이언트 시스템에 의해 실행된 예시적 시뮬레이션 엔진의 예시적 흐름도.

도 9는 클라이언트 시스템에 대한 예시적 시뮬레이션 엔진들의 실행을 지원하기 위해 서버 시스템에 의해 수행되는 단계들의 개요에 대한 예시적 흐름도.

도 10은 클라이언트 시스템 원근도로부터 숙련 기반 시뮬레이션 및 측정 시스템의 숙련 기반 기록 및 채점 처리의 예시적 흐름도.

도 11 내지 도 13은 숙련 기반 시뮬레이션 및 측정 시스템의 예시적 기록 및 채점 메커니즘을 사용하여 기록된 작동들을 예시하는 디스플레이 스크린들을 도시한 도면들.

도 14는 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 운영 인터페이스의 할당 시나리오 루틴(Assign Scenario routine)의 예시적 흐름도.

도 15는 숙련 기반 시뮬레이션 및 측정 시스템의 운영 인터페이스의 예시적 디스플레이 스크린.

도 16은 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 저작 인터페이스(authoring interface)의 저작자 시나리오 루틴의 예시적 흐름도.

도 17은 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 저작 인터페이스의 관련 질문 루틴(Associate Question routine)의 예시적 흐름도.

도 18 내지 도 21은 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 저작 인터페이스의 예시적 디스플레이 스크린들.

도 22는 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 발행 인터페이스의 발행 시나리오 루틴의 예시적 흐름도.

도 23은 발행 시나리오 처리에 의해 설치된 예시적 구성요소들을 포함하는 예시적 숙련 기반 시뮬레이션 및 측정 시스템에 대한 서버 환경의 예시적 블록도.

도 24는 숙련 기반 시뮬레이션 및 측정 시스템의 서버부의 실시예들을 실시하기 위한 범용 컴퓨터 시스템의 예시적 블록도.

도 25는 숙련 기반 시뮬레이션 및 측정 시스템의 클라이언트부의 실시예들을 실시하기 위한 범용 컴퓨터 시스템의 예시적 블록도.

도 26은 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 예시적 시나리오 및 학생 구성 데이터 저장소로의 기록들의 예시적 블록도.

도 27은 웹 페이지들을 발생 및 처리하기 위해 마이크로소프트 ASP.NET 엔진을 사용하여 클라이언트와 서버 시스템들 사이의 처리 및 코드 흐름의 예시적 블록도.

도 28a 내지 도 28c는 시나리오를 구현하기 위한 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 클라이언트부와 서버부 사이의 예시적 웹 페이지의 흐름 및 코드 흐름을 도시한 도면들.

본 발명의 실시예들은 애플리케이션의 사용자 인터페이스의 양상들(aspects)을 시뮬레이팅함으로써 애플리케이션의 숙련 기반 테스트 및 트레이닝을 위한 강화된 컴퓨터- 및 네트워크-기반 방법들 및 시스템들을 제공한다. 예시적 실시예들은 숙련 기반 시뮬레이션 및 측정 시스템("SBSMS" : Skills-Based Simulation and Measurement System)을 제공하며, SBSMS는 테스트 및 트레이닝 프로그램들의 발행자들 및 저작자들이 학생들(시뮬레이팅된 환경의 사용자들)을 테스트 및 트레이닝하기 위한 시뮬레이팅된 애플리케이션 환경들을 제공할 수 있게 한다. 또한, SBSMS는 "숙련 기반" 테스트 및 학습 외에도, 임의의 지식 기반 또는 성과 기반 테스트 및 학습을 제공하는 정교한 추적 및 측정 능력들을 제공한다.

숙련 기반 시뮬레이션 및 측정 시스템은 테스트 및 트레이닝을 위한 질문들을 포함하는 시뮬레이팅된 애플리케이션 환경들을 발생하기 위한 도구들의 세트를 제공한다: 새로운 시나리오들(테스트들 또는 트레이닝 설명들) 및 질문들을 발행하기 위한 처리; 질문들의 기존 데이터 저장소를 사용하여 새로운 시나리오들 및 질문들을 저작하기 위한 처리; 학생들에게 시나리오들을 운영하기 위한 처리; 및 테스트들 및 트레이닝 시나리오들을 실행하고 학생 응답을 자동으로 캡처, 측정 및 채점하는 환경.

한 실시예에서, 숙련 기반 시뮬레이션 및 측정 시스템은 숙련 기반 측정 환경들을 생성 및 운영하고, 애플리케이션들의 시뮬레이팅된 양상들과의 숙련 기반 상호작용들을 제공하기 위하여 함께 작동하는 하나 이상의 기능적 구성요소들/모듈들을 포함한다. 예를 들어, 클라이언트-서버 구조로서 구현된 숙련 기반 시뮬레이션 및 측정 시스템은 클라이언트부 및 서버부를 포함한다. 한 예시적 실시예에서, 클라이언트부는 학생에 의해 실행되고 학생의 응답들을 추적하는 시뮬레이션 엔진을 포함한다. 시뮬레이션 엔진은 기능적 원근도로부터, 테스트 또는 트레이닝 인터페이스 및 응답 추적 및 채점 메커니즘을 포함할 수 있다. 서버부는 (클라이언트측) 시뮬레이션 엔진을 구현하기 위해 사용되는 구성요소들 및 데이터 모두를 포함한다. 따라서, 기능적 원근도로부터, 서버부는 숙련 기반 테스트 및 트레이닝 엔진, 시뮬레이션 구성요소들, 비시뮬레이션 구성요소들, 및 테스트들 및 트레이닝 시나리오들과 학생 정보 데이터 저장소를 포함할 수 있다. 숙련 기반 테스트 및 트레이닝 엔진은 특정 테스트 및 트레이닝 시나리오의 부분들에 대한 요청들을 수신하고, 클라이언트측 시뮬레이션 엔진을 구현하기 위해 요구되는 시뮬레이션 구성요소들과 비시뮬레이션 구성요소들로부터 구성요소들을 전송한다. 숙련 기반 테스트 및 트레이닝 엔진은 또한 클라이언트측 시뮬레이션 엔진으로부터 학생 응답들 및 점수들을 수신하고, 데이터 저장소에 사용자마다, 테스트마다 그것들을 저장한다.

하나의 방식에 따라, 시뮬레이션 엔진은, 결과를 얻기 위한 지시를 디스플레이하고; 디스플레이된 지시에 대한 응답의 표시를 수신하고, 상기 응답은 시뮬레이팅된 상호작용을 표시하며; 표시된 응답을 자동으로 채점한다. 시뮬레이션 엔진은 학생이 시나리오와 상호작용하는 동안 애플리케이션을 실행하지 않고 플러그-인 또는 애플리케이션의 다른 실행 가능 모듈들을 사용하지 않고 애플리케이션의 양상들을 시뮬레이팅한다. 한 양상에서, 시뮬레이션 엔진은 테스트 시나리오를 제공한다. 다른 양상에서, 시뮬레이션 엔진은 트레이닝 시나리오를 제공한다. 또 다른 양상에서, 동일 메커니즘을 사용하여 처리되는 시나리오들은 다수의 언어들로 제공된다.

숙련 기반 시뮬레이션 및 측정 시스템의 다른 양상들은 본 명세서의 다른 섹션들에 기술된다.

본 발명의 실시예들은 애플리케이션의 사용자 인터페이스의 양상들을 시뮬레이팅함으로써 애플리케이션의 숙련 기반 테스트 및 트레이닝을 위한 강화된 컴퓨터 및 네트워크 기반 방법들 및 시스템들을 제공한다. 예시적 실시예들은 숙련 기반 시뮬레이션 및 측정 시스템("SBSMS" : Skills-Based Simulation and Measurement System)을 제공하며, SBSMS는 테스트들 및 트레이닝 프로그램들의 발행자들 및 저작자들이 학생들(시뮬레이팅된 환경들의 사용자들)을 테스트 및 트레이닝하기 위한 시뮬레이팅된 애플리케이션 환경들을 제공할 수 있게 한다. SBSMS는 또한, 과제가 어떻게 수행되었고 학생이 과제를 정확하게 또는 부정확하게 수행했는지를 평가함으로써 학생이 주어진 과제를 얼마나 잘 수행하고 있는지를 측정하는 정교하고 자동화된 추적 및 측정 능력들을 제공한다. 더욱이, 이들 측정 능력들은 다른 학생의 정확하거나 부정확한 테스트 점수들에 관한 학생의 성과(performance)의 결정 또는 미리 규정된 성과 레벨의 결정을 넘어선다(go beyond). 따라서, SBSMS는 임의의 지식 기반 또는 성과 기반 테스트 및 학습 외에도 "숙련 기반(skills-based)" 테스트 및 학습을 제공할 수 있다.

예시적 숙련 기반 시뮬레이션 및 측정 시스템을 기술하기 위해, 다음의 설명은 숙련 기반 테스트 환경 및 숙련 기반 트레이닝 환경을 생성 및 유지하기 위해 사용된 기술들 사이를 실제로 구별하지 않는다. 당업자는 일부 상황들에서, 이들 두 형태들의 환경들 사이의 한가지 차이가 학생에게 주어진 피드백의 형태와 피드백의 타이밍일 수도 있음을 인정할 것이다. 예를 들어, 과제의 완료 시보다는 응답 작동들이 수행되고 있을 때 학생들에게 피드백을 제공하는 것이 트레이닝 시나리오에서 유리할 수도 있다. 그러나, SBSMS의 관점에서, 이들 두 가지 유형의 시나리오들은 실질적으로 동일하다-동일한 메커니즘들이 두 환경들에 사용된다. 그 외에도, 본 명세서에 사용되는 바와 같이, 용어 "트레이닝(training)"은 임의 유형의 교육 또는 학습 상태를 의미한다.

도 1은 예시적 숙련 기반 시뮬레이션 및 측정 시스템에 의해 나타난 테스트 환경의 예시적 디스플레이 스크린을 도시한다. 디스플레이 스크린(100)은 학생이 영어, 일본어 또는 중국어와 같은 지정된 언어로 된 테스트 환경에 로그인한 후에 나타난다. 디스플레이 스크린(100)은 발행자의 로고(101), 학생과 연관되고 테스트할 수 있는 현재 사용 가능한 테스트들의 목록(102), 및 학생에 의해 이미 치러진 지난 테스트들의 목록(103)을 보여준다. 학생은 현재 사용 가능한 테스트 목록(102)으로부터 테스트를 선택할 수 있고, 테스트가 완료될 때, 선택된 테스트가 지난 테스트들의 목록(102)에 추가된다. 테스트가 할당된 날짜, 테스트가 종료된 날짜, 얼마나 많은 질문들이 대답되었는지, 및 효율성 평가(또는 다른 숙련 기반 점수)를 포함하여 완료된 테스트에 관한 정보가 제공된다. 완료된 테스트들에 대한 다른 유형의 정보가 또한 디스플레이될 수 있다.

도 2는 일본어로 표현된 동일한 테스트 환경의 예시적 디스플레이 스크린을 도시한다. 디스플레이 스크린(200)에 도시된 각각의 구성요소는 버튼들 상의 테스트 이름들 및 라벨들의 일부 및 다른 인터페이스에 대한 텍스트가 지정된 언어(여기서는 일본어)로 된 것을 제외하고, 도 1에 영어로 예시된 것과 동일하다.

숙련 기반 시뮬레이션 및 측정 시스템은 테스트 및 트레이닝을 위한 질문들을 포함하는 시뮬레이팅된 애플리케이션 환경들을 발생하기 위한 도구들의 세트를 제공한다: 새로운 시나리오들(테스트들 또는 트레이닝 설명들) 및 질문들을 발행하기 위한 처리; 질문들의 기존 데이터 저장소를 사용하여 새로운 시나리오들 및 질문들을 저작하기 위한 처리; 학생들에게 시나리오들을 운영하기 위한 처리; 및 테스트들 및 트레이닝 시나리오들을 실행하고 학생 응답을 자동으로 캡처, 측정 및 채점하는 환경. 개략적으로, 발행자는 테스트 또는 트레이닝 시나리오를 위한 "시뮬레이션 엔진(simulation engine)"(시뮬레이팅된 애플리케이션 실행 환경)을 생성하고 그 시나리오를 학생들 또는 단체들과 연관하여 사용 가능하게 한다. 그 다음, 학생은 시뮬레이션 엔진을 사용하여 발행된 테스트 및 트레이닝 시나리오를 실행하고 제공된 질문들(또는 과제들)에 응답한다. 시뮬레이션 엔진은 질문들/과제들에 응답하여 수행된 학생들의 작동들을 캡처하고, 이들을 미리 규정된 대답들/응답들에 대해 측정하며, 따라서 학생의 숙련을 채점한다. SBSMS가 학생의 숙련을 채점하는 한가지 방법은 학생의 응답이 미리 규정된 응답과 얼마나 잘 매칭하는지를 평가하는 것이다. 기존 질문들을 사용하는 새로운 테스트/트레이닝 시나리오를 원할 때, 저작자는 새로운 시나리오를 생성하고 기존의 질문-대답 쌍들을 그 시나리오와 연관시키기 위한 SBSMS 도구를 실행한다.

설명을 용이하게 하기 위해, "사용자들(users)"의 여러 분류들이 기술되지만, 임의의 사용자가 임의의 이들 임무들을 수행할 수 있고, 이 임무들이 많은 인스턴스들에서 교체될 수 있음을 이해한다. "발행자(publisher)"는 시뮬레이팅된 애플리케이션 환경("시뮬레이션 질문")에 대한 새로운 질문들과, 가능하게 새로운 지식 기반 질문들("비시뮬레이션 질문들")을 포함하는, 시뮬레이팅된 환경들, 테스트들 및 트레이닝 시나리오들을 생성하기 위하여 SBSMS 도구들을 사용하는 사용자이다. "저작자(author)"는 시뮬레이션이 관련되든지 간에, 기존 질문들을 새로운 시나리오들에 조합하고; 질문들을 기존 시나리오에 추가하는 사람이거나, 또는 기존 시나리오 특성들 및/또는 비시뮬레이션 질문들 등을 수정하는 사람들이다. "학생(student)"은 테스트를 받고 트레이닝 시나리오를 실행하는 사용자이다. "운영자(administrator)"는 시나리오들을 학생들과 연관시키고 임무들을 상이한 사용자들과 연관시킴으로써 테스트 또는 트레이닝 시나리오를 운영하는 사용자이다.

숙련 기반 시뮬레이션 및 측정 시스템을 사용하여 발생될 수 있는 테스트 및 트레이닝 시나리오는 행할 수 없는 질문들 및 애플리케이션의 시뮬레이팅된 양상들을 요구하는 두 질문들(질의들, 과제들 또는 지시들과 같이)을 포함할 수 있다. 애플리케이션과의 상호작용을 시뮬레이팅하기 위해 시뮬레이팅된 양상들을 요구하는 질문들은 시뮬레이션 질문들이라 한다. 그러한 질문들의 예는 다음과 같다: "다음의 스프레드시트에서, 10행의 셀들 모두를 하이라이트하라". 그러한 시뮬레이션 질문에 응답(대답)하기 위하여, 학생들은 시뮬레이팅된 애플리케이션 인터페이스, 예를 들어 학생들이 질문에 응답하기 위하여 실제 애플리케이션을 사용하고 있는 것처럼 메뉴들과 버튼들을 사용한다. 시뮬레이팅된 양상들을 요구하지 않는 질문들은 비시뮬레이이션 질문들이라 한다. 이러한 질문들의 예들은 질문들이 다중 선택들로부터 하나의 옳은 대답을 갖는 다중 선택 질문들; 이야기가 제공되고 학생들이 상이한 대답으로부터 최상의 대답을 선택하는 이야기-문법 질문들; 일련의 단어들 또는 구문들이 나타나고 학생이 유효한 문장들을 구성하기 위해 이들을 (예를 들어 마우스를 사용하여) 정확한 위치들로 이동시키는 순서 문장 질문들이다. 비시뮬레이션 질문들의 다른 유형들이 또한 존재한다. 또한, 당업자는 시뮬레이션 질문들 및 비시뮬레이션 질문들과 그들 응답들 모두가 텍스트, 그래픽 및 오디오를 포함하는 많은 형태들로 제공될 수 있음을 인식할 것이다.

도 3a 내지 3g는 스프레드시트 애플리케이션의 시뮬레이팅된 양상들을 사용하여 숙련들을 테스트하기 위한 테스트 시나리오의 예시적 스크린 디스플레이들을 도시한다. 시뮬레이션 엔진은 마이크로소프트 코포레이션에 의해 소유된 스프레드시트 애플리케이션인 마이크로소프트 엑셀의 인터페이스 양상들을 시뮬레이팅한다. 도 3a는 숙련 기반 테스트 시나리오를 위한 오프닝 스크린의 예시적 스크린 디스플레이이다. 디스플레이 스크린(3A01)은 헤더 영역(3A02), 명령 영역(3A04), 언어 지정기(3A03), 테스트를 시작하기 위한 "시작(Begin)" 버튼(3A05), 및 시나리오 선택 스크린, 예를 들어 도 1 및 도 2에 디스플레이된 스크린으로 리턴하기 위한 "리턴(Return)" 버튼(3A06)을 포함한다.

학생이 "시작" 버튼(3A05)을 누르면, 시나리오가 실행을 시작한다. 도 3b 내지 도 3g는 예시적 테스트 질문에 응답하기 위하여 예시적 시뮬레이팅된 인터페이스를 사용하는 작동들의 진행을 도시한다. 도 3b는 예시적 숙련 기반 테스트 시나리오의 초기 시뮬레이션 환경의 예시적 디스플레이 스크린을 도시한다. 도 3c는 도 3b에 도시된 시뮬레이션 환경 디스플레이 스크린의 버튼 부분을 도시한다. 디스플레이창(3B00)은 헤더 영역(3B01) 및 애플리케이션 시뮬레이션 영역(3B10)을 포함한다. 헤더 영역(3B01)은 임의의 시나리오(타이밍된 시나리오임)에 통상적으로 존재하는 여러 필드들을 포함하지만, 그들 내용들은 그 때 응용할 수 있는 시뮬레이션 엔진의 상태를 반영하기 위해 갱신된다. 특히, 질문 영역(3B02)은 질문/과제 텍스트(가능하다면), 또는 학생들에게 대답 또는 응답하도록 주어진 과제와 연관된 다른 명령들(예를 들어, 오디오 또는 그래픽 명령들)을 제공한다. 진행 바(progress bar; 3B03)는 질문들의 전체수 중에서 완료된 질문들의 수를 표시한다. 시간 표시기(3B04)는 시나리오가 시간 제약들과 연관되는 경우 남아있는 시간을 표시한다. "스킵(Skip)" 버튼(BG05)은 눌려질 때 시뮬레이션 엔진 상태가 다음 질문으로 진행하도록 한다. "수행(done)" 버튼(3B06)이 눌려질 때 학생이 테스트를 받고 있거나 또는 트레이닝 연습을 하고 있는 시뮬레이션 엔진을 표시한다. "테스트들로(To tests)" 선택 영역(3B07)은 눌려질 때 학생을 시나리오 선택 스크린, 예를 들어 도 1 및 도 2에 디스플레이된 스크린으로 리턴한다. 애플리케이션 시뮬레이션 영역(3B10)은 결과 프리젠테이션과 함께 시뮬레이팅되는 애플리케이션의 사용자 인터페이스 구성요소들을 포함한다. 학생은 실제 애플리케이션과 상호작용하고 있는 것처럼 금방 과제에 관련된 애플리케이션 상태의 임의 프리젠테이션 및 이들 구성요소들과 상호작용할 수 있다. 예시된 스프레드시트 환경에서, 시뮬레이션 질문들 사이에 공유된 디스플레이 영역들( 및 인터페이스의 시뮬레이팅된 양상들), 예를 들어 행 및 열 헤더들, 메뉴들, 다이얼로그들 등과, 질문들간 가변하는 디스플레이 영역들, 예를 들어 스프레드시트(3B20)의 현재 컨텐트들이 있다. SBSMS의 일부 실시예들에서, 공유된 디스플레이 영역들은 시뮬레이션 엔진이 다음 질문으로 진행할 때 변할 수 없다. 대신, 현재질문에 특정한 인터페이스 및 프리젠테이션의 영역들만이 수정된다.

현재 예시된 바와 같이, 질문 영역(3B02)은 "항목 행(라인 10)의 셀들의 색상을 '암청색'으로 변경"이라는 예시적 지시를 나타내고 있다. 질문 영역(3B02)의 디스플레이된 지시에 대한 정확한 응답에서, 학생은 먼저 항목 행(라인 10)의 셀들을 선택해야 한다. 도 3d는 학생이 시뮬레이팅된 인터페이스를 사용하여 작동을 수행한 후의 시나리오의 예시적 디스플레이 스크린을 도시한다. 스크린은 학생이 10 행에서 셀들(3D01)의 영역을 선택하고 메뉴 항목인 "셀들..."을 선택하기 위하여 포맷 메뉴를 풀다운(pull down)한 후의 결과 스프레드시트를 디스플레이한다. 셀 선택 메커니즘 및 메뉴 프리젠테이션과 구현 모두는 이 숙련 기반 시나리오의 시뮬레이팅된 양상들이다.

"셀들..." 메뉴 항목의 선택에 대한 응답에 있어서, 시뮬레이팅된 인터페이스는 "포맷 셀들" 다이얼로그창을 디스플레이한다. 도 3e는 "셀들..." 메뉴 항목의 선택에 대한 응답에서 시뮬레이팅된 인터페이스에 의해 생성된 포맷 셀들 다이얼로그의 예시적 디스플레이 스크린을 도시한다. 다이얼로그창(3E01)은 메뉴 항목 "셀들..."의 선택에 대한 응답에서 실제 애플리케이션에 의해 보통 나타날 수 있는 "포맷 셀들(Format Cells)" 다이얼로그의 시뮬레이팅된 버전이다. 그러나 이 다이얼로그는 시뮬레이팅된 다이얼로그이고, 그래서 학생에 의해 발생된 임의의 거동(behavior)은 시뮬레이션 엔진에 프로그램된다. 시뮬레이팅된 다이얼로그(뿐만 아니라, 애플리케이션에서의 실제 다이얼로그)는 "번호" 속성 시트에 디폴트된다.

원래 과제에 정확하게 응답하기 위하여, 학생은 "패턴들(Patterns)" 속성 시트에 액세스해야하며, 이 액세스는 배경(셀 음영) 색상의 선택을 허용한다. 도 3f는 "패턴들" 속성 시트의 선택에 응답하여 시뮬레이팅된 인터페이스에 의해 생성 및 디스플레이된 다이얼로그창의 예시적 스크린 디스플레이를 도시한다. "패턴들" 속성 시트(3F01)(다이얼로그창)는 활성 및 디스플레이된다. 그 다음, 학생은 디스플레이된 다이얼로그창(3F01)(바람직하게 코발트색)으로부터 색상을 고르고, 이전에 선택된 셀들의 영역의 음영은 선택된 색상으로 수정된다.

도 3g는 셀들의 선택된 범위를 음영화하기 위한 색상 선택 후에 결과 스프레드시트의 예시적 스크린 디스플레이를 도시한다. 도 3g에서, 스프레드시트(3G01)는 10행(셀들(3G02))의 선택된 셀들이 변경된 색상을 가짐을 보여준다. (흑색 및 백색 버전은 코발트색을 나타내지 않고 텍스트가 판독될 수 없지만, 셀들은 적절히 수정되었다.) 주어진 과제에 응답하는 진행이 이제 완료되고, 학생은 테스트 시나리오를 완료하기 위해 "마침" 버튼(도시되지 않았지만, 도 3b의 3B06과 동일)을 선택한다. 응답에서, 그 다음에 시뮬레이션 엔진은 임의의 필요한 채점(클라이언트 시스템 상에서 수행된다면)을 수행하고 테스트 시나리오 결과들을 서버에 제시하여 저장한다.

테스트 및 트레이닝 시나리오들 모두에 응용할 수 있지만, 본 명세서에 사용된 많은 예들 및 설명들은 단지 편리하게 하기 위해 "테스트들(tests, testing)" 및 유사한 용어들을 참조한다. 그러므로, 용어들 "질문", "지시(directive)" 및 "과제(task)"뿐만 아니라 용어들 "대답(answer)" 및 "응답(response)"은 교체적으로 사용된다. 당업자는 애들 및 설명들이 명시적으로 언급되든지 간에 트레이닝 환경들에 동일하게 적용할 수 있고, 기술된 방법들 및 시스템들은 트레이닝 환경들을 사용하고 트레이닝 환경에서 사용되도록 예상됨을 인식할 것이다. 따라서, 구문 "테스트 시나리오", "트레이닝 시나리오", "테스트" 등은 일반적으로, 임의 유형의 테스트 또는 트레이닝 인터페이스 또는 환경을 내포하도록 사용된다. 그 외에도, 기술된 개념들 및 기술들은 숙련 기반 측정 환경들에 보다 일반적으로 적용할 수 있다. 따라서, 당업자는 SBSMS의 기술들이 물리적 장치들에 대한 인터페이스들의 사용시 학생들 트레이닝을 포함한 다양한 다른 트레이닝, 교육 또는 학습 도구들을 생성하는데 유용할 수 있음을 인식할 것이다. 예를 들어, SBSMS는 복사기, 프린터 또는 다른 유사 디바이스를 구성하는 시뮬레이팅된 인터페이스를 제공하기 위해 사용될 수 있다. 다른 예들은 시나리오들에 대한 방법, 예를 들어, 어떤 것을 조립하는 방법, 형태들을 완성하는 방법, 사실들(facts)의 세트로부터 결론들을 도출하는 방법 등을 사용하여 학생들을 가르치기 위해 SBSMS 사용을 포함한다. 이들 예들에서 SBSMS는 수행되는 과제들을 제공하고 응답을 캡처 및 측정하며, 다음 과제를 착수하기 전에, 피드백을 학생에게 제공할 수 있다. 시뮬레이팅된 인터페이스는 완전히 그림으로 나타낼 수 있거나(명령 매뉴얼을 대체), 텍스트 기반될 수 있거나, 오디오 기반될 수 있거나, 또는 그래픽, 텍스트 및 오디오의 일부 조합될 수 있다.

또한, 특정 용어들이 본 명세서에서 주로 사용되지만, 당업자는 다른 용어들이 등가의 실시예들 및 예들을 가져오도록 교체적으로 사용될 수 있음을 인식할 것이다. 예를 들어, 테스트 및 트레이닝 분야 및 다른 유사한 분야들에서의 등가의 용어들이 "질문", "대답", "응답", "지시", "과제", "채점", "측정" 등과 같은 용어들 대신 대체될 수 있음을 잘 알려져 있다. 그 외에도, 용어들은 명시적으로 언급되거나 되지 않을 수 있는 교호하는 철자들(alternate spellings)을 가질 수 있고, 당업자는 용어들의 그러한 모든 변형들이 포함되도록 의도됨을 인식할 것이다.

다음의 설명에서, 본 발명의 방법들 및 시스템들의 기술들의 완전한 이해를 제공하기 위하여 데이터 포맷들 및 코드 시퀀스들 등과 같은 다수의 특정 상세들이 기재된다. 그러나, 당업자는 본 발명이 또한 본 명세서에 기술된 일부의 특정 상세들 없이, 또는 코드 흐름의 순서에 관한 변경들과 같은 다른 특정 상세들을 갖고 실시될 수 있음을 인식할 것이다.

도 4는 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 구성요소들의 예시적 블록도를 도시한다. 한 실시예에서, 숙련 기반 시뮬레이션 및 측정 시스템은 숙련 기반 측정 환경들을 생성 및 운영하고, 애플리케이션들의 시뮬레이팅된 양상들과의 숙련 기반 상호작용들을 제공하기 위하여 함께 작동하는 하나 이상의 기능적 구성요소들/모듈들을 포함한다. 당업자는 이들 구성요소들이 소프트웨어 또는 하드웨어나 그 조합으로 구현될 수 있음을 인식할 것이다. 도 4에서, 클라이언트-서버 구조로서 구현된 숙련 기반 시뮬레이션 및 측정 시스템은 클라이언트부(401) 및 서버부(404)를 포함한다. 당업자는 SBSMS가 클라이언트-서버 구조에 따라 구현될 필요 없고 대신 모놀리식 프로그램으로서 구현될 수 있음을 인식할 것이다. 대안적으로, SBSMS는 클라이언트와 서버부들을 가질 수 있지만, 동일한 기계 상에서 실행될 수 있다. 당업자는 임의의 널리 공지된 구현 방법이 명시적으로 언급되든지 간에, SBSMS 기술들과 함께 작동할 것이다.

예시적 실시예에서, 클라이언트부(401)는 학생에 의해 실행되고 학생의 응답들을 추적하는 시뮬레이션 엔진을 포함한다. 시뮬레이션 엔진은 시뮬레이팅된 애플리케이션 실행 환경이다. 클라이언트 시스템 및 서버 시스템 상 모두에 어떤 형태로 존재할 수 있다. 시뮬레이션 엔진은 물리적 구성요소로서 구현될 수 있거나 복수의 구성요소들의 추상화일 수 있다. 통상적으로, 클라이언트 시뮬레이션 엔진(401)은 기능적 원근도로부터, 테스트 또는 트레이닝 인터페이스(402) 및 응답 추적 및 채점 메커니즘(403)을 포함한다. 인터페이스(402)는 학생에 의해 실행되는 시나리오에 특정된다; 즉, 시나리오가 시뮬레이팅된 애플리케이션(또는 그 양상들)이면, 인터페이스(402)는 애플리케이션의 시뮬레이팅된 양상들을 포함한다. 대안적으로(또는 추가적으로), 시나리오가 다중 선택 질문들 또는 문장내의 단어들 순서화와 같은 비시뮬레이션 질문들을 포함하면, 인터페이스(402)는 그러한 작동들을 수행하도록 학생을 지원하기 위하여 적절한 엔진(예를 들어, 코드, 논리 및 프리젠테이션)을 포함한다. 학생이 시나리오를 완료했으면, 응답 추적 및 채점 메커니즘(403)은 바람직하게 작동들의 설명(예를 들어, 키스트로크 시퀀스들, 마우스 이동들 또는 인터페이스 명령 시퀀스들)을 포함하는 응답 데이터를 통신 네트워크(409)를 통해 서버부(404)에 제공한다.

서버부(404)는 (클라이언트측) 시뮬레이션 엔진(401)을 구현하기 위해 사용되는 구성요소들 및 데이터 모두를 포함한다. 따라서, 기능적 원근도로부터, 서버부(404)는 숙련 기반 테스트 및 트레이닝 엔진(405), 시뮬레이션 구성요소들(406), 비시뮬레이션 구성요소들(407), 및 데이터 저장소(408)에 저장되어 있는 테스트들 및 트레이닝 시나리오들과 학생 데이터를 포함한다. 숙련 기반 테스트 및 트레이닝 엔진(405)은 서버측 시뮬레이션 엔진으로서 기능한다. 특정 테스트 및 트레이닝 시나리오의 부분들에 대한 요청들을 수신하고, 클라이언트측 시뮬레이션 엔진(401)을 구현하기 위해 요구되는 시뮬레이션 구성요소들(406)과 비시뮬레이션 구성요소들(407)로부터 구성요소들을 전송한다. 구성요소들(406 및 407)은 테스트 또는 트레이닝 인터페이스(402)와 응답 추적 및 채점 메커니즘(403)을 구현하기 위해 호출된다(invoke). 숙련 기반 테스트 및 트레이닝 엔진(405)은 또한 클라이언트측 시뮬레이션 엔진(401)으로부터 학생 응답들 및 점수들을 수신하고, 테스트/트레이닝 시나리오들 및 학생 데이터(408)의 데이터 저장소에 사용자마다, 테스트마다 그것들을 저장한다.

도 5는 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 시뮬레이션 엔진의 예시적 블록도를 도시한다. 예시적 실시예에서, 시뮬레이션 엔진(500)은 개개의 구성요소들(502 내지 508)이 독립적으로 존재하고 특정 테스트 또는 트레이닝 시나리오를 구현하기 위해 요구됨에 따라 통합된다는 점에서 추상화이다. 그러나, 당업자는 도시된 물리적 구성요소와 하위구성요소들이 컴퓨터 시스템에서 독립된 구성요소로서 구성 및 관리될 수 있음을 인식할 것이다. 시뮬레이션 엔진(500)이 서버 시스템 원근도로부터 도시되어 있고, 특정 시나리오가 시뮬레이션 질문들 및 비시뮬레이션 질문들(그 경우가 아닐 수도 있음) 모두를 포함한다고 가정한다. 그것은 응답 추적 및 채점 구성요소(501), 비시뮬레이션 질문 데이터(508)를 사용하여 비시뮬레이션 질문들을 제공 및 관리하기 위한 하나 이상의 비시뮬레이션 엔진들(507), 및 시뮬레이션 엔진들을 제공 및 관리하기 위한 시뮬레이션 구성요소들(502 내지 506)을 포함한다. 특히, 시뮬레이션 구성요소들은 시뮬레이션 기반 엔진(502), 하나 이상의 애플리케이션 레벨 시뮬레이션 구성요소들(503), 및 하나 이상의 시뮬레이션 질문 구성요소들(504 내지 506)을 포함한다. 시뮬레이션 기반 엔진(502)은, 예를 들어 다음 질문이 시뮬레이팅되는 특정 애플리케이션에 상관없이 어떻게 발견되어 제공되는지, 학생 응답이 언제 기록되는지 등과 같이 시뮬레이션의 흐름을 제어하는 논리를 포함하는 임의의 시뮬레이팅된 애플리케이션 환경을 위한 기본 레벨 지원을 제공한다. 잠재적으로 시뮬레이팅될 애플리케이션으로부터 도출된 각각의 시나리오는 질문들이 교차적으로 공유되는 시뮬레이팅된 양상들을 가진다. 이들 시뮬레이팅된 양상들은 애플리케이션 레벨 시뮬레이션 구성요소들(503)을 포함하는 것이다. 애플리케이션에 특정한 메뉴들 및 메뉴 항목들의 제어와 같은 양상들은 구성요소들(503)로서 구현될 수 있다. (예를 들어, 도 3a 내지 도 3g에 도시된 엑셀 메뉴들 및 다이얼로그들은 구성요소들(503)로서 구현될 수 있다). 또한, 시뮬레이션 엔진(500)은 예를 들어 질문 시뮬레이션 구성요소들(504 내지 506)을 제공하기 위해 각각의 질문에 대한 시뮬레이션 구성요소를 포함한다. 각각의 시뮬레이팅된 질문 구성요소는 질문 및 그 대답을 구현하기 위해 특정 인터페이스들 및 데이터를 포함한다. 당업자는 애플리케이션을 위한 시뮬레이팅된 상호작용 지원 및 메뉴들 발생을 지원하는 구성요소들(예를 들어, 일반 메뉴 및 메뉴 항목 처리 코드)과 같은 다른 구성요소들이 또한 존재할 수 있음을 인식할 것이다.

도 5에 도시된 시뮬레이션 엔진(500)은 클라이언트 시스템 상에 실행된 환경을 생성하여 시뮬레이팅된 애플리케이션 시나리오를 실행하기 위해 사용된다. 특히, 도 5의 구성요소들은 테스트 또는 트레이닝 인터페이스(402)와 응답 추적 및 채점 메커니즘(403)을 발생 및 구현하기 위해 사용되며, 이들은 예를 들어 도 4의 클라이언트측 시뮬레이션 엔진을 포함한다. 그러나, 한 실시예에서, 각각의 질문 시뮬레이션 구성요소들을 가정의 클라이언트 시스템에 한번에 사전 로드하는 대신에, 개개의 질문 시뮬레이션 지원은 "필요에 따라" 클라이언트 시스템에 다운로드된다. 그러한 지연된 로드는 도 28a 내지 도 28c를 참조하여 보다 상세히 기술된다. 다른 실시예에서, 전체 시나리오에 대한 모든 시뮬레이션 질문 정보는 클라이언트 시스템 상의 시뮬레이션 엔진에 초기에 다운로드된다.

도 6은 숙련 기반 측정 시나리오들을 생성, 관리 및 운영하기 위해 예시적 숙련 기반 시뮬레이션 및 측정 시스템을 사용하는 전체 처리의 흐름도를 도시한다. 예시적 SBSMS는 이들 상이한 기능들을 사용자가 선택하도록 허용하기 위해 초기 인터페이스(도시되지 않은 디스플레이 스크린)를 제공할 수 있다. 이들 단계들은 전체 처리에서 개별 단계들로서 도시되었지만, 당업자는 다음의 기능이 상이한 순서들과 상이한 시간들에 제공될 수 있고 상이한 방식으로 조합됨을 인식할 것이다. 사용자는 (1) 시나리오를 실행하기 위하여; (2) 사용자들에 대한 임무들 및 시나리오들을 운영하기 위해; (3) 새로운 시나리오를 저작하거나, 기존의 시나리오를 수정하기 위하여; 및 (4) 새로운 시나리오들 및 새로운 시뮬레이션 질문들을 발행하기 위하여 예시적 SBSMS와 상호작용한다.

특히, 단계(601)에서, 사용자가 시나리오를 실행하기 원하는 것을 표시하면, 사용자는 단계(602)에서 계속하고, 아니면 단계(604)에서 계속한다. 단계(602)에서, 사용자는 학생으로서 SBSMS에 대한 로그인 정보를 제공하고, 로그인 데이터는 인증된다. 단계(603)에서, SBSMS는 기본 숙련 기반 테스트 및 트레이닝 실행 환경을 시작하고, 학생에 의해 선택된 시나리오를 실행한다. 시나리오가 실행을 종료할 때, 학생은 다른 시나리오를 계속 실행할 수 있거나, 숙련 기반 시뮬레이션 및 측정 시스템의 다른 능력들을 계속할 수 있다. 이들 단계들은 도 7 내지 도 13을 참조하여 더 기술된다.

단계(604)에서, 사용자가 운영하기 원하는 것을 표시하면, 사용자는 운영자로서, 사용자 속성들을 수정하고 다양한 시나리오들을 사용자에게 할당하기 위하여 단계들(605 내지 609)에서 계속하고, 그렇지 않으면 단계(610)에서 계속한다. 특히, 단계(605)에서, 운영자는 운영을 위해 특정 사용자를 선택한다(또는 새로운 사용자를 지정한다). 단계(606)에서, 운영자가 임의의 사용자 속성들을 수정한다면, 단계(607)에서, 사용자 데이터는 갱신되거나, 또는 특정 사용자 데이터를 저장하는 적절한 데이터 저장소에 추가된다. 그렇지 않으면, 운영자는 단계(608)에서 계속한다. 단계(608)에서, 운영자가 선택된 사용자에게 시나리오를 할당하기 원한다면, 운영자는 단계(609)에서 계속하고, 그렇지 않으면 계속하여 운영 기능들을 다른 사용자에게 인가하거나 숙련 기반 시뮬레이션 및 측정 시스템으로 무엇인가를 하기로 결정한다. 단계(609)에서, 운영자는 시나리오_ID를 갖는 시나리오를 선택된 학생에게 할당하기 위해 일련의 단계들을 실행한다. 이들 단계들은 도 14 내지 도 15를 참조하여 더 기술된다.

단계(610)에서, 사용자가 저작자로서 역할하고 새로운(또는 수정된) 시나리오를 저작하기를 원한다면, 사용자는 저작자로서, 시나리오를 저작하기 위한 다른 단계들을 호출하기 위해 단계(611)에서 계속하고, 그렇지 않으면 단계(612)에서 계속한다. 시나리오를 저작하는데 관련된 특정 단계들은 도 16 내지 도 21을 참조하여 기술된다. 일단 저작자가 종료했으면, 저작자는 계속해서 다른 시나리오를 저작할 수 있거나, 또는 숙련 기반 시뮬레이션 및 측정 시스템의 임의의 다른 기능들을 실행할 수 있다.

단계(612)에서, 사용자가 새로운 시뮬레이션 시나리오 또는 시나리오에 대한 시뮬레이션 질문들을 발행하기 원한다면, 사용자는, 발행자로서, 새로운 시뮬레이션 시나리오를 발행하거나 새로운 시뮬레이션 질문들을 가진 기존 시나리오를 수정하기 위해 단계(613)에서 계속한다. 새로운 시뮬레이션 시나리오 또는 새로운 시뮬레이션 질문들을 발행하기 위한 단계들은 도 22 내지 도 23을 참조하여 기술된다. 발행자가 종료되면, 발행자는 계속해서 다른 시나리오를 발행할 수 있거나 숙련 기반 시뮬레이션 및 측정 시스템의 임의의 다른 기능들을 실행할 수 있다.

도 7은 클라이언트 시스템에 대한 시뮬레이션을 실행하기 위해 예시적 숙련 기반 측정 환경에 의해 수행되는 단계들의 예시적 흐름도이다. 이 단계들이 순차적으로 수행되는 것으로 도시되어 있지만, 당업자는 특히, 웹 기반 환경에서 처리되는 작동들이 코드에 의해 구동되는 특정 순서로 흐르는 것과 반대로 구동되는 데이터(또는 이벤트)임을 인식할 것이다. 따라서, 이들 단계들은 특정 이벤트(예를 들어, 눌러지는 인터페이스의 버튼)에 응답하는 것으로 제공된다. 도시된 단계들은 학생이 테스트 또는 트레이닝 시나리오를 실행하기 위해 숙련 기반 측정 환경에 성공적으로 로그인한 후에 발생하는 처리의 예이다.

특히, 단계(701)에서, 시스템은 학생이 어느 시나리오를 지정했는지를 결정한다. 예를 들어, 도 1에 도시된 것과 같은 디스플레이 스크린은 사용자가 어느 시나리오를 지정할 수 있는지 나타낼 수 있다. 예로서 도 1을 사용한 경우에, 학생이 특정 테스트 상의 "테스트를 받다" 표시기를 선택하면, 선택된 테스트를 위한 입문 디스플레이 스크린(introductory display screen), 예를 들어 도 3a에 도시된 디스플레이 스크린이 디스플레이된다. 그 후, 단계(702)에서, 학생이 선택된 테스트를 위해 "시작" 버튼(예를 들어, 도 3a의 "시작" 버튼(3A05))을 선택할 때, 그 환경은 서버로부터 일련의 파일들/페이지들을 요청 및 로드함으로써 선택된 테스트를 시작한다. (학생이 "시작" 버튼을 누를 때까지, 인터페이스는 타원에 의해 표시된 것들과 시나리오 선택 스크린으로의 리턴과 같은 다른 것들을 할 수 있다.) 특히, 실제로, 클라이언트와 서버 사이의 다수의 보다 작은 통신을 표시하는 단계(703)에서, 클라이언트는 서버로부터 시뮬레이션 엔진을 수신한다. 서버는 제 1 질문에 기초하여 시뮬레이션 엔진으로서 어떤 구성요소들에 전송될지를 결정한다. 예를 들어, 제 1 질문이 시뮬레이션 질문이면, 시뮬레이션 엔진은 통상적으로, 애플리케이션 기반 시뮬레이션 구성요소 및 제 1 질문에 대한 시뮬레이션과 함께 시뮬레이션 기반 엔진(모든 시뮬레이션들에 사용됨)을 포함한다. 대안적으로, 제 1 질문이 비시뮬레이션 질문이면, 적절한 유형의 비시뮬레이션 엔진은 그 엔진을 사용하는 질문들을 위한 데이터로 미리 채워질(pre-fill) 것이다. (그 유형의 엔진을 사용하는 질문들은 테스트 시나리오에 대한 전체 질문들의 서브세트일 수 있다.) 예를 들어, 제 1 질문이 다중 선택 질문이면, 다중 선택 엔진은 다운로드되고, 그 테스트에 대한 비시뮬레이션 질문 데이터로 미리 채워진다. 서버에 의해 전송되는 구성요소들의 다른 예들은 도 22 및 도 23을 참조하여 더 기술된다. 시뮬레이션 엔진이 수신되면 단계9704)에서, 시뮬레이션이 효과적으로 "실행(run)"된다(수행되거나 또는 어떤 작동이 구현에 적절하든지). 이것은, 예를 들어, 시뮬레이션 엔진이 일련의 웹 페이지들로서 구현된다면, 제 1 웹 페이지가 처리되고, 임의의 후속 데이터 또는 웹 페이지들이 서버 시스템으로부터 적절하게 웹 브라우저에 의해 요청된다. 실행 시뮬레이션 엔진이 제어의 통상적 흐름은 도 8을 참조하여 더 기술된다. 단계(705)에서, 학생이 테스트 또는 트레이닝 시나리오를 완료했다는 표시를 수신시(예를 들어, 최종 질문에 대한 "마침" 버튼을 누름으로써), 그 환경은 단계(706)에서 계속한다. 그때까지, 표시된 바와 같이, 시뮬레이션은 계속 실행한다. 단계(706)에서, 시스템은 학생에게 피드백을 제공하기 위해 시나리오로부터의 임의의 결과들을 디스플레이하고, 숙련 기반 측정 환경의 테스트 선택 구성요소로 리턴한다.

도 8은 클라이언트 시스템에 의해 실행된 예시적 시뮬레이션 엔진의 예시적 흐름도이다. 당업자는 시뮬레이션 엔진을 구현하고 그 흐름을 특성화하기 위한 임의 수의 방식들이 있음을 인식할 것이다. 도 8에 도시된 예에서, 테스트는 시뮬레이션 및 비시뮬레이션 질문들 모두를 포함하는 것으로 가정된다. 요약하면, 테스트에 어떠한 질문들도 더 이상 남아있지 않을 때까지, 각각의 질문이 검색되고(필요하다면), 제공되며, 응답들이 기록된다. 특히, 단계(801)에서, 엔진은 다음 질문 또는 수행될 과제의 텍스트를 디스플레이하고 단계(802)에서 계속한다. 단계(802)에서, 질문이 다중 선택 질문과 같은 비시뮬레이션 질문이면, 엔진은 단계(803)에서의 한 경로를 계속 내려가고, 그렇지 않으면, 단계(805)에서의 다른 경로를 계속 내려간다.

단계(803)에서 비시뮬레이션 경로에 따라, 엔진은 비시뮬레이션 질문 엔진의 유형에 의해 결정되는 대답들 또는 대답들의 잠재적 세트를 디스플레이한다. 예를 들어, 엔진의 유형이 다중 선택 엔진이면, 단계(803)에서, 대답들의 매트릭스(데이터 저장소로부터 초기에 결정됨)가 제공된다. 대안적으로, 엔진이 이야기 문법 엔진이면, 그 엔진은 학생이 그 이야기에서 배치용 단어/구문들을 선택해야 하는 구문들 또는 단어들의 다중 선택들 및 이야기를 디스플레이한다. 또한, 대안적으로, 엔진의 유형이 순차 문장 엔진이면, 엔진은 사용자가 문장을 형성해야 하는 일련의 단어들을 디스플레이한다. 단계(804)에서, 엔진은 사용자의 응답을 결정하고, 단계(807)에서 계속한다.

대안적으로, 질문이 시뮬레이션 질문이면, 단계(805)에서, 엔진은 학생의 입력(작동들)을 얻거나 결정하고, 따라서 임의의 명령들(사용자 인터페이스)을 처리한다. 예를 들어, 웹 기반 환경이 시뮬레이션 엔진을 구현하기 위해 사용되면, 애플리케이션의 다양한 시뮬레이팅된 사용자 인터페이스 구성요소들을 처리하기 위한 적절한 코드는 필요에 따라 호출된다. 통상적으로, 시뮬레이팅된 인터페이스 양상들의 호출은 서버 시스템과의 통신 및 그에 의한 부분적 실행을 관련시킨다. 그러나, 당업자는 일부 실시예들에서, 인터페이스를 지원할 전체 코드는 클라이언트에게 다운로드됨을 인식할 것이다. 따라서, 시뮬레이션 질문을 위한 단계(805)는 많은 단계들을 포함한다. 단계(806)에서, 각 명령 후에, 엔진은 학생의 작동들을 기록한다. 당연히 이러한 작동들의 기록은 모든 명령 또는 작동들의 일부 다른 조합의 처리시 발생할 수 있으며, 시뮬레이션 엔진의 구현에까지 이른다. 학생이 과제의 완료를 표시했거나 질문에 적절히 응답했으면, 엔진은 단계(807)에서 계속한다.

단계(807)에서, 학생이 응답이 완료되었음을 표시하면, 단계(808)에서, 엔진은 질문에 대한 학생 응답을 채점하기 위한 채점 및 계산 메커니즘을 호출한다. 채점은 도 10 내지 도 13에 관해 더 기술된다. 단계(809)에서, 엔진은 다음 질문을 얻는다. 다음 질문이 시뮬레이션 질문이면, 통상적으로, 시뮬레이션 엔진은 서버로부터 다음 질문에 대한 시뮬레이션 구성요소를 검색할 것이다. 대안적으로, 다음 질문이 비시뮬레이션 질문이면, 적절한 데이터는 시뮬레이션 엔진에서 현재 처리되고 있는 프리젠테이션(형식, 웹 페이지 등)에 채워진다. 단계(810)에서, 시뮬레이션 엔진은 시나리오에 남아있는 많은 질문/과제들이 있는지 여부를 결정하고, 그러하다면, 단계(801)에서 다음 질문을 처리하기 위해 다시 계속되고, 그렇지 않으면 처리를 종료한다.

도 9는 클라이언트 시스템에 대한 예시적 시뮬레이션 엔진들의 실행을 지원하기 위해 서버 시스템에 의해 수행되는 단계들의 개요에 대한 예시적 흐름도를 도시한다. 예시적 단계들이 도시되어 있지만, 당업자는 많은 다른 처리 또는 상이한 처리가 발생할 수 있음을 인식할 것이다. 요약하면, 서버는 클라이언트측 시뮬레이션 엔진에 대한 우측 구성요소들을 결정 및 검색하고 시나리오들에 대한 학생들의 응답들 및 점수들 등을 지속적으로 저장할 책임이 있다. 특히, 단계(901)에서, 서버 인터페이스(HTML, 페이지 서버, ASP.NET 엔진 또는 다른 유사한 서버 애플리케이션)는 처리될 요청을 결정한다. 단계(902)에서, 새로운 시나리오가 다운로드되어야 하는 요청을 표시하면, 서버 환경은 단계(903)에서 계속하고, 그렇지 않으면 단계(905)에서 계속한다. 단계(903)에서, 서버는 다운로드할 적절한 시나리오 엔진의 위치를 데이터 저장소로부터 검색한다. 예를 들어, 시나리오의 제 1 질문이 시뮬레이션 질문이면, 데이터 저장소 테이블들은 기본 시뮬레이션 엔진(모든 시뮬레이션들에 대한 인터페이스들 및 기본 흐름을 제어함)에 대한 참조를 통상적으로 포함한다. 단계(904)에서, 서버는 클라이언트에 대한 시뮬레이션 엔진의 나머지를 준비하고 그것을 클라이언트에게 전송한다. 예를 들어, ASP.NET와 같은 웹 기반 환경에서, 준비 처리는 서버 상의 웹 페이지들 로드하고, 이를 컴파일링하며, 클라이언트 시스템에 전송할 HTML 파일(잠재적으로 자바스크립트 코드 파일들과 함께)을 생성하도록 XML 제어들이 자체 렌더링하게 하는 것을 관련시킬 수 있다. 당업자는 이 단계가 구현 의존적임을 인식할 것이다. 서버는 계속해서, 다른 요청을 결정하거나, 또는 서버 인터페이스가 다시 호출될 때까지(타원들 또는 단계(901)로의 리턴에 의해 표시된 바와 같이)기다린다.

단계(905)에서, 요청이 일부 유형의 데이터 저장 정보를 처리하는 것이면, 서버는 단계(906)에서 계속하고, 그렇지 않으면 단계(907)에서 계속한다. 단계(906)에서, 서버는 그 요청을 처리하고 데이터 저장 테이블들을 요청에 적절하게 갱신하며, 단계(901)에서 계속하여 다음 요청을 기다리거나 다른 처리를 수행한다. 예를 들어, 하나의 그러한 데이터 저장 요청은 특정 테스트에 대한 특정 학생에 대한 점수 정보 및 대답들( 및 렌더링된 작동들)을 저장하는 것일 수 있다.

단계(907)에서, 요청이 서버 환경으로부터 다른 구성요소를 검색하는 것이면, 서버는 단계(908)에서 계속하고, 그렇지 않으면, 서버에 의해 수행될 다른 처리를 계속한다. 단계(908)에서, 요청이 예를 들어 다음 질문에 대한 시뮬레이션 구성요소를 검색하는 것이면, 서버는 어느 구성요소를 액세스하는지를 결정하고, 그것을 검색하며, 그 질문에 적절한 시뮬레이션 구성요소를 로드한다. 단계(909)에서, 서버는 적절하게 구성요소를 준비하고(예를 들어, 상술된 HTML 렌더링), 시뮬레이션 엔진 구성요소를 클라이언트 시스템에 전송한다. 당업자는 이 단계가 매우 구현 의존적임을 인식할 것이다. 서버는 다른 처리를 계속하거나 다음 요청을 기다린다.

도 10은 클라이언트 시스템 원근도로부터 숙련 기반 시뮬레이션 및 측정 시스템의 숙련 기반 기록 및 채점 처리의 예시적 흐름도를 도시한다. 단계들(1001 내지 1003)은 학생이 응답의 완료를 표시할 때까지 학생의 작동을 기록한다. 이들 단계들은 수행됨에 따라 학생의 작동들이 시뮬레이션에 의해 통상적으로 기록됨을 강조하기 위해 도 10의 일부로 도시된다. 그러나, 단계들(1001 내지 1003)은 클라이언트 시스템 상의 시뮬레이션 실행에 대한 전체 처리의 일부로서 도 8을 참조하여 기술되었다. 특히, 단계(1001)에서, 시뮬레이션 엔진은 학생 작동의 표시를 수신하고 따라서 그것을 처리한다. 단계(1002)에서, 시뮬레이션 엔진은 학생 동작을 기록한다. 예를 들어, 한 실시예에서, 시뮬레이션 엔진은 기록 매크로와 같은 명령들의 형태로 모든 사용자 키보드 작동들을 기록한다. 단계(1003)에서, 사용자가 "마침" 버튼을 누를 때, 시뮬레이션 엔진은 단계(1004)에서 계속하고, 그렇지 않으면, 단계(1001)로 다시 계속하고 질문에 응답시 작동들을 계속 수행한다.

단계(1004)에서, 학생이 응답의 완료를 표시했으면, 시뮬레이션 엔진은 정확한 대답을 전체 응답에 걸쳐 기록된 기록 작동들에서 탐색한다. 예를 들어, 시뮬레이션 질문들의 한 실시예에서, 특정 질문에 대한 정확한 대답들은 대응하는 질문 시뮬레이션 구성요소에 저장된다. 시뮬레이션 엔진은 어떤 수준의 대답이 정확한지 여부를 결정하기 위하여, 정확한 대답(정확한 명령)의 임의의 인스턴스를 기록된 작동들에서 탐색한다. 그러나, 당업자는 질문에 의존하여, 이러한 기술이 항상 명백할 수는 없음을 인식할 것이다. 또한, 당업자는 기록된 작동이 그 질문에 대한 정확한 대답인지 여부를 결정하기 위한 다른 방법들이 있음을 인식할 것이다. 예를 들어, 특정 질문들에 응답하여, 시뮬레이션은 틀린 순서로 된 경우에도 존재하는 작동들의 정확한 세트를 요구할 수 있다. 대안적으로, 대답은 순서가 또한 정확하다면, 단지 정확한 것으로서 지정될 수 있다. 다른 조합들이 또한 가능하다. 단계(1005)에서, 시뮬레이션 엔진은 기록된 작동들(응답들)이 정확 또는 부정확했는지의 표시를 저장한다. 단계(1006)에서, 시뮬레이션 엔진은 응답의 효율성에 관한 어떤 종류의 계산을 수행한다. 한 실시예에서, 효율성은 다음의 공식에 의해 계산된다:

(타겟 대답 작동들의 수 / 실제 작동들의 수) × 100 = 효율성 %(1)

당업자는 유사한 공식을 사용하여 효율성을 계산하기 위한 다수의 방식들이 있음을 인식할 것이다. 예를 들어, 응답에서의 다수의 작동들은 작동들의 순서, 및 작동들이 얼마나 많이 순서를 벗어나는지 등을 또한 고려한 구성요소 또는 최적 수의 작동들과 비교될 수 있다. 당업자는 이 계산이 원하는 대로 복잡하게 얻어질 수 있다. 단계(1007)에서, 시뮬레이션 엔진은 계산된 효율성 평가를 저장하고, 단계(1008)에서, 기록된 작동들, 효율성 평가, 및 정확성 표시기를 포함한 점수 정보를 서버에 전송하고, 그 다음 리턴한다.

도 11 내지 도 13은 숙련 기반 시뮬레이션 및 측정 시스템의 예시적 기록 및 채점 메커니즘을 사용하여 기록된 작동들을 예시하는 디스플레이 스크린들을 도시한다. 도 11은 기록된 작동들을 도시하기 위해 사용된 예시적 테스트의 예시적 디스플레이 스크린이다. 디스플레이 스크린(1100)에서, 질문 영역(1101)의 텍스트는 수행될 과제를 나타낸다: "2) 항목 행(라인 10) 상의 텍스트의 색상을 백색으로 변경하라". 그 다음 학생은 주어진 과제에 응답하기 위한 작동들을 수행한다.

도 12는 정확하게 대답된 질문에 대한 예시적 시뮬레이션 엔진에 의해 저장되는 기록된 작동들의 예시적 디스플레이 스크린을 도시한다. 디스플레이 스크린(1200)에서, 테스트에서 포함된 질문들의 목록(1201)은 표시, 예를 들어, 질문이 정확하게 대답되었는지 부정확하게 대답되었는지의 "정확한" 표시기(1203)와 함께 디스플레이된다. "선택" 표시기(1204)가 특정 질문, 예를 들어 질문(1202)을 위해 선택될 때, 그 질문에 대한 학생 응답을 위한 기록된 작동들은 기록된 작동들 미리보기창(1205)에서 디스플레이된다. 통상적으로, 운영자는 기록된 작동들을 재검토하고 이 디스플레이 스크린에 대한 액세스를 가진다. 운영자로부터 이 디스플레이 스크린에 대한 액세스는 도 15에 도시된다.

도 12에 도시된 예에서, 도 11에 나타난 질문에 대한 학생의 응답을 관찰할 수 있다. 특히, 질문(1202)은 도 11에 도시된 텍스트를 포함한다. "정확한" 표시기(1203)는 학생이 질문(과제)에 정확하게 대답(또는 응답)했음을 나타낸다. "선택" 표시기(1204)가 선택될 때, 질문(1202)에 대한 응답에서 학생에 의해 타이핑된 작동들은 작동 미리보기창(1205)에 디스플레이된다. 미리보기창(1205)은 학생의 작동들이 단일 셀을 (부정확하게) 먼저 선택한 다음, F10의 범위를 통해 셀 멤버들 B10의 정확한 선택이 뒤따랐음을 보여준다. 학생은 포맷 메뉴를 선택했고 결국엔 정확한 (폰트) 속성 시트를 디스플레이하기 위해 최종적으로 탭을 변경했고, 그후에 학생은 이전에 선택된 범위의 셀들에 대해 색상 "백색"을 정확하게 선택했다. 따라서, 정확한 대답이 라인 10상의 텍스트를 백색으로 변경함으로써 달성되었음을 알 수 있다; 그러나, 학생에 의해 수행된 작동들 모두가 그 대답을 달성했던 건 아니고, 실제로 학생은 여러 번 실수했다. 따라서, 시뮬레이션 엔진이 효율성 평가(예를 들어, 도 10의 단계(1006)를 참조)를 계산할 때, 대답이 정확할지라도, 효율성은 최적 상태보다는 낮다.

도 13은 부정확하게 대답된 질문에 대한 예시적 시뮬레이션 엔진에 의해 저장되는 기록된 작동들의 예시적 디스플레이 스크린을 도시한다. 디스플레이 스크린(1300)의 질문(1302)에 도시된 과제가 "중앙 열들 B 및 C"였음을 관찰할 수 있다. "잘못된(wrong)" 표시기(1303)는 학생이 이 질문에 부정확하게 응답했음을 표시한다. 따라서, 운영자가 "선택" 표시기(1304)를 누를 때, 이 직무에 응답시 수행된 학생 작동들의 세트는 기록된 작동들 미리보기창(1305)에 도시된다. 학생의 작동들이 셀을 선택하고, 그 다음 범위를 선택하고, 그 다음 다른 셀과 다른 범위를 선택하고, 최종적으로 정확한 행 범위들이 선택된 것임을 관찰할 수 있다. 학생은 그 후에 "중심을 맞추기(center justify)" 위하여 정확한 메뉴 및 메뉴 항목을 선택했지만, 셀들의 범위는 부정확했고, 창(1305)에 디스플레이된 엔진 응답을 부정확하게 했다.

상술된 바와 같이, 시나리오들을 실행하는 것 외에도, 숙련 기반 시뮬레이션 및 측정 시스템은 운영자들이 사용자 직무들을 관리하고 시나리오들을 학생들에게 할당하도록 한다. 도 14는 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 운영 인터페이스의 할당 시나리오 루틴의 예시적 흐름도를 도시한다. 이 루틴은 도 6의 단계(609)에 대응하고, 운영자가 시나리오를 지정된 학생에게 할당하도록 허용한다. 단계(1401)에서, 운영 시스템은 운영자로부터 지정된 시나리오의 지정을 수신한다. 단계(1402)에서, 운영 시스템은 지정된 학생을 위한 지정된 시나리오에 대응하는 데이터 저장소에 새로운 기록들을 생성한다. 지정된 학생은 예를 들어, 도 6에서 단계(605)에 기술된 전체 처리에서 이러한 루틴을 호출하기 전에 운영자에 의해 선택되었다. 단계들(1403 내지 1405)에서, 운영 시스템은 지정된 시나리오를 지정된 학생과 연관시키기 위해 서버의 데이터 저장소들의 테이블들을 갱신한다. 생성 및 갱신되어야 하는 정확한 데이터 기록들은 데이터 저장소의 구현에 의존한다. 한 데이터 저장소 조직은 도 26에 관해 더 기술된다. 한 실시예에서, 단계(1403)에서, 시스템은 테이블들에 규정된 시나리오에 대응하는 질문/대답 쌍들을 참조하여 새롭게 생성된 시나리오 기록을 거주시키며, 상기 테이블들은 어떤 질문들 및 매칭하는 대답들이 어느 시나리오들과 연관되는지를 기술한다. 예를 들어, 한 실시예에서, 각각의 시나리오는 그 시나리오에 대응하는 질문/대답 쌍들 모두와 데이터 저장소 테이블에서 연관된다. 새로운 시나리오가 특정 학생에게 할당될 때, 이들 쌍들 각각에 대한 참조가 생성되어 그 테스트 및 그들 질문-대답 쌍들에 관한 특정 학생 정보가 사용자마다 기초하여 저장될 수 있다. 각각의 질문이 학생에 특정한 시나리오에 대한 속성들(예를 들어, 나타난 질문들의 순서)을 가질 수 있기 때문에, 질문 정보 기록으로부터의 질문에 대한 참조 또는 질문-대답 쌍의 사본은 특정 학생에 대한 특정 시나리오에 대응하는 테이블에 할당된다. 단계(1404)에서, 관리 시스템은 질문들이 랜덤한 순서로 제공되는지를 의미하는 특정 시나리오가 랜덤화된 시나리오인지 여부를 결정하며, 그러하다면 단계(1405)에서 계속하고, 그렇지 않으면 리턴한다. 단계(1405)에서, 시스템은 그 학생에 대한 특정 시나리오 기록에 대한 질문/대답 쌍들의 순차적 순서를 랜덤화한다. 시뮬레이션 엔진은 그 학생에 대한 시나리오 기록에 규정된 순서로 그 질문을 제공한다. 그 다음, 할당 시나리오 루틴은 SBSMS의 운영 인터페이스로 다시 리턴한다.

도 15는 숙련 기반 시뮬레이션 및 측정 시스템의 운영 인터페이스의 예시적 디스플레이 스크린을 도시한다. 디스플레이 스크린(1500)은 운영자에 의해 구성될 수 있는 사용자들의 목록(1501)을 도시한다. 사용자(1510)와 같은 시스템의 현재 사용자가 선택될 때, 현재 사용자 정보는 사용자 속성들(1502)에 미리 채워진다. 각각의 사용자는 연관된 사용자 ID, 패스워드, 이름 및 계좌 만기 일자, 및 학생, 운영자, 발행자 또는 저작자와 같은 직무를 가진다. 이들 속성들은 사용자 속성들(1502)의 필드들에 반영된다. 사용자 속성값들은 운영자에 의해 변경될 수 있으며, 시스템은 "부가/갱신" 버튼(1503)을 설정함으로써 따라서 갱신된다. 사용자가 선택했으면, 테스트들(또는 다른 시나리오들)은 "테스트들" 버튼(1504)을 선택함으로써 그 사용자와 연관될 수 있다. "테스트들" 버튼(1504)이 선택될 때, 그 사용자(학생으로서)에게 현재 할당된 테스트들의 목록은 현재 테스트 목록(1505)에 도시된다. 새로운 테스트를 추가하기 위하여, 운영자는 드롭 다운(drop-down) 사용 가능한 테스트 목록(1506)으로부터 테스트를 선택하고 "부가" 버튼(1507)을 누른다.

운영 인터페이스는 각각의 대답된 질문에 대해 저장된 기록된 작동들 및 시나리오 결과들의 상세들을 결정 및 관측하기 위해 사용될 수 있다. 특히, 현재 테스트 목록(1505)은 각각의 테스트(시나리오)와 연관된 데이터를 보여준다. 각각의 테스트에 대해, 목록(1505)은 테스트가 할당된(1520) 데이터와, 테스트가 취해진(1521) 경우에 테스트가 시작된 데이터와, 종료되었다면 테스트가 종료된 데이터와 테스트에 대한 임의의 결과들을 보여준다. 예를 들어, 질문의 전체 수로부터 대답된 질문들의 수는 필드(1523)에 도시되고, 대답된 질문들의 비는 필드(1524)에 도시되고, 테스트를 완료하는 전체 초들이 필드(1525)에 도시된다. SBSMS가 전체 테스트에 대한 전체 효율성 점수를 유지하는 경우에, 이것은 현재 테스트 목록(1505)에도 도시될 수 있다. 대안적으로, 질문에 응답시 학생의 숙련에 대한 효율성 점수 또는 임의의 다른 종류의 측정이 그 질문에 한정된다면, 점수는 특정 질문에 대한 "상세들" 데이터 시트들에 대해서만 보여질 수 있다. 운영자는 "삭제(Remove)" 표시기(1526)를 선택함으로써 현재 테스트 목록(1505)으로부터 시나리오를 삭제할 수 있고; "리셋(Reset)" 표시기(1527)를 선택함으로써 임의의 이전 결과들을 클리어하도록 시나리오를 리셋할 수 있고; "상세들(Details)" 표시기(1528)를 선택함으로써 시나리오의 각각의 질문에 대한 기록된 작동들을 시청할 수 있다. 예를 들어, 운영자는 도 12 및 도 13에 관해 기술된 디스플레이 스크린들에 네비게이팅할 수 있으며, 도 12 및 도 13은 우수한 숙련 분석 테스트를 위한 "상세들(Details)" 표시기(1528)를 선택함으로써, 정확하게 대답된 질문과 부정확하게 대답된 질문 각각에 대한 일련의 기록된 작동들을 예시한다.

시나리오들을 실행하고 시나리오들을 운영하는 것 외에도, 숙련 기반 시뮬레이션 및 측정 시스템은 저작자들이 기존 질문들로부터 새로운 시나리오들을 생성할 수 있고, 새로운 비시뮬레이션 질문들을 생성할 수 있고, 특정 시나리오와 연관된 속성들을 수정할 수 있게 한다. 도 16은 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 저작 인터페이스의 저작자 시나리오 루틴의 예시적 흐름도를 도시한다. 상술된 바와 같이, 사용자는 저작자로서 기존 시뮬레이션 질문들 또는 기존 비시뮬레이션 질문들을 사용하거나 또는 새로운 비시뮬레이션 질문들을 추가함으로써 새로운 테스트 또는 트레이닝 시나리오를 발생할 수 있다. (현재 실시예에서, 새로운 시뮬레이션 질문들을 생성하기 위하여, 사용자는 숙련 기반 시뮬레이션 및 측정 시스템에 의해 제공된 도구들을 사용하여 발행자로서 질문을 발행해야 한다.) 요약하면, 단계들(1601 내지 1603)에서, 저작자는 새로운 비시뮬레이션 질문들을 추가하거나 또는 기존 비시뮬레이션 질문들을 변경하고; 단계들(1604 내지 1608)에서, 특정 시나리오의 속성들을 변경하고; 단계들(1609 내지 1610)에서, 기존 또는 새롭게 생성된 비시뮬레이션 질문들을 지정된 시나리오와 연관시킨다.

특히, 단계(1601)에서, 저작자 시나리오 루틴은 저작자가 사용 가능 질문들의 "풀(pool)"에 대한 갱신을 요청했는지 여부를 결정하고, 그러하다면 단계(1602)에서 계속하고, 그렇지 않으면 단계(1604)에서 계속한다. 단계(1602)에서, 루틴은 저작자의 선택들에 따라, 새로운 비시뮬레이션 질문을 풀에 추가하거나 기존 비시뮬레이션 질문을 새로운 속성값들로 갱신한다. 단계(1603)에서, 루틴은 저작자가 새롭게 생성된 비시뮬레이션 질문에 대한 대답들을 추가하거나, 기존 비시뮬레이션 질문에 대한 기존 대답들의 세트를 갱신하도록 허용한다. 예를 들어, 저작자는 새로운 다중 선택 질문에 가능한 대답들의 약간의 수를 추가할 수 있거나, 또는 기존의 다중 선택 질문에 대한 대답들의 연관된 세트에 추가의 가능한 대답을 추가할 수 있다. 그 다음, 루틴은 저작자가 계속해서, 질문들의 풀을 수정하거나 또는 다른 저작 활동(단계(1601)에서 루프의 시작으로 리턴한 것으로 도시됨)을 수행하도록 허용한다.

단계(1604)에서, 저작자 시나리오 루틴은 저작자는 새로운 시나리오를 추가하거나 사용 가능한 시나리오의 "풀"에 있는 기존 시나리오를 갱신하기 원하는 것을 표시했는지 여부를 결정하고, 그러하다면, 단계(1605)에서 계속하고, 그렇지 않으면 단계(1609)에서 계속한다. 단계(1605)에서, 저작자가 수정할 기존 시나리오를 선택했다면 루틴은 단계(1606)에서 계속하고, 그렇지 않으면, 단계(1607)한다. 단계(1606)에서, 루틴은 시나리오에 대한 정보를 명시하는 속성 분야들을 미리 채운다. 단계(1607)에서, 루틴은 새로운 시나리오를 명기하거나 또는 기존 시나리오 속성 필드들의 기존 값들을 수정하는 저작자로부터 입력을 결정한다. 단계(1608)에서, 루틴은 새로운/갱신된 시나리오 풀을 포함하기 위해 사용 가능한 시나리오들의 풀을 갱신한다. 실시예들에서, 시나리오 정보가 서버와 연관된 데이터 저장소에 저장되는 경우에, 데이터 저장소에 적절한 정보는 따라서 갱신된다. 그 다음, 루틴은 저작자가 계속해서, 시나리오들의 풀을 수정하거나 또는 다른 저작 활동(단계(1601)에서 루프의 시작으로 리턴하는 것으로 도시됨)을 수행하도록 허용한다.

단계(1609)에서, 저작자 시나리오 루틴은 질문들을 저작자가 지정된 테스트와 연관시키기 원하는 것을 표시했는지 여부를 결정하고, 그러하다면, 단계(1610)에서 질문들을 시나리오와 연관시키기 위해 루틴을 계속 호출한다. 그렇지 않으면, 루틴은 저작자가 계속해서, 질문들을 상이한 시나리오와 연관시키거나 또는 다른 저작 활동(단계(1601)에서 루프의 시작으로 리턴하는 것으로 도시됨)을 수행하도록 허용한다.

도 17은 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 저작 인터페이스의 관련 질문 루틴의 예시적 흐름도를 도시한다. 이 루틴은 기존 질문을 지정된 시나리오와 연관시킬 것을 결정한다. 단계(1701)에서, 루틴은 지정된 시나리오와 이미 연관된 기존 질문들을 디스플레이한다. 단계(1702)에서, 루틴은 시나리오에 새롭게 추가되는 질문들을 필터링하기 위한 카테고리를 결정한다. 카테고리에 의해 질문들을 제공하는 것은 선택이며, 원하는 질문들을 신속히 위치시키는 그 처리에서 도움이 됨을 의미한다. 단계(1703)에서, 루틴은 그 선택된 카테고리를 매칭시키는 사용 가능한 질문 풀로부터 질문들을 디스플레이한다. 이것은 시뮬레이션 질문들 및 비시뮬레이션 질문들을 포함할 수 있다. 당업자는 정교한 탐색 엔진이 예를 들어 질문들의 풀이 큰 경우에 유리하게 생각된다면, 이 단계로 통합될 수 있음을 인식할 것이다. 단계(1704)에서, 루틴은 통상적으로, 저작자 입력으로부터 시나리오에 추가될 지정된 질문을 결정한다. 단계(1705)에서, 루틴은 통상적으로 저작자 입력으로부터 그 질문에 대한 시퀀스 순서를 결정한다. 단계(1706)에서, 루틴은 새로운 질문-대답 쌍을 위한 지정된 시나리오와 연관된 새로운 데이터 저장 기록을 생성하거나, 기존 기록을 갱신한 다음, 리턴한다. 당업자는 질문을 지정된 시나리오에 추가할 필요가 있음에 따라 예시된 단계들이 반복될 수 있음을 인식할 것이다.

도 18 내지 도 21은 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 저작 인터페이스의 예시적 디스플레이 스크린들을 도시한다. 도 18은 사용 가능한 질문들의 풀을 수정하기 위한 저작 인터페이스의 예시적 디스플레이 스크린을 도시한다. 디스플레이 스크린(1800)에서, 인터페이스는 그 카테고리를 매칭하는 질문 풀로부터 질문들의 목록(1802)을 질문 카테고리 필드(1801)에 디스플레이된 특정 질문 카테고리를 보여준다. 새로운 카테고리들이 시스템에도 또한 추가될 수 있다는 것과, 상술된 바와 같이, 개선된 탐색 엔진이 언제라도 적절히 통합될 수 있다는 것을 주지한다. 기존 질문이 질문들의 목록(1802)으로부터 선택될 때, 질문과 연관된 데이터는 질문 속성 필드들(1803)에 도시된다. 기존 질문들에 대해, 이들 필드들은 데이터 저장소로부터 정보로 미리 채워진다. 예를 들어, "새로운 수학(New Math)"의 내부 참조 이름에 의한 질문은 대답들이 어떤 특정 방식들로 순서화되지 않은 "수학" 질문들의 카테고리에서 다중 선택형 질문으로 도시된다. 선택된 질문과 연관된 기존 텍스트, 그래픽들 또는 오디오는 질문 컨텐트들 입력 필드(1806)에 제공된다. 그래서, 예를 들어, "새로운 수학"이라 라벨이 붙여진 질문에 대한 컨텐트는 텍스트 "4 + 5는 무엇인가"이다. 상술된 바와 같이, 두 질문들 및 대답들은 동일한 질문 또는 대답에 대해 다수의 언어들로 존재할 수 있다. 따라서, 저작자가 언어 표시기 필드(1807)에서 상이한 언어를 선택한다면, 질문의 추가 버전은 질문 컨텐트들 입력 필드(1806)에서 지정된 언어로 입력될 수 있다. 저작자는 "대답들" 버튼(1805)의 선택을 통해 특정 질문에 대한 대답들을 선택하기 위한 인터페이스에 네비게이팅할 수 있거나, "테스트들로 전환" 버튼(1804)을 선택함으로써, 시나리오(테스트)를 추가 또는 수정하기 위한 인터페이스로 전환할 수 있다.

도 19는 하나 이상의 대답들을 지정된 비시뮬레이션 질문에 추가하기 위한 인터페이스의 예시적 디스플레이 스크린을 도시한다. 대답들의 수는 질문의 유형에 의존한다. 대답들이 연관된 질문은 도 18에서 지정된 질문이다. 디스플레이 스크린(1900)에서, 저작 인터페이스는 기존 질문에 대해, 대답 디스플레이 목록(1901)에서 그 질문과 연관된 대답들 또는 대답들의 세트를 보여준다. 특정 대답은 수정을 위해 선택되거나 삭제될 수 있다. 특정 대답이 수정을 위해 선택될 때, 대답은 대답 컨텐트 입력 필드(1902)에 디스플레이된다. 저작자는 필드(1902)에 디스플레이된 컨텐트를 적절히 수정할 수 있다. 대답의 다른 속성들은 질문 유형으로 적절히 수정될 수 있다. 예를 들어, 다중 선택 질문 유형에 대해, 다수의 대답들이 있을 것이며, 그중 하나만이 정확한 대답이다. 정확한 대답은 정확한 대답 필드(1903)에 표시된다. 저작자가 특정 대답이 디스플레이되어야 하는 순서를 순서 필드(1904)에 명시하는 것도 또한 가능하다. 따라서, 예를 들어, 저작자는 다중 선택 질문에 대한 다중 선택 대답에서 대답들을 순서화할 수 있다. 저작자가 대답들을 수정하거나 또는 새로운 대답들을 추가하는 것을 종료했으면, 대답 정보는 "부가" 버튼(1905)을 선택함으로써 갱신된다. 저작 인터페이스는 따라서 임의의 데이터 저장 정보를 갱신한다. 저작자는 대답들을 수정 또는 질문에 대한 새로운 대답을 추가하는 것이 완료되었으면, 저작자는 "리턴" 버튼(1906)을 처리함으로써 질문 수정 인터페이스에 리턴할 수 있다.

도 20은 시나리오를 수정하기 위한 저작 인터페이스의 예시적 디스플레이 스크린을 도시한다. 테스트를 참조하여 기술된 바와 같이, 인터페이스는 트레이닝 시나리오들과 유사하다. 디스플레이 스크린(2000)에서, 저작 인터페이스는 테스트 디스플레이 목록(2001)에서 현재 테스트들의 목록을 디스플레이한다. 특정 테스트의 선택시(예를 들어 테스트(2010)), 인터페이스는 테스트 속성 필드(2006)에서 테스트의 현재 파라미터들의 값들과, 필드들(2002 및 2005)에서 테스트 이름 및 코멘트를 각각 디스플레이한다. 정확한 대답들의 몇 퍼센트가 통과 점수를 구성하는지와 같은 속성들, 타이밍된 테스트에 할당된 초들의 수, 및 테스트의 유형이 테스트 속성 필드(2006)에 디스플레이된다. 저작자는 정확한 대답이 "디스플레이 대답 결과" 속성을 토글링(toggling)함으로써 (다음 질문 또는 시간 명기된 일부 다른 것으로 계속하기 전에) 학생에게 디스플레이되어야 함을 표시할 수 있다. 또한, 저작자는 테스트가 랜덤한 순서 또는 순서화된 시퀀스의 질문들을 포함하는지 여부를 "순서화(Ordering)" 속성을 통해 표시할 수 있다. 그 외에도, 저작자는 학생이 "테스트의 종료시 질문 선택" 속성을 토글링함으로써 되돌아가서 질문들에 대답하기 위해, 테스트를 종료한 후에 되돌아가서 질문들을 선택하게 하는지 여부를 결정할 수 있다. 예를 들어, 학생이 질문을 스킵했다면, 이러한 속성은 학생이 되돌아가서 스킵된 질문에 대답하도록 허용한다. 또한, 저작자는 "질문들에 대답하도록 리턴할 수 있음" 속성을 토글링함으로써 학생이 이미 대답했고 그 대답들을 변경한 질문들로 리턴하게 하는지 여부를 결정할 수 있다. 테스트가 기존 테스트가 아니라, 새로운 테스트이면, 저작자는 테스트 새로운 테스트 이름을 이름 필드(2002)에 명기하고, 테스트를 위한 입문 스크린에 디스플레이된 코멘트를 코멘트 필드(2005)에 명기할 수 있다. 테스트 정보가 완료되면, 저작자는 "부가" 버튼(2003)을 선택하여 새로운 테스트를 시스템에 추가하거나, "갱신" 버튼(2004)을 선택하여 기존 테스트용 속성들을 갱신한다. 저작자는 버튼(2008)을 선택함으로써 질문 풀에서 질문들을 수정하기 위해 리턴할 수 있거나, "질문 목록" 버튼(2009)을 선택함으로써 질문들을 이 특정 테스트와 연관시킬 수 있다.

도 21은 질문을 지정된 테스트와 연관시키기 위한 저작 인터페이스의 예시적 디스플레이 스크린을 도시한다. 도 21에서, 디스플레이 스크린(2100)은 지정된 테스트(2101)와 연관된 현재 질문들(2102)의 목록을 현재 도시한다. 특정 테스트를 위한 질문들의 순서화는 이 인터페이스를 사용하여 질문을 선택한 다음, 테스트 순서 필터(2106)에 그 질문에 대한 순서를 지정함으로써 변경될 수 있다. 게다가, 코멘트(즉, 할당된 질문의 내부 이름)는 코멘트 이력 필드(2105)에서 표시될 수 있다. 새로운 질문을 테스트에 추가하기 위하여, 저작자는 카테고리 필드(2103)에서 질문 카테고리를 선택한다. 그 다음, 저작 인터페이스는 그 카테고리를 매칭하는 질문 풀(시뮬레이션 및 비시뮬레이션 질문들을 포함함)로부터 질문들(2104)의 현재 목록을 디스플레이한다. 상술한 바와 같이, 개선된 탐색 능력들은 적절히 통합될 수 있다. 사용자가 이들 질문들 중 하나를 선택할 때, 질문들에 대한 순서 및 내부 이름 모두는 기술된 바와 같이 입력될 수 있다. 질문들이 지정된 테스트와 연관되었으면, 저작자는 저작 인터페이스의 시작으로 리턴하기 위하여 "리턴" 버튼(2107)을 선택할 수 있다.

시나리오들을 실행, 운영 및 저작 외에도. 숙련 기반 시뮬레이션 및 측정 시스템은 발행자들이 SBSMS에 의해 제공된 도구들을 사용하여, 새로운 시뮬레이션 시나리오들 및 시뮬레이션 질문들을 생성하거나 기존 시뮬레이션 시나리오들 및 시뮬레이션 질문들을 수정할 수 있게 한다. 도 22는 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 발행 인터페이스의 발행 시나리오 루틴의 예시적 흐름도를 도시한다. 단계(2201)에서, 발행자는 애플리케이션을 사용하기 위해 원하는 시나리오를 재검토한 후, 애플리케이션으로부터 다양한 스크린 샷들(스크린 비트맵들)을 캡처한다. 단계(2202)에서, 발행자는 예를 들어 GIF 포맷에서 다양한 스크린 샷들을 포맷하여, 스크린 포맷이 예를 들어 클라이언트와 서버 사이에 사용되는 통신 메커니즘인 경우에 웹 페이지들에서의 시뮬레이션 엔진으로 편집 및 통합될 수 있다. 그 외에도, 발행자는 발행자가 예를 들어 메뉴, 버튼 등의 애플리케이션 사용자 인터페이스 제어들의 시뮬레이팅된 등가물을 추가하기 원하는 경우에 스크린 샷들로부터 그 영역들을 제거한다. 단계(2203)에서, 발행사는 수행될 다양한 질문들 또는 과제들에 대한 스크린 샷들을 주시하는 것으로부터, 애플리케이션 프리젠테이션의 어떤 부분들이 모든(또는 일부 부분) 질문들 사이에 공유되는지와 어떤 애플리케이션 사용자 인터페이스 제어들이 공통이고 및/또는 공통 거동을 갖는지를 결정한다. 예를 들어, 도 3a 내지 도 3g에 도시된 시뮬레이션과 같은 엑셀 스프레드시트 애플리케이션 시뮬레이션에서, 스프레드시트의 행, 열 및 헤더 정보가 모든 질문들 사이에 공유된다. 이러한 정보를 사용하여, 단계(2204)에서, 발행자는 공유되는, 즉 질문간 가변하지 않는 애플리케이션의 일부들에 대한 기본 시뮬레이션 구성요소를 생성한다.

예를 들어, 웹 페이지들을 사용하는 실시예에서, 단계(2204)는 발행자가 시뮬레이팅된 사용자 인터페이스 제어들을 포함하는 다양한 프리젠테이션 유형들(웹 페이지들)을 생성하고 클라이언트 웹 페이지 상에서 "선택된"(이벤트를 유발하는) 각각의 제어에 대해 호출된 코드(이벤트 핸들러들)를 기록하도록 요구한다. 이 처리를 돕기 위해, 예를 들어 마이크로소프트의 비주얼 스튜디오. NET이라는 웹 설계 도구들을 포함한 다양한 도구들이 존재한다. 그 외에도, 특정 그래픽 사용자 인터페이스 환경을 위한 메뉴, 다이얼로그 박스들 등을 만들기 위한 프리젠테이션 및 코드와 같은 임의의 특정 애플리케이션에 특정되지 않은 많은 도구들은 SBSMS 서버 환경의 일부로서 거주하는 구성요소들의 도구 키트의 부분으로서 사용 가능하게 만들 수 있다.

단계들(2205 내지 2208)에서, 발행자는 시나리오의 일부가 되는 각각의 질문에 대한 시뮬레이션들을 발생하기 위한 일련의 단계들을 수행한다. 특히, 단계(2205)에서, 발행자는 처리된 더 많은 질문들이 존재하는지를 결정하고, 그러하다면, 단계(2206)에서 계속하고, 그렇지 않으면 단계(2209)에서 계속한다. 단계(2206)에서, 발행자는 처리될 다음 질문을 고려하고, 단계(2207)에서, 그 질문에 기초하여 질문 시뮬레이션 구성요소를 생성한다. 질문 시뮬레이션 구성요소를 생성하기 위한 처리는 단계(2204)에서 애플리케이션 기본 시뮬레이션 구성요소들을 생성하기 위한 처리와 매우 유사하다; 그러나, 그 처리는 수행될 질문 또는 과제에 직접 대응하는 애플리케이션 환경의 일부에 대해서만 수행된다. 한 실시예에서, 질문에 의해 영향을 받은 디스플레이 스크린의 영역( 및 대응하는 이벤트 핸들링 코드)만이 클라이언트측 시뮬레이션 웹 페이지 상에서 "대체된다(replaced)". 각각의 질문 시뮬레이션 구성요소의 설계 및 구현에 포함되는 것은 질문에 대한 대답의 정확성을 확인하기 위해 호출될 수 있는 루틴과 질문에 대한 대답을 채점하기 위한 루틴이다. 단계(2208)에서, 질문 시뮬레이션 구성요소는 서버 이벤트 도구들의 일부로서 저장되고, 발행사는 단계(2205)에서 다음 질문으로 그 처리를 다시 시작한다. 단계(2209)에서, 시뮬레이팅될 질문들의 세트가 처리된 후, 발행자는 서버 이벤트 도구들에서 발생된 애플리케이션 기본 시뮬레이션 구성요소를 저장한다. 단계(2210)에서, 발행자는 애플리케이션 기본 구성요소와 임의의 질문 시뮬레이션 구성요소들을 필요에 따라 참조하여 임의의 데이터 저장소들을 갱신하고(예를 들어, 시나리오 및 질문들을 할당될 수 있게 하기 위함), 그로써, 발행 처리를 완료한다.

도 23은 발행 시나리오 처리에 의해 설치된 예시적 구성요소들을 포함하는 예시적 숙련 기반 시뮬레이션 및 측정 시스템에 대한 서버 환경의 예시적 블록도를 도시한다. 서버 환경(2300)은 특히, 숙련 기반 테스트 및 트레이닝 엔진(2301) 및 클라이언트 시스템과 통신하기 위한 적절한 인터페이스들; 시나리오 및 학생 구성 데이터(2303) 및 다른 데이터(2304)와 같은 하나 이상의 데이터 저장소들; 및 서버 도구 키트를 포함하는 구성요소들(2302)의 한 세트를 포함한다. 숙련 기반 테스트 및 트레이닝 엔진(2301)은 도 7 내지 도 9를 참조하여 기술된 숙련 기반 측정 환경 및 클라이언트측 시뮬레이션 엔진들을 실행하기 위해 클라이언트와 인터페이싱하기 위한 인터페이스들 및 코드를 제공한다. 데이터 저장소들은 시나리오를 구현하기 위해 사용된 서버 구성요소들의 표시들과 테스트들에 관한 학생 이력을 포함하는 특정 시나리오를 어떤 질문들( 및 대답들)이 구성하는지를 결정하는데 필요한 정보를 포함한다. 시나리오 및 학생 구성 데이터에 대한 예시적 기록들은 도 26을 참조하여 도시되어 있다. 도구 키트(2302)를 포함하는 구성요소들은 클라이언트측 시뮬레이션 엔진을 구현하기 이해 사용되고, 시뮬레이션 엔진들의 서버측 구성요소들을 포함한다. 도구 키트(2302)의 구성요소들은 또한, 새로운 유형의 비시뮬레이션 질문들뿐만 아니라, 새로운 시뮬레이션 시나리오들 및 시뮬레이션 질문들을 생성하기 위해 발행자들에 의해 사용된다.

예를 들어, 도구 키트(2302)는 다중 선택 엔진, 문법 엔진, 이야기 문법 엔진 및 문장 순서화 엔진과 같은 비시뮬레이션 질문들(2310)을 위한 일련의 엔진들을 포함한다. 이들 엔진들이 클라이언트 시스템에 다운로드될 때, 다양한 질문들로부터의 데이터, 예를 들어, 특정 세트들을 위한 비시뮬레이션 질문 데이터(2318)는 특정한 비시뮬레이션 엔진을 위한 웹 페이지들을 거주시키기 위해 사용된다.

시뮬레이션들에 대해, 도구 키트(2302)는 모든 시뮬레이팅된 인터페이스들을 지원하기 위해 초기에 클라이언트에 다운로드되는 시뮬레이션 기본 엔진(2316)을 포함한다. 그 외에도, 기본 사용자 인터페이스 구성요소 시뮬레이션들(2311) 및 다른 종류의 사용자 인터페이스 구성요소들(다이얼로그 인터페이스들(2317)과 같이)은 애플리케이션 기본 시뮬레이션 엔진들 및 시뮬레이션 질문 구성요소들을 만들기 위해 발행사들 및 다른 사람들에 의해 사용 가능할 수 있다. 도 22를 참조하여 기술된 바와 같이, 발행자가 애플리케이션을 시뮬레이팅할 때, 발행자는 먼저, 시뮬레이션 시나리오의 질문들에 걸쳐 일련의 공유된 프리젠테이션 및 인터페이스들을 결정한다. "ABC 스프레드시트 메뉴들" 구성요소(2314) 및 "XYZ 기록기 메뉴들" 구성요소(2315)는 그러한 공유된 프리젠테이션 구성요소들의 예들이다. ("ABC 스프레드시트 메뉴들" 구성요소(2314)는 ABC 시나리오에 대한 모든 질문들에 걸쳐 작동할 것이다). "스프레드시트 ABC 질문1" 구성요소(2319) 및 "ABC 질문2" 구성요소(2320)는 ABC 스프레드시트 애플리케이션의 질문1 및 질문2의 시뮬레이션을 각각 지원하는 데이터 및 코드를 포함한다.

"스프레드시트 메뉴들" 구성요소(2312) 및 "단어 처리 메뉴들" 구성요소(2313)와 같은 다른 구성요소들은 일반 메뉴 지원을 위한 도구 키트에 의해 제공될 수 있다. 당업자는 많은 다른 구성요소들 및 기능과 코드의 조합들이 발행자가 시뮬레이션 또는 비시뮬레이션 질문을 생성 또는 구현하기 위해 사용될 수 있는 재사용 가능한 모듈들에서 생성될 수 있음을 인식할 것이다. 그 외에도, 개별 구성요소들의 사용은 반영될 테스트를 "갱신"하기 위한 특정 구성요소에 행해질 업그레이드들, 예를 들어, 전체 SBSMS를 재해제하지 않고 개정된 애플리케이션을 허용한다.

도 24는 숙련 기반 시뮬레이션 및 측정 시스템의 서버부의 실시예들을 실시하기 위한 범용 컴퓨터 시스템의 예시적 블록도를 도시한다. 범용 컴퓨터 시스템(2400)은 하나 이상의 서버 및/또는 클라이언트 컴퓨팅 시스템들을 포함할 수 있고, 분산된 위치들에 미친다(span). 그 외에도, 도시된 각각의 블록은 특정 실시예에 적당한 것으로서 하나 이상의 그러한 블록들을 표현할 수 있거나, 다른 블록들과 조합될 수 있다. 더욱이, 숙련 기반 시뮬레이션 및 측정 시스템(2410)의 서버 부분의 다양한 블록들은 서로 통신하기 위해 표준 상호 처리 통신 메커니즘들을 사용하는 하나 이상의 기계들 상에 물리적으로 상주한다.

도시된 실시예에서, 컴퓨터 시스템(2400)은 컴퓨터 메모리("메모리")(2401), 광 디스플레이(2402), 중앙 처리 유닛("CPU")(2403), 및 입력/출력 디바이스들(2404)을 포함한다. 숙련 기반 시뮬레이션 및 측정 시뮬레이션("SBSMS")(2410)은 메모리(2401)에 상주하는 것으로 도시된다. 숙련 기반 시뮬레이션 및 측정 시뮬레이션(2410)의 구성요소들은 바람직하게, CPU(2403)에서 실행하고, 이전 도면들에 도시된 바와 같이, 시뮬레이션 및 비시뮬레이션 시나리오 구성요소들의 발생 및 사용을 관리한다. 다른 프로그램들(2430) 및 잠재적으로 다른 데이터 저장소들(2420)은 또한 메모리(2401)에 상주하며, 바람직하게, 하나 이상의 CPU들(2403)에서 실행한다. 그 외에도, 네트워크 기반 구현을 위해, 웹 인터페이스들과 같은 네트워크 인터페이스(2431)는 또한 메모리(2401)에 상주하고 하나 이상의 CPU들(2403)에서 실행한다. 통상적인 실시예에서, SBSMS(2410)은 숙련 기반 테스트 및 트레이닝 엔진과 인터페이스(2411), 하나 이상의 도구 키트들(2412), 시나리오 및 학생 구성 데이터 저장소(2413), 및 잠재적으로, 다른 데이터(2414)를 포함한다.

예시적 실시예에서, SBSMS(2410)의 구성요소들은 마이크로소프트 IIS와 같은 HTML 서버들과 같은 표준 프로그래밍 기술들 및 표준 웹 기반 기술; ASP.NET 또는 그 등가물과 같은 웹-기반 엔진들; 자바 프로그래밍 도구들 및 환경 지원; 및 데이터페이스 기술을 사용하여 구현된다. 당업자는 시뮬레이션 구성요소들을 지원하는 코드가 객체 지향, 분배, 웹 기반 기술을 사용하여 편리하게 구현됨을 인식할 것이다. 그러나, SBSMS 구성요소들(2411 내지 2412) 중 어떠한 것이라도 더 많은 모놀리식 프로그래밍 기술들을 사용하여 구현될 수 있다. 그 외에도, SBSMS의 일부로서 저장된 데이터에 대한 인터페이스를 프로그래밍함으로써 C, C++, C# 및 자바 API를 통해, XML과 같은 스크립트 언어들을 통해, 또는 그러한 인터페이스들을 지원하는 웹 서버들을 통해서와 같이, 이러한 표준 수단에 의해 사용 가능할 수 있다. 데이터 저장소(2413)는 스케일러빌리티 이유들로 텍스트 파일보다는 데이터베이스 시스템으로서 구현되는 것이 바람직하지만, 그러한 정보를 저장하기 위한 임의의 방법들이 사용될 수 있다.

당업자는 SBSMS(2410)이 이종인 경우에도 다수의 컴퓨터 시스템들 및 네트워크들로 구성된 분산 환경으로 구현될 수 있음을 인식할 것이다. 예를 들어, 한 실시예에서, 숙련 기반 테스트 및 트레이닝 엔진(2411), 도구 키트 구성요소들(2412), 및 시나리오 및 학생 구성 데이터 저장소(2413)는 물리적으로 상이한 컴퓨터 시스템들에 모두 위치된다. 다른 실시예들에서, 도구 키트(2411)의 다양한 구성요소들은, 시나리오 및 학생 구성 데이터 저장소(2413)에 저장된 시나리오 규정 테이블들로부터 원격 위치될 수 있다.

도 25는 숙련 기반 시뮬레이션 및 측정 시스템의 클라이언트부의 실시예들을 실시하기 위한 범용 컴퓨터 시스템의 예시적 블록도를 도시한다. 범용 컴퓨터 시스템(2500)은 하나 이상의 서버 및/또는 클라이언트 컴퓨터 시스템들을 포함할 수 있고 도 24를 참조하여 상세히 기술된 반산 위치들에 미칠 수 있다. 도 25에서, 컴퓨터 시스템(2500)은 컴퓨터 메모리("메모리")(2501), 디스플레이(2502), 중앙 처리 유닛("CPU")(2503) 및 입력/출력 디바이스들(2504)을 포함한다. 클라이언트측 시뮬레이션 엔진(2510)은 메모리(2501)에 상주하는 것으로 도시되어 있다. 다른 프로그램들(2505), 네트워크 인터페이스(예를 들어, 웹 브라우저)(2506) 및 다른 데이터 저장소들(2507)도 또한 메모리(2501)에 상주하며, 바람직하게 하나 이상의 CPU들(2503)에서 실행한다. 시뮬레이션 엔진(2510)은 SBSMS의 기능들을 달성하기 위해 도 24에 도시된 서버 환경과 상호작용한다. 당업자는 서버부와 동일한 물리적 컴퓨터 시스템 또는 그 일부 조합에서 상주할 수 있음을 인식할 것이다. 상술한 바와 같이, 시뮬레이션 엔진(2510)의 구현은 서버부에 의해 관리된다.

일반적으로, 상이한 구성들 및 프로그램과 데이터의 위치들은 SBSMS의 기술들과 함께 사용하기 위해 숙고된다. 예시적 실시예들에서, 이들 구성요소들은 동시에 그리고 비동기적으로 실행될 수 있고, 따라서 구성요소들은 잘 알려진 메시지 통과 기술들을 사용하여 통신할 수 있다. 당업자는 등가의 동시성 실시예들이 SBSMS 구현에 의해 또한 지원될 수 있음을 인식할 것이다. 또한, 다른 단계들은 각 루틴에 대해, 그리고 상이한 순서들로 및 상이한 루틴들로 구현될 수 있지만, SBSMS의 기능들을 달성할 수 있다.

도 1 내지 도 23을 참조하여 기술된 바와 같이, 숙련 기간 시뮬레이션 및 측정 시스템은 테스트 및 트레이닝을 위한 시뮬레이션 및 비시뮬레이션 질문들을 포함하고; 새로운 시뮬레이션 시나리오들 및 시뮬레이션 질문들을 발행하고; 질문들의 기존 데이터 저장소를 사용하여 시나리오를 저작하고; 시나리오를 학생들에게 운영하고, 및 테스트들 및 트레이닝 시나리오들을 실행하는 시뮬레이팅된 애플리케이션 환경들을 발생할 수 있는 능력을 제공한다. 이들 능력들은, SBSMS의 사용자들 및 시나리오에 관한 모든 정보를 표현하는 데이터 저장소에 저장된 데이터를 통하여 정보를 통신하는 인터페이스들 및 코드에 의해 지원된다.

도 26은 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 예시적 시나리오 및 학생 구성 데이터 저장소로의 기록들의 예시적 블록도를 도시한다. 예시된 기록들은 학생마다 기초하여 시나리오 구성들을 지원하기 위해 필요한 정보의 개요뿐만 아니라, 특정 시나리오를 구성하는 과제들 또는 질문들을 제공한다. 도 26의 기록들은 테스트 환경을 지향하지만, 당업자는 유사한 정보가 트레이닝 시나리오들에 동일하게 응용 가능함을 인식할 것이다. 이들 기록들은 SBSMS의 다양한 인터페이스들에 의해 그리고 시나리오들을 실행함으로써 생성 및 수정된다.

특히, 예시적 데이터 저장소에서의 테이블들은 시나리오 데이터가 2개의 상이한 관점들, 즉 학생 관점과 시나리오 관점으로부터 액세스할 수 있도록 구성된다. 각각의 학생(사용자)에 대해, 사용자 기록(2601)은 고유한 사용자_ID를 가진 학생을 표현하기 위해 생성된다. 그 다음, 학생에게 할당된 각각의 테스트에 대해, 개별 사용자 테스트 기록(2602)이 생성되며, 이는 특정 테스트의 "상태"에 관한 현재 정보를 포함한다. 예를 들어, 테스트가 할당된 날짜, 테스트가 시작 및 종료된 때, 결과 및 채점을 포함하는 데이터가 이 기록에 유지된다. 시나리오 원근도로부터 테스트의 구조에 관한 정보를 위치시키기 위해 사용되는 고유한 테스트_ID도 또한 이 기록에 저장된다-어떤 질문-대답 쌍들이 그 테스트에 "속하는지", 테스트의 속성들 등. 각각의 사용자 테스트 기록(2602)에 대해, 개별 질문-대답 정보 기록(2603)은 그 테스트_ID를 갖는 학생의 테스트와 연관된 각각의 질문-대답 쌍에 대해 생성된다. 도시된 실시예에서, 실제 질문 및 정확한 대답은 이들 테이블들(시나리오 관점으로부터 액세스할 수 있음)에 저장되지 않더라도, 그 테스트에 대한 학생에 대한 특정 질문-대답 쌍에 관한 모든 정보는 질문-대답 정보 기록(2603)에 저장된다. 따라서, 질문의 순서뿐만 아니라, 질문이 대답되었는지의 여부와, 그러하다면 대답의 정확도 및 기록된 작동은 기록(2603)에 저장된다. 이들은 학생 특정된 시나리오에 대한 질문-대답 쌍의 속성들이다.

질문-대답 쌍 또는 시나리오에 관한 비학생 특정 정보를 얻기 위하여, 데이터 저장소는 시나리오 관점으로부터 액세스된다. 특히, 각각의 (고유한) 테스트_ID에 대해 생성된 테스트 매트릭스 기록(2604 및 2605)이 있다. 테스트 매트릭스 기록(2604)은 테스트를 포함하는 질문들에 대한 속성 정보와 테스트(시나리오)에 대한 속성 정보를 결합한다. 예를 들어, 각각의 테스트 매트릭스 기록(2604 및 2605)은 테스트 정보 기록(2606)과 하나 이상의 질문 정보 기록들(2607)을 표시한다. 상이한 테스트_ID들을 가진 기록들(2604 및 2605)과 같은 2개의 상이한 테스트 매트릭스 기록들은 2개의 상이한 테스트들이 동일한 질문을 포함함을 나타내는 동일한 질문 정보 기록(2607)을 의미할 수 있다. 테스트들은 그러나 상이한 속성들을 가진 질문들을 표현할 수 있다. 예를 들어, 테스트들에 대한 통과 등급은 상이할 수 있거나, 하나의 테스트는 타이밍되고 다른 테스트는 타이밍되지 않을 수 있다. 각각의 질문 정보 기록(2607)은 질문이 시뮬레이션 질문인지 또는 비시뮬레이션 질문인지 여부와, 그 질문에 적절한 "엔진"을 찾기 위해 호출되는 경로(예를 들어 웹 페이지)를 표시한다. 따라서, 예를 들어, 질문이 시뮬레이션 질문이면, 그 페이지는 상술한 기본 시뮬레이션 구성요소를 의미할 것이다. 각각의 비시뮬레이션 질문은 또한 대답(도시되지 않음)과 연관되지 않는다. 당업자는 언어 특정 기록들과 같이 각각의 테스트에 대해 생성된 다른 기록들이 있음을 인식할 것이다. 테스트가 다수의 언어들로 사용 가능하다면, 질문-대답 쌍들에 대한 번역들은 다른 기록들에서 사용 가능할 것이다.

도 1 내지 도 23에서 기능적 원근도로부터 기술된 바와 같이, SBSMS의 클라이언트부 및 서버부는 숙련 기반 시뮬레이션 및 측정 환경을 구현하기 위해 통신한다. 한 실시예에서, SBSMS는 마이크로소프트의 액티브 서버 페이지들(ASP).NET 구조를 사용하여 구현되며, 마이크로소프트의 .NET와 ASP.NET 구조는 2002년 마이크로소프트 프레스에서 플랫 데이비드 에스.의 "Introducting Microsoft.NET"에 보다 상세히 기술되어 있다. 당업자는 SBSMS가 다른 도구들 및 다른 언어들을 사용하여 본 명세서에 기술된 기술들 및 기능에 영향을 미치지 않고 다른 웹 페이지 기반 구조로 동등하게 구현될 수 있음을 인식할 것이다.

웹 기반 도구들을 사용하는 ASP.NET 구조는 표준화된 기술들을 사용하여 그들 "코드 비하인드(code behind)"(이벤트 핸들링 코드) 및 애플리케이션의 시뮬레이팅된 사용자 인터페이스 제어들을 발생하기 위한 수단을 제공한다. 시나리오의 코드 흐름이 SBSMS에 의해 어떻게 구현되는지를 이해하기 위하여, 표준 ASP.NET 환경에 의해 지원된 웹 페이지 및 코드 흐름을 재검토하는 것이 도움이 된다.

도 27은 웹 페이지들을 발생 및 처리하기 위해 마이크로소프트 ASP.NET 엔진을 사용하여 클라이언트와 서버 시스템들 사이의 처리 및 코드 흐름의 예시적 블록도를 도시한다. 이 도면은 상술된 책을 참조하여 제공된 것과 유사하다. 도 27에서, IIS(2701)(마이크로소프트 인터넷 정보 서비스)는 HTML(하이퍼텍스트 마크업 언어) 기반 웹 페이지들에 대한 HTTP(하이퍼텍스트 프로토콜) 요청들을 처리한다. ASPX 실행 엔진(2702)과 함께 IIS(2701)는 서버 상에 상주하며, 웹 페이지들에 대한 클라이언트 요청들을 수용하고, 요청된 페이지들을 발생 및 리턴한다. 상기 처리에서, ASPX(2702)는 객체들 및 이벤트들을 구현하기 위해 필요한 그들 "코드 비하인드"와 서버측 페이지들을 발생한다. 특히, 클라이언트들은 표준 url 명세(예를 들어, http://demo.base.aspx)를 사용하여 특정한 ".aspx" 페이지를 요청한다. IIS(2701)은 페이지 요청을 ASPX 엔진(2702)에 전송한다. 엔진(2702)은 요청된 ".aspx" 페이지를 위치 및 검색하고, 그것을 컴파일하며(처음 로드되었다면), 서버측 ".aspx" 페이지(2703)를 생성한다. 그 다음, 엔진(2702)은 임의의 컴파일된 클래스들을 로드하고, 임의의 코드 비하인드 오브젝트들(any code behind objects), 예를 들면 ".aspx" 페이지(예를 들어, "....aspx.vb" 또는 ".aspx.c"....)에 참조된 이벤트 핸들링을 구현하기 위한 코드 비하인드 오브젝트(2704)를 생성한다. 생성된 코드 비하인드 오브젝트는, 예를 들면 웹 페이지 제어(사용자 인터페이스)를 생성하고 그들을 HTML에 그들 자신이 렌더링하게 한다. 그 다음, 렌더링된 HTML은 웹 페이지로서 IIS에 리턴되며, 원래 요청을 이행하기 위해 클라이언트로 다시 리턴한다. 기본 메커니즘은 SBSMS의 현재 구현의 기초가 되지만, 그 구현 또는 함수에 필요한 수단은 없다. 당업자는 클라이언트-서버와 웹 기반 통신들의 다른 방법들이 존재하고 인터넷과는 다른 네트워크들에서 사용될 수 있음을 인식할 것이다.

도 28a 내지 도 28c는 시나리오를 구현하기 위한 예시적 숙련 기반 시뮬레이션 및 측정 시스템의 클라이언트부와 서버부 사이의 예시적 웹 페이지의 흐름 및 코드 흐름을 도시한다. 단계(2801)에서, SBSMS의 클라이언트부에 대해, 학생은 도 3A에서와 같이 시나리오를 개시하기 위하여 "시작" 버튼을 선택한다. 이 작동은 SBSMS의 서버부에 배치되며, 단계(2802)에서 시뮬레이션 질문을 위한 기본 엔진의 위치 또는 비시뮬레이션 질문을 위한 비시뮬레이션 엔진의 위치를 결정하기 위하여 그 작동을 페이지(예를 들어, "NextQuestion.aspx)"에 지시한다. 도 26에 도시된 이러한 정보는 데이터 저장소(예를 들어, 질문 정보 기록(2607))에서 테이블로부터 결정될 수 있다. 시뮬레이션 질문들에 대해, 기본 엔진은 "qbase.aspx"이라 칭해지고; 비시뮬레이션 질문들에 대해, 엔진은 예를 들어 "multiplechoice.aspx"와 같이 질문 유형 특정된다. 일단 결정되면, 단계(2803)에서, 엔진(".aspx" 페이지)은 클라이언트부로 다시 전송된다. 단계(2804)에서, 클라이언트부는 시뮬레이션 기본(시뮬레이션 질문에 대해)이 리턴되었는지 여부를 결정하고, 그러하다면, 단계(2807)에서 흐름을 계속하고, 그렇지 않으면, 단계(2805)에서 비시뮬레이션 엔진 페이지를 실행한다.

비시뮬레이션 엔진의 경우에, 학생이 (하나 이상의) 질문들을 종료하면, 페이지는 단계(2806)에서 서버부로 다시 제출된다. 이것은 서버부가 단계(2802)로 다시 네비케이팅하고, 다음 질문을 위한 엔진을 결정하도록 유발한다. 이 단계는 시나리오가 시나리오에서의 비시뮬레이션 질문들의 상이한 서브세트들에 대해 하나 이상의 엔진들을 로드할 수 있고 비시뮬레이션 질문에서 시뮬레이션 질문으로 전환할 수 있기 때문에 제공된다. 모든 이러한 조합들이 숙고된다.

시뮬레이션 기본 엔진의 경우에, 단계(2807)에서, 엔진은 서버부상에 "GetNextQuestion"라 불리는 웹 서비스를 호출한다(그렇지 않으면 구현될 수 있다). 단계(2808)에서, 웹 서비스 GetNextQuestion은 다음 질문에 관한 속성들을 결정하고 그들을 클라이언트부에 반환한다. 이들 속성값들은 정확한 구성요소들이 다운로드되었는지 여부와, 어떤 구성요소들이 로드되었는지를 결정하기 위해 사용된다. 특히, 단계(2809)에서, 클라이언트부는 애플리케이션 기반 시뮬레이션이 이미 다운로드되었는지 여부를 결정하고, 그러하다면, 단계(2812)에서 계속하고, 그렇지 않으면, 단계(2810)에서 계속한다. 단계(2810)에서, 클라이언트부는 애플리케이션 기반 시뮬레이션(속성값으로서 GetNextQuestion에 의해 반환된 이름으로부터 공식화됨)에 대응하는 페이지를 요청한다. 단계(2811)에서, 서버부는 요청된 애플리케이션 기반 시뮬레이션 페이지를 로드 및 위치시키고, 그것을 클라이언트부에 적절히 리턴하도록 렌더링하며, 그 후에 단계(2810)의 부분으로 그것을 로드한다. 단계(2812)에서, 클라이언트부는 다음 질문 시뮬레이션(속성값으로서 GetNextQuestion에 의해 반환된 이름으로부터 공식화됨)에 대응하는 페이지를 요청한다. 단계(2813)에서, 서버부는 요청된 질문 시뮬레이션 페이지를 로드 및 위치시키고, 클라이언트부에 적절히 리턴하도록 그것을 렌더링하며, 그 후에, 단계(2812)의 일부로서 그것을 로드한다. 이 지점에서, 클라이언트측 시뮬레이션 엔진은 로드되어 실행한다. 한 실시예에서, 질문 시뮬레이션 페이지의 다운로드는 재로드될 질문에서 변경되는 페이지의 특정 영역들만을 요구하고, 따라서, 다운로드 처리의 속도를 증가시킨다. (이를 수행하는 한가지 방식은 애플리케이션 기반 시뮬레이션에 대응하는 페이지에 대한 HTML을 클라이언트 상에 저장하고, 질문 시뮬레이션에 대한 HTML을 수신하며, 애플리케이션 기반 시뮬레이션에 대한 HTML에 이를 "부가"하며, 그 후에 조합된 HTML을 렌더링하는 것이다.) 단계(2814)에서, 학생은 질문에 응답하기 위한 작동들을 수행하고, 그 작동들은 기록되며, 결국 학생은 응답의 완료를 표시하기 위해 "마침" 버튼을 누른다. 도 10을 참조하여 기술된 바와 같이, 단계(2815)에서, 클라이언트부는 질문에 대한 응답을 채점하고, 서버부 상의 웹 서비스 "Processquestion"에 그 채점 정보 및 기록된 질문들을 전송한다. (도 10의 단계(1008)를 참조한다.) 단계(2816)에서, Processquestion 웹 서비스는 데이터 저장소에 정보를 적절히 기록하고, 시나리오에서의 다음 질문의 유형을 클라이언트부에 리턴한다. 이 정보는 데이터 저장소 테이블들로부터 사용 가능하다. 단계(2817)에서, 클라이언트부는 다음 질문이 시뮬레이션 질문인지 여부를 결정하고, 그러하다면, 단계(2819)에서 계속하고, 그렇지 않으면 단계(2818)에서 계속한다. 단계(2819)에서, 클라이언트부는 웹 서비스 GetNextQuestion을 재호출한다. 단계(2820)에서 서버부는 다음 질문에 대한 정보를 결정하고(단계(2808)를 참조) 그 정보를 클라이언트부에 리턴한다. 단계(2821)에서, 클라이언트부는 그 질문이 최종 질문인지 여부를 결정하고, 더 많은 질문들이 있다면, 단계(2809)에서 (시뮬레이션 질문들에 대해) 질문 처리 루프의 시작으로 다시 돌아가고, 그렇지 않으면, 시나리오의 결과들을 보고하기 위하여 단계(2822)의 페이지에 네비게이팅한다. 단계(2817)에서, 클라이언트부가 다음 질문이 비시뮬레이션 질문이라고 결정한다면, 클라이언트부는 단계(2802)로 다시 네비게이팅하여 다음 질문을 위한 엔진을 결정한다. 따라서, 각각의 지점에서, 질문은 시뮬레이션 질문이거나 비시뮬레이션 질문 중 어느 하나일 수 있으며, 정확한 웹 페이지를 로드함으로써 적절히 처리된다.

전술한 것으로부터, 본 명세서에서 본 발명의 특정 실시예들이 예시의 목적으로 기술되었지만, 다양한 수정들이 본 발명의 기술 사상 및 범위를 벗어나지 않고 이루어질 수 있음을 이해한다. 예를 들어, 당업자는 본 명세서에 기술된 숙련 기반 측정 시나리오들을 수행하기 위한 방법들 및 시스템들이 클라이언트-서버 구조 이외의 다른 구조들에 적용 가능함을 인식할 것이다. 예를 들어, 본 명세서에 기술된 것과 같은 기술들은 텍스트 기반 온라인 매뉴얼 대신 복사기와 같은 하드웨어 디바이스로 삽입될 수 있거나, 하드웨어 디바이스와의 활동을 위해 트레이닝하기 위한 개별 시스템에 배치될 수 있다. 당업자는 본 명세서에 기술된 방법들 및 시스템들이, 무선 핸드세트들, 전자 조직기들, 개인 휴대 정보 단말기들, 휴대용 이메일 기계들, 게임 기계들, 호출기들, GPS 수신기들과 같은 네비게이션 디바이스들 등의 상이한 네트워크 프로토콜들, 통신 매체들(광, 무선, 케이블 등) 및 디바이스들에 응용할 수 있음을 인식할 것이다.

Claims

컴퓨터 시스템에서, 애플리케이션의 사용자 인터페이스 양상들을 시뮬레이팅함으로써 상기 애플리케이션과의 숙련 기반 상호작용들(skills-based interactions)을 제공하는 방법에 있어서:

대답될 질문을 표시하는 단계;

상기 애플리케이션의 시뮬레이팅된 양상들을 사용하여 수행된 복수의 작동들(actions)로서 상기 표시된 질문에 대한 응답을 수신하는 단계; 및

상기 수신된 응답을 자동으로 채점(score)하는 단계를 포함하는, 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 상기 상호작용들은 테스트 환경의 일부인, 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 상기 상호작용들은 트레이닝 환경의 일부인, 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 상기 표시된 질문은 상기 애플리케이션과의 상호작용의 원하는 결과를 명기하는(specify), 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 상기 수행된 복수의 작동들은 기록되는, 숙련 기반 상호작용들 제공 방법.
제 5 항에 있어서, 상기 자동 채점 단계는 상기 기록된 작동들이 정확한 응답을 구성하는지 여부를 결정하기 위하여 적어도 하나의 타겟 작동에 대한 상기 기록된 작동들을 평가하는, 숙련 기반 상호작용들 제공 방법.
제 5 항에 있어서, 상기 자동 채점 단계는 숙련의 측정으로서 효율성 평가를 결정하기 위하여 상기 기록된 작동들을 평가하는, 숙련 기반 상호작용들 제공 방법.
제 5 항에 있어서, 상기 기록된 작동들은 데이터 저장소에 저장되는, 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 트레이닝 시나리오, 기술 애플리케이션 및 장치용 사용자 인터페이스 중 적어도 하나인, 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 상기 숙련 기반 상호작용들은, 상기 상호작용들이 수행되는 동안, 플러그-인 소프트웨어 코드(plug-in software code)를 사용하지 않고, 상기 애플리케이션의 인스턴스를 실행하지 않고, 또한 상기 애플리케이션의 실행 인스턴스를 공유하지 않고 제공되는, 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 상기 컴퓨터 시스템은 클라이언트 시스템 및 서버 시스템을 구비하고, 상기 시뮬레이팅된 양상들은 상기 서버 시스템에서 상기 클라이언트 시스템으로 전송되는(forward), 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 상기 상호작용들은 클라이언트 브라우저 시스템에 의해 수행되는, 숙련 기반 상호작용들 제공 방법.
제 12 항에 있어서, 상기 클라이언트 브라우저 시스템은 인터넷 브라우저인, 숙련 기반 상호작용들 제공 방법.
제 1 항에 있어서, 입력 텍스트 및 출력 텍스트가 다른 언어로 표시될 수 있는, 숙련 기반 상호작용들 제공 방법.
애플리케이션의 사용자 인터페이스 양상들을 시뮬레이팅함으로써 상기 애플리케이션과의 숙련 기반 상호작용들을 제공하도록 컴퓨터 처리기를 제어하기 위한 명령들을 포함하는 컴퓨터 판독가능 메모리 매체로서, 상기 숙련 기반 상호작용들의 제공은:

대답될 질문을 표시하는 단계;

상기 애플리케이션의 시뮬레이팅된 양상들을 사용하여 수행된 복수의 작동들로서 상기 표시된 질문에 대한 응답을 수신하는 단계; 및

상기 수신된 응답을 자동으로 채점하는 단계에 의한, 컴퓨터 판독가능 메모리 매체.
제 15 항에 있어서, 상기 상호작용들은 테스트 환경의 일부인, 컴퓨터 판독가능 메모리 매체.
제 15 항에 있어서, 상기 상호작용들은 트레이닝 환경의 일부인, 컴퓨터 판독가능 메모리 매체.
제 15 항에 있어서, 상기 표시된 질문은 상기 애플리케이션과의 상호작용의 원하는 결과를 명기하는, 컴퓨터 판독가능 메모리 매체.
제 15 항에 있어서, 상기 수행된 복수의 작동들은 기록되는, 컴퓨터 판독가능 메모리 매체.
제 19 항에 있어서, 상기 자동 채점 단계는 상기 기록된 작동들이 정확한 응답을 구성하는지 여부를 결정하기 위하여 적어도 하나의 타겟 작동에 대한 상기 기록된 작동들을 평가하는, 컴퓨터 판독가능 메모리 매체.
제 19 항에 있어서, 상기 자동 채점 단계는 숙련의 측정으로서 효율성 평가를 결정하기 위하여 상기 기록된 작동들을 평가하는, 컴퓨터 판독가능 메모리 매체.
제 15 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 트레이닝 시나리오, 기술 애플리케이션 및 장치용 사용자 인터페이스 중 적어도 하나인, 컴퓨터 판독가능 메모리 매체.
제 15 항에 있어서, 상기 숙련 기반 상호작용들은, 상기 상호작용들이 수행되는 동안, 플러그-인 소프트웨어 코드를 사용하지 않고, 상기 애플리케이션의 인스턴스를 실행하지 않고, 또한 상기 애플리케이션의 실행 인스턴스를 공유하지 않고 제공되는, 컴퓨터 판독가능 메모리 매체.
제 15 항에 있어서, 입력 텍스트 및 출력 텍스트가 다른 언어로 표시될 수 있는, 컴퓨터 판독가능 메모리 매체.
시뮬레이션 엔진에 있어서:

대답될 질문을 표시하도록 구성된 질문 프리젠테이션 구성요소;

복수의 시뮬레이팅된 인터페이스 구성요소들로서, 구성요소 각각은 상기 시뮬레이팅된 구성요소의 선택에 응답하여, 애플리케이션의 연관된 거동(behavior)을 시뮬레이팅하고, 상기 구성요소드은,

시뮬레이팅된 구성요소가 선택된 표시를 수신하고,

상기 애플리케이션의 연관된 거동을 시뮬레이팅하고,

상기 선택과 연관된 작동을 기록하도록 구성되는, 상기 복수의 시뮬레이팅된 인터페이스 구성요소들;

선택시, 상기 기록된 작동들이 상기 질문에 대한 응답을 구성하는 것을 표시하는 응답 표시기; 및

상기 응답의 표시를 수신하고, 숙련의 측정을 상기 기록된 작동들과 자동으로 연관시키는 채점 구성요소를 포함하는, 시뮬레이션 엔진.
제 25 항에 있어서, 테스트 환경의 일부인, 시뮬레이션 엔진.
제 25 항에 있어서, 트레이닝 환경의 일부인, 시뮬레이션 엔진.
제 25 항에 있어서, 상기 채점 구성요소는, 상기 기록된 작동들이 정확한 응답을 구성하는지 여부를 결정하기 위하여, 적어도 하나의 타겟 작동에 대한 상기 기록된 작동들을 평가하는, 시뮬레이션 엔진.
제 25 항에 있어서, 상기 채점 구성요소는 숙련의 측정으로서 효율성 평가를 결정하기 위하여 상기 기록된 작동들을 평가하는, 시뮬레이션 엔진.
제 25 항에 있어서, 상기 기록된 작동들은 데이터 저장소에 저장되는, 시뮬레이션 엔진.
제 25 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 트레이닝 시나리오, 기술 애플리케이션 및 장치용 사용자 인터페이스 중 적어도 하나인, 시뮬레이션 엔진.
제 25 항에 있어서, 상기 상호작용들이 수행되는 동안, 플러그-인 소프트웨어 코드를 사용하지 않고, 상기 애플리케이션의 인스턴스를 실행하지 않고, 또한 상기 애플리케이션의 실행 인스턴스를 공유하지 않고 동작하는, 시뮬레이션 엔진.
제 25 항에 있어서, 클라이언트부 및 서버부를 구비하고, 상기 시뮬레이팅된 양상들은 상기 서버부에서 상기 클라이언트부로 전송되는, 시뮬레이션 엔진.
제 25 항에 있어서, 클라이언트 브라우저 시스템에 의해 수행되는, 시뮬레이션 엔진.
제 34 항에 있어서, 상기 클라이언트 브라우저 시스템은 인터넷 브라우저인, 시뮬레이션 엔진.
제 25 항에 있어서, 입력 텍스트 및 출력 텍스트가 다른 언어로 표시될 수 있는, 시뮬레이션 엔진.
애플리케이션 프로그램에 관한 오퍼레이터의 숙련들을 테스트하기 위한 숙련 기반 테스트 환경에 있어서:

테스트될 상기 애플리케이션의 양상들을 시뮬레이팅하도록 구성되고, 또한

결과를 얻기 위한 테스트 지시(test directive)를 디스플레이하고;

상기 디스플레이된 지시에 대한 응답의 표시로서, 상기 애플리케이션의 시뮬레이팅된 양상들과의 적어도 하나의 상호작용을 표시하는 상기 응답의 표시를 수신하고;

상기 표시된 응답을 자동으로 채점하도록 구성된 시뮬레이션 엔진을 포함하는, 숙련 기반 테스트 환경.
제 37 항에 있어서, 상기 시뮬레이션 엔진은 상기 애플리케이션 기능의 소프트웨어 플러그-인을 실행하지 않고 동작하는, 숙련 기반 테스트 환경.
제 37 항에 있어서, 상기 시뮬레이션 환경은 테스트 동안 상기 애플리케이션을 실행하지 않고, 상기 테스트 동안 상기 애플리케이션의 실행 인스턴스와 통신하지 않고 동작하는, 숙련 기반 테스트 환경.
제 37 항에 있어서, 상기 채점은 효율성, 정확성, 시간 및 작동 평가 중 적어도 하나의 측정을 지정하는, 숙련 기반 테스트 환경.
제 37 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 기술 애플리케이션, 교육 시나리오 중 적어도 하나인, 숙련 기반 테스트 환경.
제 37 항에 있어서, 상기 테스트 지시는 복수의 언어들 중 하나로 디스플레이되는, 숙련 기반 테스트 환경.
숙련 기반 테스트 환경에서, 애플리케이션에 관한 오퍼레이터의 숙련들을 테스트하기 위한 컴퓨터 기반 방법에 있어서:

테스트될 상기 애플리케이션과의 상호작용들을 시뮬레이팅하는 복수의 인터페이스 구성요소들을 제공하는 단계;

결과를 얻기 위한 테스트 지시를 디스플레이하는 단계;

상기 디스플레이된 지시에 대한 응답의 표시로서, 적어도 하나의 시뮬레이팅된 상호작용의 사용을 표시하는 상기 응답의 표시를 수신하는 단계; 및

상기 표시된 응답을 자동으로 채점하는 단계를 포함하는, 컴퓨터 기반 방법.
제 43 항에 있어서, 상기 애플리케이션 기능의 소프트웨어 플러그-인을 실행하지 않고 수행되는, 컴퓨터 기반 방법.
제 43 항에 있어서, 테스트 동안 상기 애플리케이션을 실행하지 않고, 또한 상기 테스트 동안 상기 애플리케이션의 실행 인스턴스와 통신하지 않고 수행되는, 컴퓨터 기반 방법.
제 43 항에 있어서, 상기 채점은 효율성, 정확성, 시간 및 작동 평가 중 적어도 하나의 측정을 지정하는, 컴퓨터 기반 방법.
제 43 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 기술 애플리케이션, 교육 시나리오 중 적어도 하나인, 컴퓨터 기반 방법.
제 43 항에 있어서, 상기 테스트 지시는 복수의 언어들 중 하나로 디스플레이되는, 컴퓨터 기반 방법.
애플리케이션에 관한 오퍼레이터의 숙련들을 테스트하도록 컴퓨터 처리기를 제어하기 위한 명령들을 포함하는 컴퓨터 판독가능 메모리 매체로서, 상기 테스트는:

테스트될 상기 애플리케이션과의 상호작용들을 시뮬레이팅하는 복수의 인터페이스 구성요소들을 제공하는 단계;

결과를 얻기 위한 테스트 지시를 디스플레이하는 단계;

상기 디스플레이된 지시에 대한 응답의 표시를 수신하는 단계로서, 상기 응답은 적어도 하나의 시뮬레이팅된 상호작용의 사용을 표시하는, 상기 응답의 표시를 수신하는 단계; 및

상기 표시된 응답을 자동으로 채점하는 단계에 의한, 컴퓨터 판독가능 메모리 매체.
제 49 항에 있어서, 상기 명령들은 상기 애플리케이션 기능의 소프트웨어 플러그-인을 실행하지 않고 동작하는, 컴퓨터 판독가능 메모리 매체.
제 49 항에 있어서, 상기 명령들은 테스트 동안 상기 애플리케이션을 실행하지 않고, 또한 상기 테스트 동안 상기 애플리케이션의 실행 인스턴스와 통신하지 않고 동작하는, 컴퓨터 판독가능 메모리 매체.
제 49 항에 있어서, 상기 채점은 효율성, 정확성, 시간 및 작동 평가 중 적어도 하나의 측정을 지정하는, 컴퓨터 판독가능 메모리 매체.
제 49 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 기술 애플리케이션, 교육 시나리오 중 적어도 하나인, 컴퓨터 판독가능 메모리 매체.
제 49 항에 있어서, 상기 테스트 지시는 복수의 언어들 중 하나로 디스플레이되는, 컴퓨터 판독가능 메모리 매체.
애플리케이션 프로그램에 관한 숙련들에서 오퍼레이터를 트레이닝하는 트레이닝 환경으로서, 상기 애플리케이션의 양상들을 시뮬레이팅하도록 구성되는 상기 트레이닝 환경에 있어서:

상기 애플리케이션과 상호작용하기 위한 명령을 디스플레이하는 트레이닝 시나리오; 및

상기 디스플레이된 명령에 대한 응답의 표시로서, 상기 애플리케이션의 시뮬레이팅된 양상들과의 적어도 하나의 상호작용을 표시하는 상기 응답의 표시를 수신하고,

숙련의 표시를 제공하기 위해 상기 표시된 응답을 자동으로 채점하도록 구성된 응답 추적 메커니즘(response tracking mechanism)을 포함하는, 트레이닝 환경.
제 55 항에 있어서, 상기 애플리케이션 기능의 소프트웨어 플러그-인을 실행하지 않고 동작하는, 트레이닝 환경.
제 55 항에 있어서, 테스트 동안 상기 애플리케이션을 실행하지 않고, 상기 테스트 동안 상기 애플리케이션의 실행 인스턴스와 통신하지 않고 동작하는, 트레이닝 환경.
제 55 항에 있어서, 상기 채점은 효율성, 정확성, 시간 및 작동 평가 중 적어도 하나의 측정을 지정하는, 트레이닝 환경.
제 55 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 기술 애플리케이션, 교육 시나리오 중 적어도 하나인, 트레이닝 환경.
제 55 항에 있어서, 상기 명령은 복수의 언어들 중 하나로 디스플레이될 수 있는, 트레이닝 환경.
숙련 기반 트레이닝 환경에서, 애플리케이션에 관한 숙련들에서 오퍼레이터를 트레이닝하기 위한 방법에 있어서:

상기 애플리케이션과의 상호작용들을 시뮬레이팅하는 복수의 인터페이스 구성요소들을 제공하는 단계;

상기 애플리케이션과 상호작용하기 위한 명령을 디스플레이하는 단계;

상기 디스플레이된 명령에 대한 응답의 표시로서, 적어도 하나의 시뮬레이팅된 상호작용의 사용을 표시하는 상기 응답의 표시를 수신하는 단계; 및

상기 표시된 응답을 자동으로 채점하는 단계를 포함하는, 오퍼레이터 트레이닝 방법.
제 61 항에 있어서, 상기 애플리케이션 기능의 소프트웨어 플러그-인을 실행하지 않고 동작하는, 오퍼레이터 트레이닝 방법.
제 61 항에 있어서, 테스트 동안 상기 애플리케이션을 실행하지 않고, 또한 상기 테스트 동안 상기 애플리케이션의 실행 인스턴스와 통신하지 않고 동작하는, 오퍼레이터 트레이닝 방법.
제 61 항에 있어서, 상기 채점 단계는 효율성, 정확성, 시간 및 작동 평가 중 적어도 하나의 측정을 지정하는, 오퍼레이터 트레이닝 방법.
제 61 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 기술 애플리케이션, 교육 시나리오 중 적어도 하나인, 오퍼레이터 트레이닝 방법.
제 61 항에 있어서, 상기 명령은 복수의 언어들 중 하나로 디스플레이될 수 있는, 오퍼레이터 트레이닝 방법.
애플리케이션에 관한 숙련들에서 오퍼레이터를 트레이닝하도록 컴퓨터 처리기를 제어하기 위한 명령들을 포함하는 컴퓨터 판독가능 메모리 매체로서, 상기 트레이닝은:

상기 애플리케이션과의 상호작용들을 시뮬레이팅하는 복수의 인터페이스 구성요소들을 제공하는 단계;

상기 애플리케이션과 상호작용하기 위한 명령을 디스플레이하는 단계;

상기 디스플레이된 명령에 대한 응답의 표시를 수신하는 단계로서, 상기 응답은 적어도 하나의 시뮬레이팅된 상호작용의 사용을 표시하는, 상기 응답의 표시를 수신하는 단계; 및

상기 표시된 응답을 자동으로 채점하는 단계에 의한, 컴퓨터 판독가능 메모리 매체.
제 67 항에 있어서, 상기 명령들은 상기 애플리케이션 기능의 소프트웨어 플러그-인을 실행하지 않고 동작하는, 컴퓨터 판독가능 메모리 매체.
제 67 항에 있어서, 상기 명령들은 테스트 동안 상기 애플리케이션을 실행하지 않고, 또한 상기 테스트 동안 상기 애플리케이션의 실행 인스턴스와 통신하지 않고 동작하는, 컴퓨터 판독가능 메모리 매체.
제 67 항에 있어서, 상기 채점 단계는 효율성, 정확성, 시간 및 작동 평가 중 적어도 하나의 측정을 지정하는, 컴퓨터 판독가능 메모리 매체.
제 67 항에 있어서, 상기 애플리케이션은 소프트웨어 애플리케이션, 기술 애플리케이션, 교육 시나리오 중 적어도 하나인, 컴퓨터 판독가능 메모리 매체.
제 67 항에 있어서, 상기 명령은 복수의 언어들 중 하나로 디스플레이될 수 있는, 컴퓨터 판독가능 메모리 매체.
서버 컴퓨터 시스템에서, 숙련 기반 측정 환경을 제공하는 방법에 있어서:

시뮬레이션 엔진을 클라이언트 시스템에 전송하는 단계로서, 상기 시뮬레이션 엔진은 애플리케이션을 실행하지 않고 상기 애플리케이션과의 상호작용들을 시뮬레이팅하는 복수의 인터페이스 구성요소들을 구비하고, 대답될 복수의 질문들을 가지며, 각각의 질문은 상기 서버 컴퓨터 시스템에 저장된 대응하는 대답을 갖는, 상기 시뮬레이션 엔진을 전송하는 단계;

질문에 대한 응답의 표시를 수신하는 단계; 및

상기 표시된 응답의 정확성, 및 상기 응답을 발생하기 위해 사용된 상기 숙련을 측정하는 효율성 평가를 자동으로 결정하는 단계를 포함하는, 숙련 기반 측정 환경 제공 방법.
제 73 항에 있어서, 각각의 질문은 상기 서버 컴퓨터 시스템에 저장된 대응하는 대답을 갖고, 상기 표시된 응답의 정확성은 상기 표시된 응답을 상기 저장된 대답과 비교함으로써 결정되는, 숙련 기반 측정 환경 제공 방법.
제 73 항에 있어서, 상기 응답은 기록된 작동들의 연관된 세트를 갖고, 상기 효율성 평가는 상기 응답의 기록된 작동들을 기록된 작동들의 타겟 수에 대해 비교함으로써 결정되는, 숙련 기반 측정 환경 제공 방법.
제 73 항에 있어서, 상기 시뮬레이션 엔진은 복수의 구성요소들로서 상기 클라이언트 시스템에 전송되는, 숙련 기반 측정 환경 제공 방법.
제 73 항에 있어서, 상기 구성요소들은, 시뮬레이션의 흐름을 제어하는데 사용되는 코드를 포함하는 기본 시뮬레이션 구성요소, 복수의 질문들을 위한 상기 애플리케이션의 공유된 양상들을 시뮬레이팅하기 위한 코드를 포함하는 시뮬레이션 개요 구성요소, 및 질문에 특정한 코드를 제공하는 질문 시뮬레이션 구성요소를 포함하는, 숙련 기반 측정 환경 제공 방법.
제 73 항에 있어서, 상기 측정 환경은 테스트 시나리오를 제공하기 위해 사용되는, 숙련 기반 측정 환경 제공 방법.
제 73 항에 있어서, 상기 측정 환경은 트레이닝 시나리오를 제공하기 위해 사용되는, 숙련 기반 측정 환경 제공 방법.
제 73 항에 있어서, 상기 시뮬레이션 엔진에 대한 입력 및 그 출력은 복수의 언어들 중 하나로 표시될 수 있는, 숙련 기반 측정 환경 제공 방법.
숙련 기반 측정 환경을 제공하도록 컴퓨터 처리기를 제어하기 위한 명령들을 포함하는 컴퓨터 판독가능 메모리 매체로서, 상기 제공은:

시뮬레이션 엔진을 클라이언트 시스템에 전송하는 단계로서, 상기 시뮬레이션 엔진은 애플리케이션을 실행하지 않고 상기 애플리케이션과의 상호작용들을 시뮬레이팅하는 복수의 인터페이스 구성요소들을 구비하고, 대답될 복수의 질문들을 가지며, 상기 각각의 질문은 상기 서버 컴퓨터 시스템에 저장된 대응하는 대답을 갖는, 상기 시뮬레이션 엔진을 전송하는 단계;

질문에 대한 응답의 표시를 수신하는 단계; 및

상기 표시된 응답의 정확성, 및 상기 응답을 발생하기 위해 사용된 상기 숙련을 측정하는 효율성 평가를 자동으로 결정하는 단계에 의한, 컴퓨터 판독가능 메모리 매체.
제 81 항에 있어서, 각각의 질문은 상기 서버 컴퓨터 시스템에 저장된 대응하는 대답을 갖고, 상기 표시된 응답의 정확성은 상기 표시된 응답을 상기 저장된 대답과 비교함으로써 결정되는, 컴퓨터 판독가능 메모리 매체.
제 81 항에 있어서, 상기 응답은 기록된 작동들의 연관된 세트를 갖고, 상기 효율성 평가는 상기 응답의 기록된 작동들을 기록된 작동들의 타겟 수에 대해 비교함으로써 결정되는, 컴퓨터 판독가능 메모리 매체.
제 81 항에 있어서, 상기 시뮬레이션 엔진은 복수의 구성요소들로서 상기 클라이언트 시스템에 전송되는, 컴퓨터 판독가능 메모리 매체.
제 81 항에 있어서, 상기 측정 환경은 테스트 시나리오 및 트레이닝 시나리오 중 하나를 제공하기 위해 사용되는, 컴퓨터 판독가능 메모리 매체.
제 81 항에 있어서, 상기 시뮬레이션 엔진에 대한 입력 및 그 출력은 복수의 언어들 중 하나로 표시될 수 있는, 컴퓨터 판독가능 메모리 매체.
숙련 기반 측정 환경을 제공하기 위한 컴퓨터 시스템에 있어서:

클라이언트 시스템에 전송되는 시뮬레이션 엔진으로서, 상기 시뮬레이션 엔진은 애플리케이션을 실행하지 않고 상기 애플리케이션과의 상호작용들을 시뮬레이팅하는 복수의 인터페이스 구성요소들을 구비하고, 대답될 복수의 질문들을 가지며, 상기 각각의 질문은 상기 서버 컴퓨터 시스템에 저장된 대응하는 대답을 갖는, 상기 시뮬레이션 엔진; 및

질문에 대한 응답의 표시를 수신하고,

상기 표시된 응답의 정확성, 및 상기 응답을 발생하기 위해 사용된 상기 숙련을 측정하는 효율성 평가를 자동으로 결정하도록 구성되는 응답 추적 메커니즘을 포함하는, 컴퓨터 시스템.
제 87 항에 있어서, 각각의 질문은 상기 서버 컴퓨터 시스템에 저장된 대응하는 대답을 갖고, 상기 표시된 응답의 정확성은 상기 표시된 응답을 상기 저장된 대답과 비교함으로써 결정되는, 컴퓨터 시스템.
제 87 항에 있어서, 상기 응답은 기록된 작동들의 연관된 세트를 갖고, 상기 효율성 평가는 상기 응답의 기록된 작동들을 기록된 작동들의 타겟 수에 대해 비교함으로써 결정되는, 컴퓨터 시스템.
제 87 항에 있어서, 상기 측정 환경은 테스트 시나리오 및 트레이닝 시나리오 중 하나를 제공하기 위해 사용되는, 컴퓨터 시스템.
제 87 항에 있어서, 상기 시뮬레이션 엔진에 대한 입력 및 그 출력은 복수의 언어들 중 하나로 표시될 수 있는, 컴퓨터 시스템.
컴퓨터 시스템에서, 숙련 기반 애플리케이션 시뮬레이션 엔진을 제공하는 방법에 있어서:

애플리케이션의 선택을 위한 인터페이스를 제공하는 기본 시뮬레이션 환경을 발생 및 저장하는 단계;

복수의 질문들을 위한 상기 애플리케이션과의 상호작용을 시뮬레이팅하는 인터페이스 구성요소들을 제공하는 애플리케이션 시뮬레이션 구성요소를 발생 및 저장하는 단계;

상기 복수의 질문들 각각에 대해, 상기 질문에 대한 응답이 정확한지 여부의 결정을 제공하는 질문 시뮬레이션 구성요소와, 상기 질문을 위한 상기 애플리케이션과의 상호작용을 시뮬레이팅하도록 요구되는 임의의 질문 특정 인터페이스 구성요소들을 발생 및 저장하는 단계; 및

상기 질문들에 의해 규정된 복수의 과제들을 수행하기 위해 상기 애플리케이션을 사용하는 숙련 기반 측정이 제공되도록, 상기 저장된 기초 시뮬레이션 환경, 애플리케이션 시뮬레이션 구성요소 및 상기 복수의 질문 시뮬레이션 구성요소들이 실행되게 하는 단계를 포함하는, 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
제 92 항에 있어서, 클라이언트-서버 구조를 사용하여 수행되는, 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
제 93 항에 있어서, ASP.NET 환경을 사용하여 수행되는, 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
제 93 항에 있어서, 상기 인터넷에 의해 수행되는, 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
제 93 항에 있어서, 상기 구성요소들의 발생 및 저장 단계는 서버 시스템 상에서 수행되고, 상기 구성요소들의 실행은 클라이언트 시스템 상에서 수행되는, 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
제 92 항에 있어서, 상기 시뮬레이션 엔진 인터페이스 구성요소들과의 상호작용들의 복수의 표시들을 수신하는 단계; 및

상기 복수의 과제들을 수행시 상기 상호작용들의 효과를 측정하는 단계를 더 포함하는 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
제 92 항에 있어서, 상기 측정들은 질문마다 기초하여 결정되는, 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
제 92 항에 있어서, 상기 측정들은 애플리케이션 시뮬레이션에 기초하여 결정되는, 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
제 92 항에 있어서, 상기 숙련 기반 측정은,

질문에 대한 응답시 호출된(invoked) 작동들의 세트를 기록하는 단계; 및

작동들의 타겟 세트에 관한 상기 기록된 작동들의 효율성 측정을 결정하는 단계를 더 포함하는, 숙련 기반 애플리케이션 시뮬레이션 엔진 제공 방법.
복수의 애플리케이션 프로그램들과의 상호작용들을 시뮬레이팅하고, 상기 상호작용들에서 사용된 숙련을 측정하도록 컴퓨터 처리기를 제어하기 위한 명령들을 포함하는 컴퓨터 판독가능 메모리 매체에 있어서:

애플리케이션의 선택을 위한 인터페이스를 제공하는 명령들을 갖는 기본 시뮬레이션 환경;

복수의 질문들을 위한 상기 애플리케이션과의 상호작용을 시뮬레이팅하기 위한 명령들을 인터페이스 구성요소들에 제공하는 애플리케이션 시뮬레이션 구성요소; 및

복수의 질문 시뮬레이션 구성요소들로서, 각각의 구성요소는 질문에 대한 응답이 정확한지 여부의 결정, 상기 응답을 수행하기 위해 사용된 숙련의 측정, 및 상기 질문에 대답하기 위해 상기 애플리케이션과의 상호작용을 시뮬레이팅하도록 요구되는 임의의 질문 특정 인터페이스 구성요소들을 제공하는 명령들을 갖는, 상기 복수의 질문 시뮬레이션 구성요소들을 포함하는, 컴퓨터 판독가능 메모리 매체.
제 101 항에 있어서, 상기 기본 시뮬레이션 환경 및 구성요소들은 ASP.NET 프레임워크에 따라 구성되는, 컴퓨터 판독가능 메모리 매체.
제 101 항에 있어서, 상기 기본 시뮬레이션 환경 및 구성요소들은 상기 인터넷에 의해 수행되도록 구성되는, 컴퓨터 판독가능 메모리 매체.
제 101 항에 있어서, 상기 질문 시뮬레이션 구성요소들은 또한,

상호작용들의 복수의 표시들을 수신하고;

상기 복수의 질문들에 응답하여 상기 상호작용들의 효과를 측정하기 위한 명령들을 제공하는, 컴퓨터 판독가능 메모리 매체.
제 104 항에 있어서, 상기 측정들은 질문마다 기초하여 결정되는, 컴퓨터 판독가능 메모리 매체.
제 104 항에 있어서, 상기 측정들은 애플리케이션 시뮬레이션에 기초하여 결정되는, 컴퓨터 판독가능 메모리 매체.
제 101 항에 있어서, 상기 컴퓨터 처리기가 질문에 응답하여 호출된 작동들의 세트를 기록하게 하고;

작동들의 타겟 세트에 관해 상기 기록된 작동들의 효율성 측정을 결정하는 명령들을 더 포함하는, 컴퓨터 판독가능 메모리 매체.
컴퓨터 시스템에 있어서:

애플리케이션의 선택을 위한 인터페이스를 제공하도록 구성된 기본 시뮬레이션 환경;

복수의 질문들을 위한 상기 애플리케이션과의 상호작용들을 시뮬레이팅하는 인터페이스 구성요소들을 제공하도록 구성되는 애플리케이션 시뮬레이션 구성요소; 및

복수의 질문 시뮬레이션 구성요소들로서, 각각의 구성요소는 질문에 대한 응답이 정확한지 여부의 결정, 상기 응답을 수행하기 위해 사용된 숙련의 측정, 및 상기 질문에 대답하기 위해 상기 애플리케이션과의 상호작용을 시뮬레이팅하도록 요구되는 임의의 질문 특정 인터페이스 구성요소들을 제공하도록 구성되는, 상기 복수의 질문 시뮬레이션 구성요소들을 포함하는, 컴퓨터 시스템.
제 108 항에 있어서, 상기 기본 시뮬레이션 환경 및 구성요소들은 ASP.NET 프레임워크에 따라 구성되는, 컴퓨터 시스템.
제 108 항에 있어서, 상기 기본 시뮬레이션 환경 및 구성요소들은 상기 인터넷에 의해 수행되도록 구성되는, 컴퓨터 시스템.
제 108 항에 있어서, 상기 질문 시뮬레이션 구성요소들은 또한,

상호작용들의 복수의 표시들을 수신하고;

상기 복수의 질문들에 응답하여 상기 상호작용들의 효과를 측정하도록 구성되는, 컴퓨터 시스템.
제 111 항에 있어서, 상기 측정들은 질문마다 기초하여 결정되는, 컴퓨터 시스템.
제 111 항에 있어서, 상기 측정들은 애플리케이션 시뮬레이션에 기초하여 결정되는, 컴퓨터 시스템.
제 108 항에 있어서, 질문에 대한 응답시 호출된 작동들의 세트를 기록하고;

작동들의 타겟 세트에 관한 상기 기록된 작동들의 효율성 측정을 결정하도록 구성되는 기록 메커니즘을 더 포함하는, 컴퓨터 시스템.
애플리케이션과의 상호작용들을 시뮬레이팅하도록 컴퓨터 시뮬레이션 환경을 제어하기 위해 사용되어, 상기 애플리케이션 사용시 숙련의 측정이 결정될 수 있도록 하는 코드 및 데이터 구조들을 구비한 복수의 소프트웨어 구성요소들을 포함하는 컴퓨터 판독가능 메모리 매체에 있어서:

애플리케이션 독립적인 애플리케이션 상호작용 거동을 제공하는 복수의 기본 레벨 시뮬레이션 구성요소들;

애플리케이션과 연관된 복수의 질문들 사이에 공유되는 애플리케이션 거동 및 애플리케이션 프리젠테이션을 시뮬레이팅하는 복수의 애플리케이션 레벨 시뮬레이션 구성요소들; 및

복수의 질문 레벨 시뮬레이션 구성요소들로서, 각각의 구성요소는 상기 애플리케이션과 연관된 질문에 특정되고, 상기 질문에 대답하는 것과 연관된 숙련을 결정하기 위해 상기 질문에 대한 응답시 호출된 일련의 상호작용들을 측정하는, 상기 복수의 질문 레벨 시뮬레이션 구성요소들을 포함하는, 컴퓨터 판독가능 메모리 매체.
제 115 항에 있어서, 상기 구성요소들은 액티브 서버 페이지들의 ".NET" 버전(ASP.NET)과 함께 동작하도록 설치되는, 컴퓨터 판독가능 메모리 매체.
제 115 항에 있어서, 복수의 상기 구성요소들은 실행하기 위해 클라이언트 컴퓨터 시스템에 다운로드되는, 컴퓨터 판독가능 메모리 매체.
제 115 항의 메모리 매체를 구비한 컴퓨터 시스템에서의 방법에 있어서:

상기 메모리 매체로부터 상기 기본 레벨 시뮬레이션 구성요소들의 세트를 검색하는 단계;

상기 메모리 매체로부터 상기 애플리케이션 레벨 시뮬레이션 구성요소들의 세트를 검색하는 단계;

상기 메모리 매체로부터 상기 질문 레벨 시뮬레이션 구성요소들의 세트를 검색하는 단계; 및

상기 질문 레벨 시뮬레이션 구성요소들과 연관된 상기 복수의 질문들을 제공하고, 각각의 질문에 대한 응답 작동들의 세트의 표시를 수신하고, 각각의 질문에 대한 상기 표시된 응답 작동들의 효율성 측정을 결정하기 위해 상기 구성요소들의 검색된 세트들을 실행하는 단계를 포함하는, 방법.
제 118 항에 있어서, 상기 검색된 구성요소들을 실행하는 단계는 상기 애플리케이션을 론칭(launching)하지 않고 수행되는, 방법.
제 118 항에 있어서, 상기 검색된 구성요소들을 실행하는 단계는 상기 애플리케이션의 소프트웨어 코드 플러그-인 모듈을 론칭하지 않고 수행되는, 방법.
제 118 항에 있어서, 상기 검색된 구성요소들을 실행하는 단계는 상기 애플리케이션 사용시 숙련들을 테스트하기 위해 사용되는, 방법.
제 118 항에 있어서, 상기 검색된 구성요소들을 실행하는 단계는 상기 애플리케이션을 사용하기 위한 오퍼레이터를 트레이닝하는데 사용되는, 방법.
제 118 항에 있어서, 상기 효율성 측정은 각각의 질문에 대한 상기 표시된 응답 작동들을 각각의 질문에 대한 타겟 작동들에 대해 비교함으로써 결정되는, 방법.
제 118 항에 있어서, 전체 효율성 측정은 상기 복수의 질문들에 대해 결정되는, 방법.
제 115 항의 메모리 매체를 구비한 컴퓨터 시스템에서의 시뮬레이션 엔진에 있어서:

상기 메모리 매체로부터 검색된 기본 레벨 시뮬레이션 구성요소들의 세트;

상기 메모리 매체로부터 검색된 상기 애플리케이션 레벨 시뮬레이션 구성요소들의 세트; 및

상기 질문 레벨 시뮬레이션 구성요소들과 연관된 상기 복수의 질문들을 제공하고,

각각의 질문에 대한 응답 작동들의 세트의 표시를 수신하고,

각각의 질문에 대한 상기 표시된 응답 작동들의 효율성 측정을 결정하도록 구성되는 상기 메모리 매체로부터 검색된 상기 질문 레벨 시뮬레이션 구성요소들의 세트를 포함하는, 시뮬레이션 엔진.
제 125 항에 있어서, 상기 검색된 구성요소들은 상기 애플리케이션을 론칭하지 않고 실행되는, 시뮬레이션 엔진.
제 125 항에 있어서, 상기 검색된 구성요소들은 상기 애플리케이션의 소프트웨어 코드 플러그-인 모듈을 론칭하지 않고 실행되는, 시뮬레이션 엔진.
제 125 항에 있어서, 상기 검색된 구성요소들은 상기 애플리케이션 사용시 숙련들을 테스트하기 위해 실행되는, 시뮬레이션 엔진.
제 125 항에 있어서, 상기 검색된 구성요소들은 상기 애플리케이션을 사용하기 위한 오퍼레이터를 트레이닝하는데 사용되는, 시뮬레이션 엔진.
제 125 항에 있어서, 상기 효율성 측정은 각각의 질문에 대한 상기 표시된 응답 작동들을 각각의 질문에 대한 타겟 작동들에 대해 비교함으로써 결정되는, 시뮬레이션 엔진.
컴퓨터 시스템에서, 숙련 기반 측정 시나리오를 저작(author)하기 위한 방법에 있어서:

데이터 저장소에 저장된 복수의 질문들로부터 질문들의 세트의 표시를 수신하는 단계로서, 각각의 질문은 상기 질문에 대한 대답을 포함하는 원하는 작동들의 연관된 세트를 구비하는, 상기 수신 단계;

데이터 저장소에 저장된 복수의 시나리오들로부터 시나리오의 지정을 수신하는 단계; 및

상기 컴퓨터 시스템 상에서 실행될 때, 오퍼레이터 작동들의 세트로서 질문에 대한 응답을 수신하고, 상기 질문과 연관된 원하는 작동들의 상기 세트와 비교하여 상기 응답을 자동으로 측정하는 숙련 기반 측정 시나리오를 생성하기 위하여 상기 질문들의 표시된 세트를 지정된 시나리오와 연관시키는 단계를 포함하는, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 측정은 숙련의 측정으로서 상기 응답의 정확성을 측정하는, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 측정은 숙련의 측정으로서 상기 응답의 효율성을 측정하는, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 시나리오는 테스트 환경에서의 테스트인, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 시나리오는 트레이닝을 위해 제공되는, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 질문들의 표시된 세트는 상기 시나리오와의 시물레이팅된 상호작용들을 요구하는 시뮬레이팅된 질문들과, 시뮬레이팅된 상호작용들의 사용을 요구하지 않는 비시뮬레이팅된 질문들을 포함하는, 숙련 기반 측정 시나리오 저작 방법.
제 136 항에 있어서, 상기 자동 측정은 복수의 응답들 및 질문들에 대해 수행되고, 상기 응답들의 측정은 시뮬레이팅된 질문들과 비시뮬레이팅된 질문들에 대한 응답들을 측정하는, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 복수의 질문들은 복수의 언어들로 된 텍스트를 포함하는, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 생성된 시나리오는 복수의 언어들로 된 질문들을 포함하는, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 데이터 저장소에 저장된 상기 복수의 질문들을 수정하는 단계를 더 포함하는, 숙련 기반 측정 시나리오 저작 방법.
제 140 항에 있어서, 상기 수정은 추가, 삭제 및 갱신 중 적어도 하나인, 숙련 기반 측정 시나리오 저작 방법.
제 131 항에 있어서, 상기 데이터 저장소에 저장된 복수의 시나리오들을 수정하는 단계를 더 포함하는, 숙련 기반 측정 시나리오 저작 방법.
제 142 항에 있어서, 상기 수정은 추가, 삭제 및 갱신 중 적어도 하나인, 숙련 기반 측정 시나리오 저작 방법.
숙련 기반 측정 시나리오를 저작하도록 컴퓨터 처리기를 제어하기 위한 명령들을 포함하는 컴퓨터 판독가능 메모리 매체로서, 상기 제어는:

데이터 저장소에 저장된 복수의 질문들로부터 질문들의 세트의 표시를 수신하는 단계로서, 각각의 질문은 상기 질문에 대한 대답을 포함하는 원하는 작동들의 연관된 세트를 구비하는, 상기 질문들의 세트의 표시를 수신하는 단계;

데이터 저장소에 저장된 복수의 시나리오들로부터 시나리오의 지정을 수신하는 단계; 및

상기 컴퓨터 시스템 상에서 실행될 때, 오퍼레이터 작동들의 세트로서 질문에 대한 응답을 수신하고, 상기 질문과 연관된 원하는 작동들의 상기 세트와 비교하여 상기 응답을 자동으로 측정하는 숙련 기반 측정 시나리오를 생성하기 위하여 상기 질문들의 표시된 세트를 지정된 시나리오와 연관시키는 단계에 의한, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 측정은 숙련의 측정으로서 상기 응답의 정확성을 측정하는, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 측정은 숙련의 측정으로서 상기 응답의 효율성을 측정하는, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 시나리오는 테스트 환경에서의 테스트인, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 시나리오는 트레이닝을 위해 제공되는, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 질문들의 표시된 세트는 상기 시나리오와의 시물레이팅된 상호작용들을 요구하는 시뮬레이팅된 질문들과, 시뮬레이팅된 상호작용들의 사용을 요구하지 않는 비시뮬레이팅된 질문들을 포함하는, 컴퓨터 판독가능 메모리 매체.
제 149 항에 있어서, 상기 자동 측정은 복수의 응답들 및 질문들에 대해 수행되고, 상기 응답들의 측정은 시뮬레이팅된 질문들과 비시뮬레이팅된 질문들에 대한 응답들을 측정하는, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 복수의 질문들은 복수의 언어들로 된 텍스트를 포함하는, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 생성된 시나리오는 복수의 언어들로 된 질문들을 포함하는, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 데이터 저장소에 저장된 상기 복수의 질문들을 수정함으로써 컴퓨터 처리기를 제어하는 명령들을 더 포함하는, 컴퓨터 판독가능 메모리 매체.
제 153 항에 있어서, 상기 수정은 추가, 삭제 및 갱신 중 적어도 하나인, 컴퓨터 판독가능 메모리 매체.
제 144 항에 있어서, 상기 데이터 저장소에 저장된 복수의 시나리오들을 수정함으로써 컴퓨터 처리기를 제어하는 명령들을 더 포함하는, 컴퓨터 판독가능 메모리 매체.
제 155 항에 있어서, 상기 수정은 추가, 삭제 및 갱신 중 적어도 하나인, 컴퓨터 판독가능 메모리 매체.
숙련 기반 측정 시나리오 저작 도구에 있어서:

데이터 저장소에 저장된 복수의 질문들로부터 질문들의 세트의 표시를 수신하도록 구성된 질문 표시기로서, 각각의 질문은 상기 질문에 대한 대답을 포함하는 원하는 작동들의 연관된 세트를 갖는, 상기 질문 표시기;

데이터 저장소에 저장된 복수의 시나리오들로부터 시나리오의 지정을 수신하도록 구성된 시나리오 표시기;

상기 컴퓨터 시스템 상에서 실행될 때, 오퍼레이터 작동들의 세트로서 질문에 대한 응답을 수신하고, 상기 질문과 연관된 원하는 작동들의 상기 세트와 비교하여 상기 응답을 자동으로 측정하는 숙련 기반 측정 시나리오를 생성하기 위하여 상기 질문들의 표시된 세트를 지정된 시나리오와 연관시키도록 구성된 매칭 메커니즘을 포함하는, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 측정은 숙련의 측정으로서 상기 응답의 정확성을 측정하는, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 측정은 숙련의 측정으로서 상기 응답의 효율성을 측정하는, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 시나리오는 테스트 환경에서의 테스트인, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 시나리오는 트레이닝을 위해 제공되는, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 질문들의 표시된 세트는 상기 시나리오와의 시물레이팅된 상호작용들을 요구하는 시뮬레이팅된 질문들과, 시뮬레이팅된 상호작용들의 사용을 요구하지 않는 비시뮬레이팅된 질문들을 포함하는, 숙련 기반 측정 시나리오 저작 도구.
제 162 항에 있어서, 상기 자동 측정은 복수의 응답들 및 질문들에 대해 수행되고, 상기 응답들의 측정은 시뮬레이팅된 질문들과 비시뮬레이팅된 질문들에 대한 응답들을 측정하는, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 복수의 질문들은 복수의 언어들로 된 텍스트를 포함하는, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 생성된 시나리오는 복수의 언어들로 된 질문들을 포함하는, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 데이터 저장소에 저장된 상기 복수의 질문들을 수정하도록 구성된 질문 수정기를 더 포함하는, 숙련 기반 측정 시나리오 저작 도구.
제 166 항에 있어서, 상기 수정은 추가, 삭제 및 갱신 중 적어도 하나인, 숙련 기반 측정 시나리오 저작 도구.
제 157 항에 있어서, 상기 데이터 저장소에 저장된 복수의 시나리오들을 수정하도록 구성된 시나리오 수정기를 더 포함하는, 숙련 기반 측정 시나리오 저작 도구.
제 168 항에 있어서, 상기 수정은 추가, 삭제 및 갱신 중 적어도 하나인, 숙련 기반 측정 시나리오 저작 도구.
컴퓨터 시스템에서, 애플리케이션 사용시 숙련의 측정을 채점하기 위한 방법에 있어서:

상기 애플리케이션에 관련된 과제의 수행을 지시하는 질문에 대한 응답을 수신하는 단계로서, 상기 응답은 상기 애플리케이션의 시뮬레이팅된 양상들과 상호작용함으로써 수행되는 작동들의 세트를 표시하는, 상기 질문에 대한 응답을 수신하는 단계; 및

상기 숙련의 측정을 결정하기 위해 상기 작동들의 표시된 세트를 작동들의 타겟 세트와 비교함으로써 상기 응답을 자동으로 채점하는 단계를 포함하는, 숙련 측정 채점 방법.
제 170 항에 있어서, 상기 채점은 효율성의 측정을 표시하는, 숙련 측정 채점 방법.
제 171 항에 있어서, 상기 효율성은 상기 작동들의 타겟 세트에서의 작동들의 수를 상기 작동들의 표시된 세트에서의 상기 작동들의 수로 나누고 상기 결과를 100으로 곱함으로써 측정되는, 숙련 측정 채점 방법.
제 171 항에 있어서, 상기 채점은 정확성의 측정을 추가적으로 표시하는, 숙련 측정 채점 방법.
제 170 항에 있어서, 상기 채점은 최적 작동들, 효율성, 정확성 및 시간 중 적어도 하나의 측정을 표시하는, 숙련 측정 채점 방법.
제 170 항에 있어서, 상기 애플리케이션의 시뮬레이팅된 양상들과의 상호작용을 요구하지 않는 비시뮬레이션 질문에 대한 응답을 수신하는 단계;

상기 비시뮬레이션 질문에 대한 응답에 대한 점수를 자동으로 결정하는 단계; 및

상기 비시뮬레이션 질문에 대한 응답의 점수를 상기 과제의 수행을 지시하는 상기 질문에 대한 응답의 점수와 조합함으로써 상기 애플리케이션의 사용을 위한 전체 점수를 자동으로 결정하는 단계를 더 포함하는, 숙련 측정 채점 방법.
제 175 항에 있어서, 상기 전체 점수는 상기 비시뮬레이션 질문에 대한 응답의 정확성 측정을 결정하고, 상기 작동들의 세트를 표시하는 상기 응답의 정확성 측정을 결정하며, 두 정확성 측정들을 단일 결과로 조합함으로써 결정되는, 숙련 측정 채점 방법.
제 170 항에 있어서, 상기 애플리케이션에 관련된 제 2 과제의 수행을 지시하는 제 2 질문에 대한 제 2 응답을 수신하는 단계로서, 상기 제 2 응답은 상기 애플리케이션의 시뮬레이팅된 양상들과 상호작용함으로써 수행되는 작동들의 제 2 세트를 표시하는, 상기 수신 단계;

숙련의 측정을 결정하기 위해 상기 작동들의 표시된 제 2 세트를 작동들의 제 2 타겟 세트와 비교함으로써 상기 제 2 응답을 자동으로 채점하는 단계; 및

상기 응답의 점수와 상기 제 2 응답의 점수를 조합함으로써 상기 애플리케이션의 사용을 위한 전체 점수를 자동으로 결정하는 단계를 더 포함하는, 숙련 측정 채점 방법.
제 177 항에 있어서, 상기 전체 점수는 평균 효율성의 측정인, 숙련 측정 채점 방법.
제 177 항에 있어서, 상기 전체 점수는 최적 작동들, 효율성, 정확성 및 시간 중 적어도 하나의 측정인, 숙련 측정 채점 방법.
제 170 항에 있어서, 상기 방법은 상기 애플리케이션을 론칭하지 않고 또한 상기 애플리케이션의 플러그-인 모듈을 실행하지 않고 수행되는, 숙련 측정 채점 방법.
제 170 항에 있어서, 테스트 시스템의 일부로서 수행되는, 숙련 측정 채점 방법.
제 170 항에 있어서, 트레이닝 시스템의 일부로서 수행되는, 숙련 측정 채점 방법.
제 170 항에 있어서, 상기 질문은 복수의 언어들로 표현될 수 있는, 숙련 측정 채점 방법.
애플리케이션 사용시 숙련의 측정을 채점하도록 컴퓨터 처리기를 제어하기 위한 명령들을 포함하는 컴퓨터 판독가능 메모리 매체로서, 상기 제어는:

상기 애플리케이션에 관련된 과제의 수행을 지시하는 질문에 대한 응답을 수신하는 단계로서, 상기 응답은 상기 애플리케이션의 시뮬레이팅된 양상들과 상호작용함으로써 수행되는 작동들의 세트를 표시하는, 상기 질문에 대한 응답을 수신하는 단계; 및

상기 숙련의 측정을 결정하기 위해 상기 작동들의 표시된 세트를 작동들의 타겟 세트와 비교함으로써 상기 응답을 자동으로 채점하는 단계를 포함하는, 컴퓨터 판독가능 메모리 매체.
제 184 항에 있어서, 상기 채점은 효율성의 측정을 표시하는, 컴퓨터 판독가능 메모리 매체.
제 185 항에 있어서, 상기 효율성은 상기 작동들의 타겟 세트에서의 작동들의 수를 상기 작동들의 표시된 세트에서의 상기 작동들의 수로 나누고 상기 결과를 100으로 곱함으로써 측정되는, 컴퓨터 판독가능 메모리 매체.
제 185 항에 있어서, 상기 채점은 정확성의 측정을 추가적으로 표시하는, 컴퓨터 판독가능 메모리 매체.
제 184 항에 있어서, 상기 채점은 최적 작동들, 효율성, 정확성 및 시간 중 적어도 하나의 측정을 표시하는, 컴퓨터 판독가능 메모리 매체.
제 184 항에 있어서, 상기 애플리케이션의 시뮬레이팅된 양상들과의 상호작용을 요구하지 않는 비시뮬레이션 질문에 대한 응답을 수신하는 단계;

상기 비시뮬레이션 질문에 대한 응답에 대한 점수를 자동으로 결정하는 단계; 및

상기 비시뮬레이션 질문에 대한 응답의 점수를 상기 과제의 수행을 지시하는 상기 질문에 대한 응답의 점수와 조합함으로써 상기 애플리케이션의 사용을 위한 전체 점수를 자동으로 결정하는 단계에 의해 상기 컴퓨터 처리기를 제어하는 명령들을 더 포함하는, 컴퓨터 판독가능 메모리 매체.
제 189 항에 있어서, 상기 전체 점수는 상기 비시뮬레이션 질문에 대한 응답의 정확성 측정을 결정하고, 상기 작동들의 세트를 표시하는 상기 응답의 정확성 측정을 결정하며, 두 정확성 측정들을 단일 결과로 조합함으로써 결정되는, 컴퓨터 판독가능 메모리 매체.
제 184 항에 있어서, 상기 애플리케이션에 관련된 제 2 과제의 수행을 지시하는 제 2 질문에 대한 제 2 응답을 수신하는 단계로서, 상기 제 2 응답은 상기 애플리케이션의 시뮬레이팅된 양상들과 상호작용함으로써 수행되는 작동들의 제 2 세트를 표시하는, 상기 제 2 질문에 대한 제 2 응답을 수신하는 단계;

숙련의 측정을 결정하기 위해 상기 작동들의 표시된 제 2 세트를 작동들의 제 2 타겟 세트와 비교함으로써 상기 제 2 응답을 자동으로 채점하는 단계; 및

상기 응답의 점수와 상기 제 2 응답의 점수를 조합함으로써 상기 애플리케이션의 사용을 위한 전체 점수를 자동으로 결정하는 단계에 의해 상기 컴퓨터 처리기를 제어하는 명령들을 더 포함하는, 컴퓨터 판독가능 메모리 매체.
제 191 항에 있어서, 상기 전체 점수는 평균 효율성의 측정인, 컴퓨터 판독가능 메모리 매체.
제 191 항에 있어서, 상기 전체 점수는 최적 작동들, 효율성, 정확성 및 시간 중 적어도 하나의 측정인, 컴퓨터 판독가능 메모리 매체.
제 184 항에 있어서, 상기 명령들은 상기 애플리케이션을 론칭하지 않고 또한 상기 애플리케이션의 플러그-인 모듈을 실행하지 않고 실행되는, 컴퓨터 판독가능 메모리 매체.
제 184 항에 있어서, 상기 명령들은 테스트 시스템의 일부로서 실행되는, 컴퓨터 판독가능 메모리 매체.
제 184 항에 있어서, 상기 명령들은 트레이닝 시스템의 일부로서 실행되는, 컴퓨터 판독가능 메모리 매체.
제 184 항에 있어서, 상기 질문은 복수의 언어들로 제공될 수 있는, 컴퓨터 판독가능 메모리 매체.
애플리케이션 사용시 숙련을 측정하기 위한 컴퓨터 기반 채점 시스템에 있어서:

상기 애플리케이션에 관련된 과제의 수행을 지시하는 질문에 대한 응답을 수신하도록 구성된 입력 인터페이스로서, 상기 응답은 상기 애플리케이션의 시뮬레이팅된 양상들과 상호작용함으로써 수행되는 작동들의 세트를 표시하는, 상기 입력 인터페이스; 및

상기 숙련의 측정을 결정하기 위해 상기 작동들의 표시된 세트를 작동들의 타겟 세트와 비교함으로써 상기 응답을 자동으로 채점하도록 구성된 채점 모듈을 포함하는, 컴퓨터 기반 채점 시스템.
제 198 항에 있어서, 상기 채점은 효율성의 측정을 표시하는, 컴퓨터 기반 채점 시스템.
제 199 항에 있어서, 상기 효율성은 상기 작동들의 타겟 세트에서의 작동들의 수를 상기 작동들의 표시된 세트에서의 상기 작동들의 수로 나누고 상기 결과를 100으로 곱함으로써 측정되는, 컴퓨터 기반 채점 시스템.
제 199 항에 있어서, 상기 채점은 정확성의 측정을 추가적으로 표시하는, 컴퓨터 기반 채점 시스템.
제 198 항에 있어서, 상기 채점은 최적 작동들, 효율성, 정확성 및 시간 중 적어도 하나의 측정을 표시하는, 컴퓨터 기반 채점 시스템.
제 198 항에 있어서, 상기 애플리케이션의 시뮬레이팅된 양상들과의 상호작용을 요구하지 않는 비시뮬레이션 질문에 대한 응답을 수신하도록 구성된 입력 인터페이스를 더 포함하며,

상기 채점 모듈은 또한,

상기 비시뮬레이션 질문에 대한 응답에 대한 점수를 자동으로 결정하고;

상기 비시뮬레이션 질문에 대한 응답의 점수를 상기 과제의 수행을 지시하는 상기 질문에 대한 응답의 점수와 조합함으로써 상기 애플리케이션의 사용을 위한 전체 점수를 자동으로 결정하도록 구성되는, 컴퓨터 기반 채점 시스템.
제 203 항에 있어서, 상기 전체 점수는 상기 비시뮬레이션 질문에 대한 응답의 정확성 측정을 결정하고, 상기 작동들의 세트를 표시하는 상기 응답의 정확성 측정을 결정하며, 두 정확성 측정들을 단일 결과로 조합함으로써 결정되는, 컴퓨터 기반 채점 시스템.
제 203 항에 있어서, 상기 전체 점수는 평균 효율성의 측정인, 컴퓨터 기반 채점 시스템.
제 203 항에 있어서, 상기 전체 점수는 최적 작동들, 효율성, 정확성 및 시간 중 적어도 하나의 측정인, 컴퓨터 기반 채점 시스템.
제 198 항에 있어서, 상기 애플리케이션을 론칭하지 않고 또한 상기 애플리케이션의 플러그-인 모듈을 실행하지 않고 실행되는, 컴퓨터 기반 채점 시스템.
제 198 항에 있어서, 테스트 시스템의 일부로서 실행되는, 컴퓨터 기반 채점 시스템.
제 198 항에 있어서, 트레이닝 시스템의 일부로서 실행되는, 컴퓨터 기반 채점 시스템.
제 198 항에 있어서, 상기 질문은 복수의 언어들로 제공될 수 있는, 컴퓨터 기반 채점 시스템.