JP3776117B2

JP3776117B2 - コンピュータによるテストを管理するための集中システム及び方法

Info

Publication number: JP3776117B2
Application number: JP51090695A
Authority: JP
Inventors: カーショー，ロジャー，シー; ロマーノ，フランク，ジェイ
Original assignee: エデュケーショナル・テスティング・サービス
Priority date: 1993-09-30
Filing date: 1994-09-28
Publication date: 2006-05-17
Anticipated expiration: 2021-05-17
Also published as: CA2149660C; JPH08504282A; EP0671039A1; EP0671039B1; US5513994A; WO1995010095A2; EP0671039A4; WO1995010095A3; JP2006053913A; DE69433616D1; DE69433616T2; JP4304174B2

Description

背景
最近、継続出願第０８／０８２，０３８号に記載されるようなコンピュータによるテスト施行システムが出現したことにより、標準テストの全プロセスが実質的に自動化されている。コンピュータによるテスト施行システムを用いる典型的な標準テスト方式を図１に示す。中央処理施設１が、コンピュータによるテスト施行システム及び後処理をサポートするためのソフトウエアの開発を行なう。例えば、ＧＲＥ(General Record Examination)のような１つのテストプログラムが中央処理施設１で開発され、作成され、そしてパッケージにされる。このコンピュータによるテスト１または２以上のテストセンター２へ送られる。各テストセンター２は少なくとも１つのコンピュータワークステーション３を備え、このワークステーションの上でコンピュータによるテストを受験者に対して実施できる。
一般的に、受験者は特定のコンピュータによるテストを受けるための登録手続きをするが、登録時にそのテストを特定のテストセンター２で受けるため予約を行う。受験者がテストを受けるため予約通りにテストセンター２へ到着すると、通常、テスト管理者が受験者の予約を確認してテストを開始させる。受験者がテストを受けた後、テスト時に記録された受験者の回答及び他の情報が中央処理施設１へ送られ、後処理される。即ち、新しいテストの開発に使用される統計的及び分析的研究が行なわれる。
教室でのテストが通常少数の学生に対して実施され、これら学生の行動及びテストの際の教室の状態を熟知している一人の人間により採点が行われるのとは対照的に、標準テストは文字通り数百のテストセンターで、異なる日時に、数千人の受験者に対して実施されるものである。したがって、標準テストの環境では、受験者のテストに影響を与えるかもしれないハードウエアまたはソフトウエアの問題もしくは停電のようなテストセンターの状態を追跡できるようにすることが肝要である。さらに、テストをすべてのまたはほとんど全部の受験者に対して同一時刻且つ同一場所で実施しない場合、コンピュータによるテスト及び受験者の回答を含むすべての関連テストデータの秘密を守り、それが破壊されないようにするため別の安全対策を施すことが必要である。したがって、コンピュータによるテストシステムはこれらの機能を実現するための管理システムを提供する。
しかしながら、管理システムと、コンピュータによるテストを受験者に対して実施し回答を記録するテスト施行システムは共に図１に示すテストセンター２のコンピュータワークステーション３上に常駐する。したがって、管理者はコンピュータワークステーション３上で多くの管理的仕事を行なわなければならず、このためコンピュータワークステーション３をテストに使用できない。加えて、ほとんどのテストセンター２は単一のテストアルームから成り、そこでコンピュータワークステーション３がコンピュータによるテストを実施するためにセットされている。その理由は、各コンピュータワークステーション３につき個室を用意することは通常、費用及び労力のうえで実際的でないからである。したがって、各受験者が予約したテストを受けるために到着すると、管理者はその受験者を、他の受験者がその時コンピュータによるテストを受けているかもしれないテストルームへ入室させて、到着時の受験者のチェックインを行い、受験者のＩＤをチェックし、必要とあらば受験者の写真を撮り、受験者の予約データにしたがってテストを開始させる必要が必然的に生じる。かかる手続きは、特に標準テストによりしばしば必要となる時間的な制約がそのテストに存在する場合、テストを受けている他の受験者の注意をそらせることになりかねない。
さらに、テストセンターにおいて管理者が迅速に対応しなければならない不測の事態が生じることがある。例えば、管理者が別の管理の仕事を行なっている場合に受験者が予約のための電話をしてくる場合がある。管理者は進行中の仕事をキャンセルしないでその電話に応答できなければならない。コンピュータによるテスト施行システムでは現在、テスト管理者が進行中の事態に対応するため１つの仕事から別の仕事へ迅速にスイッチすることができない。
さらに、今のコンピュータによるテスト施行システムでは、その一部として提供される管理システムにより実施可能なテストを種々のテスト作成者が作成できるような構成にない。例えば、Educational Testing Service社はコンピュータによるＧＲＥ(General Record Examination)テストを開発・作成し、それをパッケージにしている。Sylvan Kee Systems (SKS)のような独立のテストサービスはスケジューリング及び登録の仕事を行ない、テストセンターを用意し、そしてテストセンターに管理者を派遣する。コンピュータによるテスト施行システムはテスト作成システム、テスト実施システム及びテスト管理システムを含む。かかるシステムの一例が本明細書の一部を形成するものとして引用する継続出願第０８／０８２，０３８号（出願日１９９３年６月２２日）に記載されている。しかしながら、SKSのようなテストサービスは、種々の作成者により作成されたコンピュータによるテストの施行を引き受けようとすれば、上述した管理の仕事を行なうため各作成者が別個の管理システムを提供する以外方法がない。
さらに、コンピュータによるテスト施行システムは、特に管理システムが作動中の場合、新しいテストを追加したり、古いテストを削除したり、テストを実施可能な状態に或いは実施不可能な状態にしたり、若しくは副次的なシステム機能を追加したり、それらを容易に作動或いは非作動状態にできるような特徴を備えていない。
したがって、管理の仕事専用にされたワークステーション上において汎用且つ柔軟性のある管理システムを提供する必要が存在する。
発明の概要
本発明は、コンピュータによるテストを管理するための集中管理システム及び方法を提供することによってこの必要性を充足する。本発明のシステムは、中央管理ワークステーションを始動させるための始動手順を提供し且つ中央管理ワークステーションのディスプレイ上にメインメニューを表示するようなソフトウエア構成を有する。このシステムはまた、予約データより成るテスト予約状況の更新データを受け、予約されたテストを受験者に対して実施する少なくとも１つのテスト用ワークステーションを始動するための１日開始サブシステムを提供する。サービス開始モジュール及び一般的なステーション管理モジュールより成るテスト開始サブシステムは、コンピュータによるテストを呼び出して実施するために用いるジョブ情報ファイルとジョブデータファイルを発生させる。管理者はチェックインサブシステムを用いて、各受験者のＩＤと予約データを確認し且つ受験者が到着して予約したコンピュータによるテストを受け得る状態にあるという指示を管理システムに与える。管理システムが作動中発生した任意の記録を独立のデータセンターへ送るために１日終了サブシステムが設けられている。好ましくは通信マネジャーがテストセンターと独立のデータセンターとの間に設けらてデータを送受信する。
本発明による集中管理システムはテストセンターにおいて実現するのが好ましく、このテストセンターには１つの中央管理ワークステーション、１つのファイルサーバー及び少なくとも１つのテスト用ワークステーションが提供される。中央管理ワークステーションは好ましくは、管理カーネル、１日開始手順、サービス開始手順、中央ステーション管理手順を実行するように構成されている。これらの手順の組み合わせにより、管理者は１日の開始、１日の終了、チェックイン、保守、サービス開始、サービス再開、及びセンターメッセージの伝達の仕事を行なうことができる。テスト用ワークステーションは、テストを開始させ管理するテスト実施アプリケーションを呼び出す。テスト用ワークステーションはテスト用カーネル及びテスト用ステーション管理手順を実行するように構成されている。好ましい実施例のファイルサーバーは、中央管理ワークステーション及びテスト用ワークステーションにとって唯一のメモリを提供する。
本発明の方法は、特異なロッグインＩＤを用い中央管理ワークステーションにロッグオンしてまず管理システムを呼び出すことにより実施される。その後、ある特定の期間に亘ってそのテストセンターでテストを受ける予約をした各受験者を同定する予約データの入力をその管理システムが受ける。管理者は、受験者がテストを受けるためテストセンターに到着すると各受験者に関連する予約データを検証する。その際、管理者は受験者がテストを受け得る状態にあることを管理システムに指示する。次いで、受験者は中央管理ワークステーションの場所から離れたテストルームに設置された１つのテスト用ワークステーションへエスコートされる。管理システムはそのテスト用ワークステーション上において受験者に標準テストを開始させる。好ましくは、テスト中、受験者の回答が受験者成績ファイルに記録され、それに続いて適当な後処理システムへ送られてそこでその回答が採点される。
【図面の簡単な説明】
本発明の以下の詳細な説明を添付図面と共に参照するとより良く理解され、その多くの目的及び利点が明らかになるであろう。
図１は典型的なコンピュータによるテストの構成を示すブロック図である。
図２は本発明の好ましい実施例によるハードウエアアーキテクチュアのブロック図である。
図３は本発明の好ましい実施例によるコンピュータによるテスト施行システムの管理システムの１つの実例を示すブロック図である。
図４は本発明の好ましい実施例によるソフトウエアアーキテクチュアのブロック図である。
図５は管理ワークステーション開始手順の機能的な流れ図である。
図６は中央管理ワークステーションのディスプレイ上に表示されるメインメニューの一例である。
図７は１日開始管理手順の機能的な流れ図である。
図８はチェックイン手順の機能的な流れ図である。
図９はサービス開始手順の機能的な流れ図である。
図１０Ａは中央管理ワークステーションにより表示されるチェックインスクリーンの一例である。
図１０Ｂは中央管理ワークステーション上に表示されるエスコートメッセージスクリーンの一例である。
図１１はテストを開始し終了させるための管理手順を示す機能的な流れ図である。
図１２はテスト用ワークステーション上に表示される受験者確認スクリーンの一例である。
図１３は１日終了手順の機能的な流れ図である。
詳細な説明
図２はテストセンターにおける管理システムの好ましい実施例の基本的なハードウエアアーキテクチュアを示すブロック図である。図２に示すように、このハードウエアは１つの中央管理ワークステーション５、１つのファイルサーバー６、１または２以上のテスト用ワークステーション７より成る。好ましい実施例において、中央管理ワークステーション５はＩＢＭＰＳ２／３５であり、最小限４メガバイトのＲＡＭ、標準型ＶＧＡモニター、標準型マウス、１．４４メガバイトフロッピードライブ、及びＭＮＰで通信可能な９６００ボウ、Ｖ．３２／Ｖ．４２のＺｏｏｍモデムである。この実施例におけるテスト用ワークステーション７は同一構成であり、即ち最小限４メガバイトのＲＡＭ、標準型ＶＧＡモニター及び標準型マウスを有するＩＢＭＰＳ２／３５である。テスト用ワークステーション７はフロッピードライブ具備しないのが好ましく、このため権限のない人は情報をファイルサーバー６上に或いはデータまたはファイルをファイルサーバー６からコピーすることができない。
この好ましい実施例のファイルサーバー６は最小限８メガバイトのＲＡＭ、フロッピーディスクドライブ、内部テープバックアップユニット及びモノクロのモニターを有するＩＢＭＰＳ２／５７ＳＸである。中央管理ワークステーション５及びテスト用ワークステーション７は、ワークステーションがそのファイル及びデータを権限のない人によるアクセスまたは操作から守るために単一の永久ディスク記憶装置として働くのが好ましいファイルサーバー６へエサーネット(EtherNet)を介して接続されている。しかしながら、他のコンパチブルなハードウエアも使用できることも理解されたい。
中央管理ワークステーション５は通常、テストルームの外に設置され、例えば下記の目的のため使用される。
−システム開始及びシステム停止手順を実行する、
−予約のスケジューリングを行なう、
−到着した受験者のチェックインを行なう、
−所定のテストステーションにおいて受験者のテストを開始させる、
−テスト用ワークステーションまたは一般的な管理システムが故障した後テストを再開する、
−新しい管理者の追加、他の人のアクセス権の変更等のような日常のシステム機能を提供する、
−継続中のファイル及び業務を独立のデータセンターへ送る、及び
−ファイル及び業務を受けて種々のソフトウエアコンポーネントへの配布を行う。
−通常、テスト用ワークステーション７はテストルーム内に設置されている。好ましくは、テスト用ワークステーション７に中央管理ワークステーションの機能は付与されない。例えば、テスト用ワークステーション７は下記の仕事を行う。
−テストを開始させる、
−テストを終了させる、
−中央管理ワークステーションからの命令により進行中のテストを中断させる。
図３は、コンピュータによるテスト施行システムの管理システム１０及びそのインターフェイスの構成を示すブロック図である。テストを受けるために受験者２０が登録手続をすると、独立のデータセンター１２がこの受験者が特定の日時に所定のテストセンターで所定のテストを受けられるようにスケジューリングを行なう。独立のデータセンター１２はＳＫＳのような独立のテストサービス会社により運営されている。受験者２０及び受験者の予約を識別するための情報は受験者の予約データとして提示され、独立のデータセンター１２のデータベースに蓄積される。
好ましい実施例において、テストセンターの管理者は毎日、任意のテストを始める前にテストセンターの中央管理ワークステーション上において管理システム１０を始動させる。中央管理ワークステーションの始動手順の間、独立のデータセンター１２は図３に示すように予約データを管理システム１０へ送る。別の方法として、受験者２０がテストセンターへ来てテストを受ける前に登録手続きができるように中央管理ワークステーション上にオンライン登録及びスケジューリングシステム（図示せず）を提供するようにしてもよい。予約データが登録及びスケジューリングシステムにより作成されて管理システム１０へ送られ、この管理システム１０が予約データを独立のデータセンター１２へ送信して適当なデータベースに蓄積させる。
テストの間の受験者の行動、例えばコンピュータによるテストが提示する質問に対する受験者の回答を記録するために、テストの間、受験者の成績記録（ＥＰＲ）が作成される。秘密保持関連（ＥＳＬ）記録もまた毎日作成するのが好ましい。このＥＳＬはコンピュータシステム及びテストの秘密保持に関連する情報、例えば管理システム開始手順を呼び出した管理者のＩＤ及びテストを開始させた各管理者の名前を記録する。ＥＰＲ及びＥＳＬのフォーマット及び内容の一例は継続出願第０８／０８２，０３８号にある。さらに、好ましい実施例では、テストの間受験者が機器に関して遭遇する問題、及びテスト中のテストセンターの状況に関連する問題、例えばテストルームが暑すぎるという問題を報告するために異常事態報告記録（ＩＲＲ）が発生される。
ＥＰＲ、ＩＳＬ、ＩＲＲは独立のデータセンター１２へ送信され、このセンターがそれらをルータ１４へ送る。ルータ１４は記録の種類に応じてこれらの記録を分離させる。ＥＰＲは適当なネットワークデータ配布システム（ＮＤＤＳ）１６へ送られ、このシステムがテストプログラムの特定のフォーマットにしたがって採点するため各ＥＰＲをフォーマットする。ＮＤＤＳの一例及びこのフォーマット手順の説明は継続出願第０８／０８２，０３８号に記載されている。ＥＳＬ及びＩＲＲはテストセンターにおける装置及び秘密保持上の問題をモニターできるようにオペレーションセンター２２へ送られる。例えば、継続出願第０８／０８２，０３８号に記載されるように毎日の活動レポートをこれらの記録に基づき作成することができる。
テストプログラムオペレーション１８は受験者２０の回答を採点して受験者の採点レポートを作成する。採点システムパラメータは特定のテストプログラム、例えばＧＲＥなどに応じて異なる。好ましい実施例におけるテストプログラムオペレーション１８はオペレーションセンター２２からＩＲＲ情報を受けて、各受験者のテスト中テストセンターで生じた秘密保持または装置の問題が受験者の採点レポートに反映されるようにする。
さらに好ましい実施例では、図３に示すように、管理システム１０はオペレーションセンター２２または独立のデータセンター１２からオンラインメッセージを受信するように構成されている。かかるオンラインメッセージ機能により、装置の故障または秘密保持上の問題が発生した場合リアルタイムの指示をテストセンターの管理者へ送ることができる。
本発明の実施例による管理システムアーキテクチュアを図４に示す。この管理システムのアーキテクチュアは、中央管理ワークステーションまたは各テスト用ワークステーションのいずれかで実行される幾つかのサブシステムを含む。図４に示すように、管理カーネル３０、１日開始（ＳＯＤ）サブシステム３２、１日終了（ＣＯＤ）サブシステム３４及びテスト開始サブシステム３８が中央管理ワークステーション上で実行される。テストステーションカーネル４０及びテストステーション管理サブシステム４２はテスト用ワークステーション上で実行される。
管理カーネル３０は管理者がシステムを始動させた結果として中央管理ワークステーションのオペレーティングシステムにより実行される。以下においてそれが提供する幾つかの機能の例を示す。
−システムメニューを表示し、メニューの項目に関連するプログラムを実行する、
−独立のデータセンターまたはオペレーションセンターから送られてきたメッセージをシステムの管理者に表示する、
−ウィルスを走査検出する、
−システムが一晩中管理者がいない状態に置かれる場合１日終了手順（以下において説明する）を自動的に実行する、
−メニュー項目へ権限のないものがアクセスするのを阻止するためロッグインによるアクセス安全防護策を提供する。
１日開始（ＳＯＤ）サブシステム３２はシステム開始手順の一部として実行されるプログラムに与えられた一般的なタイトルである。使用可能な管理システム機能を実行するプログラムは、独立のデータセンターの必要に応じて各テストセンターのファイルサーバー上にプロフィール５０として蓄積される。プロフィールのフォーマットは幾つかのフィールドを含む場合があり、このフィールドには管理システム開始手順の間実行する必要のある機能を同定するためのフィールドを含む。プロフィール５０の１つの例示的なフォーマットを付録Ａに示す。ＳＯＤサブシステム３２はプロフィールをチェックして管理システムの開始時どの機能を実行させるべきかを決定する。ＳＯＤサブシステム３２はまた独立のデータセンターから予約データをダウンロードするのが好ましい。
かくして１日終了（ＣＯＤ）サブシステム３４は管理システムの作動を停止させる前に実行するのが好ましい。このサブシステムは各予約の状態を独立のデータセンターへ向けてアップロードする。
図４に示すスケジューリング／登録モジュール３６は、テストのスケジューリングを行ない、受験者をチェックインし、予定されたテストをキャンセルし、他の同様なタスクを実行できるようにする。このモジュールは好ましくは特定のテスト施行プログラムまたはコンピュータによるテストを管理する特定のテストサービス（例えばＳＫＳ）に応じて特別に作られている。したがって、スケジューリング／登録モジュール３６は、好ましくはテスト作成者またはテストサービスにより提供される。したがって、本発明の好ましい実施例による管理システムは図４において点線で示すようにスケジューリング／登録モジュール３６を含まないが、スケジューリング／登録モジュール３６へのインターフェイスを含む。しかしながら、本発明の管理システムにより適当なスケジューリング／登録モジュール３６を提供できることを理解されたい。
テスト開始サブシステム３８は２つのソフトウエアモジュールより成る。テストの予約をした受験者のリストを表示するサービス開始モジュール、及び特定の受験者のテスト開始前においてテストプログラムの特定の特徴となる或る種のプログラムに対して与えられる一般的な名称である中央ステーション管理モジュールである。
これらの特徴はテストプログラムの必要性に応じて異なる。例えば、ＧＲＥテストでは写真を撮ることのが必要である。したがって、ＧＲＥの中央管理ステーションの管理モジュールは好ましくは写真の存否をチェックする。
テスト開始サブシステム３８はジョブ情報ファイル４９及びジョブデータファイル５１を作成し、これらはそれぞれテストステーションカーネル４０とテストステーション管理４２を指示する。
コンピュータによるテストは管理者が受験者のＩＤと予約データを最終的に確認した後テスト用ワークステーションで受けられる。
テストステーションカーネル４０は管理者がテスト用ワークステーションを始動させた結果オペレーティングシステムにより実行される。以下おいてそれが提供可能な機能の例を示す。
−管理者と共に日時を確認する、
−管理者がテスト用ワークステーションにステーション番号を付与できるようにする、
−中央管理ワークステーション上で実行されるテスト開始サブシステム３８のサービス開始モジュールからのジョブ情報ファイル４９に応答する、
−予備的な管理者確認スクリーンを表示する、
−テストの最中であってもワークステーションを迅速に停止できる中央管理ワークステーションからの「停止信号」に応答させる。
テストステーション管理４２はテストステーションカーネル４０とテスト実施アプリケーション４４との間にあるソフトウエアの総称である。このコンポーネントにより実行される機能はテストプログラムの必要性に応じて決定される。しかしながら、その典型的な用途は、（ａ）受験者確認スクリーンを表示し、（ｂ）管理システムデータをテスト実施アプリケーションの標準フォーマットに変換することである。テスト実施アプリケーション４４の一例は継続出願第０８／０８２，０３８号に記載されている。テスト実施アプリケーション４４の主要な機能はコンピュータによるテストを実施することである。
図５は管理ワークステーションの開始手順の機能的な流れ図である。管理者はまず図５の６０に示す個人的なログインＩＤを用いてオペレーティングシステムから中央管理ワークステーションにログオンする。この操作により管理カーネルが呼び出される。管理カーネルの第１の仕事は６２において内部の初期化を実行することである。好ましい実施例において、管理カーネルは重要なソフトウエア及びデータのファイルが破壊されていないことを検証する。これは、継続出願第０８／０８２，０３８号に記載された市販のウィルス走査検出ソフトウエアを用いて行なうことができる。初期化６２が完了すると、図６に示すメインメニューが６４において表示される。その後管理カーネルは管理者が６６においてメインメニューのオプションの１つを選択するのを待つ。このオプションにはＳＯＤ７０、チェックイン８０、サービス開始９０、ＣＯＤ１００、オペレーティングシステムへの脱出１１０、サービス再開１２０、ＩＲＲ１３０及びセンターメッセージ１４０が含まれるが、それらに限定されない。
１日の開始、即ちシステムが給電停止後再開されていない場合、管理者は７０においてメインメニューからＳＯＤのオプションを選択する。これにより、図７に示すＳＯＤ管理手順が呼び出される。この手順の第１のそして主要な機能は７２に示す独立のデータセンターを呼び出して予約データを受けることであるのが好ましい。好ましい実施例において、このＳＯＤ手順はテストが実施される日毎に実行され、予約データにはその日の実質的にすべての予約が含まれる。メインメニューは７４において再び表示できる。ＳＯＤ手順及び開始手順は中央管理ワークステーション上で実行されるが、これは管理カーネルの一部である。管理カーネルプログラムの詳細なフローチャート及び擬似コードが付録Ｂに与えられている。
ＳＯＤ管理手順はテスト用ワークステーションにおいて継続する。次に、管理者がテストルームに入り、７５において好ましくは中央管理ステーションへのログインとは異なるログインを用いることにより１つずつ各テスト用ワークステーションにログインする。ログインの結果、オペレーティングシステムが自動的にテストステーションカーネルを自動的に実行する。各テスト用ワークステーションが始動されると、テストステーションカーネルは管理者が日付と時間を確認してステーション番号を入力するように促す。７６においてステーション番号をチェックすることにより、同じ番号に他のいずれのテスト用ワークステーションも割り当てられていないことを確認する。７７においてすべてのテスト用ワークステーションにステーション番号が割り当てられたことが判明すると、テストステーションカーネルが適当なアイドルスクリーンを表示し、７８においてジョブ情報ファイルのポーリングを開始させる。テストステーションカーネルプログラムの詳細なフローチャート及びそれに付随する擬似コードを付録Ｃに示す。
テストを受ける受験者が到着すると、管理者はメインメニューから図５の８０で示すチェックインのオプションを選択する。チェックイン手順の流れ図を図８に示す。図８の８２で示すように、これによりスケジューリング／登録モジュールの対応チェックイン機能が呼び出される。管理者はその後８４においてスケジューリング／登録モジュールから得られる受験者の予約データを調べ、８５において受験者がテストを受け得る状態にあるという指示を与える。その後、８６においてメインメニューが再び表示され、管理カーネルが次のメニューの選択を待つ。
次のステップはメインメニューから図５の９０に示すサービス開始のオプションを呼び出すことである。サービス開始手順の流れ図を図９に示す。サービス開始モジュールは９１において予約リストを表示する。チェックインしたばかりの受験者は一例として図１０に示すスクリーン上のリストに現れる。管理者は９２においてこのリストから受験者を選択する。その後、９３においてサービス開始モジュールはテストプログラムのための中央ステーション管理モジュールを呼び出す。
中央ステーション管理モジュールはテストプログラムにより必要とされる任意のタスクを実行する。例えば、写真が撮られているか否かの判定を行って、必要であれば管理者に写真を撮ることを促し、また管理者に重要なＩＤなどを調べるように促す。すべての情報を調べる情報チェックが完了すると、中央ステーション管理モジュールは内部ルールに基づくサブテストの１つを実行し、受験者とテスト実施情報を含むデータファイルを書き込む。
さらに詳細には、ジョブデータファイルはテスト実施アプリケーションにより必要とされる情報を含む。それに含まれる情報の幾つかの例を示すと下記の通りである。
−受験者名、
−受験者ＩＤ、
−受験者の生年月日、
−受験者社会保険番号、
−テスト許可番号、
−前に開始されたが中断したテストの再開か否かを示すフラグ、
−上記フラグが再開を指示する場合再開の種類を示すフラグ、
−送られてくるパッケージ名を含むストリング、
−パッケージタイトル（例えば、ＧＲＥ一般テスト）、
−ディスク上のどこでそのパッケージを見付けることができるかを記載したストリング、
−得られた受験者成績記録をディスク上のどこに書き込むべきかを記載したストリング、
−送るべき動的に選択されたテストコンポーネントの数（おそらくゼロ）、
−テストコンポーネントそれ自体（もしあれば）、
−受験者成績記録の完全な構成のテスト開始記録。
中央ステーション管理は脱出して、コードを開始サービスモジュールへ戻す。詳細なフローチャート及びそれに付随する擬似コードは付録Ｄ及びＥに示されている。
リターンコードにより中央ステーション管理が満足すべきものであったことが示されると、９５においてサービス開始モジュールがテストステーションカーネルのためにジョブ情報ファイルを書き込み、脱出する。ジョブ情報ファイルは２つのＡＳＣＩＩライン、即ちコマンドライン及び予約番号ラインを含むのが好ましい。コマンドラインは好ましくは、開始／再開指示手段、テストプログラム名及びそれが必要とする任意の引き数を含む完全格づけされたストリングである。予約番号ラインは予約番号を含むストリングである。
管理システムはその後、図１０Ｂに示すようなエスコートメッセージを表示する。管理者はその後、受験者をテストルーム内の割り当てられたテスト用ワークステーションへエスコートする。その後、９７において管理システムカーネルがメインメニューへ再表示する。
ところで、受験者に割り当てられたテスト用ワークステーション上のテストステーションカーネルは図１１の１５０においてジョブ情報ファイルを検知し、それに含まれる情報を１５１で処理し、１５２で予備的な確認スクリーンを表示する。
管理者はテスト用ワークステーションへ到着すると予備的確認スクリーンを調べ、１５３において特異なオーバーライドキー手順によりキー入力する。テストステーションカーネルは１５４においてテストプログラムのためのテストステーション管理プログラムを実行するが、これは１５５においてジョブ情報ファイルにより特定される。
テストステーション管理はジョブデータファイル１５５を読み取り、１５６において受験者確認スクリーンを表示する。受験者確認スクリーンの一例を図１２に示す。受験者はその情報をチェックする。
その情報が正しければ受験はエンターを押すが、これにより１５７においてテスト実施アプリケーション（ＴＤＡ）が開始される。テストステーション管理は１５８においてＴＤＡからリターンステイタスを得べくポーリングを行なう。テストステーション管理がＴＤＡのリターンステイタスを検知すると、以下の如き処理が行われる。テストステーション管理が１６０においてクリーンアップし、テストステーションカーネルに信号を送ると、カーネルがクリーンアップして予約を適当な状態にセットする。
テストが成功裡に終了した場合、受験者成績レコード、写真などが通信マネージャへ送られ、最終的にＥＰＳへ送信される。その後１６０において、テストステーション管理がクリーンアップを行って、テストステーションカーネルに信号を送ると、カーネルがクリーンアップして、予約状態を、予約が最早サービス開始または再開サービスのいずれにも現れないようにセットする。
或いは、ＥＰＲ、写真などが保持され、テストを再開できるサービス再開リスト（以下において説明する）に現れるように予約状態がセットされる。
その情報が正しくない場合、受験者は１５６において管理者に通告する。管理者は１６１において特別なキーの組合わせを入力して管理オーバライドを強制的に導入する。これによりテストステーション管理が終了し、アボートコードがテストステーションカーネルに戻され、それに応じて予約の状態がセットされる。テストステーション管理プログラムの詳細なフローチャート及びそれに付随する擬似コードを付録Ｆに示す。
管理者の介入またはシステムの故障のいずれかにより異常な状態で終了したテストを再開サービスにより再開することができる。再開サービスモジュールはそのテストが中断した受験者のリストを表示する。
上述したように、ＴＤＡはテストステーション管理サブシステムにリターンステイタスを送る。テストが中断した場合、テストステーション管理サブシステムはジョブデータファイルを更新するが、「ＪＯＢ」パラメータは再開可能な状態にセットされている。詳細なフローチャート及びそれに付随する擬似コードが付録Ｆに与えられている。好ましい実施例では、管理者は再開サービスによりそのリストから再開すべきテストを選択できるに過ぎない。選択を行うと、図１０Ｂに示すエスコートメッセージが表示される。管理者がエスコートメッセージを確認すると、ジョブ情報ファイルが書き込まれ（今度は再開インジケータと共に）テストステーションカーネルと再開サービスが指示される。開始サービス手順の間に作成されたジョブデータファイルは再開サービス手順の間に再利用されるのが好ましく、このためテスト再開のためにテストプログラムに固有の特徴は必要ではない。その後、管理者は受験者をテストルームの割り当てたテスト用ワークステーションにエスコートする。テストステーションにおいて生じる出来事の時系列、即ちテストステーションカーネルからテストステーション管理を経てテスト実施アプリケーションへ至る間、各テストプログラムがこれは後処理の目的のための再開であると通告される点を除くと、開始サービス手順に関連して上述したと同じように実行される。
上述した時系列はその日の間仕事の終了時まで繰り返される。図１３は管理者のＣＯＤプロセスの流れ図である。テストサービスにより決定されたテスト日または他のテスト期間の終了時、管理者は１０１においてテストルームを再入力し各テスト用ワークステーションを停止させる。中央管理ワークステーションを再び参照して、管理者は１００において１日終了メニューの項目を選択し、テストプログラムが１つの場合各テストプログラムのＣＯＤプログラムを呼び出す。
ＣＯＤプログラムにより多くのタスクを実行できるが、その幾つかの例を以下に示す。
−すべての予約のステイタスを１０３においてロッグ記録に書き込み、１０４において独立したデータセンタへ戻す。
−中断し再開されなかったテストのＥＰＲ、写真などを通信マネージャへ送り、１０４において示すように適当なテスト作成者へ送信する。
−１０５に示すように、その日の出席者ファイルがファイルサーバーから削除される。
１日の終了手順が終了すると、１０６において管理システムカーネルがメインメニューを再表示し、次の１日開始手順の開始を待つ。
その後、図５の１１０で示すように、管理者は管理システムをロッグオフすることによりオペレーティングシステムへ脱出できる。図６に示すように、例えば、ＤＯＳへの脱出ボタンがメインメニューに与えられている。
使用可能な状態にすることができるテスト用ワークステーションの別の特徴は図６に示す「ステーション再割当て」オプションである。この特徴は、装置の故障によって、またはテスト用ワークステーションが別の目的で用いられている時のように、１または２以上のテスト用ワークステーションが使用不能である場合に利用できる。ワークステーション番号は、テストが実施中でない予約のリストから１つの予約を選択し、ステーションのリストから１つのステーションを選択することにより、再割当て可能である。選択が確認されると、選択された予約がその選択されたステーション番号で更新される。
上述したチェックイン機能とは別に、管理者に中央管理ワークステーションを用いて他の管理機能を実行できる能力を与えるようにしてもよい。例えば、テストプログラムの幾つかは予約したテストを受ける前に受験者の写真を撮ることが必要である。写真撮影ボタンにより管理者は受験者の写真を撮ってそれをデジタル的に受験者のＩＤ及び予約データと共に蓄積することができる。電子的な画像撮影方法は当業者に一般的に知られている。
本発明の好ましい実施例の管理システムがアクセスできる別の管理機能として図６に示すスケジューリング／登録機能がある。このボタンを選択すると、管理者はオンラインスケジューリング／管理施設にアクセスでき、これにより受験者はテストセンターに来場して登録を行ないテストの予約をすることができる。しかしながら、このスケジューリング／登録ソフトウエアは、特定のテストセンターでテストを管理するテストサービスにより提供されるのが好ましい。
図６に示す異常事態報告ボタンは管理者が異常事態報告を作成したい場合に選択する。例えば、テスト中発生した機器の或る種の故障が受験者にとって問題である場合、テストを管理するテストサービス及びテスト作成者がかかる事実の通告を受けたい場合がある。一例として、暑い日にテストセンターの空調機器が故障した場合、その日にテストを受けている受験者全員の成績はもしテストルームが空調されていた場合ほどよくないことがあろう。したがって、かかる情報は受験者の回答を採点するテストプログラムオペレーションにとって役立つものであり、また受験者の回答によりテストの評価を行なうテスト作成者にも役に立つ。異常事態報告は、異常事態報告として表示可能なフォーマットを有するログファイルを作成し、所望の情報を有するログ記録をそのファイルに書き込むことによって作成することができる。
図６に示す「ロックスクリーン」ボタンは管理者が中央管理ワークステーションを管理者のいない状態にしておきたい場合に選択するものである。これにより管理システムカーネルはアイドルスクリーンを表示する。このスクリーンのロックを外すためには、管理者が管理オーバーライド用のキー組合わせを入力する必要がある。これによりログインスクリーンが現れ、ログインを成功裡に行なうとメインメニューが再表示される。
図６に示す「センターメッセージ」ボタンは、管理者が待機状態にあるメッセージの順番を調べるために選択するものである。選択されると、プログラムは並べられた各メッセージの短い説明を、そのメッセージを読むために必要なセキュリティレベルと共に表示するのが好ましくい。管理者はリストからメッセージを選択し、管理者が必要とされるセキュリティレベルを持っていればそのメッセージが表示される。その後、管理者はそのメッセージを印刷するかまたは削除できる。メッセージを処理した後、残りのメッセージのリストが表示される。
図６に示す「セキュリティ保守」ボタンは、管理者がパスワードをリセットし、最も高いレベルの管理者であれば任意の他の管理者のパスワードをリセットし、または任意の管理者のためにログイン情報を追加、削除または変更するために管理者が選択するものである。
図６に示す「データ引出し」ボタンは、通信マネジャーにより以前独立したデータセンターへ送られたデータのバックアップコピーをコピーするために選択されるものである。選択されると、プログラムはシステムが作動状態にあった最近の何日かの間得られたデータのリストを表示するのが好ましい。その後、管理者は日付を選択する。次いで、プログラムは管理者にフロッピーディスクを挿入してその日に送信されたデータをフロッピーディスクにコピーするように促す。それが完了するとプログラムが脱出する。
図６に示す「システムステイタス」ボタンは、例えば下記の情報を表示するために管理者が選択するものである。
−日付及び時間、
−センター番号及び名称、
−利用可能なディスクスペース（バイトで）、
−通信ステイタス、即ち通信がオンかオフか、
−ステーション情報、即ちステーションが作動状態或いは使用可能状態にあるか、受験者が作動中のステーションにいるか、テストが実施中であるか、
−インストールされた機能、ステイタス（作動状態かまたは非作動状態か）及び機能のバージョンのリスト。
図６に示す「システム保守」ボタンは、管理者がシステムの保守をディスケットから行なう場合に選択するものである。選択されると、管理者はディスケットを挿入するように促される。ディスケットは、それが有効な保守用ディスケットであり、使用中のセンターに対応するものであることを確認するためにチェックするのが好ましい。もしそうであれば、ディスケットからファイルサーバーへ仕事の順番がコピーされ、プログラムを脱出する。バックグラウンド保守プログラムはしかるべきとき管理システムカーネルにより実行されることが好ましい。保守プログラムは新しい仕事の順番を検知してそれらを利用する。仕事の順番にはファイルまたは命令、及び仕事の順番を直ちに適用するか或いは作動状態にある命令を待つか（以下に説明する）を保守プログラムに指示するフラッグを含まれる。ファイルにはプロフィール、データ、プログラムまたは任意の他のシステムファイルがファイルの行き先と共に含まれる。保守プログラムはファイルを特定の行き先へ移動することによって「利用」する。これら幾つかの可能性のある命令の例を下記に示す。
−機能（プロフィール）を作動状態または非作動状態にするかの作動命令、
−前に送られたが適用されなかった仕事の順番を使用できる状態にするか或いは除去する作動及び非作動命令、
−インストールしたプロフィール及びそのプロフィールに関連するデータを除去する登録取消し、
−特定のファイルを除去する削除。
本発明を特定の実施例に関連して説明し図示したが、当業者は変形例及び設計変更が以下の特許請求の範囲に示した本発明の精神から逸脱することなく実施可能であることを認識するであろう。
付録Ａプロフィールのためのフォーマット例
プロフィールフォーマット

プロフィールは、システムプログラム及びテストプログラムデータの両方のための重要な構成情報の伝達手段である。例えば、システムメニューにボタンを付加し且つシステムにテストプログラムのデータを付加するためにプロフィールが必要とされる。

Claims

コンピュータによるテストシステムを用いる標準テストの管理方法であって、標準テストはテストセンターを構成する少なくとも１つの場所で複数の受験者に実施され、各テストセンターは標準テストを複数の受験者の各々に実施可能な少なくとも１つのテスト用ワークステーションと、標準テストを管理する中央管理ワークステーションとを用意しており、
テスト用ワークステーション及び中央管理ワークステーションから実行される管理機能を同定しそれに関連する情報を有する複数のプロフィールであって、管理機能が前記プロフィールに基づき作動状態、非作動状態にされ、変更される複数のプロ
フィールを蓄積し、コンピュータによるテストシステムの自動化された管理システムを呼び出して特異なログインＩＤにより中央管理ワークステーションにログオンすることにより管理システムを作動状態にし、
複数のプロフィールの少なくとも一部により同定される管理機能を実行し且つ特定の期間に亘って１つのテストセンターで標準テストを受ける予約をした各受験者を同定する予約データの入力を受けることより成るシステム開始手順を実行し、
標準テストを受けるため各受験者が１つのテストセンターに到着すると各受験者に関連する予約データを検証し、
予約データを検証して受験者がテストを受け得る状態にあることを管理システムに指示し、
１つのテスト用ワークステーション上で受験者への標準テストを開始することにより、受験者に質問を提示して受験者に回答させ、受験者の回答を受験者成績ファイルに記録し、
受験者成績ファイルを適当な後処理システムに送信して回答が採点されるようにするステップより成る、コンピュータによるテストシステムを用いる標準テストの管理方法。
１つのテスト用ワークステーションを各々の予約に対して割り当て、
少なくとも１つの予約が割り当てられた各テスト用ワークステーションを前記特異なログインＩＤとは異なる所定のログインＩＤによりログオンするステップより成る請求項１の方法。
受験者が予約した１つの標準テストを同定するデータを有するジョブ情報ファイルを作成し、
そのようにして作成したジョブ情報ファイルの存在を検知するステップより成り、
標準テストを開始させる前記ステップはジョブ情報ファイルを検知すると自動的に実行される請求項１の方法。
テストが中断したか否かを示すステイタス入力を標準テストの終了後受け、
ステイタス入力が受験者に実施中の標準テストが中断したものであることを示す場合標準テストを再開可能なことをジョブ情報ファイルに示し、
ジョブ情報ファイルが標準テストが再開可能なことを示す場合受験者に標準テストを再開するステップより成る請求項３のシステム。
１つのテストセンターの状態及び各テストの間のテスト用ワークステーションの状態に関する情報を有する異常事態報告を作成し、
異常事態報告を後処理システムに送信するステップより成る請求項１の方法。
標準テスト、コンピュータによるシステム及びテストのセキュリティに関する情報を有するセキュリティログ記録を自動化管理システムが作動状態にある間実質的に任意の時間に作成し、
１つのテストセンターにおける活動をモニターする能力を有するオペレーションセンターへセキュリティログ記録を送信するステップより成る請求項１の方法。
少なくとも１つのテストセンターにおける複数の受験者へのコンピュータによるテストの実施に関連する管理プロセスに従って管理を行うための自動化された管理システムであって、
管理用ディスプレイを備えた中央管理ワークステーションであって、中央管理ワークステーションのオペレーティングシステムから管理システムを呼び出し、テスト管理者により選択可能な管理オプションのメニューを表示し、中央管理ワークステーションに用意された管理機能を同定しそれに関連する情報を有する複数のプロフィールであって、管理機能が前記プロフィールに基づき作動状態、非作動状態にされ、変更される複数のプロフィールを含む管理カーネルを実行できる中央管理ワークステーションと、
中央管理ワークステーションに結合され、コンピュータによるテストを呼び出すテストステーションカーネルを実行することができる少なくとも１つのテスト用ワークステーションであって、テスト用ディスプレイと、管理プロセスに従って管理が行われると管理ステイタスを更新し、そのステイタスを管理カーネルに通報するテストステーション管理サブシステムとを備えた少なくとも１つのテスト用ワークステーションと、
中央管理ワークステーションと少なくとも１つのテスト用ワークステーションに結合されて管理カーネル、テストステーションカーネル、テストステーション管理サブシステム及びコンピュータによるテストを蓄積するためのファイルサーバーとより成るシステム。
複数の受験者は少なくとも１つのコンピュータによるテストを受けるための登録を済ましており、各受験者はコンピュータによるテストを受けるための予約をし、受験者が予約したコンピュータによるテストのためにテストセンターに到着するとテスト管理者はその予約を選択することが可能であり、中央管理ワークステーションは予約したコンピュータによるテスト及び受験者のステイタスを検証し、予約に基づいて少なくとも１つのコンピュータによるテストを開始させるためのサービス開始モジュールを実行するように構成されている請求項７のシステム。
中央管理ワークステーションは、一般的な管理ステーションモジュールを実行して予約を同定し且つ予約のステイタスを表示する情報を有するジョブデータファイルを作成するように構成されている請求項８のシステム。
テストカーネルはそのようにして作成したジョブ情報ファイルを検知し、テストステーション管理プログラムを呼び出して予約したコンピュータによるテストを開始させる請求項９のシステム。
サービス開始モジュールは選択した各予約に対してコンピュータによるテストに関連するデータを有するジョブ情報ファイルを作成する請求項８のシステム。
選択可能な管理オプションには以下のうち少なくとも１つが含まれる請求項７のシステム：
中断した少なくとも１つのテストを中断した管理プロセスの時点から再開するためのテスト再開サービス；及び
テストセンターの状態に関する情報を有するレポートを作成するための異常事態レポート作成手段。
コンピュータによるテストがコンピュータによるテストシステムを用いて受験者に実施され、コンピュータによるテストシステムが１）受験者の１人の回答に関する情報を有する受験者成績記録；２）コンピュータによるテスト及びコンピュータによるテストシステムのセキュリティに関する情報を有するセキュリティログ記録；３）テスト用ワークステーション及びテストセンターの状態に関する情報を有する異常事態記録の内の少なくとも１つを作成し、前記システムが
受験者成績記録、セキュリティログ記録及び異常事態記録を、少なくとも１つのテストセンターにおけるコンピュータによるテストを管理するための独立のデータセンターに送るための通信マネージャより成る請求項７のシステム。
中央管理ワークステーションは少なくとも独立のデータセンターからオンラインメッセージを受けるように構成されている請求項７のシステム。
中央管理ワークステーションから実行できるシステム保守プログラムをさらに有する請求項７のシステム。