JP7428321B2 - 教育システム - Google Patents

教育システム Download PDF

Info

Publication number
JP7428321B2
JP7428321B2 JP2019219399A JP2019219399A JP7428321B2 JP 7428321 B2 JP7428321 B2 JP 7428321B2 JP 2019219399 A JP2019219399 A JP 2019219399A JP 2019219399 A JP2019219399 A JP 2019219399A JP 7428321 B2 JP7428321 B2 JP 7428321B2
Authority
JP
Japan
Prior art keywords
data
teaching material
audio
test
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019219399A
Other languages
English (en)
Other versions
JP2021089364A (ja
Inventor
弘明 ▲はが▼
伸一 田中
Original Assignee
株式会社デジタル・ナレッジ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デジタル・ナレッジ filed Critical 株式会社デジタル・ナレッジ
Priority to JP2019219399A priority Critical patent/JP7428321B2/ja
Publication of JP2021089364A publication Critical patent/JP2021089364A/ja
Application granted granted Critical
Publication of JP7428321B2 publication Critical patent/JP7428321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

特許法第30条第2項適用 (1)展示会の開催日:令和1年6月19日~令和1年6月21日 「第10回 教育ITソリューションEXPO」にて公開 (2)展示会の開催日:令和1年8月1日~令和1年8月2日 「第4回 関西教育ICT展」にて公開 (3)展示会の開催日:令和1年9月25日~令和1年9月27日 「第3回 [関西]教育ITソリューションEXPO」にて公開 (4)展示会の開催日:令和1年11月13日~令和1年11月15日 「eラーニングアワード2019フォーラム」にて公開 (5)ウェブサイトの掲載日:令和1年6月18日 https://www.digital-knowledge.co.jp/product/edu-ai/ https://prtimes.jp/main/html/rd/p/000000388.000012383.html https://japan.cnet.com/release/30335498/ (6)ウェブサイトの掲載日:令和1年6月19日 https://ict-enews.net/2019/06/19digital-knowledge-4/
教育システムに関する。
従来は、図7に示すような学習教材用データベースの項目が通信端末の表示装置に表示され、学習者が学習したい教材データ(例えば、教材動画データ)を選択し映像を見ることで学習をしていた。例えば、学習者が中学生であって社会の科目を学習する場合、社会の科目の中から歴史1、歴史2、歴史3の順で映像を見ることによって学習するような、章だての学習を行っていた。そして、学習者は再度学習をしたい内容の教材データがある場合は、学習者自身が目視で教材データを探し出して学習するようになっていた。また、近年では、教材データの映像の講師または説明者の解説の音声を文字変換したデータを用いてテキスト検索するシステムも開発されてきている(例えば、特許文献1参照)。
特開2001-056822号
教材データの映像の講師または説明者の言葉からなる音声を変換した文字データを用いてテキスト検索するシステムにおいて、教材データの映像を検索することによって、膨大な教材データから学習者が目視によって学習したい教材データを探すよりも、検索時間が短縮されるが、学習者は、検索した結果の教材データの映像のうち、どの部分に学習したい内容があるかを再生しながら確認しなければならなく、この教材データの映像の中から学習したい内容を探す作業が学習者にとって非常に煩わしいという問題が生じている。
本発明は、上述の点に鑑みてなされたものであり、その目的とするところは、教材データ中の講師の発話内容をキーワード検索することで、学習者が学習したい教材データ及び学習したい内容に素早くアクセスして学習することができる教育システムを提供することにある。
本発明(1)は、
再生可能な音声付き教材データA(例えば、中学社会歴史1の教材動画データ)と、
前記音声付き教材データAの科目を示す科目データA(例えば、教材分類1~4の情報)と、
前記音声付き教材データAから抽出された音声データが所定の変換手段(例えば、音声抽出手段、テキスト化手段)によって変換された文字列データA(例えば、教材IDがVD_CSR1の変換一文としての「まずメソポタミア文明は四大文明の一つです」)と、
再生可能な音声付き教材データB(例えば、高校世界史B古代1の教材動画データ)と、
前記音声付き教材データBの科目を示す科目データB(例えば、教材分類1~4の情報)と、
前記音声付き教材データBから抽出された音声データが所定の変換手段(例えば、音声抽出手段、テキスト化手段)によって変換された文字列データB(例えば、教材IDがVD_KSBK1の変換一文としての「古代オリエントで最初に興った文明がメソポタミア文明です」)と、
にアクセス可能であって、前記科目データAと前記科目データBとに基づき前記音声付き教材データAと前記音声付き教材データBとを異なる科目の教材として提供可能な教育システムであって、
検索クエリの入力(例えば、検索のキーワードの入力としての「メソポタミア」)を受け付けて前記文字列データA及び前記文字列データBの双方に対して検索を実行可能であり、
前記検索クエリ(例えば、「メソポタミア」)が前記文字列データA(例えば、「まずメソポタミア文明は四大文明の一つです」)に含まれ且つ前記検索クエリが前記文字列データB(例えば、「古代オリエントで最初に興った文明がメソポタミア文明です」)にも含まれると判断した場合、前記音声付き教材データAへアクセスするための検索結果データA(例えば、教材IDとしてのVD_CSR1、教材分類1~4、教材名、教材動画データ、映像長さ、変換一文、サムネイル表示)と前記音声付き教材データBへアクセスするための検索結果データB(例えば、教材IDとしてのVD_KSBK1、教材分類1~4、教材名、教材動画データ、映像長さ、変換一文、サムネイル表示)とを一連の検索結果として出力することが可能な教育システムであって、
教育システムが、講義を通した複数の連続した前記文字列データA又は複数の連続した前記文字列データBをスクロール表示することが可能であり、
教育システムが、前記文字列データAに対応する音声付き教材データA又は前記文字列データBに対応する前記音声付き教材データBを再生し、
教育システムが、前記文字列データAに対応する音声付き教材データA又は前記文字列データBに対応する前記音声付き教材データBの映像に板書の映像があり、前記板書の映像の前に講師の映像が存在する場合、前記講師の映像を消去する画像処理を実行し、さらに前記講師の映像の背後における前記板書の映像の文字を、他の時間の映像のデータに表示されている前記板書の映像の文字に基づき補完する画像処理を行う
ことを特徴とする教育システムである。
本発明(2)は、
前記文字列データA(例えば、「まずメソポタミア文明は四大文明の一つです」)は複数の発話文データ(例えば、一文内単語としての「まず」、「メソポタミア文明は」、「四大文明の一つです」)から成り、前記検索クエリ(例えば、「メソポタミア」)が前記文字列データAにおける或る発話文データに含まれると判断した場合、当該或る発話文データに対応する音声データが前記音声付き教材データAのうち何れの再生ポイントに付されているかを特定可能なデータ(例えば、教材IDとしてのVD_CSR1に対応した再生開始ポイント)を前記検索結果データAとあわせて出力し、
前記文字列データB(例えば、「古代オリエントで最初に興った文明がメソポタミア文明です」)は複数の発話文データ(例えば、一文内単語としての「古代オリエントで」、「最初に興った文明が」、「メソポタミア文明です」)から成り、前記検索クエリ(例えば、「メソポタミア」)が前記文字列データBにおける或る発話文データに含まれると判断した場合、当該或る発話文データに対応する音声データが前記音声付き教材データBのうち何れの再生ポイントに付されているかを特定可能なデータ(例えば、教材IDとしてのVD_KSBK1に対応した再生開始ポイント)を前記検索結果データBとあわせて出力する、前記発明(1)記載の教育システムである。
本発明(3)は、
前記文字列データA(例えば、「まずメソポタミア文明は四大文明の一つです」)は複数の発話文データ(例えば、一文内単語としての「まず」、「メソポタミア文明は」、「四大文明の一つです」)から成り、前記検索クエリ(例えば、「メソポタミア」)が前記文字列データAにおける或る発話文データに含まれると判断した場合、当該或る発話文データの前の発話文データ(例えば、一文内単語としての「まず」)と当該或る発話文データの後の発話文データ(例えば、一文内単語としての「四大文明の一つです」)の少なくとも一方を当該或る発話文データ(例えば、一文内単語としての「メソポタミア文明は」)に付加して前記検索結果データAとあわせて出力し、
前記文字列データB(例えば、「古代オリエントで最初に興った文明がメソポタミア文明です」)は複数の発話文データ(例えば、一文内単語としての「古代オリエントで」、「最初に興った文明が」、「メソポタミア文明です」)から成り、前記検索クエリ(例えば、「メソポタミア」)が前記文字列データBにおける或る発話文データに含まれると判断した場合、当該或る発話文データの前の発話文データ(例えば、一文内単語としての「最初に興った文明が」)と当該或る発話文データの後の発話文データ(例えば、一文内単語としての「ここは重要です」)の少なくとも一方を当該或る発話文データ(例えば、一文内単語としての「メソポタミア文明です」)に付加して前記検索結果データBとあわせて出力する、前記発明(1)記載の教育システムである。
教材データ中の講師の発話内容をキーワード検索することで、学習者が学習したい教材データ及び学習したい内容に素早くアクセスして学習することが可能となる教育システムを提供することができる。また、教材データ中の講師の発話内容をキーワード検索して学習することにより、体系立てて学習した内容を更に串刺しして学習することができるので、頭の中で関連が構築され、理解が深まり、記憶の引き出しを増やすことが可能となる教育システムを提供することができる。
本実施形態に係る試験システムの全体構成図である。 本実施形態に係るサーバの機能ブロック図である。 本実施形態に係るユーザ情報登録手段が実行する処理のシステムフロー図である。 本実施形態に係るユーザログイン手段が実行する処理のシステムフロー図である。 本実施形態に係る試験実行手段及び不正監視手段が実行する処理のシステムフロー図である。 本実施形態に係る変形例の試験実行手段及び不正監視手段が実行する処理のシステムフロー図である。 本実施形態に係る学習システムの全体構成図である。 本実施形態に係る検索実行手段が実行する処理のシステムフロー図である。 本実施形態に係る検索実行手段の検索キーワードを使用した検索結果の画面の例を示す図である。 本実施形態に係る検索実行手段の検索キーワードを使用した詳細表示要求の画面の例を示す図である。 本実施形態に係る全文表示手段が実行する全文表示の画面の例を示す図である。
(試験システム10のシステム全体構成)
まず、図1を参照しながら、本実施形態に係る試験システム10のシステム全体構成について説明する。はじめに、試験システム10は、通信端末T110での操作によりサーバV100における試験の管理を可能とするシステムである。まず、図示するように、試験システム10は、通信端末T110とサーバV100とから構成されている。
通信端末T110は、CPU(中央処理装置)、ROM(リードオンリーメモリ)、RAM(ランダムアクセスメモリ)、HDD(ハードディスクドライブ)、I/F(通信インターフェース装置)や操作手段(キーボード、マウス、タッチパネルなどの操作装置)、表示手段(液晶やタッチパネルなどの表示装置)などを備えたパーソナルコンピュータ、タブレット型コンピュータ、携帯型端末装置などである。
サーバV100は、CPU(中央処理装置)、ROM(リードオンリーメモリ)、RAM(ランダムアクセスメモリ)、HDD(ハードディスクドライブ)、I/F(通信インターフェース装置)や操作手段(キーボード、マウス、タッチパネルなどの操作装置)などを備えたコンピュータ、タブレット型コンピュータ、携帯型端末装置、サーバなどである。
サーバV100は、各種の演算処理及びデータ処理や、インターネットなどのネットワーク820を介して通信端末T110との通信処理などが可能な装置である。
サーバV100は、試験システム10を用いて行われる試験の教材を特定するためのデータベースである試験教材用データベースを有している(図1参照)。試験教材用データベースには、試験教材夫々に割り当ててある試験教材識別情報である教材分類1、教材分類2、教材分類3、教材名、試験教材データが登録されている。なお、試験教材用データベースに登録されているデータは、これらの情報に限られず、試験教材データに対応付けられる試験教材ID等が登録されていてもよい。
試験教材用データベースの教材分類1には、試験で使用する試験教材データの対象を示す情報(中学生、高校生等の情報)が登録されている。教材分類2には、社会、理科、国語、数学、英語等の試験の科目を示す情報が登録されている。教材分類3には、試験の科目を細かく分類した情報が登録されている。例えば、教材分類2が社会の場合は、歴史1、歴史2、歴史3、地理1、地理2等の情報となっている。教材名は、試験で使用する試験教材データの教材名称が登録されている。試験教材データには、試験で使用する試験教材データ(試験問題のデータ)が登録されている。
また、サーバV100は、試験システム10のユーザの夫々を一意に特定するためのデータベースであるユーザ認証用データベースV150-7を有している(図1参照)。ユーザ認証用データベースV150-7には、ユーザ夫々に割り当ててあるユーザ識別情報であるユーザID、ユーザパスワード、ユーザ名、顔画像データ、音声データが登録されている。なお、ユーザ認証用データベースV150-7に登録されているデータは、これらの情報に限られず、ユーザ識別情報として、指紋情報やメールアドレス等が登録されていてもよい。
(システム構成要素/サーバV100/ブロック図)
次に、図2のブロック図を参照しながら、本実施形態に係るサーバV100の各種機能について説明する。サーバV100は、試験システム10、教育システム20(図7を用いて詳細後述する)を使用する際のユーザログインにて必要なユーザIDやユーザパスワード、ユーザ名、顔画像データ、音声データ等を登録する手段であって後述するユーザ情報登録手段V110、試験システム10、教育システム20を使用する際にユーザID等を使用してシステムにログインする手段であって後述するユーザログイン手段V120、資格試験、入学試験、大学の単位習得試験等の試験をオンラインで実行する手段であって後述する試験実行手段V130、教育システム20において、検索キーワードを使用して検索を行うための手段であって後述する検索実行手段V140、試験システム10、教育システム20で使用する各種データを管理するデータ管理手段V150を有している。
また、試験実行手段V130は、試験において不正を監視する手段であって後述する不正監視手段V130-1を有している。
また、データ管理手段V150は、教育システム20で使用する教材データ(例えば、教材動画データ)をテキスト化する際に最適な動画フォーマットに変換するためのフォーマット変換手段V150-1、教育システム20で使用する教材データ(例えば、教材動画データ)から音声を抽出する音声抽出手段V150-2、音声抽出手段で抽出した音声から文字コードで構成された文字列のデータとしてテキスト化するテキスト化手段V150-3、テキスト化手段でテキスト化した文字列のデータを所定形式に成型するデータ成型手段V150-4、データ成型手段で成型したデータを検索用データベースの形式にするインデックス化手段V150-5、教材分類1~3、教材名、試験教材データ等が登録されている試験教材用データベースV150-6、ユーザID、ユーザパスワード、ユーザ名、顔画像データ、音声データ等が登録されているユーザ認証用データベースV150-7、教材分類1~4、教材ID、教材名、教材データ(例えば、教材動画データ)、教材長さ(例えば、映像長さ)等が登録されている学習教材用データベースV150-8(図7を用いて詳細後述する)、教材ID、変換一文、一文内単語、再生開始ポイント、再生終了ポイント等が登録されている検索用データベースV150-9(図7を用いて詳細後述する)を有している。
(システムフロー)
ここで、図3を参照しながら、試験システム10、検索システム20の、通信端末T110とサーバV100との間でのユーザ情報登録手段が実行する処理について詳述する。本処理は、ユーザが通信端末T110を用いてユーザ個人情報を登録する場合のシステムフローである。
(システムフロー/ユーザ情報登録手段/通信端末T110の処理1A)
はじめに、通信端末T110の処理を実行する。まず、ステップ102-Sで、通信端末T110は、ユーザから入力された情報(例えば、URL)に基づき、ユーザ情報登録用のページにアクセスする。次に、ステップ103-Sで、通信端末T110は、ユーザ情報の登録を開始するためのユーザ情報登録要求を、ネットワーク820を介してサーバV100側に送信する。
(システムフロー/ユーザ情報登録手段/サーバV100の処理1B)
次に、サーバV100の処理へ移行する。まず、ステップ104-Sで、ユーザ情報登録手段V110は、通信端末T110から送信されたユーザ情報登録要求を受信する。次に、ステップ106-Sで、ユーザ情報登録手段V110は、ユーザ情報登録要求フォーム(ユーザ情報に係る各項目を入力するためのフォーム)を生成する。次に、ステップ108-Sで、ユーザ情報登録手段V110は、ユーザ情報登録要求フォーム(ユーザ情報に係る各項目を選択するためのフォーム)を、ネットワーク820を介して通信端末T110に送信する。
(システムフロー/ユーザ情報登録手段/通信端末T110の処理2A)
次に、通信端末T110の処理へ移行する。まず、ステップ110-Sで、通信端末T110は、サーバV100から送信されたユーザ情報登録要求フォームを受信する。次に、ステップ112-Sで、通信端末T110は、ユーザ情報登録要求フォームを通信端末T110の表示装置に表示する。次に、ステップ114-Sで、通信端末T110は、ユーザから入力された個人情報(氏名(ユーザ認証用データベースV150-7のユーザ名)、顔データ(ユーザ認証用データベースV150-7の顔画像データ)、声データ(ユーザ認証用データベースV150-7の音声データ名)等の情報)をユーザ情報登録要求フォームにセットする。次に、ステップ116-Sで、通信端末T110は、当該個人情報を入力したユーザ情報登録要求フォーム(入力済)を、ネットワーク820を介してサーバV100側に送信する。
(システムフロー/ユーザ情報登録手段/サーバV100の処理2B)
次に、サーバV100の処理へ移行する。まず、ステップ118-Sで、ユーザ情報登録手段V110は、通信端末T110から送信されたユーザ情報登録要求フォーム(入力済)を受信する。次に、ステップ120-Sで、ユーザ情報登録手段V110は、ユーザID及びユーザパスワードを生成する。次に、ステップ122-Sで、ユーザ情報登録手段V110は、当該生成したユーザID及びユーザパスワードと、ユーザ情報登録要求フォームに入力されている個人情報(氏名、顔データ、声データ等)とを紐づけてユーザ認証用データベースV150-7に記憶する。次に、ステップ124-Sで、ユーザ情報登録手段V110は、生成したユーザID及びユーザパスワードを、ネットワーク820を介して通信端末T110に送信する。
ここで、本実施形態においては、ユーザ認証用データベースV150-7は、ユーザID毎に、ユーザパスワード及びユーザの個人情報が対応して管理されるよう構成されているが、ユーザ認証用データベースV150-7の項目の種類は、図1に示した項目には限定されず、例えばユーザの住所、電話番号、生年月日、メールアドレス、学校名、会社名、会社で所属する部署等を管理するよう構成してもよい。
(システムフロー/ユーザ情報登録手段/通信端末T110の処理3A)
次に、通信端末T110の処理へ移行する。まず、ステップ126-Sで、通信端末T110は、ネットワーク820を介してサーバV100から送信されたユーザID及びユーザパスワードを受信する。次に、ステップ128-Sで、通信端末T110は、当該受信したユーザID及びユーザパスワードを表示装置に表示し、ユーザ情報登録手段に係る処理を終了する。
次に、図4を参照しながら、試験システム10、教育システム20の、通信端末T110とサーバV100との間でのユーザログイン手段が実行する処理について詳述する。本処理は、ユーザが通信端末T110を用いて試験システム10、教育システム20にログインする場合のシステムフローである。
(システムフロー/ユーザログイン手段/通信端末T110の処理1C)
はじめに、通信端末T110の処理を実行する。まず、ステップ202-Sで、通信端末T110は、ユーザから入力された情報(例えば、URL)に基づき、ユーザログイン用のページにアクセスする。次に、ステップ204-Sで、通信端末T110は、ログイン情報入力フォーム要求を、ネットワーク820を介してサーバV100側に送信する。
(システムフロー/ユーザログイン手段/サーバV100の処理1D)
次に、サーバV100の処理を実行する。まず、ステップ206-Sで、ユーザログイン手段V120は、通信端末T110から送信されたログイン情報入力フォーム要求を受信する。次に、ステップ208-Sで、ユーザログイン手段V120は、ログイン情報入力フォーム(ユーザログインに係る各項目を入力するためのフォーム)を生成する。次に、ステップ210-Sで、ユーザログイン手段V120は、ログイン情報入力フォーム(ユーザログインに係る各項目を入力するためのフォーム)を、ネットワーク820を介して通信端末T110に送信する。
(システムフロー/ユーザログイン手段/通信端末T110の処理2C)
次に、通信端末T110の処理を実行する。まず、ステップ212-Sで、通信端末T110は、サーバV100から送信されたログイン情報入力フォーム(ユーザログインに係る各項目を入力するためのフォーム)を受信する。次に、ステップ214-Sで、通信端末T110は、ログイン情報入力フォーム(ユーザログインに係る各項目を入力するためのフォーム)を表示装置に表示する。次に、ステップ216-Sで、通信端末T110は、ユーザから入力されたログイン情報(ユーザID及びユーザパスワード)をセットする。次に、ステップ218-Sで、通信端末T110は、当該セットされたログイン情報(ユーザID及びユーザパスワード)を、ネットワーク820を介してサーバV100に送信する。
(システムフロー/ユーザログイン手段/サーバV100の処理2D)
次に、サーバV100の処理を実行する。まず、ステップ220-Sで、ユーザログイン手段V120は、通信端末T110から送信されたユーザID及びユーザパスワードを受信する。次に、ステップ222-Sで、ユーザログイン手段V120は、当該受信したユーザID及びユーザパスワードと、ユーザ認証用データベースV150-7に記憶されたユーザID及びユーザパスワードとが一致するか否かを判定(認証)する。次に、ステップ224-Sで、ユーザログイン手段V120は、当該ユーザ用のメイン画面を生成する。次に、ステップ226-Sで、ユーザログイン手段V120は、当該生成したメイン画面を、ネットワーク820を介して通信端末T110に送信する。
(システムフロー/ユーザログイン手段/通信端末T110の処理3C)
次に、通信端末T110の処理を実行する。まず、ステップ228-Sで、通信端末T110は、サーバV100から送信された、当該ユーザのメイン画面を受信する。次に、ステップ230-Sで、通信端末T110は、当該受信したメイン画面を表示装置に表示する。なお、メイン画面は、後述する試験コンテンツ(試験)を開始する試験実施ボタン等が表示されている画面である。
ユーザログイン手段が実行する処理により、サーバV100へのアクセス時において、通信端末T110側で入力されたユーザID及びユーザの入力したユーザパスワードが、サーバV100側で管理されているユーザID及びユーザパスワードと一致するか否かによって、当該通信端末T110のユーザが正規なユーザであるか否かを判定することが可能となる。尚、図示していないが、認証結果が正常(正規なユーザID及びユーザパスワード)である場合、試験システム10、教育システム20の機能が利用可能(当該ユーザのメイン画面が通信端末T110の表示装置に表示される)となる。一方、認証結果が異常(不正なユーザID又はユーザパスワード)である場合、試験システム10、教育システム20の機能が利用不能(当該ユーザのメイン画面が通信端末T110の表示装置に表示されない)となる。
次に、図5を参照しながら、試験システム10の、通信端末T110とサーバV100との間での、試験実行手段及び不正監視手段が実行する処理について詳述する。本処理は、ユーザである受験者が、通信端末T110を用いてサーバV100にアクセスし、図4に示すユーザログイン手段でログインした場合のシステムフローである。
(システムフロー/試験実行手段/通信端末T110の処理1E)
はじめに、通信端末T110の処理を実行する。まず、ステップ302-Sで、通信端末T110は、受験者が通信端末T110を操作したことによる試験コンテンツ(試験)を開始する試験実施ボタンが選択されたことにより、試験実施ボタンが選択されたと判断する。次に、ステップ304-Sで、通信端末T110は、試験実施ボタンが選択されたことに基づき、通信端末T110に備えられたカメラを用いて、顔データを取得する。次に、ステップ306-Sで、通信端末T110は、カメラで取得した顔データと試験問題・回答フォーム要求とを、ネットワーク820を介してサーバV100側に送信する。ここで、試験問題・回答フォームとは、試験で使用する試験問題のフォーム、試験問題の回答を記入、選択するための回答フォームである。
(システムフロー/試験実行手段、不正監視手段/サーバV100の処理1F)
次に、サーバV100の処理を実行する。まず、ステップ308-Sで、試験実行手段V130は、通信端末110から送信された顔データ、試験問題・回答フォーム要求を受信する。次に、ステップ310-Sで、試験実行手段V130の不正監視手段V130-1は、不正監視処理として、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データとを比較解析する。次に、ステップ312-Sで、試験実行手段V130の不正監視手段V130-1は、比較解析の結果として、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データとの比較解析の結果がOK(不正なし)であれば、試験問題・回答フォームを生成する。一方、試験実行手段V130の不正監視手段V130-1は、比較解析の結果がNG(不正あり)であれば、試験を中止する。次に、ステップ314-Sで、試験実行手段V130は、当該生成した試験問題・回答フォームを、ネットワーク820を介して通信端末T110に送信する。
ここで、試験実行手段V130の不正監視手段V130-1での比較解析は、人工知能の顔認証を用いて、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データを比較するが、具体的には、顔のパーツ(目、鼻、口等)の位置を判断し、顔のパーツ及び輪郭の整合率(認識率や類似度ともいう)を算出し、整合率が所定値以上(例えば、90%以上)で比較解析の結果をOK(不正なし)と判断し、整合率が所定値未満(例えば、90%未満)で比較解析の結果をNG(不正あり)と判断する。なお、受験者が自身の顔写真を用意してカメラに向けて配置し、整合率を維持しながらカンニング等を行うような不正受験を行うことが考えられる。このような場合、整合率が所定値以上(例えば、90%以上)であったとしても、前回受信した顔データと今回受信した顔データが同じである場合(例えば、前回受信した顔データと今回受信した顔データの類似度を判断し、類似度が98%以上の場合)、比較解析の結果をNG(不正あり)と判断してもよい。
(システムフロー/試験実行手段/通信端末T110の処理2E)
次に、通信端末T110の処理を実行する。まず、ステップ316-Sで、通信端末T110は、サーバV100から送信された試験問題・回答フォームを受信する。次に、ステップ318-Sで、通信端末T110は、表示装置に当該受信した試験問題・回答フォームを表示する。次に、ステップ320-Sで、通信端末T110は、受験者によって通信端末T110の試験開始ボタンが選択された場合、試験開始ボタンが選択されたと判断する。次に、ステップ322-Sで、通信端末T110は、試験開始ボタンが選択されたことに基づき試験開始の情報を、ネットワーク820を介してサーバV100へ送信する。
(システムフロー/試験実行手段、不正監視手段/サーバV100の処理2F)
次に、サーバV100の処理を実行する。まず、ステップ324-Sで、試験実行手段V130は、ステップ322-Sで送信された試験開始の情報を受信する。次に、ステップ326-Sで、試験実行手段V130は、所定の時間経過に応じて、顔データ要求をネットワーク820を介して通信端末T110に送信する。ここで、所定の時間経過は、試験開始から5分経過した例を挙げる。また、試験中の監視タイミングである顔データ要求の送信のタイミングは、試験時間(例えば、90分)内に複数回行われるように構成されており、例えば、試験開始から5分経過した際に1回目の顔データ要求を送信し、その後、5分経過毎に2回目、3回目の顔データ要求を送信するように構成されている。また、試験中のランダムな時間で顔データ要求を送信してもよい。さらに、受験者の顔がカメラに対して正面となった場合に顔データ要求を送信してもよく、この場合、カメラでは正面顔が撮影可能となり、整合率を判断するのに最適な顔データとすることができる。なお、試験開始から5分経過する毎に顔データ要求を送信するように構成したが、その際に正面顔が撮影できない場合があり、このような場合には整合率が所定値未満(例えば、90%未満)となり、不正行為を行っていないにもかかわらず不正ありと判断されてしまうという問題が生じる。このような問題に対し、5分経過した後に第一時間(例えば、1分間)の猶予時間を設け、この猶予時間において第一時間よりも短い第二時間毎(例えば、1秒毎)に顔データ要求して連続して顔データを取得するように構成してもよい。そして、試験実行手段V130の不正監視手段V130-1での比較解析は、この猶予時間で取得した顔データに正面顔の顔データが存在する場合は、正面画の顔データとユーザ認証用データベースV150-7に記憶されている顔画像データを比較するように構成することが好適である。このように整合率を判断するのに最適な正面顔の顔データを取得する期間を増加させることにより、不正行為を行っていないにもかかわらず不正ありと判断されてしまうという問題を解消可能となる。
また、カメラの映像をリアルタイムで監視し、受験者の顔が動いたことをカメラで確認したタイミングで顔データ要求を送信してもよい。このように構成する場合は、隣に受験者がいる場合に好適であり、受験者が隣の人の回答をカンニングしたタイミングをカメラで撮影することが可能となる。さらに、カメラの映像をリアルタイムで監視する場合、受験者の表情を読み取る表情認識の人工知能によって、表情の映像をもとに、その受験者の感情を推定することができるようになっている。この表情認識の人工知能によって、カメラで撮影した受験者の表情から、その時の感情や集中度を測ることができるようになっており、集中度が増すタイミングや逆に集中が途切れるタイミングを知ることが可能なため、受験者の不正を判断するデータとして活用できるようになっている。さらに受験者の表情だけではなく動きも分析することで、全体としての試験への集中度を知ることもでき、受験者の不正を判断するデータとして活用できるようになっている。さらに、カメラの映像をリアルタイムで監視する場合、受験者の顔がカメラに対して正面となった場合に、カメラを用いて顔データを取得するようにしてもよく、この場合、顔データが正面顔でのデータとなるため、整合率を判断するのに最適な顔データとすることができる。
(システムフロー/試験実行手段/通信端末T110の処理2E)
次に、通信端末T110の処理を実行する。まず、ステップ328-Sで、通信端末T110は、ステップ326-Sで送信された顔データ要求を受信する。次に、ステップ330-Sで、通信端末T110は、顔データ要求に基づきカメラで受験者の顔を撮影し、顔データを取得する。次に、ステップ332-Sで、通信端末T110は、取得した顔データを、ネットワーク820を介してサーバV100へ送信する。
(システムフロー/試験実行手段、不正監視手段/サーバV100の処理2F)
次に、サーバV100の処理を実行する。まず、ステップ334-Sで、試験実行手段V130は、ステップ332-Sで送信された顔データを受信する。次に、ステップ336-Sで、試験実行手段V130の不正監視手段V130-1は、不正監視処理として、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データとを比較解析する。次に、ステップ338-Sで、試験実行手段V130の不正監視手段V130-1は、比較解析の結果(整合率)と、顔データの受信時刻とを対応付けた整合率情報を記憶する。整合率情報は、例えば、9時0分に試験が開始された場合、9時5分、9時10分、9時15分・・・に受信した顔データと顔画像データとの整合率のデータを、顔データの受信時刻(撮影時刻)に対応付けて記憶する。なお、整合率情報として、顔データの受信時刻、顔データ、整合率との3つの情報を対応付けて記憶するようにしても良い。
(システムフロー/試験実行手段/通信端末T110の処理2E)
ステップ332-Sで、1回目の顔データをサーバV100へ送信した以降であって、試験中においてはステップ340-Sで、通信端末T110は、受験者が試験中に試験の回答を試験回答フォームに入力したことに基づき、試験回答フォームに回答をセットする。次に、試験の回答を試験回答フォームにセットした後、ステップ342-Sで、受験者が試験終了ボタンを選択したことに基づき、通信端末T110は、試験回答フォーム(入力済)を、ネットワーク820を介してサーバV100へ送信する。
(システムフロー/試験実行手段/サーバV100の処理3F)
次に、サーバV100の処理を実行する。まず、ステップ344-Sで、試験実行手段V130は、通信端末T110から送信された試験回答フォーム(入力済)を受信する。次に、ステップ346-Sで、試験実行手段V130は、試験回答フォーム(入力済)の情報と、整合率情報とを対応付けた試験回答情報を記憶する。
なお、試験中の監視タイミングである顔データ要求の送信のタイミングは、試験時間(例えば、90分)内に5分毎に行われるが、ステップ336-Sの不正監視手段V130-1での不正監視処理の比較解析の結果として、整合率が前回の整合率よりも低下した場合や、整合率がNGの場合に顔データ要求の送信のタイミングを3分毎等に短縮して要求するようにしてもよい。このようにすることで、試験中の不正監視をより強くすることが可能となる。
また、試験時間内で整合率が低下した場合、試験実行手段V130は、不正監視処理の比較解析で用いられる顔のパーツのパーツを増やすように構成してもよい。例えば、試験時間内において、顔のパーツの目、口の2パーツを用いて整合率を算出し、整合率が低下した場合、鼻を追加して、目、口、鼻の3パーツを用いて整合率を算出するようにする。このようにすることで、整合率の精度を上げ、試験中の不正監視をより強くすることが可能となる。
次に、図6を参照しながら、試験システム10の変形例である、通信端末T110とサーバV100との間での、試験実行手段及び不正監視手段が実行する処理について詳述する。図6の試験実行手段及び不正監視手段が実行する処理では、図5の試験実行手段及び不正監視手段が実行する処理のステップ326-Sで、サーバV100の顔データ要求に基づき、通信端末T110が顔データをカメラで取得するのとは異なり、ステップ340-Sで、受験者が試験の回答を試験回答フォームに入力することに基づいて、通信端末T110が顔データをカメラで取得するように構成されている。なお、本処理は、ユーザである受験者が、通信端末T110を用いてサーバV100にアクセスし、図4に示すユーザログイン手段でログインした場合のシステムフローである。
(システムフロー/試験実行手段/通信端末T110の処理1E)
はじめに、通信端末T110の処理を実行する。まず、ステップ302-Sで、通信端末T110は、受験者が通信端末T110を操作したことによる試験コンテンツ(試験)を開始する試験実施ボタンが選択されたことにより、試験実施ボタンが選択されたと判断する。次に、ステップ304-Sで、通信端末T110は、試験実施ボタンが選択されたことに基づき、通信端末T110に備えられたカメラを用いて、顔データを取得する。次に、ステップ306-Sで、通信端末T110は、カメラで取得した顔データと試験問題・回答フォーム要求とを、ネットワーク820を介してサーバV100側に送信する。ここで、試験問題・回答フォームとは、試験で使用する試験問題のフォーム、試験問題の回答を記入、選択するための回答フォームである。
(システムフロー/試験実行手段、不正監視手段/サーバV100の処理1F)
次に、サーバV100の処理を実行する。まず、ステップ308-Sで、試験実行手段V130は、通信端末110から送信された顔データ、試験問題・回答フォーム要求を受信する。次に、ステップ310-Sで、試験実行手段V130の不正監視手段V130-1は、不正監視処理として、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データとを比較解析する。次に、ステップ312-Sで、試験実行手段V130の不正監視手段V130-1は、比較解析の結果として、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データとの比較解析の結果がOK(不正なし)であれば、試験問題・回答フォームを生成する。一方、試験実行手段V130の不正監視手段V130-1は、比較解析の結果がNG(不正あり)であれば、試験を中止する。次に、ステップ314-Sで、試験実行手段V130は、当該生成した試験問題・回答フォームを、ネットワーク820を介して通信端末T110に送信する。
(システムフロー/試験実行手段/通信端末T110の処理2E)
次に、通信端末T110の処理を実行する。まず、ステップ316-Sで、通信端末T110は、サーバV100から送信された試験問題・回答フォームを受信する。次に、ステップ318-Sで、通信端末T110は、表示装置に当該受信した試験問題・回答フォームを表示する。次に、ステップ320-Sで、通信端末T110は、受験者によって通信端末T110の試験開始ボタンが選択された場合、試験開始ボタンが選択されたと判断する。次に、ステップ322-Sで、通信端末T110は、試験開始ボタンが選択されたことに基づき試験開始の情報を、ネットワーク820を介してサーバV100へ送信する。次に、ステップ340-Sで、通信端末T110は、受験者が試験中に試験の回答を試験回答フォームに入力したことに基づき、試験回答フォームに回答をセットする。次に、ステップ330-Sで、通信端末T110は、試験回答フォームに試験の回答が入力されたことに基づきカメラで受験者の顔を撮影し、顔データを取得する。次に、ステップ332-Sで、通信端末T110は、取得した顔データを、ネットワーク820を介してサーバV100へ送信する。次に、試験の回答を試験回答フォームにセットした後、ステップ342-Sで、受験者が試験終了ボタンを選択したことに基づき、通信端末T110は、試験回答フォーム(入力済)を、ネットワーク820を介してサーバV100へ送信する。
ステップ330-Sで、通信端末T110が、試験回答フォームに試験の回答が入力されたことに基づきカメラで受験者の顔を撮影し、顔データを取得するようにすることで、試験の回答を入力する際は通信端末T110の表示装置の正面で入力することになり、受験者の顔がカメラの正面となるため、整合率を判断するのに最適な正面顔のデータを取得することができる。
(システムフロー/試験実行手段、不正監視手段/サーバV100の処理2F)
次に、サーバV100の処理を説明する。ステップ324-Sで、試験実行手段V130は、ステップ322-Sで送信された試験開始の情報を受信する。次に、ステップ334-Sで、試験実行手段V130は、ステップ332-Sで送信された顔データを受信する。次に、ステップ336-Sで、試験実行手段V130の不正監視手段V130-1は、不正監視処理として、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データとを比較解析する。次に、ステップ338-Sで、試験実行手段V130の不正監視手段V130-1は、不正監視処理の比較解析の結果(整合率)と、顔データの受信時刻とを対応付けた整合率情報を記憶する。整合率情報は、例えば、9時0分に試験が開始された場合、問題1の回答の入力が9時8分、問題2の回答の入力が9時12分、問題3の回答の入力が9時19分・・・に受信した顔データと顔画像データとの整合率のデータを、顔データの受信時刻(撮影時刻)に対応付けて記憶する。なお、整合率情報として、顔データの受信時刻、顔データ、整合率とを対応付けて記憶するようにしても良い。
(システムフロー/試験実行手段/サーバV100の処理3F)
次に、サーバV100の処理を実行する。まず、ステップ344-Sで、試験実行手段V130は、通信端末T110から送信された試験回答フォーム(入力済)を受信する。次に、ステップ346-Sで、試験実行手段V130は、試験回答フォーム(入力済)の情報と、整合率情報とを対応付けた試験回答情報を記憶する。
本実施形態に係る試験システム10は、試験実行手段V130の不正監視手段V130-1が、通信端末T110のカメラによって入力された顔データと、ユーザ認証用データベースV150-7に予め記憶された顔画像データとの整合率を算出する不正監視の処理を実行するようになっているが、英語のスピーキングの試験等を行う場合は、試験実行手段V130の不正監視手段V130-1が、通信端末T110のマイクによって入力された声データと、ユーザ認証用データベースV150-7に予め記憶された音声データとの整合率を算出するように構成してもよい。
英語のスピーキングの試験等において、声データと音声データとの整合率を算出する場合、図5や図6のステップ304-S、ステップ306-S、ステップ308-S、ステップ310-S、ステップ312-S、ステップ326-S(図5の場合のみ)、ステップ328-S(図5の場合のみ)、ステップ330-S、ステップ332-S、ステップ334-S、ステップ336-S、ステップ338-Sの処理が顔データと顔画像データとの整合性を算出する場合と異なる。
ここでは、顔データと顔画像データとの整合性を算出する場合の処理とは異なる処理について説明する。ステップ304-Sで、試験実施ボタンが選択されたことに基づき、通信端末T110は、カメラを用いて、顔データを取得するとともにマイクを用いて、声データを取得する。次に、ステップ306-Sで、通信端末T110は、カメラで取得した顔データ、マイクで取得した声データ、試験問題・回答フォーム要求を、ネットワーク820を介してサーバV100側に送信する。
ステップ308-Sで、試験実行手段V130は、通信端末110から送信された顔データ、声データ、試験問題・回答フォーム要求を受信する。次に、ステップ310-Sで、試験実行手段V130の不正監視手段V130-1は、不正監視処理として、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データとを比較解析するとともに受信した声データとユーザ認証用データベースV150-7に記憶されている音声データとを比較解析する。次に、ステップ312-Sで、試験実行手段V130の不正監視手段V130-1は、受信した顔データとユーザ認証用データベースV150-7に記憶されている顔画像データとの比較解析の結果がOK(不正なし)であって、受信した声データとユーザ認証用データベースV150-7に記憶されている音声データとの比較解析の結果がOK(不正なし)であれば、試験問題・回答フォームを生成する。一方、試験実行手段V130の不正監視手段V130-1は、比較解析の結果がNG(不正あり)であれば、試験を中止する。
ここで、不正監視手段V130-1の不正監視処理の比較解析は、人工知能の顔認証を用いて、受信した顔データ、声データとユーザ認証用データベースV150-7に記憶されている顔画像データ、音声データを比較し、整合率が所定値以上(例えば、90%以上)で比較解析の結果がOK(不正なし)と判断され、整合率が所定値未満(例えば、90%未満)で比較解析の結果がNG(不正あり)と判断される。
ステップ326-Sで、所定の時間経過に応じて、顔データ要求及び声データ要求を送信する。ここで、所定の時間経過は、試験開始から5分経過した例を挙げる。また、試験中の監視タイミングである顔データ要求及び声データ要求の送信のタイミングは、試験時間(例えば、90分)内に複数回行われるように構成されており、例えば、試験開始から5分経過した際に1回目の顔データ要求及び声データ要求を送信し、その後、5分経過毎に2回目、3回目の顔データ要求及び声データ要求を送信するように構成されている。また、試験中のランダムな時間で顔データ要求及び声データ要求を送信してもよい。
ステップ328-Sで、通信端末T110は、ステップ326-Sで送信された顔データ要求及び声データ要求を受信する。次に、ステップ330-Sで、通信端末T110は、顔データ要求及び声データ要求に基づきカメラで受験者の顔を撮影し、顔データを取得するとともにマイクで受験者の声を収集し、声データを取得する。次に、通信端末T110は、ステップ332-Sで、取得した顔データ及び声データを、ネットワーク820を介してサーバV100へ送信する。
ステップ334-Sで、試験実行手段V130は、ステップ332-Sで送信された顔データ及び声データを受信する。次に、ステップ336-Sで、試験実行手段V130の不正監視手段V130-1は、不正監視処理として、受信した顔データ及び声データとユーザ認証用データベースV150-7に記憶されている顔画像データ及び音声データとを比較解析する。次に、ステップ338-Sで、試験実行手段V130の不正監視手段V130-1は、不正監視処理の比較解析の結果(整合率)と、顔データ及び声データの受信時刻とを対応付けた整合率情報を記憶する。整合率情報は、例えば、9時0分に試験が開始された場合、9時5分、9時10分、9時15分・・・に受信した顔データ及び声データと顔画像データ及び音声データとの整合率のデータを、顔データ及び声データの受信時刻(撮影時刻)に対応付けて記憶する。なお、整合率情報として、顔データ及び声データの受信時刻、顔データ及び声データ、整合率とを対応付けて記憶するようにしても良い。
なお、英語のスピーキングの試験等において、不正監視処理として、通信端末110から送信された顔データ、声データと、ユーザ認証用データベースV150-7に記憶されている顔画像データ、音声データとを比較解析する例を示したが、通信端末110から送信されるデータを声データのみとし、ユーザ認証用データベースV150-7に記憶されている音声データとを比較解析するようにしてもよい。
なお、英語のスピーキングの試験等において、声データと音声データとの整合率を算出する場合、図6のステップ340-S、ステップ330-S、ステップ332-Sを次のような処理とすることが好適である。ステップ340-Sは、スピーキングの回答がマイクに入力されたことに基づき、通信端末T110が声データを取得する処理とする。ステップ330-Sは、スピーキングの回答がマイクに入力されたことに基づき、通信端末T110がカメラで受験者の顔を撮影し、顔データを取得する処理とする。ステップ332-Sは、取得した顔データ及び声データを、通信端末T110がネットワーク820を介してサーバV100へ送信する処理とする。このようにスピーキングの試験において声データの入力に基づき顔データを取得することで、スピーキング時の表情を含めて上述した表情認識の人工知能を用いて整合率を算出することができるようになるため、より不正受験や替え玉受験を抑止することができる。
なお、カメラは、通信端末T110に一体的に備えられたカメラもしくは通信端末T110とは別に備えられたカメラを用いる例を示したが、人の位置、人の存在、顔や表情を認識可能な深度(例えば、ピントがどこの位置からどこの位置まで合っているかを測る尺度)を確認可能なカメラを用いるようにしてもよい。このように構成することで、受験者が自身の顔写真を用意してカメラに向けて配置し、整合率を維持しながらカンニング等を行うような不正受験を行うようにしても、受験者がカメラの前にいないことを判断し、不正であると判断できるため、より不正受験や替え玉受験を抑止することができる。また、カメラ、マイクを複数設けるように構成してもよい。また、複数のカメラを設けてもよく、このようにすることで、受験者の隣にいる受験者以外の人を認識できるため、より不正受験や替え玉受験を抑止することができる。さらに、複数のマイクを設けてもよく、このようにすることで、声(声データ)を発した場所を特定することができるため、深度センサが設けられているカメラと同時に使用することで、より人の位置を特定することができるようになる。また、人の位置、人の存在、顔や表情を認識可能な深度(例えば、ピントがどこからどこまで合っているかを測る尺度)を確認可能なカメラ(通常のカメラでもよい)を用いて、試験時間内(試験時間中)に、受験者が席にいるか否かを判断するように構成してもよい。このようにする構成することで、受験者の在席が確認できない場合は、何かしらの不正を行っていると判断可能となる。
本実施形態に係る試験システム(1)は、認証されたユーザに対して試験コンテンツを提供し、試験コンテンツに対する回答を所定の試験時間内にて入力可能とする試験システムであって、撮像手段(例えば、通信端末T110のカメラ)によって入力された画像データ(例えば、顔データ)と、認証されたユーザに対応し予め記憶された顔画像データ(例えば、ユーザ認証用データベースV150-7に記憶されている顔画像データ)との整合率を算出する不正監視手段を実行可能であり、所定の試験時間内での時間経過に応じた複数回の監視タイミングにて不正監視手段を実行し、整合率に基づき試験コンテンツに対する回答に不正があったか否かを決定可能である、ことを特徴とする試験システムである。
本実施形態に係る試験システム(2)は、ステップ346-Sで、試験回答フォーム(入力済)の情報と、整合率情報とを対応付けた試験回答情報を記憶した後(例えば、試験当日または後日)に、記憶した整合率に加えて試験に対する回答に関する情報(例えば、採点の情報)も加味して、試験に対する回答に不正があったか否かを決定可能である、本実施形態に係る試験システム(1)記載の試験システムである。このように構成することで、記憶した整合率だけではなく、試験の回答に関する情報を加味することで、隣の人と同様な回答であるような場合に隣の人の回答をカンニングした不正も判断の材料とすることができる。
ここで、試験の採点は、人工知能が自動で採点する自動採点処理として自動採点手段を用いる処理を採用してもよい。この場合、自動採点手段が、試験の回答をいくつかのパターンに分けて採点するようになっている。単純な正解か不正解かではなく、段階的に評価する場合、回答のパターンによってカテゴリー分けをすることで、同じカテゴリーの回答には一律の部分点を付与するように構成されている。また、マークシート形式等の選択形式とは異なる形式(自由に受験者が回答を記入する形式等)の回答を記載する場合の採点処理において、自動採点処理を採用してもよい。この場合、試験回答フォーム(入力済)の情報と、整合率情報とを対応付けた試験回答情報を記憶した後(例えば、試験当日または後日)に、記憶した整合率に自動採点処理における受験者の回答と他の受験者(例えば、隣の受験者)の回答の類似度を加味して、不正監視手段V130-1による比較解析の結果の整合率が所定値未満(例えば、90%未満)であって、回答の類似度が所定値以上(例えば、80%以上)である場合に、試験に対する回答にカンニングの不正があったか否かを決定可能であるように構成してもよい。このように構成することで、自動採点処理の採点の情報を加味したカンニング等の不正受験を判断することができる。また、採点の結果を用いて、受験者に教育システム20で使用するリコメンドというサービスを提供することができるようにしてもよい。例えば、受験者がメソポタミア文明の問題を間違えた場合、教育IDがVD_CSR1やVD_KSBK1の情報を受験者に提供するようにしてもよい。
本実施形態に係る試験システム(3)は、ユーザ認証用データベースV150-7に記憶されている顔画像データは受験者の正面顔が撮像された画像データであり、撮影手段(例えば、通信端末T110のカメラ)によって撮影された顔データが、正面顔が撮像されたものでない場合に整合率が低下するように判断する、本実施形態に係る試験システム(1)記載の試験システムである。正面顔の画像データ及び顔データを、整合率を判断するのに最適なデータとすることができる。
(教育システム20のシステム全体構成)
図7を参照しながら、本実施形態に係る教育システム20のシステム全体構成について説明する。はじめに、教育システム20は、通信端末T110での操作によりサーバV100における試験の管理を可能とするシステムである。まず、図示するように、教育システム20は、通信端末T110とサーバV100とから構成されている。
通信端末T110及びサーバV100の構成は、試験システム10と同様であるが、教育システム20のサーバV100では、教材分類1~4、教材ID、教材名、教材データ(例えば、教材動画データ)、教材長さ(例えば、映像長さ)等が登録されている学習教材用データベースV150-8を有している(図7参照)。なお、学習教材用データベースV150-8に登録されているデータは、これらの情報に限られず、その他の情報が登録されていてもよく、教材データは予め登録されているデータ以外にネットワーク820を介してダウンロードした教材データを登録できるように構成してもよい。ここで、教材データは、eラーニング等で使用される学習用の教材動画データ(アニメーション形式のパワーポイントデータやPDFデータも含まれる)であることが好適であり、動画内には、映像、板書、音声等が含まれている。なお、音声のみが含まれているデータを教材データの対象としてもよい。さらに、音声が含まれるPDFデータ等の音声を含む静止画のデータを教材データの対象としてもよい。
学習教材用データベースV150-8の教材分類1には、教育システム20で使用する教材データ(例えば、教材動画データ)を用いた学習者の対象を示す情報(中学生、高校生等の情報)が登録されている。なお、教材分類1を科目の情報としてもよく、その場合、中学生の科目、中学生の科目とは異なる科目である高校生の科目として学習教材用データベースV150-8に登録される。教材分類2には、社会、地理歴史、理科、化学、物理、生物、地学、国語、数学、英語等の学習の科目を示す情報としての大分類科目が登録されている。なお、大分類科目によって、教材データ(例えば、教材動画データ)が、教材分類2の中で異なる科目の教材を示すようになっている。教材分類3には、学習の科目を細かく分類した情報としての中分類科目が登録されている。例えば、教材分類2が社会の場合は、歴史1、歴史2、歴史3、公民1、公民2、世界史A、世界史B等の情報となっている。なお、中分類科目によって、教材データ(例えば、教材動画データ)が、教材分類3の中で異なる科目の教材を示すようになっている。
教材分類4には、学習の科目を更に細かく分類した情報としての小分類科目が登録されている。なお、小分類科目によって、教材データ(例えば、教材動画データ)が、教材分類4の中で異なる科目の教材を示すようになっている。例えば、教材分類2が地理歴史であって教材分類3が世界史Bの場合は、古代オリエント1、古代オリエント2、古代オリエント3等の情報が登録されている。教材IDは、学習で使用する映像である教材データ(例えば、教材動画データ)に対応付けられた番号である。教材名は、学習で使用する教材データ(例えば、教材動画データ)の教材名称が登録されている。教材データとしての教材動画データは、学習で使用する映像であり、教材動画データには、教材動画データの映像の教材名(学習教材用データベースの教材名と同じ)、教材動画データの説明文、教材動画データの映像長さ(学習教材用データベースの映像長さと同じ)が紐づけられて記憶されている。教材長さ(例えば、映像長さ)は、教材データの再生時間や教材動画データの映像の時間を示している。
また、サーバV100は、教育システム20の検索実行手段V140で用いられ、教材ID、変換一文、一文内単語、再生開始ポイント、再生終了ポイント等が登録されている検索用データベースV150-9を有している(図7参照)。なお、検索用データベースV150-9に登録されているデータは、これらの情報に限られず、学習教材用データベースV150-8で登録されている教材分類1~4、教材名、教材データ(例えば、教材動画データ)、教材長さ(例えば、映像長さ)等が学習教材用データベースV150-8の教材IDと同じ検査用データベースの教材IDに紐づけされるように登録されていてもよい。
検索用データベースV150-9に登録されているデータは、以下のように登録される。以降説明するデータの登録の処理は、人工知能を用いて実行することが好適である。まず、フォーマット変換手段V150-1で、教育システム20で使用する教材データ(例えば、教材動画データ)をテキスト化する際に最適な動画フォーマットに変換する。フォーマット変換手段V150-1では、最適な動画フォーマットであるA形式ではない動画(例えば、B形式の動画フォーマット等である場合)を、A形式の動画フォーマットに変換する。次に、音声抽出手段V150-2で、最適な動画フォーマットに変換された教材データ(例えば、教材動画データ)から音声を抽出する。
次に、テキスト化手段V150-3で、音声抽出手段で抽出した音声を、文字コードで構成された文字列のデータとしてテキスト化する。ここで、図7の学習教材用データベースV150-8に記憶された教材IDが、VD_CSR1の教材データ(例えば、教材動画データ)としての中学生(教材分類1)、社会(教材分類2)、歴史1(教材分類3)のテキスト化手段を例示する。教材IDがVD_CSR1の教材動画データのテキスト化手段では、音声抽出手段で抽出した音声から、文法上の区切りではなく音声の途切れにより区切られた一文内単語、タイムスタンプ情報としての一文内単語の再生開始ポイントと再生終了ポイントを抽出する。そして、複数の一文内単語から構成される変換一文をテキスト化して処理する。なお、変換一文は、全ての一文内単語を連結したものであって、タイムスタンプ情報を時系列的に並べたものとなっている。
例えば、教材IDがVD_CSR1の教材データ(例えば、教材動画データ)から抽出される一文内単語、再生開始ポイント、再生終了ポイントは以下のように紐づけされている。
『一文内単語=「まず」、再生開始ポイント=24.22、再生終了ポイント=25.31』
『一文内単語=「メソポタミア文明は」、再生開始ポイント=25.83、再生終了ポイント=27.79』
『一文内単語=「四大文明の一つです」再生開始ポイント=28.42、再生終了ポイント=29.96』
また、テキスト化手段では、全ての一文内単語を連結して『変換一文=「まずメソポタミア文明は四大文明の一つです」』と変換一文を生成している。なお、24.22や25.31等は24.22秒や25.31秒を示しており、1/100秒まで再生開始ポイント、再生終了ポイントを特定できるようになっている。
次に、データ成型手段V150-4で、テキスト化手段でテキスト化した文字列のデータを所定形式に成型する。ここで、図7の学習教材用データベースV150-8に記憶された教材IDが、VD_CSR1の教材データ(例えば、教材動画データ)としての中学生(教材分類1)、社会(教材分類2)、歴史1(教材分類3)のデータ成型手段を例示する。教材IDがVD_CSR1の教材動画データのデータ成型手段では、テキスト化手段でテキスト化した情報及び教材動画データが有する情報(教材名、説明文、映像長さ)から、タイムスタンプ情報と一文内単語、教材ID、説明文、教材名を抽出する。
例えば、教材IDがVD_CSR1の教材データ(例えば、教材動画データ)のデータ成型手段は、以下のようにデータを成型している。
『再生開始ポイント=24.22、再生終了ポイント=25.31、一文内単語=「まず」
再生開始ポイント=25.83、再生終了ポイント=27.79、一文内単語=「メソポタミア文明は」
再生開始ポイント=28.42、再生終了ポイント=29.96、一文内単語=「四大文明の一つです」
教材ID=VD_CSR1
変換一文=まず メソポタミア文明は 四大文明の一つです
説明文=四大文明であるメソポタミア文明の学習(中学生対象)
教材名=四大文明のおこり』
ここで、テキスト化手段では、一文内単語、再生開始ポイント、再生終了ポイントの順序で情報を紐付け(対応付け)て処理したが、データ成型手段では、テキスト化手段とは異なる順序である再生開始ポイント、再生終了ポイント、一文内単語の順序で情報を紐付け(対応付け)て処理を実行している。データ成型手段では、テキスト化手段とは異なる順序で情報を対応付ける処理であって、再生開始ポイントが基準となる処理を実行するように構成されているため、再生開始ポイントの順序に合わせて、情報を並べれば良いように構成されているので、データ成型が容易になる。
次に、インデックス化手段V150-5で、データ成型手段で成型したデータを検索用データベースの形式にインデックス化する。教材IDが、VD_CSR1の教材データ(例えば、教材動画データ)は、図7に示すように教材ID、変換一文、一文内単語、再生開始ポイント、再生終了ポイントが検索用データベースV150-9に記憶されている。同様に、教材IDが、VD_KSBK1の教材動画データは、図7に示すように教材ID、変換一文、一文内単語、再生開始ポイント、再生終了ポイントが検索用データベースV150-9に記憶されている。このように教材IDの順番で検索用データベースV150-9に各教材動画データの教材ID、変換一文、一文内単語、再生開始ポイント、再生終了ポイントが記憶されている。
次に、図8~図10を参照しながら、教育システム20の、通信端末T110とサーバV100との間での、検索実行手段について詳述する。図8は、ユーザである学習者が、通信端末T110を用いてサーバV100にアクセスし、図4に示すユーザログイン手段でログインした場合のシステムフローであって、ユーザが通信端末T110を用いてサーバV100にアクセスし、条件に合う教材データ(例えば、教材動画データ)を検索する場合のシステムフローである。
(システムフロー/検索実行手段/通信端末T110の処理1G)
はじめに、通信端末T110の処理を実行する。まず、ステップ502-Sで、学習者が、通信端末T110を操作して検索フォームの形式に従い、検索のキーワードを入力したことに基づき、通信端末T110は、検索フォームにキーワードをセットする。例えば、図9に示すように検索のキーワードとして「メソポタミア」を入力する。次に、ステップ504-Sで、図9に示す検索のボタンが学習者によって選択されたことに基づき、通信端末T110は、検索フォーム(入力済)を、ネットワーク820を介してサーバV100側に送信する。
(システムフロー/検索実行手段/サーバV100の処理1H)
次に、サーバV100の処理を実行する。まず、ステップ506-Sで、検索実行手段V140は、通信端末T110から送信された検索フォーム(入力済)を受信する。次に、ステップ508-Sで、検索実行手段V140は、検索用データベースV150-9に記憶された変換一文のデータを用いて、当該受信した検索フォーム(入力済)に入力された検索のキーワードに基づく検索を実行する。例えば、図7の検索用データベースV150-9に記憶された変換一文のデータの中から、検索のキーワードである「メソポタミア」が含まれた変換一文を検索する。
次に、ステップ510-Sで、検索実行手段V140は、キーワード検索でヒットした教材IDを取得する。教材IDが複数ヒットした場合、検索実行手段V140は、ヒットした全てを対象として全ての教材IDを取得する。例えば、図7の検索用データベースV150-9に記憶された変換一文のデータの中から、検索のキーワードである「メソポタミア」を検索した場合、教材IDがVD_CSR1とVD_KSBK1の変換一文に「メソポタミア」が含まれている(図7の検索用データベース参照)ため、教材IDとして、VD_CSR1とVD_KSBK1を取得する。このように異なる科目であるVD_CSR1とVD_KSBK1との情報を検索によって取得する。
次に、ステップ512-Sで、検索実行手段V140は、取得した教材IDに対応する学習教材用データベースV150-8の教材分類1~4、教材名、教材データ(例えば、教材動画データ)、教材長さ(例えば、映像長さ)の情報を取得する。例えば、図7の検索用データベースに記憶された変換一文のデータの中から、検索のキーワードである「メソポタミア」を検索し、教材IDとして、VD_CSR1とVD_KSBK1を取得した場合、図7に示す学習教材用データベースV150-8から教材IDがVD_CSR1の教材分類1~4、教材名、教材データ(例えば、教材動画データ)、教材長さ(例えば、映像長さ)の情報を取得する。同様に、図7に示す学習教材用データベースV150-8から教材IDがVD_KSBK1の教材分類1~4、教材名、教材データ(例えば、教材動画データ)、教材長さ(例えば、映像長さ)の情報、図7に示す検索用データベースV150-9から変換一文の情報を取得する。
次に、ステップ514-Sで、検索実行手段V140は、取得した情報に基づき検索結果の画面を生成する。例えば、図7の検索用データベースV150-9に記憶された変換一文のデータの中から、検索のキーワードである「メソポタミア」を検索した場合、図9に示すような検索結果の画面を生成する。検索結果の画面には、スコアの情報、教材分類1~4の情報、教材長さ(例えば、映像長さ)の情報、変換一文の情報(一の変換一文、複数の変換一文、全ての変換一文のいずれかの変換一文の情報)、詳細ボタン(例えば、図9に示す詳細1や詳細2のボタン画像)を表示する。図9に示すように、検索のキーワードである「メソポタミア」は、検索結果の画面の変換一文の情報を学習者に視認し易くするように太字や斜体文字として表示したり、ハイライト表示したりするのが好適である。なお、図9の「勉強するのは」と「オリエント世界の法律というお話でございます」等との間のアンダーラインは、一文内単語と一文内単語との区切れを示すものであって映像での音声の途切れを示している。次に、ステップ516-Sで、検索実行手段V140は、当該生成した検索結果の画面を、ネットワーク820を介して通信端末T110へ送信する。また、検索結果の画面として、図10(a)で示す画面を小さくした画像(どのような映像であるのか、どのような内容であるのかをひと目で確認できる縮小画像)の表示(サムネイル表示ともいう)を検索結果の数(一または複数)だけ表示するように構成してもよい。
ここで、スコアの情報は、検索のキーワードが多く含まれるほどスコアが高くなるように構成されているが、学習者の過去の学習履歴に基づき、既に学習した教材データ(例えば、教材動画データ)のスコアが高くなるようにしてもよい。また、既に学習した教材データ(例えば、教材動画データ)に対応付けられた教材分類1~4の統計に基づき、学習者が一番多く学習した教材分類のスコアが高くなるようにしてもよい。このようにスコアの情報を表示することで、学習者が欲する適切な情報を提示するリコメンドというサービスを提供することができるとともに、検索のキーワードに同音異義語がある場合、学習者の学習履歴に沿った検索結果を表示することができる。
(システムフロー/検索実行手段/通信端末T110の処理2G)
次に、通信端末T110の処理を実行する。まず、ステップ518-Sで、通信端末T110は、サーバV100から送信された検索結果の画面を受信する。次に、ステップ520-Sで、通信端末T110は、表示装置に当該受信した検索結果の画面を表示する。例えば、図9に示すような検索結果の画面を表示する。次に、ステップ522-Sで、学習者が通信端末T110を操作して、詳細ボタン(図9に示す詳細1や詳細2のボタン画像)が選択されたことに基づき、通信端末T110は、詳細表示要求(教材ID含む)を、ネットワーク820を介してサーバV100へ送信する。
(システムフロー/検索実行手段/サーバV100の処理2H)
次に、サーバV100の処理を実行する。まず、ステップ524-Sで、検索実行手段V140は、ステップ522-Sで送信された詳細表示要求(教材ID含む)を受信する。次に、ステップ526-Sで、検索実行手段V140は、当該受信した詳細表示要求の教材IDの情報に基づく学習教材用データベースV150-8の教材データ(例えば、教材動画データ)を取得する。例えば、図9で詳細1のボタンが選択された場合、教材IDがVD_KSBK1であるので、学習教材用データベースV150-8の教材IDがVD_KSBK1である教材動画データを取得する。
次に、ステップ528-Sで、検索実行手段V140は、詳細表示要求の教材IDの情報の一文内単語のうち、キーワードを含む一文内単語およびキーワード含む一文内単語の前後の一文内単語の情報を検索用データベースV150-9から再生開始ポイントが早い順に取得する。例えば、検索のキーワードが「メソポタミア」の場合であって、教材IDがVD_KSBK1の場合、検索用データベースV150-9から「メソポタミア」が含まれる再生開始ポイントが1番目の一文内単語である「メソポタミア文明です」と、再生開始ポイントが1番目の一文内単語である「メソポタミア文明です」の前の一文内単語である「最初に興った文明が」と、後の一文内単語である「ここは重要です」との情報を取得する。また、検索用データベースV150-9から「メソポタミア」が含まれる再生開始ポイントが2番目の一文内単語である「メソポタミアは」と、再生開始ポイントが2番目の一文内単語である「メソポタミアは」の前の一文内単語である「ここで」と、後の一文内単語である「ギリシア語で」との情報を取得する。
次に、ステップ530-Sで、検索実行手段V140は、詳細表示要求の教材IDの情報の一文内単語のうち、キーワードを含む一文内単語の再生開始ポイントの情報を検索用データベースV150-9から再生開始ポイントが早い順に取得する。例えば、検索のキーワードが「メソポタミア」の場合であって、教材IDがVD_KSBK1の場合、検索用データベースV150-9から「メソポタミア」が含まれる再生開始ポイントが1番目の一文内単語である「メソポタミア文明です」の再生開始ポイントである13.58の情報を取得する。また、検索用データベースV150-9から「メソポタミア」が含まれる再生開始ポイントが2番目の一文内単語である「メソポタミアは」の再生開始ポイントである16.34の情報を取得する。
次に、ステップ532-Sで、検索実行手段V140は、取得した教材データ(例えば、教材動画データ)の情報、一文内単語の情報、再生開始ポイントの情報に基づき音声付き教材データ(映像)の画面を生成する。例えば、図10(a)のような画面を生成する。詳細表示要求の結果の画面としての音声付き教材データ(映像)の画面(図10(a)に示すように通信端末T110の表示装置)には、画面の上側の位置に音声付き教材データ(映像)を表示し、画面の中間位置に再生ボタン、早送りボタン、再生開始ポイントが1番目の一文内単語である「メソポタミア文明です」の再生開始ポイントである13.58が表示されている。この状態で、再生ボタンを選択すると、再生開始ポイントが1番目の一文内単語である「メソポタミア文明です」の再生開始ポイントである13.58から映像が再生されるようになっている。画面の下側の位置には、音声付き教材データ(映像)の文字列データが表示される。文字列データは、再生開始ポイント、検索のキーワードが含まれる一文内単語と、検索のキーワードが含まれる一文内単語の前の一文内単語と、検索のキーワードが含まれる一文内単語の後の一文内単語とを表示する。
また、文字列データは、例えば、検索のキーワードが「メソポタミア」の場合であって、教材IDがVD_KSBK1の場合、検索用データベースV150-9から「メソポタミア」が含まれる再生開始ポイントが1番目の一文内単語である「メソポタミア文明です」と、再生開始ポイントが1番目の一文内単語である「メソポタミア文明です」の前の一文内単語である「最初に興った文明が」と、後の一文内単語である「ここは重要です」との情報を取得した場合、『13.58 文明が メソポタミア文明です ここは重要です』と表示するようにしてもよい。つまり、検索のキーワードを含む一文内単語である「メソポタミア文明です」の前の一文内単語である「最初に興った文明が」を、後の一文内単語である「ここは重要です」よりも短くなるように「最初に興った」を省略して表示するようにする。また、検索のキーワードを含む一文内単語である「メソポタミア文明です」の前の一文内単語を3文字等の固定文字数の一文内単語とし、後の一文内単語を5文字等の固定文字数の一文内単語としてもよい。検索のキーワードを含む一文内単語の前に位置する一文内単語を短く(且つ、固定文字数)することで、検索のキーワードを含む一文内単語の位置が、学習者にとって見やすい画面を提供することが可能となる。
また、検索のキーワードを含む一文内単語である「メソポタミア文明です」の前の一文内単語である「最初に興った文明が」と、後の一文内単語である「ここは重要です」とが、検索のキーワードを含む一文内単語である「メソポタミア文明です」よりも短くなるように省略して表示するようにすることが好適である。前の一文内単語であれば、前の文字を省略し、後ろの一文内単語であれば後ろの文字を省略(例えば、『13.58 文明が メソポタミア文明です ここは重要』)するのが好適である。このように構成することによって、検索のキーワードを含む一文内単語の位置が、学習者にとって見やすい画面を提供することが可能となる。
また、検索のキーワードを含む一文内単語である「メソポタミア文明です」の検索のキーワード、または、検索のキーワードを含む一文内単語である「メソポタミア文明です」自体を太字、斜体の文字、アンダーラインを用いた文字やハイライト表示等によって強調することも好適である。このようにすることで、検索のキーワードを含む一文内単語を強調して表示することができるため、学習者にとって検索の結果が分かりやすい画面を提供することが可能となる。
次に、ステップ534-Sで、検索実行手段V140は、生成した音声付き教材データ(映像)の画面を、ネットワーク820を介して通信端末T110へ送信する。
(システムフロー/検索実行手段/通信端末T110の処理3G)
次に、通信端末T110の処理を実行する。まず、ステップ536-Sで、通信端末T110は、ステップ326-Sで送信された教材データ(映像)の画面を受信する。次に、ステップ538-Sで、通信端末T110は、当該受信した音声付き教材データ(映像)の画面を表示装置に表示する。例えば、図10(a)のような画面を表示装置に表示する。次に、ステップ540-Sで、学習者が図10(a)に示す三角の再生ボタンを選択する再生操作に基づき、通信端末T110は、音声付き教材データ(映像)を再生して表示装置に表示する。例えば、教材IDがVD_KSBK1の場合であって、「メソポタミア」が含まれる再生開始ポイントと、1番目の一文内単語である「メソポタミア文明です」と、前の一文内単語である「最初に興った文明が」と、後の一文内単語である「ここは重要です」との情報である『13.58 文明が メソポタミア文明です ここは重要です』を表示している場合に再生ボタンが選択された場合、前の一文内単語である「最初に興った文明が」からは再生されず、図10(a)の講師の吹き出しで示すように「メソポタミア」が含まれる再生開始ポイントが1番目の一文内単語である「メソポタミア文明です」から再生されるようになっている。
学習者の再生操作に基づき、音声付き教材データ(映像)を再生して表示する場合、音声付き教材データの音声を音声抽出手段V150-2及びテキスト化手段V150-3で生成した変換一文(例えば、「最初に興った文明が メソポタミア文明です ここは重要です」)を、通信端末T110の表示装置の画面の所定位置にテロップで表示するようにしてもよい。このように音声付き教材データの音声をテキスト化した変換一文のテロップを表示する場合であって、図10(b)に示すような板書Aがある場合は、図10(b)に示すように板書Aに重複しない位置にテロップを表示するのが好適である。このように構成することで、音声が聞き取りにくい環境であっても、音声付き教材データの音声をテキスト化したテロップを確認して学習することができる。また、このテロップをテキストデータとして出力するボタン(図10(b)に示す「テロップ出力」ボタン)を設け、学習者の選択操作によってテキストデータを出力することができるようにしてもよい。学習者は、ポイントとなる個所のテキストデータを纏めることによって、自分のあった内容の資料を作成することができる。なお、テロップの文字の大きさは、通信端末T110の画面の下側に表示される文字列データの文字の大きさよりも文字サイズの大きい文字を使用して表示することが好適である。また、テロップの文字の大きさを通信端末T110の画面内に表示される文字の中で最大の文字の大きさとしてもよい。
また、図10(a)に示すように音声付き教材データ(映像)に板書Aがある場合、板書Aの内容をテキスト化して板書文字を生成して、通信端末T110の表示装置の画面の所定位置(板書Aに重複しない位置)に板書Bを表示するようにしてもよい。このように構成することで、映像の解像度が低くなってしまう環境で板書Aに書かれた文字が見にくいような場合であっても、テキスト化された板書Bを確認して学習することができる。なお、板書Bの文字の大きさは、板書Aの文字の大きさよりも文字サイズの大きい文字を使用して表示することが好適である。また、この板書Bをテキストデータとして出力するボタン(図10(b)に示す「板書出力」ボタン)を設け、学習者の選択操作によってテキストデータを出力することができるようにしてもよい。学習者は、ポイントとなる個所の板書のテキストデータを纏めることによって、自分のあった内容の資料を作成することができる。
また、図10(a)に示すように音声付き教材データ(映像)に板書Aがある場合であって、板書Aの前に講師が存在する場合、講師の映像を消去する画像処理を実行して図10(b)のように板書全体が確認できるようにしてもよい。この画像処理では、単に講師を消去するだけではなく、講師の背後に書かれている板書の文字を他の時間の動画データに表示されている板書の文字を基に補完する画像処理を行うのが好適である。このように構成することで、板書全体の内容を常時確認できるため、効率よく学習することができる。また、板書(板書A、板書B)の内容を検索できるようにしてもよい。教材データ中の講師の板書の内容をキーワード検索して学習することにより、効率よく学習することができる。
学習者の再生操作に基づき、音声付き教材データ(映像)を再生して表示する場合、音声付き教材データの講師のセリフの音声を音声抽出手段V150-2及びテキスト化手段V150-3で生成した全ての変換一文(例えば、「古代オリエントで 最初に興った文明が メソポタミア文明です ここは重要です ここでメソポタミアはギリシア語で川の間の地域という意味です ・・・」)を、図11(a)に示すように通信端末T110の表示装置の画面の所定位置に、表示可能な文字数を限度に表示する全文表示を行う全文表示手段をサーバV100に設けてもよい。
全文表示手段は、図11(a)、図11(b)に示すように、破線で示す赤色の枠(赤枠という)で、全ての変換一文のうちの所定数の変換一文(一の変換一文または複数の変換一文であり図11(a)、図11(b)では3つの変換一文としている)を囲むように構成している。図11(a)に示すように、音声付き教材データ(映像)を最初から再生して表示する場合、音声付き教材データ(映像)の再生時間が、第一番目の所定数の変換一文の最初の変換一文(「古代オリエントで最初に興った文明がメソポタミア文明です」)の再生開始ポイントと最後の変換一文(「ここでメソポタミアはギリシア語で川の間の地域という意味です」)の再生終了ポイントの間の時間であると全文表示手段が判断した場合、全文表示手段は、赤枠を第一番目の所定数の変換一文を囲むように表示する。
全文表示手段は、音声付き教材データ(映像)の再生時間が、第一番目の所定数の変換一文の最後の変換一文(「平坦で開放的な地形のため セム系や インドヨーロッパ系の遊牧民 山岳丘など 戦争が絶えず 国家の勃興が 激しい地帯でした」)の再生終了ポイントの時間を超えて、第二番目の所定数の変換一文の最初の変換一文(「メソポタミア文明は ティグリス川 ユーフラテス川 流域の メソポタミア地方で できた都市文明です」)の再生開始ポイントとなったと判断した場合、第一番目の所定数の変換一文を上にスクロール移動して表示装置の画面から第一番目の所定数の変換一文を表示しないようにする(一部が見えるように表示してもよい)と共に、第二番目の所定数の変換一文を上にスクロール移動して、赤枠によって第二番目の所定数の変換一文が囲まれるようにする。この際、赤枠を移動しないように構成しているが、所定数の変換一文の長さに応じて赤枠の大きさを変更するように構成している。
そして、全文表示手段は、音声付き教材データ(映像)の再生時間が、第二番目の所定数の変換一文の最後の変換一文(「ここでメソポタミアはギリシア語で川の間の地域という意味です」)の再生終了ポイントの時間を超えて、第三番目の所定数の変換一文の最初の変換一文(「メメソポタミア文明は 粘土の文明といわれていました」)の再生開始ポイントとなったと判断した場合、第二番目の所定数の変換一文を上にスクロール移動して表示装置の画面から第二番目の所定数の変換一文を表示しないようにする(一部が見えるように表示してもよい)と共に、第三番目の所定数の変換一文を上にスクロール移動して、赤枠によって第三番目の所定数の変換一文が囲まれるようにする。なお、全文表示手段は、赤枠を移動しないよう構成しているが、図11(b)に示すように、赤枠を移動するように構成してもよい。
このように、通信端末T110の表示装置の画面で、音声付き教材データ(映像)を再生し続けると、音声付き教材データ(映像)で再生中の講師のセリフの音声に連動した(対応した)所定数の変換一文が赤枠内に表示されるように、全文表示が自動に上にスクロールするように構成されている。このように構成することで、音声が聞き取りにくい環境であっても、音声付き教材データの音声をテキスト化した全ての変換一文を確認して学習することができる。なお、所定数の変換一文が一の変換一文の場合は、最初の変換一文の再生開始ポイントと、最後の変換一文の再生終了ポイントを一の変換一文の再生開始ポイントと再生終了ポイントを対象とする。
ここで、全文表示で表示できない所定数の変換一文の文字は、学習者がマウスやタッチパネルを用いて全文表示を下にスクロールすることによって、表示装置の画面に表示されるように構成されており、学習者の操作によって全文表示を下にスクロールしていくと、図11(a)と図11(b)とで示すように、全文表示手段は、赤枠を移動することによって、赤枠内に表示される変換一文の文字を変更する。学習者がマウスやタッチパネルを用いて全文表示を下にスクロールすることによって、音声付き教材データ(映像)の再生開始ポイントが変更されるように構成されており、全文表示手段は、音声付き教材データ(映像)の変更された再生開始ポイントが、どこの位置にある所定数の変換一文の再生開始ポイントと再生終了ポイントの間に含まれるかを判断し、判断結果の再生開始ポイントと再生終了ポイントが示す所定数の変換一文を囲むように赤枠を移動して表示する。
また、学習者の操作によって全文表示を下にスクロールしていくことによって赤枠内に表示される変換一文の文字に連動(詳細には、赤枠内に表示される変換一文が示す再生開始ポイントに対応)して、通信端末T110の表示装置の画面の上側の位置表示される音声付き教材データの映像の内容を全文表示手段が変更する(図11(a)、図11(b)では、講師の位置が変更されている)ように構成されている。
なお、複数のテキスト化手段V150-3を用いて音声付き教材データの音声をテキスト化してもよい。このように構成する場合、1つ目の第一テキスト化手段V150-3でテキスト化された第一の変換一文(一文内単語でも可)と、2つ目の第二テキスト化手段V150-3でテキスト化された第二の変換一文(一文内単語でも可)とが異なる場合がある。例えば、第一テキスト化手段V150-3で「古代オリエント」とテキスト化し、第二テキスト化手段V150-3で「小台オリエント」とテキスト化して、第一テキスト化手段V150-3でテキスト化した「古代オリエント」を表示する場合、異なる変換一文(一文内単語でも可)である「古代オリエント」を、「(古代オリエント)で 最初に・・・」とのようにカッコで囲うようにして、テキスト化された内容に間違いがある可能性を表示しておくことが好ましい。このように、テキスト化手段V150-3で生成した変換一文に変換の間違いがある可能性があるため、通信端末T110の表示装置の画面(例えば、右下の位置)に、『自動文字起こし文』という表示をしておくことが好適である。
本実施形態に係る教育システム(1)は、
再生可能な音声付き教材データA(例えば、中学社会歴史1の教材動画データ)と、
前記音声付き教材データAの科目を示す科目データA(例えば、教材分類1~4の情報)と、
前記音声付き教材データAから抽出された音声データが所定の変換手段(例えば、音声抽出手段、テキスト化手段)によって変換された文字列データA(例えば、教材IDがVD_CSR1の変換一文としての「まずメソポタミア文明は四大文明の一つです」)と、
再生可能な音声付き教材データB(例えば、高校世界史B古代1の教材動画データ)と、
前記音声付き教材データBの科目を示す科目データB(例えば、教材分類1~4の情報)と、
前記音声付き教材データBから抽出された音声データが所定の変換手段(例えば、音声抽出手段、テキスト化手段)によって変換された文字列データB(例えば、教材IDがVD_KSBK1の変換一文としての「古代オリエントで最初に興った文明がメソポタミア文明です」)と、
にアクセス可能であって、前記科目データAと前記科目データBとに基づき前記音声付き教材データAと前記音声付き教材データBとを異なる科目の教材として提供可能な教育システムであって、
検索クエリの入力(例えば、検索のキーワードの入力としての「メソポタミア」)を受け付けて前記文字列データA及び前記文字列データBの双方に対して検索を実行可能であり、
前記検索クエリ(例えば、「メソポタミア」)が前記文字列データA(例えば、「まずメソポタミア文明は四大文明の一つです」)に含まれ且つ前記検索クエリが前記文字列データB(例えば、「古代オリエントで最初に興った文明がメソポタミア文明です」)にも含まれると判断した場合、前記音声付き教材データAへアクセスするための検索結果データA(例えば、教材IDとしてのVD_CSR1、教材分類1~4、教材名、教材動画データ、映像長さ、変換一文、サムネイル表示)と前記音声付き教材データBへアクセスするための検索結果データB(例えば、教材IDとしてのVD_KSBK1、教材分類1~4、教材名、教材動画データ、映像長さ、変換一文、サムネイル表示)とを一連の検索結果として出力する、ことを特徴とする教育システムである。
本実施形態に係る教育システム(2)は、
前記文字列データA(例えば、「まずメソポタミア文明は四大文明の一つです」)は複数の発話文データ(例えば、一文内単語としての「まず」、「メソポタミア文明は」、「四大文明の一つです」)から成り、前記検索クエリ(例えば、「メソポタミア」)が前記文字列データAにおける或る発話文データに含まれると判断した場合、当該或る発話文データに対応する音声データが前記音声付き教材データAのうち何れの再生ポイントに付されているかを特定可能なデータ(例えば、教材IDとしてのVD_CSR1に対応した再生開始ポイント)を前記検索結果データAとあわせて出力し、
前記文字列データB(例えば、「古代オリエントで最初に興った文明がメソポタミア文明です」)は複数の発話文データ(例えば、一文内単語としての「古代オリエントで」、「最初に興った文明が」、「メソポタミア文明です」)から成り、前記検索クエリ(例えば、「メソポタミア」)が前記文字列データBにおける或る発話文データに含まれると判断した場合、当該或る発話文データに対応する音声データが前記音声付き教材データBのうち何れの再生ポイントに付されているかを特定可能なデータ(例えば、教材IDとしてのVD_KSBK1に対応した再生開始ポイント)を前記検索結果データBとあわせて出力する、本実施形態に係る教育システム(1)記載の教育システムである。
本実施形態に係る教育システム(3)は、
前記文字列データA(例えば、「まずメソポタミア文明は四大文明の一つです」)は複数の発話文データ(例えば、一文内単語としての「まず」、「メソポタミア文明は」、「四大文明の一つです」)から成り、前記検索クエリ(例えば、「メソポタミア」)が前記文字列データAにおける或る発話文データに含まれると判断した場合、当該或る発話文データの前の発話文データ(例えば、一文内単語としての「まず」)と当該或る発話文データの後の発話文データ(例えば、一文内単語としての「四大文明の一つです」)の少なくとも一方を当該或る発話文データ(例えば、一文内単語としての「メソポタミア文明は」)に付加して前記検索結果データAとあわせて出力し、
前記文字列データB(例えば、「古代オリエントで最初に興った文明がメソポタミア文明です」)は複数の発話文データ(例えば、一文内単語としての「古代オリエントで」、「最初に興った文明が」、「メソポタミア文明です」)から成り、前記検索クエリ(例えば、「メソポタミア」)が前記文字列データBにおける或る発話文データに含まれると判断した場合、当該或る発話文データの前の発話文データ(例えば、一文内単語としての「古代オリエントで」)と当該或る発話文データの後の発話文データ(例えば、一文内単語としての「メソポタミア文明です」)の少なくとも一方を当該或る発話文データ(例えば、一文内単語としての「最初に興った文明が」)に付加して前記検索結果データBとあわせて出力する、本実施形態に係る教育システム(1)記載の教育システムである。
従来のように映像を用いて章だてで学習した後に、異なる科目の教材からキーワードを用いた検索を実行して章だてで学習した内容と関連する内容を学習することによって、より理解度を深めることが可能となる。つまり、体系立てて学習(縦軸に沿った学習)した内容を更に串刺しして学習(横軸に沿った学習)することができるので、頭の中で関連が構築され、理解が深まり、記憶の引き出しを増やすことができる。
(本実施の形態の詳細)
上述したように、本発明は、本実施の形態によって記載したが、この開示の一部をなす記載及び図面はこの発明を限定するものであると理解すべきでない。このように、本発明は、ここでは記載していない様々な実施の形態等を含むことはもちろんである。
10 試験システム
20 教育システム
T110 通信端末
V100 サーバ
820 ネットワーク
V110 ユーザ情報登録手段
V120 ユーザログイン手段
V130 試験実行手段
V140 検索実行手段
V150 データ管理手段
V130-1 不正監視手段
V150-1 フォーマット変換手段
V150-2 音声抽出手段
V150-3 テキスト化手段
V150-4 データ成型手段
V150-5 インデックス化手段
V150-6 試験教材用データベース
V150-7 ユーザ認証用データベース
V150-8 学習教材用データベース
V150-9 検索用データベース

Claims (3)

  1. 再生可能な音声付き教材データAと、
    前記音声付き教材データAの科目を示す科目データAと、
    前記音声付き教材データAから抽出された音声データが所定の変換手段によって変換された文字列データAと、
    再生可能な音声付き教材データBと、
    前記音声付き教材データBの科目を示す科目データBと、
    前記音声付き教材データBから抽出された音声データが所定の変換手段によって変換された文字列データBと、
    にアクセス可能であって、前記科目データAと前記科目データBとに基づき前記音声付き教材データAと前記音声付き教材データBとを異なる科目の教材として提供可能な教育システムであって、
    検索クエリの入力を受け付けて前記文字列データA及び前記文字列データBの双方に対して検索を実行可能であり、
    前記検索クエリが前記文字列データAに含まれ且つ前記検索クエリが前記文字列データBにも含まれると判断した場合、前記音声付き教材データAへアクセスするための検索結果データAと前記音声付き教材データBへアクセスするための検索結果データBとを一連の検索結果として出力することが可能な教育システムであって、
    教育システムが、講義を通した複数の連続した前記文字列データA又は複数の連続した前記文字列データBをスクロール表示することが可能であり、
    教育システムが、前記文字列データAに対応する音声付き教材データA又は前記文字列データBに対応する前記音声付き教材データBを再生し、
    教育システムが、前記文字列データAに対応する音声付き教材データA又は前記文字列データBに対応する前記音声付き教材データBの映像に板書の映像があり、前記板書の映像の前に講師の映像が存在する場合、前記講師の映像を消去する画像処理を実行し、さらに前記講師の映像の背後における前記板書の映像の文字を、他の時間の映像のデータに表示されている前記板書の映像の文字に基づき補完する画像処理を行う
    ことを特徴とする教育システム。
  2. 前記文字列データAは複数の発話文データから成り、前記検索クエリが前記文字列データAにおける或る発話文データに含まれると判断した場合、当該或る発話文データに対応する音声データが前記音声付き教材データAのうち何れの再生ポイントに付されているかを特定可能なデータを前記検索結果データAとあわせて出力し、
    前記文字列データBは複数の発話文データから成り、前記検索クエリが前記文字列データBにおける或る発話文データに含まれると判断した場合、当該或る発話文データに対応する音声データが前記音声付き教材データBのうち何れの再生ポイントに付されているかを特定可能なデータを前記検索結果データBとあわせて出力する、請求項1記載の教育システム。
  3. 前記文字列データAは複数の発話文データから成り、前記検索クエリが前記文字列データAにおける或る発話文データに含まれると判断した場合、当該或る発話文データの前の発話文データと当該或る発話文データの後の発話文データの少なくとも一方を当該或る発話文データに付加して前記検索結果データAとあわせて出力し、
    前記文字列データBは複数の発話文データから成り、前記検索クエリが前記文字列データBにおける或る発話文データに含まれると判断した場合、当該或る発話文データの前の発話文データと当該或る発話文データの後の発話文データの少なくとも一方を当該或る発話文データに付加して前記検索結果データBとあわせて出力する、請求項1記載の教育システム。
JP2019219399A 2019-12-04 2019-12-04 教育システム Active JP7428321B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019219399A JP7428321B2 (ja) 2019-12-04 2019-12-04 教育システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019219399A JP7428321B2 (ja) 2019-12-04 2019-12-04 教育システム

Publications (2)

Publication Number Publication Date
JP2021089364A JP2021089364A (ja) 2021-06-10
JP7428321B2 true JP7428321B2 (ja) 2024-02-06

Family

ID=76220143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019219399A Active JP7428321B2 (ja) 2019-12-04 2019-12-04 教育システム

Country Status (1)

Country Link
JP (1) JP7428321B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194251A (ja) 1998-12-28 2000-07-14 Uchida Yoko Co Ltd 学習支援システムおよび記録媒体
JP2002132127A (ja) 2000-10-24 2002-05-09 Tierra Com:Kk 教育支援システム
JP2006003642A (ja) 2004-06-17 2006-01-05 Suuken Shuppan Kk 教材作成装置及び教材作成プログラム記録媒体
JP2006208784A (ja) 2005-01-28 2006-08-10 Canon Inc 教育システム、装置制御方法
US20090067812A1 (en) 2007-09-06 2009-03-12 Ktf Technologies, Inc. Methods of playing/recording moving picture using caption search and image processing apparatuses employing the method
JP2019066785A (ja) 2017-10-05 2019-04-25 株式会社リクルートホールディングス 情報処理装置、画面出力方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194251A (ja) 1998-12-28 2000-07-14 Uchida Yoko Co Ltd 学習支援システムおよび記録媒体
JP2002132127A (ja) 2000-10-24 2002-05-09 Tierra Com:Kk 教育支援システム
JP2006003642A (ja) 2004-06-17 2006-01-05 Suuken Shuppan Kk 教材作成装置及び教材作成プログラム記録媒体
JP2006208784A (ja) 2005-01-28 2006-08-10 Canon Inc 教育システム、装置制御方法
US20090067812A1 (en) 2007-09-06 2009-03-12 Ktf Technologies, Inc. Methods of playing/recording moving picture using caption search and image processing apparatuses employing the method
JP2019066785A (ja) 2017-10-05 2019-04-25 株式会社リクルートホールディングス 情報処理装置、画面出力方法及びプログラム

Also Published As

Publication number Publication date
JP2021089364A (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
US9378650B2 (en) System and method for providing scalable educational content
US10546508B2 (en) System and method for automated literacy assessment
US20170287356A1 (en) Teaching systems and methods
Fanelle et al. Blind and human: Exploring more usable audio {CAPTCHA} designs
US20090239201A1 (en) Phonetic pronunciation training device, phonetic pronunciation training method and phonetic pronunciation training program
CN109766412A (zh) 一种基于图像识别的学习内容获取方法及电子设备
Peters et al. The VocabLab tests: The development of an English and French vocabulary test
Süzgün et al. Hospisign: an interactive sign language platform for hearing impaired
US20120323556A1 (en) System and method for using pinyin and a dynamic memory state for modifying a hanyu vocabulary test
Langarika-Rocafort et al. A systematic review of research on augmentative and alternative communication interventions for children aged 6–10 in the last decade
JP4815218B2 (ja) 動画データ抽出システムおよびコンピュータプログラム
Thompson et al. Evaluation of Knowla: An online assessment and learning tool
JP7428321B2 (ja) 教育システム
JP7381014B2 (ja) 試験システム
KR102446135B1 (ko) 온라인 네트워크 기반의 시험 감독 플랫폼 시스템
KR101344655B1 (ko) 훈련일지를 이용한 소리영어 학습방법
JP6930754B2 (ja) 学習支援装置及び出題方法
JP7392259B2 (ja) 学習支援装置、学習支援方法およびプログラム
JP2005331650A (ja) 学習システム、情報処理装置、情報処理方法およびプログラム
Chang et al. Visual behavior patterns of successful decision makers in crime scene photo investigation: An eye tracking analysis
KR20100135538A (ko) 단어 암기 서비스 제공 방법과 그를 위한 서버 및 컴퓨터로 읽을 수 있는 기록매체
Pradeep et al. Web app for quick evaluation of subjective answers using natural language processing
Isa et al. Quran Mobile Application: A Structured Review
JP2007200248A (ja) 方法説明抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
KR102260115B1 (ko) 발음 향상을 위한 학습 자료를 제공하는 언어 학습 방법

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20191226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240116

R150 Certificate of patent or registration of utility model

Ref document number: 7428321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150