JP2024060646A - Online class support system, online class support program, and online class support method - Google Patents

Online class support system, online class support program, and online class support method Download PDF

Info

Publication number
JP2024060646A
JP2024060646A JP2022168030A JP2022168030A JP2024060646A JP 2024060646 A JP2024060646 A JP 2024060646A JP 2022168030 A JP2022168030 A JP 2022168030A JP 2022168030 A JP2022168030 A JP 2022168030A JP 2024060646 A JP2024060646 A JP 2024060646A
Authority
JP
Japan
Prior art keywords
writing
image
terminal
sequence data
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022168030A
Other languages
Japanese (ja)
Inventor
ジョシュエル ナルシーザ ラノーラ
ミッシェル タンドゥゴン タン
寛 松下
Original Assignee
株式会社Evo
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Evo filed Critical 株式会社Evo
Priority to JP2022168030A priority Critical patent/JP2024060646A/en
Publication of JP2024060646A publication Critical patent/JP2024060646A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】教師端末と生徒端末との間で双方向性及びリアルタイム性に優れたオンライン授業を行えるオンライン授業支援システム、オンライン授業支援プログラム及びオンライン授業支援方法を提供する。【解決手段】教師端末2・生徒端末3のタッチパネル10上に同一のノート画面をリアルタイムで表示するノート共有機能を有し、自端末のノート画面に書込が開始される度にストロークIDを払い出すストロークID払出部41と、書込継続中、書込情報を取得する書込情報取得部42と、点列データをサーバ4へ送信する点列データ送信部43と、他端末の点列データをサーバ4から取得する点列データ取得部44と、他端末の書込を自端末のタッチパネル10上にリアルタイムで再現する書込再現部45とを有する。【選択図】 図2[Problem] To provide an online class support system, online class support program, and online class support method that enable online classes with excellent interactivity and real-timeness between a teacher terminal and a student terminal. [Solution] The system has a note sharing function that displays the same note screen in real time on the touch panel 10 of the teacher terminal 2 and the student terminal 3, and has a stroke ID issuing unit 41 that issues a stroke ID every time writing is started on the note screen of the own terminal, a writing information acquiring unit 42 that acquires writing information while writing continues, a point sequence data sending unit 43 that sends point sequence data to a server 4, a point sequence data acquiring unit 44 that acquires point sequence data of other terminals from the server 4, and a writing reproduction unit 45 that reproduces writings of other terminals on the touch panel 10 of the own terminal in real time. [Selected Figure] Figure 2

Description

新規性喪失の例外適用申請有り Application for exception to loss of novelty has been filed

本発明は、双方向性およびリアルタイム性に優れたオンライン授業を行うことができるオンライン授業支援システム、オンライン授業支援プログラムおよびオンライン授業支援方法に関するものである。 The present invention relates to an online class support system, an online class support program, and an online class support method that can provide online classes with excellent interactivity and real-time performance.

近年、学校や学習塾等においては、ウェブ会議システムを利用したオンライン授業を行う機会が増えている。このオンライン授業を行うシステムとして、例えば、特開2022-109025号公報には、教師の顔を所定の角度から撮影した第1映像データと、第1映像データとは異なる角度で教師の顔を撮影した第2映像データとを取得するとともに、教師が注目する生徒に関する生徒情報を取得し、当該生徒情報に基づいて、生徒側端末の表示画面に第1映像データ又は第2映像データを表示させるオンライン授業システムが提案されている(特許文献1)。 In recent years, there have been an increasing number of opportunities for schools, cram schools, etc. to conduct online classes using web conferencing systems. For example, JP 2022-109025 A proposes an online class system for conducting such online classes, which acquires first video data in which a teacher's face is photographed from a predetermined angle and second video data in which the teacher's face is photographed from an angle different from that of the first video data, acquires student information on a student that the teacher focuses on, and displays the first video data or the second video data on the display screen of the student's terminal based on the student information (Patent Document 1).

特開2022-109025号公報JP 2022-109025 A

しかしながら、特許文献1に記載された発明では、生徒の表示画面には、教師の顔を撮影した映像を表示し、教師の表示画面には、生徒の顔を撮影した映像を表示させるに過ぎない。このため、対面での授業に比べて、教師は生徒の手元を確認することができず、授業を理解しているのか、授業に集中しているのかなど、生徒の状況を把握するのが難しいという問題がある。一方、教師は黒板等に板書せず、テキストや問題を表示画面に表示させるだけであるため、生徒は授業を理解し難いという問題がある。 However, in the invention described in Patent Document 1, the students' display screens only display images of the teacher's face, and the teacher's display screen only displays images of the students' faces. This means that, compared to face-to-face classes, the teacher cannot see what the students are doing, making it difficult for him to grasp the students' situations, such as whether they are understanding the lesson or concentrating on it. On the other hand, because the teacher does not write on the blackboard or other surface but only displays texts and questions on the display screen, it is difficult for the students to understand the lesson.

本発明は、このような問題点を解決するためになされたものであって、他端末におけるノート画面への書き込みを自端末のノート画面上にリアルタイムで再現し、教師端末と生徒端末との間で双方向性およびリアルタイム性に優れたオンライン授業を行うことができるオンライン授業支援システム、オンライン授業支援プログラムおよびオンライン授業支援方法を提供することを目的としている。 The present invention has been made to solve these problems, and aims to provide an online class support system, an online class support program, and an online class support method that can reproduce writings on a notebook screen of another terminal on the notebook screen of one's own terminal in real time, and conduct online classes with excellent interactivity and real-time performance between a teacher terminal and a student terminal.

本発明に係るオンライン授業支援システムは、他端末におけるノート画面への書き込みを自端末のノート画面上にリアルタイムで再現し、教師端末と生徒端末との間で双方向性およびリアルタイム性に優れたオンライン授業を行うという課題を解決するために、サーバを介して教師端末と生徒端末との間で行われるオンライン授業を支援するオンライン授業支援システムであって、前記教師端末および前記生徒端末の双方におけるタッチパネル上に同一のノート画面をリアルタイムで表示するノート共有機能を有しており、前記教師端末および前記生徒端末のそれぞれは、自端末の前記ノート画面に書き込みが開始されるたびに、前記書き込みを識別するストロークIDを払い出すストロークID払出部と、前記書き込みが継続している間、前記書き込みに係る書込位置と書込時刻とを含む書込情報を所定の時間間隔で取得する書込情報取得部と、前記ストロークIDと前記書込情報とからなる点列データを所定の時間間隔で前記サーバへ送信する点列データ送信部と、他端末から送信された前記点列データを所定の時間間隔で前記サーバから取得する点列データ取得部と、前記点列データ取得部が前記点列データを取得するたびに、前記ストロークIDが同一の前記書込情報に基づいて、他端末における前記書き込みを自端末の前記タッチパネル上にリアルタイムで再現する書込再現部と、を有する。 The online class support system of the present invention reproduces writings on a notebook screen of another terminal on the notebook screen of its own terminal in real time, and supports online classes conducted between a teacher terminal and a student terminal via a server in order to solve the problem of conducting online classes with excellent interactivity and real-time performance between a teacher terminal and a student terminal. The online class support system has a note sharing function that displays the same notebook screen in real time on the touch panels of both the teacher terminal and the student terminal, and each time writing is started on the notebook screen of its own terminal, each time writing is started on the notebook screen of its own terminal, the teacher terminal and the student terminal each identify the writing. a stroke ID issuing unit that issues a stroke ID corresponding to the stroke ID; a writing information acquiring unit that acquires writing information including a writing position and writing time related to the writing at a predetermined time interval while the writing continues; a point sequence data sending unit that sends point sequence data consisting of the stroke ID and the writing information to the server at a predetermined time interval; a point sequence data acquiring unit that acquires the point sequence data transmitted from the other terminal from the server at a predetermined time interval; and a writing reproduction unit that reproduces the writing on the other terminal on the touch panel of the own terminal in real time based on the writing information having the same stroke ID each time the point sequence data acquiring unit acquires the point sequence data.

また、本発明の一態様として、過去に書き込みが行われたノート画面を表示する際の通信量を低減するという課題を解決するために、前記サーバは、前記教師端末または前記生徒端末から、過去に書き込みが行われた前記ノート画面の表示が要求されると、前記ノート画面に書き込まれた全ての書き込みに係る前記点列データを取得し、各点列データに含まれる書込位置を示す時系列の座標のうち、二番目以降の座標群を一つ前の座標に対する相対座標に変換するとともに、前記相対座標のそれぞれを一つの文字または記号に変換する点列データ圧縮部を有していてもよい。 In addition, as one aspect of the present invention, in order to solve the problem of reducing the amount of communication when displaying a note screen on which previously written notes have been made, the server, when a request to display the note screen on which previously written notes has been made is received from the teacher terminal or the student terminal, acquires the point sequence data relating to all notes written on the note screen, and converts the second and subsequent coordinate groups of the time-series coordinates indicating the writing positions contained in each point sequence data into relative coordinates with respect to the previous coordinates, and may have a point sequence data compression unit that converts each of the relative coordinates into a single character or symbol.

さらに、本発明の一態様として、サーバによって圧縮された点列データを正確に復号化するという課題を解決するために、前記教師端末および前記生徒端末のそれぞれは、前記点列データ圧縮部によって圧縮された点列データを取得すると、前記文字または記号のそれぞれを相対座標に変換するとともに、前記書込位置を示す一番目の座標に基づいて、二番目以降の相対座標を順次、前記書込位置を示す時系列の座標に復号化する点列データ復号部を有していてもよい。 Furthermore, as one aspect of the present invention, in order to solve the problem of accurately decoding the point sequence data compressed by the server, each of the teacher terminal and the student terminal may have a point sequence data decoding unit that, upon acquiring the point sequence data compressed by the point sequence data compression unit, converts each of the characters or symbols into relative coordinates, and sequentially decodes the second and subsequent relative coordinates into time-series coordinates indicating the writing position based on the first coordinate indicating the writing position.

また、本発明の一態様として、教師端末において複数の生徒端末におけるノート画面をリアルタイムで一覧表示する際の通信量を低減するとともに、画質の低下を抑制するという課題を解決するために、前記教師端末のタッチパネル上に、複数の前記生徒端末におけるノート画面をリアルタイムで一覧表示するモニタリング機能を有しており、前記生徒端末は、背景画像を保有する背景レイヤと、生徒の書き込みを記録する生徒レイヤとを合成して前記ノート画面を表示する表示制御部と、所定の時間間隔で前記生徒レイヤに書き込まれた全ての書き込みを書込画像として記憶する書込画像記憶部と、所定の時間間隔で前記生徒レイヤへの全ての書き込みを取得し、前記書込画像と比較して新たに書き込まれた部分を差分画像として作成する差分画像作成部と、前記背景画像と前記書込画像と前記差分画像とを合成して圧縮した低画質合成画像のデータサイズと、前記差分画像のデータサイズを算出するデータサイズ算出部と、最初に前記背景画像および前記書込画像をサーバへ送信した後、所定の時間間隔で前記低画質合成画像または前記差分画像のうち、データサイズが小さい方を前記サーバへ送信する画像送信部と、前記画像送信部が、前記差分画像を送信した後に前記低画質合成画像を送信する場合、前記書込画像と前記差分画像とを合成した高画質合成画像を記憶する高画質合成画像記憶部と、を有しており、前記画像送信部は、前記低画質合成画像を送信した後に前記差分画像を送信する場合、前記高画質合成画像と比較して新たに書き込まれた部分を前記差分画像として送信するとともに、前記教師端末は、最初に前記生徒端末のそれぞれから送信された前記背景画像および前記書込画像を前記サーバから取得した後、所定の時間間隔で前記生徒端末ごとの前記低画質合成画像または前記差分画像を取得する生徒画像取得部と、前記サーバから前記低画質合成画像を受信した場合、前記低画質合成画像を復号化してノート画面として表示するとともに、前記サーバから前記差分画像を受信した場合、前記差分画像を前記背景画像および前記書込画像と合成してノート画面として表示する生徒画像表示部と、を有しており、前記サーバから前記差分画像を受信した場合、前記書込画像と前記差分画像とを合成した画像を新たな書込画像として記憶してもよい。 In addition, as one aspect of the present invention, in order to solve the problem of reducing the amount of communication when a teacher terminal displays a list of note screens on multiple student terminals in real time and suppressing deterioration in image quality, a monitoring function is provided on the touch panel of the teacher terminal to display a list of note screens on multiple student terminals in real time, and the student terminal has a display control unit that displays the note screen by combining a background layer having a background image with a student layer that records writings by students, a writing image storage unit that stores all writings written in the student layer at predetermined time intervals as writing images, a difference image creation unit that acquires all writings in the student layer at predetermined time intervals and compares the newly written parts with the writing image to create a difference image, a data size calculation unit that calculates the data size of a low-quality composite image obtained by combining and compressing the background image, the writing image, and the difference image, and a data size calculation unit that calculates the data size of the difference image, and a data size calculation unit that first transmits the background image and the writing image to a server and then, at predetermined time intervals, transfers the smaller data size of the low-quality composite image or the difference image to the front. The image transmitting unit transmits the low-quality composite image to the server, and when the image transmitting unit transmits the low-quality composite image after transmitting the difference image, a high-quality composite image storage unit stores a high-quality composite image obtained by combining the writing image and the difference image. When the image transmitting unit transmits the difference image after transmitting the low-quality composite image, the image transmitting unit transmits the newly written portion as the difference image by comparing it with the high-quality composite image. The teacher terminal has a student image acquiring unit that acquires the low-quality composite image or the difference image for each student terminal at a predetermined time interval after first acquiring the background image and the writing image transmitted from each of the student terminals from the server, and a student image display unit that decodes the low-quality composite image when the low-quality composite image is received from the server and displays it as a notebook screen, and when the difference image is received from the server, combines the difference image with the background image and the writing image and displays it as a notebook screen. When the difference image is received from the server, an image obtained by combining the writing image and the difference image may be stored as a new writing image.

さらに、本発明の一態様として、サーバから教師端末への重複送信を防止し通信量を抑制するという課題を解決するために、前記サーバは、前記生徒端末から受信した前記背景画像のうち、前記教師端末へ一度送信した前記背景画像は前記教師端末へ送信しない重複送信防止部を有していてもよい。 Furthermore, as one aspect of the present invention, in order to solve the problem of preventing duplicate transmissions from the server to the teacher terminal and reducing communication volume, the server may have a duplicate transmission prevention unit that does not transmit to the teacher terminal the background image that has been received from the student terminal and that has already been transmitted to the teacher terminal once.

本発明に係るオンライン授業支援プログラムは、他端末におけるノート画面への書き込みを自端末のノート画面上にリアルタイムで再現し、教師端末と生徒端末との間で双方向性およびリアルタイム性に優れたオンライン授業を行うという課題を解決するために、サーバを介して教師端末と生徒端末との間で行われるオンライン授業を支援するオンライン授業支援プログラムであって、前記教師端末および前記生徒端末の双方におけるタッチパネル上に同一のノート画面をリアルタイムで表示するノート共有機能を有しており、自端末の前記ノート画面に書き込みが開始されるたびに、前記書き込みを識別するストロークIDを払い出すストロークID払出部と、前記書き込みが継続している間、前記書き込みに係る書込位置と書込時刻とを含む書込情報を所定の時間間隔で取得する書込情報取得部と、前記ストロークIDと前記書込情報とからなる点列データを所定の時間間隔で前記サーバへ送信する点列データ送信部と、他端末から送信された前記点列データを所定の時間間隔で前記サーバから取得する点列データ取得部と、前記点列データ取得部が前記点列データを取得するたびに、前記ストロークIDが同一の前記書込情報に基づいて、他端末における前記書き込みを自端末の前記タッチパネル上にリアルタイムで再現する書込再現部と、してコンピュータを機能させる。 The online class support program of the present invention reproduces writings on a notebook screen of another terminal on the notebook screen of the own terminal in real time, and supports online classes conducted between a teacher terminal and a student terminal via a server in order to solve the problem of conducting online classes with excellent interactivity and real time between the teacher terminal and the student terminal. The program has a note sharing function that displays the same notebook screen in real time on the touch panels of both the teacher terminal and the student terminal, and a stroke ID that identifies the writing is issued each time writing is started on the notebook screen of the own terminal. The computer functions as a stroke ID issuing unit, a writing information acquiring unit that acquires writing information including the writing position and writing time related to the writing at a predetermined time interval while the writing continues, a point sequence data sending unit that sends point sequence data consisting of the stroke ID and the writing information to the server at a predetermined time interval, a point sequence data acquiring unit that acquires the point sequence data transmitted from the other terminal from the server at a predetermined time interval, and a writing reproduction unit that reproduces the writing on the other terminal on the touch panel of the own terminal in real time based on the writing information having the same stroke ID each time the point sequence data acquiring unit acquires the point sequence data.

本発明に係るオンライン授業支援方法は、他端末におけるノート画面への書き込みを自端末のノート画面上にリアルタイムで再現し、教師端末と生徒端末との間で双方向性およびリアルタイム性に優れたオンライン授業を行うという課題を解決するために、サーバを介して教師端末と生徒端末との間で行われるオンライン授業を支援するオンライン授業支援方法であって、前記教師端末および前記生徒端末の双方におけるタッチパネル上に同一のノート画面をリアルタイムで表示するノート共有機能を有しており、自端末の前記ノート画面に書き込みが開始されるたびに、前記書き込みを識別するストロークIDを払い出すストロークID払出ステップと、前記書き込みが継続している間、前記書き込みに係る書込位置と書込時刻とを含む書込情報を所定の時間間隔で取得する書込情報取得ステップと、前記ストロークIDと前記書込情報とからなる点列データを所定の時間間隔で前記サーバへ送信する点列データ送信ステップと、他端末から送信された前記点列データを所定の時間間隔で前記サーバから取得する点列データ取得ステップと、前記点列データ取得ステップにおいて前記点列データが取得されるたびに、前記ストロークIDが同一の前記書込情報に基づいて、他端末における前記書き込みを自端末の前記タッチパネル上にリアルタイムで再現する書込再現ステップと、を有する。 The online class support method according to the present invention is a method for supporting online classes conducted between a teacher terminal and a student terminal via a server, in order to solve the problem of reproducing writings on a notebook screen of another terminal on the notebook screen of the own terminal in real time and conducting online classes with excellent interactivity and real time between the teacher terminal and the student terminal, and has a note sharing function that displays the same notebook screen in real time on the touch panels of both the teacher terminal and the student terminal, and a stroke ID assignment step that assigns a stroke ID that identifies the writing each time writing is started on the notebook screen of the own terminal. a writing information acquisition step of acquiring writing information including the writing position and writing time related to the writing at a predetermined time interval while the writing continues; a point sequence data transmission step of transmitting point sequence data consisting of the stroke ID and the writing information to the server at a predetermined time interval; a point sequence data acquisition step of acquiring the point sequence data transmitted from the other terminal from the server at a predetermined time interval; and a writing reproduction step of reproducing the writing on the other terminal on the touch panel of the own terminal in real time based on the writing information having the same stroke ID each time the point sequence data is acquired in the point sequence data acquisition step.

本発明によれば、他端末におけるノート画面への書き込みを自端末のノート画面上にリアルタイムで再現し、教師端末と生徒端末との間で双方向性およびリアルタイム性に優れたオンライン授業を行うことができる。 According to the present invention, writings on a notebook screen of another terminal can be reproduced on the notebook screen of one's own terminal in real time, making it possible to conduct online lessons with excellent interactivity and real-time performance between the teacher terminal and the student terminal.

本発明に係るオンライン授業支援システムの一実施形態を示す図である。1 is a diagram showing an embodiment of an online class support system according to the present invention. 本実施形態の教師端末を示すブロック図である。FIG. 2 is a block diagram showing a teacher terminal according to the present embodiment. 本実施形態の生徒端末を示すブロック図である。FIG. 2 is a block diagram showing a student terminal according to the present embodiment. 本実施形態のサーバを示すブロック図である。FIG. 2 is a block diagram showing a server according to the present embodiment. 本実施形態のノート画面を構成するレイヤを示す図である。FIG. 2 is a diagram showing layers constituting the note screen of the present embodiment. 本実施形態の点列データ圧縮部が用いる対応表を示す表である。4 is a table showing a correspondence table used by a point sequence data compression unit of the present embodiment. 本実施形態のノート共有機能の処理を示すフローチャートである。10 is a flowchart showing the process of a note sharing function according to the present embodiment. 本実施形態において、ノート共有機能を実行中の(a)教師端末側のノート画面、および(b)生徒端末側のノート画面の一例を示す図である。1A and 1B are diagrams showing an example of a notebook screen on a teacher's terminal and a notebook screen on a student's terminal, respectively, during execution of a notebook sharing function in the present embodiment. 図7におけるページジャンプ処理を示すフローチャートである。8 is a flowchart showing a page jump process in FIG. 7 . 本実施形態のモニタリング機能の処理を示すフローチャートである。4 is a flowchart showing a process of a monitoring function of the present embodiment. 本実施形態において、モニタリング機能を実行した教師端末のタッチパネル上に表示された各生徒端末のノート画面の一例を示す図である。FIG. 13 is a diagram showing an example of a notebook screen of each student terminal displayed on a touch panel of a teacher terminal that has executed a monitoring function in the present embodiment. 図10の続きを示すフローチャートである。11 is a flowchart illustrating a continuation of FIG. 10 . 教師端末において合成される前の背景画像A、書込画像Bおよび差分画像Cと、合成後のノート画面(A+B+C)を示す図である。FIG. 13 shows a background image A, a writing image B, and a difference image C before being combined on the teacher terminal, and the notebook screen (A+B+C) after being combined.

以下、本発明に係るオンライン授業支援システム、オンライン授業支援プログラムおよびオンライン授業支援方法の一実施形態について図面を用いて説明する。 Below, an embodiment of the online class support system, online class support program, and online class support method according to the present invention will be described with reference to the drawings.

図1は、本実施形態のオンライン授業支援システム1を示す図であり、教師が使用する教師端末2と、生徒が使用する生徒端末3と、教師端末2と生徒端末3との間でデータの送受信を仲介するサーバ4とが、通信ネットワークを介して相互に通信可能に接続されている。そして、主として、以下に示す2つの機能を実行可能に構成されている。 Figure 1 shows an online class support system 1 of this embodiment, in which a teacher terminal 2 used by a teacher, a student terminal 3 used by a student, and a server 4 that mediates data transmission and reception between the teacher terminal 2 and the student terminal 3 are connected to each other via a communication network so that they can communicate with each other. The system is configured to be able to mainly execute the two functions shown below.

(i)ノート共有機能
教師端末2および生徒端末3の双方におけるタッチパネル10上に同一のノート画面をリアルタイムで表示する機能
(ii)モニタリング機能
教師端末2のタッチパネル10上に、複数の生徒端末3におけるノート画面をリアルタイムで一覧表示する機能
(i) Note sharing function: A function for displaying the same note screen in real time on the touch panel 10 of both the teacher terminal 2 and the student terminal 3. (ii) Monitoring function: A function for displaying a list of note screens of multiple student terminals 3 in real time on the touch panel 10 of the teacher terminal 2.

以下、教師端末2、生徒端末3およびサーバ4のそれぞれについて説明する。なお、図1では、生徒端末3を3台使用する例が図示されているが、この台数に限定されるものではなく、オンライン授業の形態に応じて、個別指導や家庭教師の形態であれば1台としてもよく、学校や学習塾の形態であれば数十台としてもよい。 Below, we will explain each of the teacher terminal 2, student terminal 3, and server 4. Note that while FIG. 1 shows an example in which three student terminals 3 are used, this number is not limited to this. Depending on the type of online class, one terminal may be used if the class is in the form of individual instruction or a private tutor, or several dozen terminals may be used if the class is in the form of a school or cram school.

本実施形態の教師端末2および生徒端末3は、タブレットやノートパソコン等のコンピュータによって構成されており、図2および図3に示すように、タッチパネル10と、通信手段20と、記憶手段30と、演算処理手段40とを有している。一方、サーバ4は、クラウドサーバ4等のコンピュータによって構成されており、図4に示すように、通信手段20と、記憶手段30と、演算処理手段40とを有している。以下、各構成手段について詳細に説明する。なお、教師端末2、生徒端末3およびサーバ4の構成のうち、同一もしくは相当する構成については同一の符号を付し、重複する説明を省略する。 The teacher terminal 2 and student terminal 3 in this embodiment are configured with computers such as tablets or notebook computers, and as shown in Figures 2 and 3, have a touch panel 10, communication means 20, storage means 30, and calculation processing means 40. On the other hand, the server 4 is configured with a computer such as a cloud server 4, and as shown in Figure 4, has communication means 20, storage means 30, and calculation processing means 40. Each component means will be described in detail below. Note that the same or corresponding components of the teacher terminal 2, student terminal 3, and server 4 are given the same reference numerals, and duplicate explanations will be omitted.

タッチパネル10は、表示機能および入力機能を兼ね備えたものである。本実施形態において、タッチパネル10は、教師端末2と生徒端末3との間で共有するノート画面を表示するとともに、タッチパネル10上でタッチ入力された場所の位置情報(座標)を出力する。なお、タッチパネル10へのタッチ入力には、スタイラスペンや指等が用いられる。 The touch panel 10 has both a display function and an input function. In this embodiment, the touch panel 10 displays a note screen shared between the teacher terminal 2 and the student terminal 3, and outputs position information (coordinates) of a location that is touch-input on the touch panel 10. Note that a stylus pen, a finger, or the like is used for touch input on the touch panel 10.

通信手段20は、教師端末2、生徒端末3およびサーバ4に通信機能を実装するものである。本実施形態において、通信手段20は、第4世代(4G)や第5世代(5G)等のキャリアネットワーク規格や、Wi-Fi(登録商標)等の無線LAN規格に対応しており、いずれかの通信ネットワークを介して各種のデータを送受信するようになっている。 The communication means 20 implements communication functions in the teacher terminal 2, the student terminal 3, and the server 4. In this embodiment, the communication means 20 is compatible with carrier network standards such as the fourth generation (4G) and fifth generation (5G) and wireless LAN standards such as Wi-Fi (registered trademark), and is configured to transmit and receive various types of data via any of the communication networks.

記憶手段30は、各種のデータを記憶するとともに、演算処理手段40が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段30は、ハードディスク、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等で構成されている。 The storage means 30 stores various data and functions as a working area when the arithmetic processing means 40 performs arithmetic processing. In this embodiment, the storage means 30 is composed of a hard disk, a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, etc.

そして、教師端末2の記憶手段30は、図2に示すように、プログラム記憶部31と、背景画像記憶部32と、書込画像記憶部33とを有している。また、生徒端末3の記憶手段30は、図3に示すように、プログラム記憶部31と、背景画像記憶部32と、書込画像記憶部33と、高画質合成画像記憶部34とを有している。さらに、サーバ4の記憶手段30は、図4に示すように、プログラム記憶部31と、背景画像記憶部32と、書込画像記憶部33と、点列データ記憶部35と、モニタリング画像記憶部36とを有している。 The storage means 30 of the teacher terminal 2 has a program storage unit 31, a background image storage unit 32, and a writing image storage unit 33, as shown in Figure 2. The storage means 30 of the student terminal 3 has a program storage unit 31, a background image storage unit 32, a writing image storage unit 33, and a high-quality composite image storage unit 34, as shown in Figure 3. The storage means 30 of the server 4 has a program storage unit 31, a background image storage unit 32, a writing image storage unit 33, a point sequence data storage unit 35, and a monitoring image storage unit 36, as shown in Figure 4.

プログラム記憶部31には、本実施形態のオンライン授業支援方法を実行するためのオンライン授業支援プログラム1aがインストールされている。そして、演算処理手段40がオンライン授業支援プログラム1aを実行することにより、教師端末2、生徒端末3およびサーバ4としてのコンピュータを後述する各構成部として機能させるようになっている。 The program storage unit 31 has installed therein an online class support program 1a for executing the online class support method of this embodiment. The calculation processing means 40 executes the online class support program 1a, thereby causing the computers serving as the teacher terminal 2, student terminal 3, and server 4 to function as the respective components described below.

なお、オンライン授業支援プログラム1aの利用形態は、上記構成に限られるものではない。例えば、CD-ROMやDVD-ROM等のように、コンピュータで読み取り可能な非一時的な記録媒体にオンライン授業支援プログラム1aを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ4等からクラウドコンピューティング方式やASP(Application Service Provider)方式でオンライン授業支援プログラム1aを利用してもよい。 The form of use of the online class support program 1a is not limited to the above configuration. For example, the online class support program 1a may be stored in a non-transitory computer-readable recording medium, such as a CD-ROM or DVD-ROM, and may be read and executed directly from the recording medium. The online class support program 1a may also be used from an external server 4, etc., using a cloud computing method or an ASP (Application Service Provider) method.

背景画像記憶部32は、ノート画面の背景を構成する背景画像を記憶するものである。本実施形態において、ノート画面は、図5に示すように、背景画像を保有する背景レイヤと、教師の書き込みを記録する教師レイヤと、生徒の書き込みを記録する生徒レイヤとに分かれた三層構造となっている。このため、教師端末2側の背景画像記憶部32には、生徒端末3のそれぞれに対応付けて背景画像またはその識別IDが記憶されている。なお、背景画像としては、教科書や問題集等の教材画像、ノートのような罫線入り画像、あるいは白紙画像等が含まれる。 The background image storage unit 32 stores background images that form the background of the notebook screen. In this embodiment, the notebook screen has a three-layer structure, as shown in FIG. 5, divided into a background layer that holds the background image, a teacher layer that records the teacher's writings, and a student layer that records the students' writings. For this reason, the background image storage unit 32 on the teacher terminal 2 side stores background images or their identification IDs in association with each of the student terminals 3. Note that background images include images of teaching materials such as textbooks and workbooks, lined images such as notebooks, and blank images.

書込画像記憶部33は、生徒によって書き込まれた書き込みの画像である書込画像を記憶するものである。本実施形態において、生徒端末3側の書込画像記憶部33は、生徒端末3における生徒レイヤに書き込まれた全ての文字、図形等からなる書込画像を記憶するものであり、所定の時間間隔で更新される。一方、教師端末2側の書込画像記憶部33は、サーバ4を介して生徒端末3から取得した書込画像を生徒端末3のそれぞれに対応付けて記憶するものであり、所定の時間間隔で更新される。また、教師端末2側の書込画像記憶部33には、サーバ4から後述する差分画像を受信した場合、当該差分画像と書込画像とを合成した画像が新たな書込画像として記憶される。 The writing image storage unit 33 stores writing images that are images of writings made by students. In this embodiment, the writing image storage unit 33 on the student terminal 3 stores writing images consisting of all characters, figures, etc. written in the student layer on the student terminal 3, and is updated at a predetermined time interval. On the other hand, the writing image storage unit 33 on the teacher terminal 2 stores writing images acquired from the student terminals 3 via the server 4 in association with each of the student terminals 3, and is updated at a predetermined time interval. In addition, when the writing image storage unit 33 on the teacher terminal 2 receives a difference image described below from the server 4, an image obtained by combining the difference image and the writing image is stored as a new writing image.

高画質合成画像記憶部34は、生徒端末3において、書込画像と差分画像とを合成した高画質合成画像を記憶するものである。本実施形態では、モニタリング機能を実行する際、後述するとおり、差分画像作成部52が、所定の時間間隔で生徒レイヤへの書き込みを取得し、書込画像と比較して新たに書き込まれた部分を差分画像として作成する。この差分画像と書込画像とを合成した高画質合成画像は、更新後の書込画像と同一であるが、当該書込画像とは別に高画質合成画像記憶部34に記憶される。 The high-quality composite image storage unit 34 stores a high-quality composite image that is a composite of the written image and the difference image on the student terminal 3. In this embodiment, when executing the monitoring function, as described below, the difference image creation unit 52 acquires writings on the student layer at a predetermined time interval, compares it with the written image, and creates a difference image of the newly written portion. The high-quality composite image that is a composite of this difference image and the written image is the same as the updated written image, but is stored in the high-quality composite image storage unit 34 separately from the written image.

点列データ記憶部35は、サーバ4において、教師端末2または生徒端末3から送信された点列データを記憶するものである。本実施形態において、点列データ記憶部35は、ノート共有機能を実行している間、書き込みが行われている教師端末2または生徒端末3から所定の時間間隔で送信されてくる点列データを順次、記憶する。なお、点列データは、後述するとおり、ストロークIDと書込情報とからなり、他端末における書き込みを自端末で再現するための点列に関するデータである。 The point sequence data storage unit 35 stores point sequence data transmitted from the teacher terminal 2 or student terminal 3 in the server 4. In this embodiment, while the note sharing function is being executed, the point sequence data storage unit 35 sequentially stores point sequence data transmitted at a predetermined time interval from the teacher terminal 2 or student terminal 3 on which writing is being performed. As described below, the point sequence data is made up of a stroke ID and writing information, and is data related to a point sequence for reproducing writing on another terminal on one's own terminal.

また、本実施形態において、点列データ記憶部35には、教師端末2または生徒端末3によって過去に行われた書き込みに係る点列データが記憶されている。具体的には、書き込みを行ったユーザのユーザID、書き込みを行ったノート画面のノートID、当該ノート画面内のページ番号等に対応付けて、各ノート画面に書き込まれた全ての書き込みに係る点列データが記憶されている。 In addition, in this embodiment, the point sequence data storage unit 35 stores point sequence data relating to writings made in the past by the teacher terminal 2 or the student terminal 3. Specifically, the point sequence data relating to all writings made on each note screen is stored in association with the user ID of the user who made the writing, the note ID of the note screen on which the writing was made, the page number within the note screen, etc.

モニタリング画像記憶部36は、サーバ4において、各生徒端末3のノート画面をモニタリングするための画像データを記憶するものである。本実施形態において、モニタリング画像記憶部36は、後述するとおり、所定の時間間隔ごとに生徒端末3から送信されてくる高画質モードでの差分画像、または低画質モードでの低画質合成画像が、各生徒端末3に対応付けて記憶される。 The monitoring image storage unit 36 stores image data for monitoring the notebook screen of each student terminal 3 in the server 4. In this embodiment, as described below, the monitoring image storage unit 36 stores differential images in high-image-quality mode or low-image-quality composite images in low-image-quality mode transmitted from the student terminal 3 at predetermined time intervals in association with each student terminal 3.

つぎに、演算処理手段40は、CPU(Central Processing Unit)等で構成されており、プログラム記憶部31にインストールされたオンライン授業支援プログラム1aを実行することにより、教師端末2、生徒端末3およびサーバ4としてのコンピュータを以下に示す各構成部として機能させる。 Next, the calculation processing means 40 is composed of a CPU (Central Processing Unit) and the like, and by executing the online class support program 1a installed in the program storage unit 31, causes the computer serving as the teacher terminal 2, the student terminal 3, and the server 4 to function as each of the components described below.

具体的には、教師端末2および生徒端末3の演算処理手段40は、図2および図3に示すように、ストロークID払出部41と、書込情報取得部42と、点列データ送信部43と、点列データ取得部44と、書込再現部45と、ページ要求部46と、点列データ復号部47と、表示制御部48として機能する。また、教師端末2の演算処理手段40は、別途、生徒画像取得部49と、生徒画像表示部50として機能するとともに、生徒端末3の演算処理手段40は、別途、画像送信部51と、差分画像作成部52と、データサイズ算出部53として機能する。さらに、サーバ4の演算処理手段40は、点列データ圧縮部54と、重複送信防止部55として機能する。 Specifically, as shown in Figures 2 and 3, the calculation processing means 40 of the teacher terminal 2 and the student terminal 3 function as a stroke ID issuing unit 41, a writing information acquiring unit 42, a point sequence data transmitting unit 43, a point sequence data acquiring unit 44, a writing reproducing unit 45, a page request unit 46, a point sequence data decoding unit 47, and a display control unit 48. The calculation processing means 40 of the teacher terminal 2 also functions as a student image acquiring unit 49 and a student image display unit 50, and the calculation processing means 40 of the student terminal 3 also functions as an image transmitting unit 51, a difference image creating unit 52, and a data size calculating unit 53. The calculation processing means 40 of the server 4 also functions as a point sequence data compressing unit 54 and a duplicate transmission preventing unit 55.

まず、上記構成部のうち、ノート共有機能において実行される、ストロークID払出部41と、書込情報取得部42と、点列データ送信部43と、点列データ取得部44と、書込再現部45と、ページ要求部46と、点列データ圧縮部54と、点列データ復号部47とについてより詳細に説明する。 First, we will provide a more detailed explanation of the stroke ID issuing unit 41, the writing information acquiring unit 42, the point sequence data sending unit 43, the point sequence data acquiring unit 44, the writing reproducing unit 45, the page request unit 46, the point sequence data compressing unit 54, and the point sequence data decoding unit 47, which are executed in the note sharing function among the above components.

ストロークID払出部41は、書き込みを1ストロークごとに識別するストロークIDを払い出すものである。本実施形態において、ストロークID払出部41は、自端末(教師端末2または生徒端末3)のタッチパネル10において、スタイラスペンや指が触れてから移動し離れるまでの一連の書き込み動作を1ストロークとし、ノート画面に書き込みが開始されるたびに、新たなストロークIDを払い出すようになっている。 The stroke ID assignment unit 41 assigns a stroke ID that identifies each stroke of writing. In this embodiment, the stroke ID assignment unit 41 considers a series of writing actions from the touch of a stylus pen or finger to the movement and removal of the stylus pen or finger on the touch panel 10 of the user's own terminal (teacher terminal 2 or student terminal 3) to be one stroke, and assigns a new stroke ID each time writing is started on the notebook screen.

書込情報取得部42は、書き込みに係る書込情報を取得するものである。本実施形態において、書込情報は、書き込みの動きや速度を再現するための情報であり、少なくとも書込位置と書込時刻とを含んでいる。このため、書込情報取得部42は、ノート画面に対する書き込みが継続している間、所定の時間間隔で、タッチパネル10から書込位置(x座標、y座標)を取得するとともに、自端末の内蔵時計から書込時刻を取得する。 The writing information acquisition unit 42 acquires writing information related to writing. In this embodiment, the writing information is information for reproducing the writing movement and speed, and includes at least the writing position and writing time. Therefore, while writing on the note screen continues, the writing information acquisition unit 42 acquires the writing position (x coordinate, y coordinate) from the touch panel 10 at predetermined time intervals, and acquires the writing time from the built-in clock of the terminal.

なお、書込情報としては、書込位置および書込時刻の他に、書き込みに使用した色、書き込み線の太さ、書き込みに使用したツール(ペン、蛍光ペン、消しゴム等)等の情報が含まれていてもよい。また、本実施形態では、書込情報を取得する時間間隔を約13ミリ秒に設定しているが、これに限定されるものではなく、ノート画面を共有する際のリアルタイム性を担保しうる時間間隔であればよい。 Note that the writing information may include information such as the writing position and writing time, the color used for writing, the thickness of the writing line, and the tool used for writing (pen, highlighter, eraser, etc.). In this embodiment, the time interval for obtaining the writing information is set to approximately 13 milliseconds, but this is not limited to this and may be any time interval that ensures real-time performance when sharing the note screen.

点列データ送信部43は、ストロークIDと書込情報とからなる点列データをサーバ4へ送信するものである。本実施形態において、点列データ送信部43は、ストロークID払出部41が払い出したストロークIDと、書込情報取得部42によって取得された書込情報とからなる点列データを所定の時間間隔でサーバ4へ送信する。また、点列データには、点列データの送信元ユーザを識別するユーザIDと、書き込みが行われたページを識別するページ番号とが含まれていてもよい。なお、点列データ送信部43による送信間隔は、書込情報取得部42による書込情報の取得間隔と一致する。 The point sequence data transmission unit 43 transmits point sequence data consisting of a stroke ID and writing information to the server 4. In this embodiment, the point sequence data transmission unit 43 transmits point sequence data consisting of the stroke ID issued by the stroke ID issue unit 41 and the writing information acquired by the writing information acquisition unit 42 to the server 4 at a predetermined time interval. The point sequence data may also include a user ID that identifies the user who sent the point sequence data, and a page number that identifies the page on which the writing was made. The transmission interval by the point sequence data transmission unit 43 matches the acquisition interval of the writing information by the writing information acquisition unit 42.

点列データ取得部44は、他端末から送信された点列データをサーバ4から取得するものである。本実施形態において、点列データ取得部44は、ノート共有機能が実行されている間、所定の時間間隔でサーバ4にアクセスし、ユーザIDおよびページ番号を指定して、ノート画面を共有中の他端末の点列データを取得する。この点列データの取得間隔も、ノート画面を共有する際のリアルタイム性を担保しうる時間間隔に設定される。 The point sequence data acquisition unit 44 acquires point sequence data transmitted from other terminals from the server 4. In this embodiment, while the note sharing function is being executed, the point sequence data acquisition unit 44 accesses the server 4 at a predetermined time interval, and acquires point sequence data of other terminals sharing the note screen by specifying a user ID and a page number. The acquisition interval for this point sequence data is also set to a time interval that can ensure real-time performance when sharing the note screen.

書込再現部45は、他端末における書き込みを自端末のタッチパネル10上に再現するものである。本実施形態において、書込再現部45は、点列データ取得部44が点列データを取得するたびに、ストロークIDが同一の書込情報に基づいて、他端末における書き込みを自端末のタッチパネル10上にリアルタイムで再現する。 The writing reproduction unit 45 reproduces writing on another terminal on the touch panel 10 of the own terminal. In this embodiment, the writing reproduction unit 45 reproduces writing on another terminal on the touch panel 10 of the own terminal in real time based on writing information having the same stroke ID each time the point sequence data acquisition unit 44 acquires point sequence data.

具体的には、書込再現部45は、書込情報に含まれる書込位置(x座標、y座標)に対応するタッチパネル10上の点(以下、当該点という)を特定し、前の点の書込時刻から当該点の書込時刻までの時間間隔の間に、前の点から当該点までを結ぶ線を描写する。これにより、タッチパネル10上のノート画面には、他端末において書き込まれた書き込みがリアルタイムで再現される。また、本実施形態において、書込再現部45は、点と点とを結ぶ際に、3次ベジェ曲線で補間することにより、スタイラスペンや指の動きを再現し、一繋がりの滑らかな曲線としてノート画面に表示させるようになっている。 Specifically, the writing reproduction unit 45 identifies a point on the touch panel 10 that corresponds to the writing position (x coordinates, y coordinates) included in the writing information (hereinafter referred to as the point in question), and draws a line connecting the previous point to the current point during the time interval from the writing time of the previous point to the writing time of the current point. As a result, writings written on another terminal are reproduced in real time on the note screen on the touch panel 10. In addition, in this embodiment, when connecting points, the writing reproduction unit 45 reproduces the movement of a stylus pen or a finger by interpolating with a cubic Bezier curve, and displays it on the note screen as a continuous smooth curve.

ページ要求部46は、ノート共有機能において、複数のページからなるノート画面のうち、表示中のノート画面とは異なる他のノート画面の表示を要求するものである。本実施形態において、ページ要求部46は、タッチパネル10上に表示されたボタン等から所望のページが指定されると、当該ページに対応するページ番号をサーバ4へ送信する。 In the note sharing function, the page request unit 46 requests the display of a note screen other than the currently displayed note screen among the note screens consisting of multiple pages. In this embodiment, when a desired page is specified using a button or the like displayed on the touch panel 10, the page request unit 46 transmits the page number corresponding to that page to the server 4.

点列データ圧縮部54は、サーバ4側の機能部であり、所定のノート画面に書き込まれた全ての書き込みに係る点列データを圧縮するものである。本実施形態において、点列データ圧縮部54は、教師端末2または生徒端末3のページ要求部46から受信したページ番号に対応する全ての点列データを点列データ記憶部35から取得する。 The dot sequence data compression unit 54 is a functional unit on the server 4 side, and compresses dot sequence data relating to all writings made on a specified note screen. In this embodiment, the dot sequence data compression unit 54 acquires from the dot sequence data storage unit 35 all dot sequence data corresponding to the page number received from the page request unit 46 of the teacher terminal 2 or the student terminal 3.

そして、点列データ圧縮部54は、各点列データに含まれる書込位置を示す時系列の座標のうち、二番目以降の座標群を一つ前の座標に対する相対座標に変換するとともに、当該相対座標のそれぞれを一つの文字または記号に変換する。なお、点列データ圧縮部54は、過去に書き込みが行われたノート画面の表示が要求された場合に機能し、過去に書き込みされたことのないノート画面が要求された場合は機能しない。 Then, the point sequence data compression unit 54 converts the second and subsequent coordinate groups of the time-series coordinates indicating the writing positions included in each point sequence data into relative coordinates with respect to the previous coordinates, and converts each of the relative coordinates into a single character or symbol. Note that the point sequence data compression unit 54 functions when a request is made to display a note screen on which writing has been done in the past, but does not function when a request is made to display a note screen on which no writing has been done in the past.

ここで、以下に示す点列データ(書込位置のx,y座標のみ示す)を圧縮する場合を例にして、点列データ圧縮部54による圧縮処理について具体的に説明する。
{"x":559.1, "y":223.7},
{"x":560.1, "y":224.6},
{"x":559.1, "y":224.6},
{"x":556.2, "y":225.6},
{"x":555.3, "y":225.6},
{"x":553.3, "y":225.6},
{"x":551.4, "y":225.6},
{"x":549.5, "y":224.6},
{"x":545.6, "y":223.7},
{"x":542.7, "y":223.7}
Here, the compression process by the point-sequence data compression unit 54 will be specifically described using as an example the case where the following point-sequence data (only the x, y coordinates of the writing position are shown) is compressed.
{"x":559.1, "y":223.7},
{"x":560.1, "y":224.6},
{"x":559.1, "y":224.6},
{"x":556.2, "y":225.6},
{"x":555.3, "y":225.6},
{"x":553.3, "y":225.6},
{"x":551.4, "y":225.6},
{"x":549.5, "y":224.6},
{"x":545.6, "y":223.7},
{"x":542.7, "y":223.7}

まず、点列データ圧縮部54は、二番目以降の座標群を一つ前の座標に対する相対座標に変換する。例えば、二番目以降の座標群であるx、yのそれぞれについて、一つ前の座標に対する差を算出し、その差を10倍にすることで相対座標に変換する。これにより、上記点列データは以下のように変換される。
{"x":559.1, "y":223.7},
{"x":10, "y":9},
{"x":-10, "y":0},
{"x":-29, "y":10},
{"x":-9, "y":0},
{"x":-20, "y":0},
{"x":-19, "y":0},
{"x":-19, "y":-10},
{"x":-49, "y":-9},
{"x":-19, "y":0}
First, the point sequence data compression unit 54 converts the second and subsequent coordinate groups into relative coordinates with respect to the previous coordinates. For example, for each of the x and y coordinate groups from the second and subsequent coordinate groups, the difference with respect to the previous coordinate is calculated, and the difference is multiplied by 10 to convert into relative coordinates. As a result, the point sequence data is converted as follows:
{"x":559.1, "y":223.7},
{"x":10, "y":9},
{"x":-10, "y":0},
{"x":-29, "y":10},
{"x":-9, "y":0},
{"x":-20, "y":0},
{"x":-19, "y":0},
{"x":-19, "y":-10},
{"x":-49, "y":-9},
{"x":-19, "y":0}

ここで、2番目以降の点列データについて、空白(スペース)を区切り記号として、x,yの順に並べると、以下のとおりとなる。
"x":559.1,
"y":223.7,
"xys":"10 9 -10 0 -29 10 -9 0 -20 0 -19 0 -19 -10 -49 9 -19 0"
Here, the second and subsequent point sequence data are arranged in the order of x, y with spaces as delimiters, as shown below.
"x":559.1,
"y":223.7,
"xys":"10 9 -10 0 -29 10 -9 0 -20 0 -19 0 -19 -10 -49 9 -19 0"

つぎに、点列データ圧縮部54は、変換した相対座標のそれぞれを一つの文字または記号に変換する。ここで、手書き文字の場合、上記相対座標の数値は、-39から39の間の値になることがほとんどである。よって、この-39から39までの79通りの整数を図6に示すような対応表によって文字または記号に変換する。ただし、数値が-39より小さい場合、あるいは39より大きい場合、当該数値を40で除算した余りに対応する文字にするとともに、当該数値の絶対値を40で割った整数商の数だけ、記号"<"を左側に追加する。例えば、-49=<rとなり、92=<<Cとなる。 The point sequence data compression unit 54 then converts each of the converted relative coordinates into one character or symbol. In the case of handwritten characters, the numerical values of the relative coordinates are almost always between -39 and 39. Therefore, the 79 integers between -39 and 39 are converted into characters or symbols using a correspondence table such as that shown in FIG. 6. However, if the numerical value is smaller than -39 or larger than 39, the numerical value is divided by 40, and the remainder is made into a character, and the symbol "<" is added to the left of the number of integer quotients obtained by dividing the absolute value of the numerical value by 40. For example, -49 = <r, and 92 = <<C.

この変則的な40進数を用いて上記点列データを変換すると、以下のようになり、数字区切り用の空白(スペース)は不要となる。
"x":559.1,
"y":223.7,
"xys":"A9q0?Ar0g0h0hq<rrh0?0"
If the above point sequence data is converted using this irregular base 40 number system, it will look like this, and no spaces are needed to separate the numbers:
"x":559.1,
"y":223.7,
"xys":"A9q0?Ar0g0h0hq<rrh0?0"

以上のような圧縮処理によれば、当初249文字であった点列データが、50文字まで圧縮されることとなる。なお、点列データ圧縮部54による圧縮処理は、上記方法に限定されるものではなく、データを圧縮しうる処理であれば適宜、変更してもよい。 By performing the compression process described above, the dot sequence data, which was originally 249 characters, is compressed to 50 characters. Note that the compression process performed by the dot sequence data compression unit 54 is not limited to the above method, and may be changed as appropriate as long as it is a process that can compress data.

点列データ復号部47は、点列データ圧縮部54によって圧縮された点列データを復号化するものである。本実施形態において、点列データ復号部47は、点列データ圧縮部54によって圧縮された点列データを取得すると、圧縮時に使用された対応表(図6)と同一の対応表を用いて、文字または記号のそれぞれを相対座標に変換する。そして、点列データ復号部47は、書込位置を示す一番目の座標に基づいて、二番目以降の相対座標を順次、書込位置を示す時系列の座標に復号化する。すなわち、点列データ復号部47は、点列データ圧縮部54による圧縮処理と逆の処理を実行するようになっている。 The point sequence data decoding unit 47 decodes the point sequence data compressed by the point sequence data compression unit 54. In this embodiment, when the point sequence data decoding unit 47 acquires the point sequence data compressed by the point sequence data compression unit 54, it converts each character or symbol into relative coordinates using the same correspondence table (FIG. 6) used during compression. Then, based on the first coordinate indicating the writing position, the point sequence data decoding unit 47 sequentially decodes the second and subsequent relative coordinates into time-series coordinates indicating the writing position. In other words, the point sequence data decoding unit 47 executes a process that is the reverse of the compression process performed by the point sequence data compression unit 54.

つぎに、演算処理手段40の上記構成部のうち、モニタリング機能において実行される各構成部を説明するにあたり、本実施形態のモニタリング機能について説明する。 Next, we will explain the monitoring function of this embodiment in order to explain each of the above components of the calculation processing means 40 that are executed in the monitoring function.

モニタリング機能を実現する方法としては、生徒端末3のスクリーンショット画像を所定時間おきにサーバ4経由で教師端末2に送信するという方法が考えられる。ただし、この方法では、ノート共有機能と同様の高解像度にするとサーバ4への負荷が大きくなる。一方、スクリーンショット画像の色数や解像度等を下げればデータ量は減らせるものの、低画質になるため見づらくなる等、利便性の低下を招く。 One possible method for implementing the monitoring function is to send screenshot images of the student terminal 3 to the teacher terminal 2 via the server 4 at regular intervals. However, this method places a heavy load on the server 4 if the image is made as high resolution as the note sharing function. On the other hand, while the amount of data can be reduced by lowering the number of colors and resolution of the screenshot image, the image quality will be low, making it difficult to see, and other inconveniences will be reduced.

そこで、本実施形態では、モニタリング機能のアルゴリズムを構築するにあたり、オンライン授業の特徴として、以下の点に着目した。
(1)教科書や問題集などの背景画像を動的に書き換えることは少ない。このため、背景画像の送信は1ページにつき一度だけでよい。
(2)教師端末2が一台に対して生徒端末3が多数の場合、教材となる背景画像は全生徒端末3において共通する。このため、背景画像の送信は1人分だけでよい。
(3)一度書き込んだ書き込みを消しゴム機能などで消去することは限定的にしか行われない。
(4)手書きによる書き込みという性質上、単位時間当たりに変化するデータはノート画面上のごく一部だけである。
Therefore, in this embodiment, when constructing the algorithm for the monitoring function, we focused on the following characteristics of online classes.
(1) Background images in textbooks, workbooks, etc. are rarely changed dynamically. For this reason, the background image needs to be transmitted only once per page.
(2) When there is one teacher terminal 2 and many student terminals 3, the background image serving as the teaching material is common to all student terminals 3. For this reason, it is necessary to transmit the background image for only one student.
(3) The ability to erase notes once they have been written using an eraser function or other such tool is limited.
(4) Due to the nature of handwritten notes, only a small portion of the data on the note screen changes per unit time.

以上の点を踏まえて、本実施形態では、高画質と低データ量の双方を兼ね備えたアルゴリズムを考案した。具体的には、以下に示す2通りのモードを用意し、データ量が小さい方のモードを適宜選択しながら実行することとした。 In light of the above, in this embodiment, we have devised an algorithm that combines high image quality with low data volume. Specifically, we have prepared the two modes shown below, and we have decided to select and execute the mode that produces the smaller amount of data as appropriate.

(A)高画質モード
生徒端末3側のノート画面を図5に示す背景レイヤと生徒レイヤとに分解し、最初に高画質な背景画像と書込画像を送信した後は、生徒レイヤに新たに書き込まれた部分の高画質な差分画像を逐次送信する一方、教師端末2側で全ての画像を合成して生徒端末3の高画質なノート画面を再現する。
(B)低画質モード
生徒端末3側で全てのレイヤを合成して圧縮した低画質合成画像を送信する一方、教師端末2側で低画質合成画像を復号化して生徒端末3の低画質なノート画面を再現する。
(A) High-quality mode: The notebook screen on the student terminal 3 is decomposed into a background layer and a student layer as shown in Figure 5. After initially transmitting a high-quality background image and written image, high-quality difference images of the newly written portions on the student layer are transmitted sequentially, while all images are synthesized on the teacher terminal 2 to reproduce a high-quality notebook screen on the student terminal 3.
(B) Low-image-quality mode: The student terminal 3 combines all layers and transmits a compressed low-image-quality composite image, while the teacher terminal 2 decodes the low-image-quality composite image to reproduce a low-image-quality notebook screen on the student terminal 3.

なお、一般的には、高画質モードの方がデータ量は小さい傾向にある。ただし、高画質モードは、上記の通り、ノート画面上の動きが少ないことを前提とするアルゴリズムである。このため、以下のようなケースでは、低画質モードの方が平均的なデータ量は小さくなる。
・動画など動きの大きい教材等を背景画像として使用する場合
・文字ではなく絵を描く等、単位時間あたりの書き込みが多い場合
・1対1の個別指導のように、モニタリング対象の生徒端末3が少ない場合
・多数の生徒端末3が異なる教材を使用する等、背景画像が多種に渡る場合
Generally speaking, the amount of data tends to be smaller in high-quality mode. However, as mentioned above, the algorithm for high-quality mode assumes that there is little movement on the note screen. For this reason, in the following cases, the average amount of data will be smaller in low-quality mode.
- When using video or other teaching materials with a lot of movement as a background image. - When there is a lot of writing per unit time, such as drawings instead of text. - When there are few student terminals 3 to be monitored, such as in one-on-one individual instruction. - When there are many different background images, such as when many student terminals 3 use different teaching materials.

以上のようなモニタリング機能を実行する際、演算処理手段40は、表示制御部48と、画像送信部51と、重複送信防止部55と、差分画像作成部52と、データサイズ算出部53と、生徒画像取得部49と、生徒画像表示部50として機能する。以下、これらの各構成部について説明する。 When executing the above-mentioned monitoring functions, the calculation processing means 40 functions as a display control unit 48, an image transmission unit 51, a duplicate transmission prevention unit 55, a difference image creation unit 52, a data size calculation unit 53, a student image acquisition unit 49, and a student image display unit 50. Each of these components will be described below.

表示制御部48は、タッチパネル10におけるノート画面の表示を制御するものである。本実施形態において、表示制御部48は、図5に示すように、背景画像を保有する背景レイヤと、教師の書き込みを記録する教師レイヤと、生徒の書き込みを記録する生徒レイヤとを合成してノート画面を表示する。なお、本実施形態では、ノート画面に教師レイヤも合成しているが、モニタリング機能のみを実行するのであれば、教師レイヤを設ける必要はない。 The display control unit 48 controls the display of the note screen on the touch panel 10. In this embodiment, the display control unit 48 displays the note screen by combining a background layer having a background image, a teacher layer that records the teacher's writings, and a student layer that records the student's writings, as shown in FIG. 5. Note that in this embodiment, the teacher layer is also combined with the note screen, but if only the monitoring function is to be executed, there is no need to provide a teacher layer.

画像送信部51は、生徒端末3からサーバ4へ画像データを送信するものである。本実施形態において、画像送信部51は、まず最初に背景画像記憶部32に記憶されている使用中の背景画像およびその時点で書込画像記憶部33の生徒レイヤに書き込まれている書込画像をサーバ4へ送信する。その後は、所定の時間間隔で低画質合成画像または差分画像のうち、データサイズが小さい方をサーバ4へ送信するようになっている。また、本実施形態において、画像送信部51は、低画質合成画像を送信した後に差分画像を送信する場合、高画質画像記憶部に記憶されている高画質合成画像と比較して新たに書き込まれた部分を差分画像としてサーバ4へ送信する。 The image transmission unit 51 transmits image data from the student terminal 3 to the server 4. In this embodiment, the image transmission unit 51 first transmits to the server 4 the background image currently in use stored in the background image storage unit 32 and the writing image currently written in the student layer of the writing image storage unit 33. Thereafter, at predetermined time intervals, the image transmission unit 51 transmits either the low-quality composite image or the difference image, whichever has the smaller data size, to the server 4. Also, in this embodiment, when transmitting a difference image after transmitting a low-quality composite image, the image transmission unit 51 compares the newly written portion with the high-quality composite image stored in the high-quality image storage unit and transmits it to the server 4 as a difference image.

重複送信防止部55は、サーバ4において、生徒端末3から受信した背景画像のうち、教師端末2へ一度送信した背景画像を教師端末2へ重複して送信しないようにするものである。本実施形態において、重複送信防止部55は、教師端末2からモニタリングを要求されると、モニタリング対象の全生徒端末3から送信された背景画像を確認する。そして、複数の生徒端末3において同一の背景画像が使用されている場合、その背景画像を一度だけ送信する。 The duplicate transmission prevention unit 55 prevents the server 4 from duplicately transmitting to the teacher terminal 2, among background images received from the student terminals 3, a background image that has already been transmitted to the teacher terminal 2 once. In this embodiment, when a monitoring request is made from the teacher terminal 2, the duplicate transmission prevention unit 55 checks the background images transmitted from all student terminals 3 to be monitored. Then, if the same background image is being used on multiple student terminals 3, the background image is transmitted only once.

なお、本実施形態において、生徒端末3からサーバ4へ送信されるデータには、画像データ(差分画像または低画質合成画像)の他に、生徒を識別する生徒ID、ノート画面を識別するノートID、ノート画面のページを特定するページ番号、画像データが差分画像であるか低画質合成画像であるかを識別する画像タイプ、教師端末2が画像データをダウンロードするための画像URL(Uniform Resource Locator)等が含まれている。 In this embodiment, the data sent from the student terminal 3 to the server 4 includes, in addition to the image data (difference image or low-quality composite image), a student ID that identifies the student, a notebook ID that identifies the notebook screen, a page number that identifies the page of the notebook screen, an image type that identifies whether the image data is a difference image or a low-quality composite image, and an image URL (Uniform Resource Locator) for the teacher terminal 2 to download the image data.

一方、サーバ4から教師端末2へ送信されるデータには、上述した生徒ID、ノートID、ページ番号、画像タイプ、画像URLの他、画像データの作成日時および最終更新日時等が含まれている。そして、モニタリングしようとする全生徒端末3分の上記データがサーバ4へ送信されるようになっている。 Meanwhile, the data sent from the server 4 to the teacher terminal 2 includes the above-mentioned student ID, notebook ID, page number, image type, image URL, as well as the creation date and time of the image data and the last update date and time. The above data for all student terminals 3 to be monitored is sent to the server 4.

差分画像作成部52は、モニタリング機能を実行する際、生徒端末3において、所定の時間間隔内に新たに書き込まれた部分を差分画像として作成するものである。本実施形態において、差分画像作成部52は、所定の時間間隔で生徒レイヤへの全ての書き込みを取得するとともに、書込画像記憶部33に記憶された書込画像(所定の時間経過前の書込画像)と比較し、新たに書き込まれた部分を差分画像として作成する。具体的には、書込画像内の各ピクセルにつき、前回のピクセル情報と新たなピクセル情報が同一の場合、そのピクセルを透明色とすることで、新たに書き加えられた部分のみが残って差分画像となる。 When executing the monitoring function, the differential image creation unit 52 creates a differential image of the newly written portion within a predetermined time interval on the student terminal 3. In this embodiment, the differential image creation unit 52 acquires all writings on the student layer at a predetermined time interval, compares it with the writing image stored in the writing image storage unit 33 (the writing image before the predetermined time has passed), and creates a differential image of the newly written portion. Specifically, if the previous pixel information and new pixel information for each pixel in the writing image are the same, the pixel is made transparent, so that only the newly added portion remains, forming a differential image.

データサイズ算出部53は、モニタリング機能を実行する際、生徒端末3からサーバ4へ送信する画像のデータサイズを算出するものである。具体的には、データサイズ算出部53は、背景画像と書込画像と差分画像とを合成して圧縮した低画質合成画像のデータサイズと、圧縮しない差分画像単体のデータサイズを算出する。 The data size calculation unit 53 calculates the data size of the image to be transmitted from the student terminal 3 to the server 4 when executing the monitoring function. Specifically, the data size calculation unit 53 calculates the data size of a low-quality composite image obtained by combining and compressing the background image, the writing image, and the difference image, and the data size of the uncompressed difference image alone.

生徒画像取得部49は、サーバ4から各生徒端末3の画像データを取得するものである。本実施形態において、生徒画像取得部49は、最初にモニタリングしようとする全生徒端末3のそれぞれから送信された背景画像および書込画像をサーバ4から取得する。その後、生徒画像取得部49は、所定の時間間隔でサーバ4にアクセスし、生徒端末3ごとの低画質合成画像または差分画像を取得する。そして、サーバ4から差分画像を受信した場合、当該差分画像と書込画像記憶部33に記憶されている書込画像とを合成した画像を新たな書込画像として保存する。 The student image acquisition unit 49 acquires image data of each student terminal 3 from the server 4. In this embodiment, the student image acquisition unit 49 first acquires from the server 4 the background image and the writing image transmitted from each of all student terminals 3 to be monitored. The student image acquisition unit 49 then accesses the server 4 at a predetermined time interval and acquires a low-quality composite image or difference image for each student terminal 3. Then, when a difference image is received from the server 4, the image obtained by combining the difference image with the writing image stored in the writing image storage unit 33 is saved as a new writing image.

また、本実施形態では、上述したとおり、サーバ4から教師端末2へ送信されるデータに、画像データの最終更新日時等が含まれている。このため、生徒画像取得部49は、サーバ4から画像データを取得する際、当該画像の最終更新日時が更新されている場合のみ、サーバ4からダウンロードする。一方、最終更新日時が更新されていない場合は、画像データをダウンロードしないことで、データ通信量が抑制される。 In addition, in this embodiment, as described above, the data transmitted from the server 4 to the teacher terminal 2 includes the last update date and time of the image data, etc. Therefore, when acquiring image data from the server 4, the student image acquisition unit 49 downloads the image data from the server 4 only if the last update date and time of the image has been updated. On the other hand, if the last update date and time has not been updated, the image data is not downloaded, thereby reducing the amount of data communication.

生徒画像表示部50は、各生徒端末3におけるノート画面を表示するものである。本実施形態において、生徒画像表示部50は、サーバ4から低画質合成画像を受信した場合、圧縮する前の低画質合成画像を復号化してノート画面として表示する。一方、生徒画像表示部50は、サーバ4から差分画像を受信した場合、当該差分画像を背景画像および書込画像と合成してノート画面として表示する。 The student image display unit 50 displays the note screen on each student terminal 3. In this embodiment, when the student image display unit 50 receives a low-quality composite image from the server 4, it decodes the low-quality composite image before compression and displays it as a note screen. On the other hand, when the student image display unit 50 receives a difference image from the server 4, it composites the difference image with the background image and the writing image and displays it as a note screen.

つぎに、本実施形態のオンライン授業支援システム1、オンライン授業支援プログラム1aおよびオンライン授業支援方法による作用について説明する。 Next, the functions of the online class support system 1, online class support program 1a, and online class support method of this embodiment will be described.

まず、本実施形態のノート共有機能を用いてオンライン授業を行う場合、図7に示すように、教師端末2からサーバ4に対して、ノート画面を共有しようとする生徒端末3のユーザIDやページ番号等を指定してノート画面の共有を要求する(ステップS1)。この要求を受けたサーバ4は、指定された生徒端末3がノート画面の共有を許可していれば(ステップS2)、指定されたノート画面を表示することを命令する(ステップS3)。 First, when an online class is conducted using the note sharing function of this embodiment, as shown in FIG. 7, the teacher terminal 2 requests the server 4 to share the note screen by specifying the user ID, page number, etc. of the student terminal 3 with which the note screen is to be shared (step S1). Upon receiving this request, the server 4 issues an instruction to display the specified note screen (step S3) if the specified student terminal 3 allows sharing of the note screen (step S2).

これにより、生徒端末3のタッチパネル10には、教師端末2のタッチパネル10に表示されているノート画面と同一のノート画面が表示される(ステップS4)。なお、以下の説明では、教師端末2のノート画面上における書き込みを生徒端末3のノート画面上に反映させる例について説明するが、処理主体を逆にすることで、生徒端末3のノート画面上における書き込みが教師端末2のノート画面上に反映される。 As a result, the touch panel 10 of the student terminal 3 displays a note screen identical to the note screen displayed on the touch panel 10 of the teacher terminal 2 (step S4). Note that in the following explanation, an example is described in which writings on the note screen of the teacher terminal 2 are reflected on the note screen of the student terminal 3, but by reversing the processing subject, writings on the note screen of the student terminal 3 can be reflected on the note screen of the teacher terminal 2.

教師端末2と生徒端末3との間でノート画面が共有された状態で、教師端末2のノート画面に書き込みが開始されると(ステップS5:YES)、ストロークID払出部41がストロークIDを払い出すとともに(ステップS6:ストロークID払出ステップ)、書込情報取得部42が書込情報を取得する(ステップS7:書込情報取得ステップ)。そして、これらのストロークIDと書込情報とからなる点列データが点列データ送信部43によってサーバ4へ送信される(ステップS8:点列データ送信ステップ)。 When writing is started on the notebook screen of the teacher terminal 2 while the notebook screen is shared between the teacher terminal 2 and the student terminal 3 (step S5: YES), the stroke ID issuing unit 41 issues a stroke ID (step S6: stroke ID issuing step), and the writing information acquiring unit 42 acquires the writing information (step S7: writing information acquiring step). Then, the point sequence data consisting of the stroke ID and the writing information is transmitted to the server 4 by the point sequence data transmitting unit 43 (step S8: point sequence data transmitting step).

その後、教師端末2では、所定時間が経過するたびに(ステップS9:YES)、書き込みが継続しているか否かが判定される(ステップS10)。そして、書き込みが継続している限り(ステップS10:YES)、書込情報取得部42により書込情報が取得され(ステップS7)、点列データとしてサーバ4へ送信され続ける(ステップS8)。これにより、1ストローク分の書き込みに係る点列データが、同一のストロークIDが付与された状態でサーバ4へ送信される。 After that, in the teacher terminal 2, each time a predetermined time has elapsed (step S9: YES), it is determined whether or not writing is continuing (step S10). Then, as long as writing is continuing (step S10: YES), the writing information acquisition unit 42 acquires the writing information (step S7) and continues to transmit the information as point sequence data to the server 4 (step S8). As a result, the point sequence data relating to one stroke of writing is transmitted to the server 4 with the same stroke ID assigned.

一方、1ストローク分の書き込みが終わると(ステップS10:NO)、ノート共有機能を実行している間(ステップS11:NO)、ステップS5へと戻り、新たな書き込みが開始されるたびに、上述したステップS6からステップS10までの処理が実行される。これにより、教師端末2のノート画面上における書き込みは、ストロークごとに異なるストロークIDが付与された点列データとしてサーバ4へ送信される。 On the other hand, when writing of one stroke is completed (step S10: NO), while the notebook sharing function is being executed (step S11: NO), the process returns to step S5, and the above-mentioned processes from step S6 to step S10 are executed each time new writing is started. As a result, the writing on the notebook screen of the teacher terminal 2 is transmitted to the server 4 as point sequence data in which a different stroke ID is assigned to each stroke.

サーバ4では、教師端末2から所定の時間間隔で送信されてくる点列データを受信し(ステップS12)、点列データ記憶部35に順次、保存する(ステップS13)。これにより、サーバ4には、教師端末2のノート画面における書き込みを再現するための点列データが、常に最新の状態で蓄積される。 The server 4 receives the point sequence data transmitted from the teacher terminal 2 at a predetermined time interval (step S12) and stores the data in the point sequence data storage unit 35 in sequence (step S13). As a result, the server 4 always stores the latest point sequence data for reproducing the writing on the notebook screen of the teacher terminal 2.

一方、教師端末2とノート画面を共有している間、生徒端末3では、点列データ取得部44が、所定の時間間隔でサーバ4にアクセスし、ノート画面を共有中の教師端末2の点列データを取得する(ステップS14:点列データ取得ステップ)。そして、書込再現部45が、ストロークIDが同一の書込情報に基づいて、教師端末2における書き込みを生徒端末3のタッチパネル10上に再現する(ステップS15:書込再現ステップ)。 Meanwhile, while the notebook screen is being shared with the teacher terminal 2, on the student terminal 3, the point sequence data acquisition unit 44 accesses the server 4 at a predetermined time interval and acquires the point sequence data of the teacher terminal 2 that is sharing the notebook screen (step S14: point sequence data acquisition step). Then, the writing reproduction unit 45 reproduces the writing on the teacher terminal 2 on the touch panel 10 of the student terminal 3 based on the writing information with the same stroke ID (step S15: writing reproduction step).

その後、生徒端末3では、ページ要求部46によって、現在表示中のノート画面とは異なる他のページが要求されない限り(ステップS16:NO)、所定の時間間隔が経過するたびに(ステップS17:YES)、点列データ取得部44がサーバ4から点列データを取得し(ステップS14)、書き込みを再現する(ステップS15)。これにより、教師端末2のノート画面上で、図8(a)に示すような書き込みが行われると、生徒端末3のノート画面でも、図8(b)に示すように、教師による書き込みがリアルタイムで再現される。 After that, on the student terminal 3, unless the page request unit 46 requests a page different from the currently displayed notebook screen (step S16: NO), the point sequence data acquisition unit 44 acquires point sequence data from the server 4 (step S14) and reproduces the writing (step S15) every time a predetermined time interval elapses (step S17: YES). As a result, when writing is made on the notebook screen of the teacher terminal 2 as shown in Figure 8(a), the writing by the teacher is also reproduced in real time on the notebook screen of the student terminal 3 as shown in Figure 8(b).

また、本実施形態では、書込再現部45が、間欠的な座標群(書込位置)からなる点列を3次ベジェ曲線で補間しながら連結する。これにより、教師による書き込みが、一繋がりの滑らかな曲線としてノート画面に表示される。このため、教師端末2のノート画面上で書き込まれた際のスタイラスペンや指の動きまでもが、生徒端末3のノート画面上で高精度に再現される。 In addition, in this embodiment, the writing reproduction unit 45 connects a series of points consisting of intermittent coordinate groups (writing positions) by interpolating them with a cubic Bezier curve. This allows the teacher's writing to be displayed on the notebook screen as a continuous, smooth curve. Therefore, even the movements of the stylus pen and fingers when writing on the notebook screen of the teacher terminal 2 are reproduced with high accuracy on the notebook screen of the student terminal 3.

なお、本実施形態では、教師端末2一台と、複数台の生徒端末3との間でノート共有機能を実行している。このため、教師端末2における書き込みは、全ての生徒端末3におけるノート画面のそれぞれにおいて同時に再現される。一方、各生徒端末3における書き込みは、それぞれ異なる内容となるため、教師端末2のノート画面上には再現されないようになっている。しかしながら、この構成に限定されるものではなく、教師端末2と生徒端末3とが1対1でノート画面を共有する場合等は、お互いの全ての書き込みが両端末のノート画面上で同時に再現されるようにしてもよい。 In this embodiment, a notebook sharing function is executed between one teacher terminal 2 and multiple student terminals 3. Therefore, writings on the teacher terminal 2 are simultaneously reproduced on the notebook screens of all the student terminals 3. On the other hand, writings on each student terminal 3 are different from each other, so they are not reproduced on the notebook screen of the teacher terminal 2. However, this configuration is not limited to this, and in cases where the teacher terminal 2 and the student terminal 3 share a notebook screen on a one-to-one basis, all writings on each terminal may be simultaneously reproduced on the notebook screens of both terminals.

一方、生徒端末3において、現在表示中のノート画面とは異なる他のページが要求されると(ステップS16:YES)、ページジャンプ処理が実行される(ステップS18)。具体的には、図9に示すように、まず、ページ要求部46が、指定されたページ番号をサーバ4へ送信し(ステップS21)、サーバ4側で受信されると(ステップS22)、点列データ圧縮部54が、当該ページに対応付けて記憶されている全ての点列データを点列データ記憶部35から取得する。(ステップS23)。 On the other hand, when a page other than the currently displayed note screen is requested on the student terminal 3 (step S16: YES), a page jump process is executed (step S18). Specifically, as shown in FIG. 9, first, the page request unit 46 transmits the specified page number to the server 4 (step S21), and when it is received by the server 4 (step S22), the point sequence data compression unit 54 acquires all point sequence data stored in association with the page from the point sequence data storage unit 35 (step S23).

つぎに、点列データ圧縮部54は、取得した各点列データに含まれる書込位置を示す時系列の座標のうち、二番目以降の座標群を一つ前の座標に対する相対座標に変換するともに(ステップS24)、当該相対座標のそれぞれを一つの文字または記号に変換する(ステップS25)。これにより、点列データのデータサイズが大幅に圧縮されるため、教師端末2や生徒端末3へ送信する際の通信量が低減し、通信ネットワークにかかる負荷が抑制される。 Next, the point sequence data compression unit 54 converts the second and subsequent coordinate groups of the time series coordinates indicating the writing positions included in each acquired point sequence data into relative coordinates with respect to the previous coordinates (step S24), and converts each of the relative coordinates into a single character or symbol (step S25). This significantly compresses the data size of the point sequence data, reducing the amount of communication when sending it to the teacher terminal 2 and the student terminal 3, and suppressing the load on the communication network.

圧縮された点列データは、指定されたページに対応する背景画像とともに、ノート画面を共有中の教師端末2および生徒端末3のそれぞれに送信される(ステップS26)。一方、教師端末2および生徒端末3のそれぞれは、サーバ4から背景画像および圧縮された点列データを受信すると(ステップS27)、点列データ復号部47が点列データを元通りに復号化し(ステップS28)、当該点列データに基づいて背景画像に全ての書き込みを一度に表示する(ステップS29)。 The compressed dot sequence data is sent to each of the teacher terminal 2 and student terminal 3 sharing the notebook screen together with the background image corresponding to the specified page (step S26). Meanwhile, when each of the teacher terminal 2 and student terminal 3 receives the background image and compressed dot sequence data from the server 4 (step S27), the dot sequence data decoding unit 47 decodes the dot sequence data back to its original state (step S28), and displays all writings on the background image at once based on the dot sequence data (step S29).

これにより、過去に行われた書き込みが数百ストローク分、および数万点分の点列であっても、通信ネットワークへの負荷をそれほど増大させることなく、指定されたノート画面が過去の書き込みとともに短時間でスムーズに再現される。 As a result, even if the previous writings consist of hundreds of strokes and tens of thousands of dots, the specified note screen can be smoothly reproduced in a short time along with the previous writings without significantly increasing the load on the communication network.

つぎに、本実施形態のモニタリング機能を用いてオンライン授業を行う場合の処理について、図10および図12を参照しつつ説明する。なお、図10,図12のフローチャートでは、表記を簡素化するため、各種の画像データを以下のアルファベットで表記している。
A:背景画像
B:書込画像
C:Bに対する差分画像
D:書込画像と差分画像とを合成した高画質合成画像(B+C)
E:Dに対する差分画像
Next, the process of conducting an online class using the monitoring function of this embodiment will be described with reference to Fig. 10 and Fig. 12. In the flowcharts of Fig. 10 and Fig. 12, various types of image data are represented by the following alphabets for the sake of simplicity.
A: Background image B: Writing image C: Difference image for B D: High-quality composite image (B+C) combining the writing image and the difference image
E: Difference image to D

図10に示すように、オンライン授業が開始されると、生徒端末3では、表示制御部48が背景レイヤの背景画像Aと、生徒レイヤの書込画像Bとを合成してノート画面を表示するとともに(ステップS31)、画像送信部51が当該背景画像Aおよび書込画像Bをサーバ4へ送信する(ステップS32)。 As shown in FIG. 10, when an online class starts, on the student terminal 3, the display control unit 48 combines background image A of the background layer and writing image B of the student layer to display the notebook screen (step S31), and the image sending unit 51 sends the background image A and writing image B to the server 4 (step S32).

これにより、サーバ4では、各生徒端末3から背景画像Aおよび書込画像Bを受信すると(ステップS33)、それぞれの画像データをそれぞれの生徒端末3に対応付けて背景画像記憶部32および書込画像記憶部33に保存する(ステップS34)。この状態で、教師端末2からサーバ4に対してモニタリングが要求されると(ステップS35)、重複送信防止部55が、モニタリング対象の全生徒端末3における背景画像Aが送信済みであるか否かを判定する(ステップS36)。 As a result, when the server 4 receives background image A and writing image B from each student terminal 3 (step S33), it associates each image data with each student terminal 3 and stores them in the background image storage unit 32 and writing image storage unit 33 (step S34). In this state, when the teacher terminal 2 requests monitoring from the server 4 (step S35), the duplicate transmission prevention unit 55 determines whether background image A has been transmitted to all student terminals 3 to be monitored (step S36).

その判定の結果、未送信の背景画像Aがあれば(ステップS36:NO)、教師端末2へ送信するとともに(ステップS37)、書込画像Bを送信する(ステップS38)。一方、背景画像Aは送信済みであれば(ステップS36:YES)、書込画像Bのみを送信する(ステップS38)。これにより、サーバ4から教師端末2に対して重複する背景画像Aの送信が防止されるため、通信量が抑制される。 If the result of the determination is that there is an unsent background image A (step S36: NO), it is sent to the teacher terminal 2 (step S37) and the writing image B is also sent (step S38). On the other hand, if background image A has already been sent (step S36: YES), only the writing image B is sent (step S38). This prevents the server 4 from sending duplicate background images A to the teacher terminal 2, thereby reducing the amount of communication.

つづいて、教師端末2では、生徒画像取得部49が、モニタリング対象となる全生徒端末3分の背景画像Aおよび書込画像Bをサーバ4から受信すると(ステップS39)、それらの画像データを生徒端末3のそれぞれに対応付けて背景画像記憶部32および書込画像記憶部33に保存する(ステップS40)。そして、生徒画像表示部50が、各生徒端末3ごとに背景画像Aおよび書込画像Bを合成して表示する(ステップS41)。 Next, on the teacher terminal 2, the student image acquisition unit 49 receives background image A and writing image B for all student terminals 3 to be monitored from the server 4 (step S39), and stores the image data in the background image storage unit 32 and writing image storage unit 33 in association with each student terminal 3 (step S40). The student image display unit 50 then combines and displays the background image A and writing image B for each student terminal 3 (step S41).

これにより、教師端末2のタッチパネル10には、図11に示すように、モニタリング対象とした全生徒端末3のノート画面がリアルタイムで一覧表示される。なお、図11では、生徒に対する注目度等に応じて、ノート画面の表示サイズを大・中・小の3種類に設定しているが、この構成に限定されるものではなく、全てのノート画面を同一サイズで表示してもよい。 As a result, the touch panel 10 of the teacher terminal 2 displays a list of the note screens of all the monitored student terminals 3 in real time, as shown in FIG. 11. Note that in FIG. 11, the display sizes of the note screens are set to three sizes, large, medium, and small, depending on the level of attention to the students, but this is not limited to this configuration, and all note screens may be displayed at the same size.

一方、生徒端末3では、最初に背景画像Aおよび書込画像Bをサーバ4へ送信した後(ステップS32)、差分画像作成部52が、所定の時間が経過するたびに(ステップS42:YES)、生徒レイヤへの全ての書き込みを取得し(ステップS43)、書込画像記憶部33に記憶された書込画像Bと比較して新たに書き込まれた部分を差分画像Cとして作成する(ステップS44)。 On the other hand, on the student terminal 3, after first transmitting the background image A and the writing image B to the server 4 (step S32), the difference image creation unit 52 acquires all writings on the student layer (step S43) every time a predetermined time has elapsed (step S42: YES), and creates a difference image C of the newly written portion by comparing it with the writing image B stored in the writing image storage unit 33 (step S44).

つぎに、データサイズ算出部53が、背景画像A、書込画像Bおよび差分画像Cの3枚を合成して圧縮した低画質合成画像のデータサイズと、圧縮しない差分画像Cのみのデータサイズを算出し(ステップS45)、サーバ4へ送信すべき画像データを決定する。また、書込画像Bと差分画像Cとを合成した画像が、新たな書込画像Bとして書込画像記憶部33に記憶される(ステップS46)。 Then, the data size calculation unit 53 calculates the data size of a low-quality composite image obtained by combining and compressing the three images, background image A, writing image B, and difference image C, and the data size of only the uncompressed difference image C (step S45), and determines the image data to be transmitted to the server 4. In addition, the image obtained by combining the writing image B and the difference image C is stored in the writing image storage unit 33 as a new writing image B (step S46).

そして、画像送信部51が、低画質合成画像または差分画像Cのうち、ステップS45で算出されたデータサイズが小さい方をサーバ4へ送信する。すなわち、低画質合成画像の方が小さければ(ステップS47:NO)、低画質モードとなり、前回も低画質モードであれば(ステップS48:NO)、低画質合成画像をサーバ4へ送信する(ステップS50)。一方、前回は高画質モードであった場合(ステップS48:YES)、書込画像Bと差分画像Cとを合成した画像を別途、高画質合成画像Dとして高画質合成画像記憶部34に記憶した後(ステップS49)、低画質合成画像をサーバ4へ送信する(ステップS50)。 Then, the image transmission unit 51 transmits to the server 4 either the low-quality composite image or the difference image C, whichever has the smaller data size calculated in step S45. That is, if the low-quality composite image is smaller (step S47: NO), the low-quality mode is selected, and if the previous mode was also low-quality mode (step S48: NO), the low-quality composite image is transmitted to the server 4 (step S50). On the other hand, if the previous mode was high-quality mode (step S48: YES), an image obtained by combining the written image B and the difference image C is stored separately as high-quality composite image D in the high-quality composite image storage unit 34 (step S49), and the low-quality composite image is then transmitted to the server 4 (step S50).

一方、ステップS45で算出されたデータサイズが、差分画像Cの方が小さい場合(ステップS47:YES)、高画質モードとなり、前回も高画質モードであれば(ステップS51:NO)、そのまま差分画像Cをサーバ4へ送信する(ステップS53)。一方、前回は低画質モードであった場合(ステップS51:YES)、高画質合成画像Dと比較して新たに書き込まれた部分を差分画像Eとして送信する(ステップS52)。 On the other hand, if the data size calculated in step S45 is smaller for difference image C (step S47: YES), the mode becomes high quality, and if the previous mode was also high quality (step S51: NO), difference image C is sent to server 4 as is (step S53). On the other hand, if the previous mode was low quality (step S51: YES), the newly written portion is compared with high quality composite image D and sent as difference image E (step S52).

これにより、一旦、低画質モードで低画質合成画像が送信されている間、サーバ4および教師端末2では、その間の高画質な差分画像を取得することができないものの、再度、高画質モードになったときに、低画質モードになる前の書込画像Dを基準とした差分画像Eが送信される。このため、高画質モードと低画質モードとが転々と切り替わっても、後述するとおり、教師端末2において、正確に高画質合成画像を再現することが可能となる。 As a result, while a low-quality composite image is being transmitted in low-quality mode, the server 4 and teacher terminal 2 are unable to obtain a high-quality difference image during that time, but when the high-quality mode is switched back on, a difference image E based on the written image D before the low-quality mode was switched on is transmitted. Therefore, even if the high-quality mode and low-quality mode are frequently switched on and off, the teacher terminal 2 can accurately reproduce a high-quality composite image, as described below.

一方、サーバ4では、図12に示すように、生徒端末3のそれぞれから低画質モードにおける低画質合成画像、または高画質モードにおける差分画像C,Eを所定の時間間隔で次々と受信し(ステップS54)、これらの画像データが各生徒端末3に対応付けてモニタリング画像記憶部36に順次保存される(ステップS55)。 Meanwhile, as shown in FIG. 12, the server 4 receives low-quality composite images in low-quality mode or difference images C and E in high-quality mode from each of the student terminals 3 at a predetermined time interval (step S54), and these image data are associated with each student terminal 3 and stored sequentially in the monitoring image storage unit 36 (step S55).

他方、モニタリングを要求した教師端末2は、各生徒端末3ごとに背景画像Aおよび書込画像Bを合成して表示した後(ステップS41)、所定の時間が経過するたびに(ステップS56:YES)、生徒画像取得部49がサーバ4にアクセスし、生徒端末3ごとの低画質合成画像または差分画像C,Eを取得する(ステップS57)。 On the other hand, the teacher terminal 2 that requested monitoring composites and displays the background image A and the writing image B for each student terminal 3 (step S41), and then each time a predetermined time has elapsed (step S56: YES), the student image acquisition unit 49 accesses the server 4 and acquires the low-quality composite image or the difference images C and E for each student terminal 3 (step S57).

このとき、本実施形態では、生徒画像取得部49が、書き込みが更新されている画像データのみサーバ4からダウンロードし、書き込みが更新されていない画像データはダウンロードしないため、通信ネットワークに係る負荷が低減される。 At this time, in this embodiment, the student image acquisition unit 49 downloads from the server 4 only image data with updated writing, and does not download image data with no updated writing, thereby reducing the load on the communication network.

そして、サーバ4から取得した画像が低画質合成画像の場合(ステップS58:圧縮後A+B+C)、生徒画像表示部50が当該低画質合成画像を復号化して表示する(ステップS59)。また、サーバ4から取得した画像が差分画像Cの場合(ステップS58:C)、生徒画像表示部50が、図13(a)に示すような背景画像Aと、図13(b)に示すような書込画像Bと、図13(c)に示すような差分画像Cとを合成し、図13(d)に示すようなノート画面(A+B+C)として表示する(ステップS60)。そして、書込画像Bと差分画像Cとを合成した画像を新たな書込画像Bとして保存する(ステップS61)。 If the image obtained from the server 4 is a low-quality composite image (step S58: A+B+C after compression), the student image display unit 50 decodes and displays the low-quality composite image (step S59). If the image obtained from the server 4 is a difference image C (step S58: C), the student image display unit 50 combines the background image A shown in FIG. 13(a), the writing image B shown in FIG. 13(b), and the difference image C shown in FIG. 13(c), and displays it as a note screen (A+B+C) as shown in FIG. 13(d) (step S60). Then, the image obtained by combining the writing image B and the difference image C is saved as a new writing image B (step S61).

同様に、サーバ4から取得した画像が差分画像Eの場合(ステップS58:E)、生徒画像表示部50が当該差分画像Eを背景画像Aおよび書込画像Bと合成してノート画面(A+B+E)として表示する(ステップS62)。そして、書込画像Bと差分画像Eとを合成した画像を新たな書込画像Bとして保存する(ステップS63)。 Similarly, if the image acquired from the server 4 is difference image E (step S58: E), the student image display unit 50 composites the difference image E with the background image A and the writing image B to display the result as a notebook screen (A+B+E) (step S62). Then, the composite image of the writing image B and the difference image E is saved as a new writing image B (step S63).

これにより、教師端末2において複数の生徒端末3におけるノート画面をリアルタイムでモニタリングする際の通信量が低減されるとともに、高い画質が維持される。また、高画質モードと低画質モードとが時々刻々と切り替えられても、低画質モードになる直前の高画質画像が保存されているとともに、低画質モード中の差分画像が別途、保存されているため、確実かつ正確に各生徒端末3のノート画面を再現することが可能となる。 This reduces the amount of communication when the teacher terminal 2 monitors the notebook screens of multiple student terminals 3 in real time, while maintaining high image quality. Even if high-image-quality mode and low-image-quality mode are switched between from moment to moment, the high-image-quality image immediately before switching to low-image-quality mode is saved, and the difference image during low-image-quality mode is saved separately, so that the notebook screen of each student terminal 3 can be reproduced reliably and accurately.

なお、モニタリング機能を実行中の教師端末2において、一覧表示されている生徒端末3のノート画面のうち、いずれかのノート画面をタッチ等して生徒を選択すると(ステップS64:YES)、当該生徒の生徒端末3と教師端末2との間で、上述したノート共有機能が実行される。これにより、教師は、モニタリング中に個人的な指導等が必要な生徒がいれば、当該生徒のノート画面に対してヒントやアドバイスを個別に書き込むことが可能となる。 When a student is selected by touching or otherwise selecting one of the notebook screens of the student terminals 3 displayed in a list on the teacher terminal 2 while the monitoring function is being executed (step S64: YES), the above-mentioned notebook sharing function is executed between the student terminal 3 of the selected student and the teacher terminal 2. This allows the teacher to write hints and advice individually on the notebook screen of any student who needs personal guidance during monitoring.

一方、モニタリング機能を実行中の教師端末2において、生徒の選択がない限り(ステップS64:NO)、ステップS56へと戻り、所定時間が経過するごとに(ステップS56:YES)、生徒画像取得部49がサーバ4にアクセスし、生徒端末3ごとの画像データを取得することによって(ステップS57)、各生徒端末3のノート画面がリアルタイムで再現される。 On the other hand, unless a student is selected on the teacher terminal 2 that is executing the monitoring function (step S64: NO), the process returns to step S56, and each time a predetermined time has elapsed (step S56: YES), the student image acquisition unit 49 accesses the server 4 and acquires image data for each student terminal 3 (step S57), thereby reproducing the notebook screen of each student terminal 3 in real time.

以上のような本実施形態によれば、以下のような効果を奏する。
1.他端末におけるノート画面への書き込みを自端末のノート画面上にリアルタイムで再現し、教師端末2と生徒端末3との間で双方向性およびリアルタイム性に優れたオンライン授業を行うことができる。
2.教師は生徒の手元の動きをリアルタイムで確認できるため、授業への理解度や集中度など、生徒の状況を把握しやすい。
3.生徒は教師の板書内容がリアルタイムで自端末のノート画面に書き込まれるため、板書を写す作業が不要となり、授業への理解度や集中度が向上する。
4.過去に書き込みが行われたノート画面を表示する際の通信ネットワークに係る負荷を低減することができる。
5.サーバ4によって圧縮された点列データを正確に復号化することができる。
6.教師端末2において複数の生徒端末3におけるノート画面をリアルタイムで一覧表示する際の通信量を低減するとともに、画質の低下を抑制することができる。
7.サーバ4から教師端末2への重複送信を防止し通信量を抑制することができる。
According to the present embodiment described above, the following effects are obtained.
1. Writings on the notebook screen of another terminal can be reproduced on the notebook screen of the own terminal in real time, making it possible to conduct online lessons with excellent interactivity and real-time performance between the teacher terminal 2 and the student terminal 3.
2. Teachers can see students' hand movements in real time, making it easier for them to grasp students' status, such as their level of understanding and concentration in class.
3. Students can see what the teacher writes on the board in real time on their own devices, eliminating the need to copy what is written on the board, improving their understanding of the lesson and their concentration.
4. It is possible to reduce the load on the communication network when displaying a note screen on which notes have been written in the past.
5. The point sequence data compressed by the server 4 can be accurately decoded.
6. It is possible to reduce the amount of communication when the teacher terminal 2 displays a list of the notebook screens of a plurality of student terminals 3 in real time, and to suppress deterioration of image quality.
7. It is possible to prevent duplicate transmission from the server 4 to the teacher terminal 2 and reduce the amount of communication.

なお、本発明に係るオンライン授業支援システム1、オンライン授業支援プログラム1aおよびオンライン授業支援方法は、前述した実施形態に限定されるものではなく、適宜変更することができる。 The online class support system 1, online class support program 1a, and online class support method according to the present invention are not limited to the above-described embodiments, and can be modified as appropriate.

1 オンライン授業支援システム
1a オンライン授業支援プログラム
2 教師端末
3 生徒端末
4 サーバ
10 タッチパネル
20 通信手段
30 記憶手段
31 プログラム記憶部
32 背景画像記憶部
33 書込画像記憶部
34 高画質合成画像記憶部
35 点列データ記憶部
36 モニタリング画像記憶部
40 演算処理手段
41 ストロークID払出部
42 書込情報取得部
43 点列データ送信部
44 点列データ取得部
45 書込再現部
46 ページ要求部
47 点列データ復号部
48 表示制御部
49 生徒画像取得部
50 生徒画像表示部
51 画像送信部
52 差分画像作成部
53 データサイズ算出部
54 点列データ圧縮部
55 重複送信防止部
LIST OF SYMBOLS 1 Online class support system 1a Online class support program 2 Teacher terminal 3 Student terminal 4 Server 10 Touch panel 20 Communication means 30 Storage means 31 Program storage section 32 Background image storage section 33 Handwritten image storage section 34 High-quality composite image storage section 35 Point sequence data storage section 36 Monitoring image storage section 40 Arithmetic processing means 41 Stroke ID output section 42 Handwritten information acquisition section 43 Point sequence data transmission section 44 Point sequence data acquisition section 45 Handwritten reproduction section 46 Page request section 47 Point sequence data decoding section 48 Display control section 49 Student image acquisition section 50 Student image display section 51 Image transmission section 52 Difference image creation section 53 Data size calculation section 54 Point sequence data compression section 55 Duplicate transmission prevention section

Claims (7)

サーバを介して教師端末と生徒端末との間で行われるオンライン授業を支援するオンライン授業支援システムであって、
前記教師端末および前記生徒端末の双方におけるタッチパネル上に同一のノート画面をリアルタイムで表示するノート共有機能を有しており、
前記教師端末および前記生徒端末のそれぞれは、
自端末の前記ノート画面に書き込みが開始されるたびに、前記書き込みを識別するストロークIDを払い出すストロークID払出部と、
前記書き込みが継続している間、前記書き込みに係る書込位置と書込時刻とを含む書込情報を所定の時間間隔で取得する書込情報取得部と、
前記ストロークIDと前記書込情報とからなる点列データを所定の時間間隔で前記サーバへ送信する点列データ送信部と、
他端末から送信された前記点列データを所定の時間間隔で前記サーバから取得する点列データ取得部と、
前記点列データ取得部が前記点列データを取得するたびに、前記ストロークIDが同一の前記書込情報に基づいて、他端末における前記書き込みを自端末の前記タッチパネル上にリアルタイムで再現する書込再現部と、
を有する、オンライン授業支援システム。
An online class support system that supports online classes conducted between a teacher terminal and a student terminal via a server,
The teacher terminal and the student terminal have a note sharing function for displaying the same note screen in real time on the touch panel of each of the terminals.
Each of the teacher terminal and the student terminal has
a stroke ID issuing unit that issues a stroke ID for identifying a writing each time writing is started on the notebook screen of the terminal;
a writing information acquiring unit that acquires writing information including a writing position and a writing time related to the writing at a predetermined time interval while the writing continues;
a point sequence data transmission unit that transmits point sequence data consisting of the stroke ID and the writing information to the server at a predetermined time interval;
a point sequence data acquisition unit that acquires the point sequence data transmitted from another terminal from the server at a predetermined time interval;
a writing reproduction unit that reproduces the writing on the other terminal on the touch panel of the own terminal in real time based on the writing information having the same stroke ID every time the point sequence data acquisition unit acquires the point sequence data;
An online teaching support system.
前記サーバは、前記教師端末または前記生徒端末から、過去に書き込みが行われた前記ノート画面の表示が要求されると、前記ノート画面に書き込まれた全ての書き込みに係る前記点列データを取得し、各点列データに含まれる書込位置を示す時系列の座標のうち、二番目以降の座標群を一つ前の座標に対する相対座標に変換するとともに、前記相対座標のそれぞれを一つの文字または記号に変換する点列データ圧縮部を有する、請求項1に記載のオンライン授業支援システム。 The online class support system according to claim 1, wherein the server, when a request is made from the teacher terminal or the student terminal to display the notebook screen on which writing has been previously made, acquires the point sequence data relating to all writings made on the notebook screen, converts the second and subsequent coordinate groups of the time-series coordinates indicating the writing positions included in each point sequence data into relative coordinates with respect to the previous coordinates, and has a point sequence data compression unit that converts each of the relative coordinates into a single character or symbol. 前記教師端末および前記生徒端末のそれぞれは、前記点列データ圧縮部によって圧縮された点列データを取得すると、前記文字または記号のそれぞれを相対座標に変換するとともに、前記書込位置を示す一番目の座標に基づいて、二番目以降の相対座標を順次、前記書込位置を示す時系列の座標に復号化する点列データ復号部を有する、請求項2に記載のオンライン授業支援システム。 The online class support system according to claim 2, wherein each of the teacher terminal and the student terminal has a dot sequence data decoding unit that converts each of the characters or symbols into relative coordinates when it acquires the dot sequence data compressed by the dot sequence data compression unit, and sequentially decodes the second and subsequent relative coordinates into time-series coordinates indicating the writing position based on the first coordinate indicating the writing position. 前記教師端末のタッチパネル上に、複数の前記生徒端末におけるノート画面をリアルタイムで一覧表示するモニタリング機能を有しており、
前記生徒端末は、
背景画像を保有する背景レイヤと、生徒の書き込みを記録する生徒レイヤとを合成して前記ノート画面を表示する表示制御部と、
所定の時間間隔で前記生徒レイヤに書き込まれた全ての書き込みを書込画像として記憶する書込画像記憶部と、
所定の時間間隔で前記生徒レイヤへの全ての書き込みを取得し、前記書込画像と比較して新たに書き込まれた部分を差分画像として作成する差分画像作成部と、
前記背景画像と前記書込画像と前記差分画像とを合成して圧縮した低画質合成画像のデータサイズと、前記差分画像のデータサイズを算出するデータサイズ算出部と、
最初に前記背景画像および前記書込画像をサーバへ送信した後、所定の時間間隔で前記低画質合成画像または前記差分画像のうち、データサイズが小さい方を前記サーバへ送信する画像送信部と、
前記画像送信部が、前記差分画像を送信した後に前記低画質合成画像を送信する場合、前記書込画像と前記差分画像とを合成した高画質合成画像を記憶する高画質合成画像記憶部と、
を有しており、
前記画像送信部は、前記低画質合成画像を送信した後に前記差分画像を送信する場合、前記高画質合成画像と比較して新たに書き込まれた部分を前記差分画像として送信するとともに、
前記教師端末は、
最初に前記生徒端末のそれぞれから送信された前記背景画像および前記書込画像を前記サーバから取得した後、所定の時間間隔で前記生徒端末ごとの前記低画質合成画像または前記差分画像を取得する生徒画像取得部と、
前記サーバから前記低画質合成画像を受信した場合、前記低画質合成画像を復号化してノート画面として表示するとともに、前記サーバから前記差分画像を受信した場合、前記差分画像を前記背景画像および前記書込画像と合成してノート画面として表示する生徒画像表示部と、
を有しており、
前記サーバから前記差分画像を受信した場合、前記書込画像と前記差分画像とを合成した画像を新たな書込画像として記憶する、
請求項1から請求項3のいずれかに記載のオンライン授業支援システム。
The teacher terminal has a monitoring function for displaying a list of notebook screens of the multiple student terminals in real time on a touch panel of the teacher terminal;
The student terminal includes:
a display control unit that displays the notebook screen by combining a background layer having a background image and a student layer that records writings by students;
a writing image storage unit that stores all writings written in the student layer at a predetermined time interval as writing images;
a difference image creation unit that acquires all writings on the student layer at a predetermined time interval, compares the writing image with the writing image, and creates a difference image of the newly written portion;
a data size calculation unit that calculates a data size of a low-quality composite image obtained by combining and compressing the background image, the writing image, and the difference image, and a data size of the difference image;
an image transmission unit that first transmits the background image and the writing image to a server, and then transmits, at predetermined time intervals, one of the low-quality composite image and the difference image, whichever has a smaller data size, to the server;
a high-quality composite image storage unit that stores a high-quality composite image obtained by combining the writing image and the difference image when the image transmission unit transmits the low-quality composite image after transmitting the difference image;
It has
When transmitting the difference image after transmitting the low-quality composite image, the image transmission unit transmits a newly written portion as the difference image by comparing it with the high-quality composite image, and
The teacher terminal includes:
a student image acquisition unit that first acquires from the server the background image and the handwritten image transmitted from each of the student terminals, and then acquires the low-quality composite image or the difference image for each of the student terminals at a predetermined time interval;
a student image display unit that, when receiving the low-quality composite image from the server, decodes the low-quality composite image and displays it as a notebook screen, and, when receiving the difference image from the server, composites the difference image with the background image and the writing image and displays it as a notebook screen;
It has
when the difference image is received from the server, an image obtained by combining the writing image and the difference image is stored as a new writing image;
4. The online class support system according to claim 1.
前記サーバは、前記生徒端末から受信した前記背景画像のうち、前記教師端末へ一度送信した前記背景画像は前記教師端末へ送信しない重複送信防止部を有している、請求項4に記載のオンライン授業支援システム。 The online class support system according to claim 4, wherein the server has a duplicate transmission prevention unit that does not transmit to the teacher terminal the background image that has been once transmitted to the teacher terminal among the background images received from the student terminal. サーバを介して教師端末と生徒端末との間で行われるオンライン授業を支援するオンライン授業支援プログラムであって、
前記教師端末および前記生徒端末の双方におけるタッチパネル上に同一のノート画面をリアルタイムで表示するノート共有機能を有しており、
自端末の前記ノート画面に書き込みが開始されるたびに、前記書き込みを識別するストロークIDを払い出すストロークID払出部と、
前記書き込みが継続している間、前記書き込みに係る書込位置と書込時刻とを含む書込情報を所定の時間間隔で取得する書込情報取得部と、
前記ストロークIDと前記書込情報とからなる点列データを所定の時間間隔で前記サーバへ送信する点列データ送信部と、
他端末から送信された前記点列データを所定の時間間隔で前記サーバから取得する点列データ取得部と、
前記点列データ取得部が前記点列データを取得するたびに、前記ストロークIDが同一の前記書込情報に基づいて、他端末における前記書き込みを自端末の前記タッチパネル上にリアルタイムで再現する書込再現部と、
してコンピュータを機能させる、オンライン授業支援プログラム。
An online class support program for supporting online classes conducted between a teacher terminal and a student terminal via a server,
The teacher terminal and the student terminal have a note sharing function for displaying the same note screen in real time on the touch panel of each of the terminals.
a stroke ID issuing unit that issues a stroke ID for identifying a writing each time writing is started on the notebook screen of the terminal;
a writing information acquiring unit that acquires writing information including a writing position and a writing time related to the writing at a predetermined time interval while the writing continues;
a point sequence data transmission unit that transmits point sequence data consisting of the stroke ID and the writing information to the server at a predetermined time interval;
a point sequence data acquisition unit that acquires the point sequence data transmitted from another terminal from the server at a predetermined time interval;
a writing reproduction unit that reproduces the writing on the other terminal on the touch panel of the own terminal in real time based on the writing information having the same stroke ID every time the point sequence data acquisition unit acquires the point sequence data;
This is an online class support program that enables computers to function.
サーバを介して教師端末と生徒端末との間で行われるオンライン授業を支援するオンライン授業支援方法であって、
前記教師端末および前記生徒端末の双方におけるタッチパネル上に同一のノート画面をリアルタイムで表示するノート共有機能を有しており、
自端末の前記ノート画面に書き込みが開始されるたびに、前記書き込みを識別するストロークIDを払い出すストロークID払出ステップと、
前記書き込みが継続している間、前記書き込みに係る書込位置と書込時刻とを含む書込情報を所定の時間間隔で取得する書込情報取得ステップと、
前記ストロークIDと前記書込情報とからなる点列データを所定の時間間隔で前記サーバへ送信する点列データ送信ステップと、
他端末から送信された前記点列データを所定の時間間隔で前記サーバから取得する点列データ取得ステップと、
前記点列データ取得ステップにおいて前記点列データが取得されるたびに、前記ストロークIDが同一の前記書込情報に基づいて、他端末における前記書き込みを自端末の前記タッチパネル上にリアルタイムで再現する書込再現ステップと、
を有する、オンライン授業支援方法。
An online class support method for supporting an online class conducted between a teacher terminal and a student terminal via a server, comprising:
The teacher terminal and the student terminal have a note sharing function for displaying the same note screen in real time on the touch panel of each of the terminals.
a stroke ID issuing step of issuing a stroke ID for identifying a writing each time writing is started on the notebook screen of the terminal;
a writing information acquiring step of acquiring writing information including a writing position and a writing time related to the writing at a predetermined time interval while the writing continues;
a point sequence data transmission step of transmitting point sequence data consisting of the stroke ID and the writing information to the server at a predetermined time interval;
a point sequence data acquisition step of acquiring the point sequence data transmitted from another terminal from the server at a predetermined time interval;
a writing reproduction step of reproducing the writing on the other terminal on the touch panel of the own terminal in real time based on the writing information having the same stroke ID every time the point sequence data is acquired in the point sequence data acquisition step;
A method for supporting online classes.
JP2022168030A 2022-10-20 2022-10-20 Online class support system, online class support program, and online class support method Pending JP2024060646A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022168030A JP2024060646A (en) 2022-10-20 2022-10-20 Online class support system, online class support program, and online class support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022168030A JP2024060646A (en) 2022-10-20 2022-10-20 Online class support system, online class support program, and online class support method

Publications (1)

Publication Number Publication Date
JP2024060646A true JP2024060646A (en) 2024-05-07

Family

ID=90925422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022168030A Pending JP2024060646A (en) 2022-10-20 2022-10-20 Online class support system, online class support program, and online class support method

Country Status (1)

Country Link
JP (1) JP2024060646A (en)

Similar Documents

Publication Publication Date Title
US7242389B1 (en) System and method for a large format collaborative display for sharing information
CN113504852A (en) Control method of recording and broadcasting integrated intelligent comprehensive screen blackboard system
US11799677B2 (en) Annotation layer permissions
CN103957190A (en) Online education interaction method, client-sides, server and system
CN104221047A (en) Method and apparatus for sharing presentation data and annotation
JP2005228107A (en) Online communication system and online communication method
CN103794089A (en) Online teaching method and device with photo taking function
CN111738889A (en) OMO intelligent interactive cloud classroom system supporting multiple terminals
JP2015225606A (en) Information processing device
CN1682531A (en) Wireless projection system
CN103839451A (en) Informationized paperless classroom teaching system
JP2011227745A (en) Information processor, electronic conference system, learning system, information processing method and server
CN113220162A (en) Real-time interaction method, terminal and storage medium for electronic screen
KR101000893B1 (en) Method for sharing displaying screen and device thereof
KR101166303B1 (en) Online education system and communication terminal therfor
KR101753731B1 (en) File conversion devices through a shared document in electronic blackboard
JP2024060646A (en) Online class support system, online class support program, and online class support method
JP2004188736A (en) Electronic blackboard and electronic blackboard control device
CN111796846B (en) Information updating method, device, terminal equipment and readable storage medium
Miura et al. Augmented classroom: A paper-centric approach for collaborative learning system
CN114025147A (en) Data transmission method and system for VR teaching, electronic equipment and storage medium
CN113625985A (en) Display method and device of intelligent blackboard and intelligent blackboard
CN111966279A (en) Method, device, equipment and medium for sharing blackboard writing
CN112331002A (en) Whole-course digital teaching method, system and device
KR20170099826A (en) Several people learning devices through a shared document of different model in electronic blackboard

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20221117