JPH04355490A - Learning support method and learning support system - Google Patents

Learning support method and learning support system

Info

Publication number
JPH04355490A
JPH04355490A JP3130889A JP13088991A JPH04355490A JP H04355490 A JPH04355490 A JP H04355490A JP 3130889 A JP3130889 A JP 3130889A JP 13088991 A JP13088991 A JP 13088991A JP H04355490 A JPH04355490 A JP H04355490A
Authority
JP
Japan
Prior art keywords
learning
time
learning support
display
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3130889A
Other languages
Japanese (ja)
Other versions
JP3284561B2 (en
Inventor
Takaaki Yamada
隆亮 山田
Hiroyuki Kojima
小嶋 弘行
Hirohide Haga
芳賀 博英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP13088991A priority Critical patent/JP3284561B2/en
Publication of JPH04355490A publication Critical patent/JPH04355490A/en
Application granted granted Critical
Publication of JP3284561B2 publication Critical patent/JP3284561B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PURPOSE:To improve human interface and improve its operability by managing learning time and recess time on the progress of learning, and giving an advise to a learner according to the individual learning progress. CONSTITUTION:A computer 1201 has managing function of learning time and recess time, and when a learner takes an unnecessarily long recess, the computer 1201 gives warning to him. When many files of images possessed by the computer 1201 are displayed on a display 1206, each file is contracted and displayed to a size as possible to judge the content so as to be used as an icon showing the content, and displayed in a size only required. Further, the movement of a moving object in a dynamic image can be followed by the method of not fixing a button which is the receiving area of a mouse 1208 but moving it on time axis in accordance with the dynamic image, so that the object moving in the dynamic image can be pointed by the mouse 1208.

Description

【発明の詳細な説明】[Detailed description of the invention]

【0001】0001

【産業上の利用分野】本発明は学習支援方法およびその
ための装置に関し、特に音声,テキスト,画像(コンピ
ュータグラフィックスを含む)等のマルチメディア(以
下、単に「マルチメディア」という)を利用する学習に
対する、計算機を用いた支援方法および学習支援システ
ムに関する。
[Industrial Application Field] The present invention relates to a learning support method and apparatus therefor, and in particular to learning that utilizes multimedia (hereinafter simply referred to as "multimedia") such as audio, text, and images (including computer graphics). The present invention relates to a computer-based support method and learning support system for learning.

【0002】0002

【従来の技術】マルチメディアを利用する学習支援装置
としては、従来から、マルチメディアを利用して学習情
報を人間に伝えるために、出力装置としてのディスプレ
イとスピーカ,入力装置としてのキーボードとマウス,
データを格納する記憶装置を有する学習支援のための計
算機システムが知られている。例えば、電子情報通信学
会技術研究報告(教育工学:ET90−64)に「マル
チメディア知的CAI(Computer Aided
 Instruction)の試み」と題して記載され
ている如く、従来のマルチメディアを利用する学習支援
装置では、学習者モデルや教授戦略の立場から、個別の
学習者に応じた学習シナリオ展開が試みられている。し
かし、ここでは、学習者が計算機と対話的に学習を進め
る際、適切な休憩時間をとることは、ユーザである学習
者が管理しており、ユーザに学習時間を指導することは
、上述のCAI装置を用いて教育を行う先生の作業であ
った。
[Prior Art] Learning support devices that use multimedia have traditionally been equipped with displays and speakers as output devices, keyboards and mice as input devices, etc., in order to convey learning information to humans using multimedia.
2. Description of the Related Art A computer system for supporting learning that has a storage device for storing data is known. For example, the Institute of Electronics, Information and Communication Engineers Technical Research Report (Educational Technology: ET90-64) states “Multimedia Intelligent CAI (Computer Aided
As described in the article titled ``Attempts at Instructions'', in conventional learning support devices that use multimedia, attempts have been made to develop learning scenarios tailored to individual learners from the standpoint of learner models and teaching strategies. There is. However, here, when a learner proceeds with learning interactively with a calculator, it is the user, the learner, who is in charge of taking an appropriate break time, and instructing the user about study time is the responsibility of the above-mentioned method. This was the work of a teacher who provides education using a CAI device.

【0003】0003

【発明が解決しようとする課題】また、良く知られてい
る如く、ワークステーション等においては、ディスプレ
イ上に、計算機が持つファイルの内容を「アイコン」と
称するグラフィカルなイメージでシンボル化して表現し
、ユーザが上記アイコンをマウス等で指定することによ
り、当該ファイルの内容を表示する方式が採用されてい
る。従来技術では、ワークステーション等のディスプレ
イ上に、計算機が持つファイルを多数表示する場合、シ
ンボル化されたアイコンの内容の区別が付きにくく、ま
た、シンボルの意味が分からないといった問題点が生じ
ていた。一方、同じく、ワークステーション等における
、マルチウィンドウシステムにおいては、ウィンドウの
大きさを変えることで当該文書の一部のみを表示し、画
面における表示面積を小さくすることが行われてきた。 また、文書のレイアウト機能は、当該文書をシステムの
定めた所定の大きさにすることができたので、マルチウ
ィンドウシステムにより文書を表示したウィンドウを重
ねて表示できた。しかしながら、上述の従来技術では、
ウィンドウを小さくして表示面積を小さくすると文書全
体を一度に見ることができず、マルチウィンドウシステ
ムにより重ねて表示すると、同時に多くの文書を表示で
きないため、複数の文書を見比べたりする場合、ウィン
ドウの重ね方を変更して見るしかなかった。また、ディ
スプレイ上に表現されているテキストや静止画の内容と
関係のあるファイルの内容を見るためには、当該テキス
トや静止画の中にマウスによる指定を受け付ける「ボタ
ン」と称する固定領域を用意し、ユーザが上述のボタン
をマウス等で指定することにより該当するファイルの内
容を表示していたが、動画については、対象物が動くの
で、動画エリア外に上述のボタンを設定していたため、
ユーザが、見たい対象を直接ポインティングできなかっ
た。更に、学習支援装置による学習を進める中で、画面
情報をメモに取る手段としては、例えば、ハードコピー
機能により、画面をそのまま印刷できた。しかし、画面
に表示された情報を個人的に記録したい場合、ハードコ
ピーをとると時間がかかること、必要無い部分まで出力
されてしまうこと、表示内容に自分のコメントを加えら
れないこと、情報の編集が紙の状態でしかできないこと
、等の諸問題があった。本発明は上記事情に鑑みてなさ
れたもので、その目的とするところは、従来の技術にお
ける上述の如き問題を解消することにある。すなわち、 (1)学習者が学習をさぼったり、過度に学習を進めす
ぎていることを注意する方法を実現すること。 (2)机の上で、教科書と参考書等の、複数の文書を見
比べることができるように、各文書の頁全体が一度に見
え、かつ、複数の文書すべてが見渡せるディスプレイ表
示方法を実現すること。 (3)動画内の物,人等の動いているオブジェクトを、
画面のどこにあっても、その位置を直接マウスで指定す
ることにより、各オブジェクトに関連のあるファイルの
内容を表示できるような、マウスのポインティング方法
を実現すること。 (4)学習者がメモに残したいと思う部分について、テ
キスト,グラフィック,静止画,動画といったメディア
に係りなく、表示画面中の任意の部分を紙のように切り
貼りして自由なメモファイルの作成を可能とする方法を
実現すること。が可能な学習支援方法およびそのための
装置を提供することにある。
[Problem to be Solved by the Invention] Furthermore, as is well known, in workstations and the like, the contents of files held by the computer are expressed as symbols on the display using graphical images called "icons". A method is adopted in which the user specifies the above-mentioned icon using a mouse or the like to display the contents of the file. With conventional technology, when displaying a large number of files owned by a computer on the display of a workstation, etc., there were problems in that it was difficult to distinguish the contents of the symbolized icons, and it was difficult to understand the meaning of the symbols. . On the other hand, similarly, in multi-window systems in workstations and the like, only a portion of the document is displayed by changing the size of the window, thereby reducing the display area on the screen. Furthermore, the document layout function was able to make the document a predetermined size determined by the system, so the multi-window system enabled windows displaying documents to be displayed overlapping each other. However, in the above-mentioned conventional technology,
If you make the window smaller to reduce the display area, you won't be able to see the entire document at once, and if you stack them using a multi-window system, you won't be able to display many documents at the same time. I had no choice but to change the way they were layered. In addition, in order to view the contents of a file related to the text or still image displayed on the display, a fixed area called a "button" that can be specified with the mouse is prepared within the text or still image. However, when the user specified the above-mentioned button with a mouse, etc., the contents of the corresponding file were displayed, but for videos, the object moved, so the above-mentioned button was set outside the video area.
Users could not directly point to what they wanted to see. Furthermore, as a means of taking notes on screen information while learning using the learning support device, for example, a hard copy function could be used to print out the screen as it was. However, if you want to personally record the information displayed on the screen, making a hard copy will take time, unnecessary parts will be output, you will not be able to add your own comments to the displayed content, and the information will be There were various problems such as the fact that editing could only be done on paper. The present invention has been made in view of the above circumstances, and its purpose is to solve the above-mentioned problems in the conventional technology. In other words, (1) To realize a method to be careful when a learner is skipping learning or progressing too much in learning. (2) Realize a display method that allows you to see the entire page of each document at once and to see all of the multiple documents so that you can compare multiple documents such as textbooks and reference books on your desk. thing. (3) Moving objects such as objects and people in the video,
To realize a mouse pointing method capable of displaying the contents of a file related to each object by directly specifying its position anywhere on the screen with the mouse. (4) Create a free memo file by cutting and pasting any part of the display screen like a piece of paper, regardless of the media such as text, graphics, still images, or videos, regarding the part that the learner would like to leave in a memo. To realize a method that makes it possible. The purpose of the present invention is to provide a learning support method and a device for the same.

【0004】0004

【課題を解決するための手段】本発明の上記目的は、音
,動画,静止画,テキスト,コンピュータグラフィック
スまたはアニメーション等の種類の異なるメディア(マ
ルチメディア)を統一的に制御する手段と、出力装置と
してのディスプレイとスピーカ,入力装置としてのキー
ボードとマウス,データを格納する記憶装置を有する学
習支援のための計算機システムにおいて、学習進行上の
学習時間および休憩時間の管理を行い、個人の学習進度
に合せて学習者にアドバイスすることを特徴とする学習
支援方法、および、これに基づく学習支援システムによ
って達成される。
[Means for Solving the Problems] The above object of the present invention is to provide a means for uniformly controlling different types of media (multimedia) such as sound, moving images, still images, text, computer graphics, or animation, and an output A computer system for learning support that has a display and speakers as devices, a keyboard and mouse as input devices, and a storage device for storing data, manages learning time and break time during learning progress, and monitors individual learning progress. This is achieved by a learning support method characterized by giving advice to learners according to their needs, and a learning support system based thereon.

【0005】[0005]

【作用】本発明に係る学習支援方法およびこれに基づく
学習支援システムにおいては、計算機に学習時間,休憩
時間の管理機能を持たせたことにより、学習者が、不要
に長く休憩を取ったりした場合、計算機から注意するた
めの出力を出すことができる。また、本発明に係る学習
支援方法においては、ディスプレイ上に、計算機が持つ
テキスト,画像のファイルを多く表示する場合、各ファ
イルを、その内容の判別できる程度の大きさに縮小表示
する手段を設けたことにより、これを内容が見えるアイ
コンとして用いるようにして、複数のファイルを、該フ
ァイルの内容の判別に必要なだけの大きさで表示できる
。更に、マウスの受け付け領域であるボタンを固定領域
とせず、該領域を動画に合せて時間軸移動させる方法で
、動画中の、移動するオブジェクトの動きをフォローで
きるようにしたことにより、動画中の移動するオブジェ
クトをマウスでポインティングすることが可能となる。 また、また、本発明では、動画像をディジタル化してフ
レームバッファに記録した後、グラフィック、キャラク
タ用のフレームメモリとミキサにて合成して表示するこ
とにより、マルチメディアデータの表示内容を構成する
フレームバッファあるいはフレームメモリの内容から必
要部分のみを切り出してファイル化し、その内容を自在
に編集できる手段を設けた。画面に表示されたマルチメ
ディアデータの必要部分のみを切り出して個人用のメモ
に貼付けて編集できる。
[Operation] In the learning support method according to the present invention and the learning support system based on the same, the computer is provided with a function to manage study time and break time, so that if a learner takes an unnecessary long break, , the computer can produce output for your attention. Furthermore, in the learning support method according to the present invention, when a large number of text and image files owned by a computer are displayed on the display, a means is provided to reduce and display each file to a size that allows the content to be distinguished. By using this icon as an icon whose contents can be seen, it is possible to display a plurality of files in a size necessary for determining the contents of the file. Furthermore, the button, which is the mouse reception area, is not a fixed area, but the area is moved along the time axis according to the video, making it possible to follow the movement of moving objects in the video. It becomes possible to point the moving object with the mouse. In addition, in the present invention, after digitizing a moving image and recording it in a frame buffer, frames that constitute the display content of multimedia data are synthesized with a frame memory for graphics and characters by a mixer and displayed. A means is provided to cut out only the necessary parts from the contents of the buffer or frame memory, create a file, and edit the contents freely. You can cut out only the necessary parts of the multimedia data displayed on the screen and paste it into a personal memo for editing.

【0006】[0006]

【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。まず、本発明の第一の実施例を、図1〜図
3を用いて説明する。図2は、本発明の一実施例に係る
、マルチメディアを利用する学習支援装置の構成図であ
る。図からも明らかな如く、本実施例に示す学習支援装
置は、計算機1201,イメージスキャナ1202,光
ディスク装置1203,ディスク装置1204,スピー
カシステム1205,ディスプレイ1206,キーボー
ド1207,マウス1208から構成されている。また
、計算機1201内には時計1209を具備し、計算機
1201内のプログラムからの要請があれば、現在時刻
をプログラムに読み込むことができる。図3は、学習進
行上の学習時間および休憩時間の管理を計算機が行うた
めに用いる、ユーザ(学習者)対応の学習時間管理テー
ブルの構成例を示す図である。本学習時間管理テーブル
には、ユーザID(1301)の登録が可能であり、複
数のユーザに対し、上記ユーザID(1301)により
区別をすることで、各人の学習時間管理を行うことが可
能である。ここでは、全学習内容に対して、時系列的に
n個の学習過程を設けており、n分割された学習内容の
学習過程番号i(1302)の学習過程をPiとする。 学習過程Piにおけるラップタイムは、学習過程Piの
終了時刻tと学習過程Piの開始時刻t0との差であり
、上記ラップタイムについて、その許容範囲の下限をt
min(i)(1303)、上限をtmax(i)(1
304)として 設定しておく。更に、学習開始時刻か
らの累積時間の標準値をT(i)(1305)とし、実
際に学習に要した累積時間の推移をS(i)(1306
)として、逐次記録する。tmin(i)(1303)
,tmax(i)(1304),T(i)(1305)
およびS(i)(1306)は、学習過程番号i(13
01)をパラメータとする変数であり、tmax(i)
(1304),tmin(i)(1303)およびT(
i)(1305)には、学習内容に適応した初期値を設
定しておく。S(i)(1306)には、初期値として
「0」を設定する。また、前回の学習過程がどこまで進
んだかを記録するために、次回に学習すべき学習過程番
号i(1307)を記録でき、ここには、学習を始めて
行う前には、初期値として「1」が設定されている。更
に、学習を側めてからの累積時間SUM(1308)を
記録でき、学習を始めて行う前には、初期値として「0
」が設定されている。なお、学習中断後、学習を再開し
た場合には、この値を読み込んで累積時間の加算を行い
、再度中断したとき記録するものである。
Embodiments Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. First, a first embodiment of the present invention will be described using FIGS. 1 to 3. FIG. 2 is a configuration diagram of a learning support device using multimedia according to an embodiment of the present invention. As is clear from the figure, the learning support device shown in this embodiment includes a computer 1201, an image scanner 1202, an optical disk device 1203, a disk device 1204, a speaker system 1205, a display 1206, a keyboard 1207, and a mouse 1208. Further, the computer 1201 is equipped with a clock 1209, and upon request from the program in the computer 1201, the current time can be read into the program. FIG. 3 is a diagram showing an example of the configuration of a learning time management table for a user (learner), which is used by a computer to manage learning time and break time during learning progress. A user ID (1301) can be registered in this study time management table, and by distinguishing multiple users using the user ID (1301), it is possible to manage each person's study time. It is. Here, n learning processes are provided in chronological order for all learning contents, and the learning process with learning process number i (1302) of the n divided learning contents is assumed to be Pi. The lap time in the learning process Pi is the difference between the end time t of the learning process Pi and the start time t0 of the learning process Pi, and the lower limit of the allowable range for the above lap time is t.
min(i)(1303), upper limit tmax(i)(1
304). Furthermore, the standard value of the cumulative time from the learning start time is set as T(i) (1305), and the transition of the cumulative time actually required for learning is set as S(i)(1306).
) are recorded sequentially. tmin(i) (1303)
, tmax(i) (1304), T(i) (1305)
and S(i) (1306) is the learning process number i(13
01) as a parameter, and tmax(i)
(1304), tmin(i) (1303) and T(
i) (1305) is set with an initial value adapted to the learning content. S(i) (1306) is set to "0" as an initial value. In addition, in order to record how far the previous learning process has progressed, you can record the learning process number i (1307) to be learned next time. is set. Furthermore, you can record the cumulative time SUM (1308) since learning started, and before learning for the first time, set the initial value to "0".
" is set. In addition, when learning is restarted after learning is interrupted, this value is read and the cumulative time is added, and it is recorded when learning is interrupted again.

【0007】図1は、学習進行上の学習時間および休憩
時間の管理を計算機が行うアルゴリズムのPAD図であ
る。ユーザIDを入力し、学習を開始するか、あるいは
、前回学習を中断した後 学習を再開すると、現在時刻
t0を入力し、累積時間SUMを読み込む(ステップ1
101)。次に、学習を再開すべき学習過程番号iを読
み込み(ステップ1102)、これにより、学習Piが
実行できる(1104)。第i番目の学習過程Pi終了
時に、現在時刻tを読み込み(ステップ1105)、累
積時間SUM(1308)を更新し(ステップ1106
と1107)、以下に説明する如き形で、学習進行状態
を出力する(ステップ1108)。次いで、ステップ1
109に示す条件分岐により、ラップタイム(t−t0
)がtmax(i)より大きければ、学習が遅れている
状態であり(ステップ1110)、また、ラップタイム
(t−t0)がtmin(i)より小さければ、学習が
進みすぎている状態であり(ステップ1111)、ラッ
プタイム(t−t0)が tmin(i)より大きく、
tmax(i)より小さければ、所定の学習進行状態で
あり(ステップ1112)、それぞれに対応した処理を
行う。その後、iの値をインクリメントし(ステップ1
113)、現在時刻tを次の学習過程開始時刻として 
t0に代入する(ステップ1114)。また、学習を中
断するならば(ステップ1115)、インクリメントさ
れたiを学習時間管理テーブルに格納した後(ステップ
1116)、iに(n+1)を代入することで中断可能
である(ステップ1117)。その際、累積時間も記録
する(ステップ1118)。学習過程番号iが、終了番
号であるn+1になるまで(ステップ1103)、次の
学習過程を実行する(ステップ1104)。上述の如き
手段により、個人の学習進度に合せてユーザにアドバイ
スすることが可能となる。また、累積時間SUMを記録
することで、学習全体から見た遅れ時間,残り時間を表
示することができる。
FIG. 1 is a PAD diagram of an algorithm in which a computer manages learning time and break time during learning progress. When you enter your user ID and start learning, or when you resume learning after interrupting the previous learning, you enter the current time t0 and read the cumulative time SUM (step 1).
101). Next, the learning process number i for which learning should be resumed is read (step 1102), and thereby learning Pi can be executed (1104). At the end of the i-th learning process Pi, the current time t is read (step 1105), and the cumulative time SUM (1308) is updated (step 1106).
and 1107), and outputs the learning progress status in the form described below (step 1108). Then step 1
By the conditional branch shown in 109, the lap time (t-t0
) is larger than tmax(i), the learning is delayed (step 1110), and if the lap time (t-t0) is smaller than tmin(i), the learning is too advanced ( Step 1111), the lap time (t-t0) is greater than tmin(i),
If it is smaller than tmax(i), it is a predetermined learning progress state (step 1112), and corresponding processing is performed. Then, increment the value of i (step 1
113), with the current time t as the next learning process start time.
Substitute it into t0 (step 1114). If learning is to be interrupted (step 1115), the incremented i is stored in the learning time management table (step 1116), and then (n+1) is substituted for i (step 1117). At this time, the cumulative time is also recorded (step 1118). The next learning process is executed (step 1104) until the learning process number i reaches the end number n+1 (step 1103). By means such as those described above, it becomes possible to give advice to the user in accordance with the individual's learning progress. Furthermore, by recording the cumulative time SUM, it is possible to display the delay time and remaining time from the perspective of the entire learning.

【0008】図4は、上述の学習進行状態出力アルゴリ
ズム(ステップ1108)により出力されたディスプレ
イの画面構成のイメージ図の一例である。ここでは、横
軸に前述の学習過程番号i(1302)を取り(140
1)、縦軸に学習累積時間SUM(1308)を取った
(1402)2次元グラフとしている。予め学習内容に
応じて設定された標準累積時間(1403)と、実際に
要した累積時間の推移(1306)を比較して表示でき
る。図5は、学習進行状態出力アルゴリズム(図1のス
テップ1108)を示すPAD図である。横軸に学習過
程番号(1302)を設定,表示し(ステップ1501
)、縦軸に学習累積時間(1306)を設定,表示する
(ステップ1502)。そして、予め学習内容に応じて
設定された標準累積時間をグラフとして表示し(ステッ
プ1503)、実際に要した累積時間の推移(1306
)を現在の学習過程iまで表示して(ステップ1504
)、両者の比較が可能な2次元グラフを構成する。
FIG. 4 is an example of an image diagram of the screen configuration of the display outputted by the above-mentioned learning progress status output algorithm (step 1108). Here, the aforementioned learning process number i (1302) is plotted on the horizontal axis (140
1) It is a two-dimensional graph with cumulative learning time SUM (1308) taken on the vertical axis (1402). The standard cumulative time (1403) set in advance according to the learning content and the change in the cumulative time actually required (1306) can be compared and displayed. FIG. 5 is a PAD diagram showing the learning progress state output algorithm (step 1108 in FIG. 1). The learning process number (1302) is set and displayed on the horizontal axis (step 1501).
), and the cumulative learning time (1306) is set and displayed on the vertical axis (step 1502). Then, the standard cumulative time set in advance according to the learning content is displayed as a graph (step 1503), and the transition of the cumulative time actually required (step 1306).
) up to the current learning process i (step 1504
), constructs a two-dimensional graph that allows comparison between the two.

【0009】本発明の第二の実施例を、図6〜図10を
用いて説明する。第二の実施例は、第一の実施例に示し
た装置に、以下に説明する文書縮小表示機能を追加した
ものである。図6は、文書縮小表示方法の全体PAD図
である。例えば、文書右下に設けたマウス受け付け領域
内でマウスのボタンがピックされた(ステップ2101
)ことで、図6の全体フローに基づくアルゴリズムで処
理を行う。すなわち、マウスのボタンがピックされた時
点での文書右下の初期座標(x0,y0)が入力され(
ステップ2102)、次に、ユーザがマウスのボタンを
押下したままでマウスを移動させて、縮小したい寸法の
文書右下位置で、マウスボタンを離す(ステップ210
3)。これにより、ユーザが希望する文書右下座標とし
て、マウスの移動後の座標(x1,y1)が入力され(
ステップ2104)、x,y方向に縮小されるべき画素
数(Δx,Δy)は、それぞれΔx=x0−x1,Δy
=y0−y1で計算される(ステップ2105)。その
後、(Δx,Δy)から削除する画素を決定する削除選
択アルゴリズム(ステップ2106)、および、選択さ
れた画素を削除して縮小画像を作成する縮小画像生成ア
ルゴリズム(ステップ2107)により、ユーザが希望
する寸法に縮小した画像を表示する(ステップ2108
)。上述の、削除選択アルゴリズム(ステップ2106
)および縮小画像生成アルゴリズム(ステップ2107
)の詳細を、以下に説明する。図7は、x方向への圧縮
時における削除選択アルゴリズム(ステップ2106)
のPAD図である。縮小したい元の画像の構成を、画素
データとして、2次元配列A[x,y]、削除画素判定
用のフラグを格納する2次元配列FLAG_A[x,y
]とする(ステップ2201)。始めに、削除する画素
数をカウントするカウンタを「0」にセットし(ステッ
プ2202)、フラグをすべて「1」にする。 フラグが「1」の画素は残り、「0」の画素は削除され
るものとして、意味付ける。A[x,y]のx方向の各
行について、0〜1の乱数を発生する関数ramd()
により、順次、Δx/xの確率で除去されるように選別
を行い(ステップ2204)、選択された画素に対応す
るフラグを「0」にする(ステップ2206)。また、
一度フラグが「0」になったものについては、カウント
しない(ステップ2205)。この作業を、x個の画素
からランダムにΔx個削除すべき画素が選択されるまで
、すなわち、カウンタがΔxとなるまで繰り返す(ステ
ップ2203)。尚、y方向への圧縮時における削除画
素選択アルゴリズム(ステップ2106)は、x方向へ
の圧縮と同様の作業により達成される。 このように、削除される画素がフラグにマークされた後
は、選択された画素を削除して縮小画像を作成する縮小
画像生成アルゴリズム(ステップ2107)により、縮
小画像を生成する。
A second embodiment of the present invention will be explained using FIGS. 6 to 10. In the second embodiment, a document reduction display function described below is added to the apparatus shown in the first embodiment. FIG. 6 is an overall PAD diagram of the document reduction display method. For example, a mouse button is picked within the mouse acceptance area provided at the bottom right of the document (step 2101).
), processing is performed using an algorithm based on the overall flow shown in FIG. In other words, the initial coordinates (x0, y0) of the lower right corner of the document at the time the mouse button is picked are input (
Step 2102), then the user moves the mouse while holding down the mouse button, and releases the mouse button at the bottom right position of the document whose dimensions are desired to be reduced (Step 210).
3). As a result, the coordinates (x1, y1) after the mouse movement are input as the lower right coordinates of the document desired by the user (
Step 2104), the number of pixels (Δx, Δy) to be reduced in the x and y directions are Δx=x0−x1, Δy, respectively.
=y0-y1 (step 2105). After that, a deletion selection algorithm (step 2106) that determines pixels to be deleted from (Δx, Δy), and a reduced image generation algorithm (step 2107) that deletes the selected pixels and creates a reduced image are used to select the pixels desired by the user. Display the image reduced to the desired size (step 2108
). Deletion selection algorithm (step 2106
) and reduced image generation algorithm (step 2107
) will be explained in detail below. FIG. 7 shows the deletion selection algorithm (step 2106) during compression in the x direction.
It is a PAD diagram of. A two-dimensional array A[x,y] that stores the configuration of the original image to be reduced as pixel data, and a two-dimensional array FLAG_A[x,y that stores flags for determining deletion pixels.
] (step 2201). First, a counter for counting the number of pixels to be deleted is set to "0" (step 2202), and all flags are set to "1". It is assumed that pixels whose flag is "1" remain and pixels whose flag is "0" are deleted. A function ramd() that generates a random number between 0 and 1 for each row in the x direction of A[x,y]
Then, the pixels are sequentially selected to be removed with a probability of Δx/x (step 2204), and the flag corresponding to the selected pixel is set to "0" (step 2206). Also,
Once the flag becomes "0", it is not counted (step 2205). This operation is repeated until Δx pixels to be deleted are randomly selected from x pixels, that is, until the counter reaches Δx (step 2203). Note that the deletion pixel selection algorithm (step 2106) during compression in the y direction is achieved by the same operation as in the compression in the x direction. After the pixel to be deleted is marked with a flag in this way, a reduced image is generated by a reduced image generation algorithm (step 2107) that deletes the selected pixel and creates a reduced image.

【0010】図8は、x方向の縮小画像生成アルゴリズ
ム(図6のステップ2107)のPAD図である。FL
AG_A[j,i]の値が「1」のもののみを判別(ス
テップ2301)、A[j,i]の値をWORK_Aに
移す(ステップ2302)ことで、WORK_Aには(
x−Δx)*y個の2次元画素データの縮小画像が生成
される。尚、y方向への圧縮時における縮小画像生成ア
ルゴリズムは、x方向への圧縮と同様の作業により達成
される。図9は、x,y両方向共、縮小した場合の画素
の変遷についての画面生成イメージである。2401は
縮小前の元の画像の概念的表示であり、1画素に1つの
アルファベットを対応させて説明する。2402におい
て、x方向に削除すべき画素の座標として、乱数を用い
て、ランダムに、かつ、x方向の各行から同じ個数の画
素を選択し、該座標のフラグに×印を付けた。削除画素
フラグ(2402)に×印の付いた座標について、24
03において、元の画像2401から対応画素を削減し
、x方向に圧縮した画像を生成することができる。次に
、x方向に圧縮後の画像2404に対して、2405に
おいて同様に、y方向に削除すべき画素の座標として、
乱数を用いて、ランダムに、かつ、y方向の各行から同
じ個数の画素を選択し、該座標のフラグに×印を付けた
。削除画素フラグ2405に×印の付いた座標について
、2406において、x方向に圧縮した画像2404か
ら対応画素を削減し、y方向にも圧縮した画像を生成す
ることができる。以上のようなステップを経て、x,y
両方向共に圧縮した画像2406を生成することができ
る。図10は、画面縮小表示時の一例であり、ワークメ
モリ内の文書の元のデータをユーザから指示された寸法
に縮小しフレームメモリに書き込み、1つあるいは複数
の文書を任意の寸法で1画面に表示する。尚、カラー画
像の場合、RGB3色分について同じ作業を繰り返すが
、ここでは表現の簡単化のため、単色用のアルゴリズム
で表現されている。本アルゴリズムを、カラー画像対応
に拡張するのは容易である。
FIG. 8 is a PAD diagram of the x-direction reduced image generation algorithm (step 2107 in FIG. 6). FL
By determining only those where the value of AG_A[j,i] is "1" (step 2301) and moving the value of A[j,i] to WORK_A (step 2302), WORK_A has (
A reduced image of x-Δx)*y two-dimensional pixel data is generated. Note that the reduced image generation algorithm during compression in the y direction is achieved by the same operation as in the compression in the x direction. FIG. 9 is a screen generation image regarding pixel changes when reduced in both the x and y directions. 2401 is a conceptual representation of the original image before reduction, and will be explained by associating one alphabet with one pixel. In 2402, the same number of pixels are randomly selected from each row in the x direction using random numbers as the coordinates of pixels to be deleted in the x direction, and an x mark is placed on the flag of the coordinate. For the coordinates marked with an x in the deleted pixel flag (2402), 24
03, corresponding pixels can be removed from the original image 2401 to generate an image compressed in the x direction. Next, for the image 2404 after compression in the x direction, similarly in 2405, as the coordinates of the pixel to be deleted in the y direction,
Using random numbers, the same number of pixels were randomly selected from each row in the y direction, and an x mark was placed on the flag of the coordinate. For the coordinates marked with an x in the deletion pixel flag 2405, in 2406, corresponding pixels can be removed from the image 2404 compressed in the x direction, and an image compressed also in the y direction can be generated. After going through the above steps, x, y
An image 2406 compressed in both directions can be generated. FIG. 10 is an example of screen reduction display, in which the original data of the document in the work memory is reduced to the dimensions specified by the user and written to the frame memory, and one or more documents are displayed on one screen with arbitrary dimensions. to be displayed. Note that in the case of a color image, the same operation is repeated for the three colors RGB, but here, to simplify the expression, it is expressed using an algorithm for a single color. It is easy to extend this algorithm to support color images.

【0011】第三の実施例を、図11〜図15を用いて
説明する。第三の実施例は、第一の実施例に示した装置
に、以下に説明するような動画中のマウスポインティン
グ機能を追加したものである。図11は、表示画面を制
御するディスプレイ制御のブロック図であり、CRT3
105,CRTコントローラ1(3103),CRTコ
ントローラ2(3106),TV同期回路3101,ビ
デオフレーム3102,ミキサメモリ3104,フレー
ムメモリ3107,プロセッサ3108から構成されて
いる。TV同期回路3101により、動画像のアナログ
信号入力に同期を合わせ、ディジタル化し、ミキサメモ
リ3104が指定した画素に対応して、ビデオフレーム
3102に、順次、書き込む。一方、コンピュータグラ
フィック,テキスト文字等は、フレームメモリ3107
に書き込まれる。ビデオフレーム3102,フレームメ
モリ3107への書き込みは、プロセッサ3108が指
示を送り、CRTコントローラ1(3108),CRT
コントローラ2(3106)により制御される。ビデオ
フレーム3102の画像とフレームメモリ3107の画
像を、どういう配置でCRT3105に出力するかは、
プロセッサ3108がミキサメモリ3104において定
義した動画表示領域情報に基づき、合成される。図12
は、マウス受け付け領域のデータ構造である。動画にお
いて、画面の中の動いている人,物等のオブジェクトを
マウスで直接ポインティングすることで、当該オブジェ
クトの関連説明を表示するために、本実施例では、マウ
ス受け付け領域を当該オブジェクトの動きに合せて動か
せる方法を用いた。着目するオブジェクトの動きにあわ
せた時間軸上のオブジェクトの変動を、時間3201,
X座標3202,Y座標3203として記録した。また
、当該オブジェクトの関連説明を表示するためのアドレ
スとして、リンク先アドレス3204も合せて1つのテ
ーブルとし、画面中で指定したいオブジェクトの数だけ
テーブルを用意する。そして、ユーザがマウスでポイン
ティングする対象によって、表示する説明文を変えて表
示する。 このテーブルを作成・処理する手続きについて、以下、
説明する。
A third embodiment will be explained using FIGS. 11 to 15. The third embodiment is obtained by adding a mouse pointing function during a moving image as described below to the device shown in the first embodiment. FIG. 11 is a block diagram of display control that controls the display screen, and shows the CRT3
105, CRT controller 1 (3103), CRT controller 2 (3106), TV synchronization circuit 3101, video frame 3102, mixer memory 3104, frame memory 3107, and processor 3108. A TV synchronization circuit 3101 synchronizes with analog signal input of a moving image, digitizes it, and sequentially writes it into a video frame 3102 in correspondence with pixels designated by a mixer memory 3104. On the other hand, computer graphics, text characters, etc. are stored in the frame memory 3107.
will be written to. For writing to the video frame 3102 and frame memory 3107, the processor 3108 sends an instruction to the CRT controller 1 (3108) and the CRT controller 1 (3108).
Controlled by controller 2 (3106). How to output the image of the video frame 3102 and the image of the frame memory 3107 to the CRT 3105 is determined by
The images are synthesized based on the video display area information defined by the processor 3108 in the mixer memory 3104. Figure 12
is the data structure of the mouse accepting area. In a video, in order to display the related explanation of a moving object such as a person or thing on the screen by directly pointing with the mouse, in this embodiment, the mouse reception area is set according to the movement of the object. We used a method that allows them to move together. Changes in the object on the time axis according to the movement of the object of interest are expressed as time 3201,
It was recorded as X coordinate 3202 and Y coordinate 3203. In addition, the link destination address 3204 is also set as one table as an address for displaying the related explanation of the object, and as many tables as the number of objects desired to be specified on the screen are prepared. The explanatory text to be displayed changes depending on what the user points at with the mouse. The procedure for creating and processing this table is as follows.
explain.

【0012】図13は、上述のテーブルを作成するアル
ゴリズムを示すPAD図である。まず、動画を流し始め
た開始時刻を読み込む(ステップ3301)。次に、動
画を流すためのコマンド「VTR−play」を実行す
る(ステップ3302)。以後、「VTR−stop」
が実行され、動画が止まるまで、マウス入力が入るのを
待つ(ステップ3303)。マウスが入力されるまでは
、時刻を読み込み、動画を流し始めたときからの時間を
数える(ステップ3310)。ここで、動きを記録した
い着目オブジェクトが現われたら、動きを記録したいオ
ブジェクトに合せ、マウスボタンを押しながらマウスを
動かす(ステップ3305)ことで、計算機がマウス座
標を読み込み(ステップ3306)、この値を順次、記
録し(ステップ3308)、合せて、現在時刻を読み込
み(ステップ3307)、時間データも記録する(ステ
ップ3308)。記録作業(ステップ3308)は、マ
ウスからボタンを離すことで終了する(ステップ330
5)。その後、「VTR−stop」を実行し、動画を
止める(ステップ3309)。こうして入力された時間
(3201),座標データ(3202,3203)に、
リンク先アドレス3204を合せて1つのテーブルがで
きあがる。別のオブジェクトの動きを記録することは、
再度動画を流し、同じ手段を用いて実現できる。なお、
計算機を用いて動画を流すあるいは止める等の制御を行
う手段については、例えば、特開平2−148217号
公報「CD−ROMディスク再生装置」に記載されてい
る如く、公知であるので、ここでは詳細は省略する。
FIG. 13 is a PAD diagram showing an algorithm for creating the above table. First, the start time at which the video started playing is read (step 3301). Next, a command "VTR-play" for playing a moving image is executed (step 3302). From now on, "VTR-stop"
is executed and waits for mouse input until the video stops (step 3303). Until the mouse is input, the time is read and the time from when the video starts playing is counted (step 3310). Here, when the object of interest whose movement you want to record appears, move the mouse while holding down the mouse button while aligning it with the object whose movement you want to record (step 3305), and the calculator will read the mouse coordinates (step 3306) and use this value. The information is sequentially recorded (step 3308), the current time is read (step 3307), and time data is also recorded (step 3308). The recording operation (step 3308) ends by releasing the button from the mouse (step 330).
5). Thereafter, "VTR-stop" is executed to stop the video (step 3309). In the time (3201) and coordinate data (3202, 3203) input in this way,
One table is created by combining the link destination addresses 3204. Recording the movement of another object is
This can be achieved by playing the video again and using the same method. In addition,
Means for controlling the playback or stopping of moving images using a computer is well known, for example, as described in Japanese Patent Application Laid-open No. 2-148217 "CD-ROM Disc Playback Device", so the details will be described here. is omitted.

【0013】図14は、上記手段により作成されたテー
ブルを組み込んで用いて、マウスポインティングを受け
付ける全体アルゴリズムを示すPAD図である。まず、
動画を流し始めた開始時刻を読み込む(ステップ340
1)。 次に、動画を流すためのコマンド「VTR−play」
を実行する(ステップ3402)。そして、「VTR−
stop」が実行され、動画が止まるまでマウス入力が
入るのを待つ(ステップ3403)。マウスが入るまで
は現在時刻を読み込み(ステップ3407)、時刻が動
画を終了する時間になれば(ステップ3408)、「V
TR−stop」を実行し、動画を止める(ステップ3
409)。なお、その前に、ユーザが画面を見ていて動
画中のオブジェクトに対して、何か疑問があれば直接マ
ウスでポインティングする。マウスのボタンが押された
ら(ステップ3404)、「VTR−pause」を実
行し、動画を静止させる(ステップ3405)。座標デ
ータ(3202,3203)と時間データ(3201)
を用いて、マウス領域判定アルゴリズム(ステップ34
06)で、どのテーブルのオブジェクトをユーザがポイ
ンティングしているのかを判定する。判定後、該当する
オブジェクトがあれば、リンク先アドレス3204を参
照して、該当画面を表示する。表示終了後あるいは判定
後、該当するオブジェクトが無ければ、「VTR−pa
use」を解除し動画の続きを流す。図15は、上述の
、マウス領域判定アルゴリズムを示すPAD図である。 計算機がマウス座標(Xm,Ym)を記録し(ステップ
3501)、合せて、テーブルデータを読み込む(ステ
ップ3502)。現在時刻Tを読み込み(ステップ35
03)、その時刻に該当する時間T(i)(3505)
に対応する、着目オブジェクトの座標X(i),Y(i
)を中心に、±Xd,±Ydの矩形領域を設定する(ス
テップ3507)。なお、Xd,Ydは、着目オブジェ
クトの大きさに基づく遊び分である。 マウス座標(Xm,Ym)が上述の矩形領域内にあれば
(ステップ3508)、動画を止めて(ステップ350
9)、リンク先アドレス3204を参照して(ステップ
3510)、対応する画面や音声の出力を行う。リンク
先アドレス3204の処理終了後か、または上述のマウ
ス座標が上記矩形領域内になければ(ステップ3508
)、ユーザが説明用の画面等が用意されていないものを
ポインティングしたと見なし、「VTR−pause」
を解除し(ステップ3511)、動画の続きを流す。以
上の手段により、動画中のマウスポインティングを受け
付けることが可能となる。
FIG. 14 is a PAD diagram showing an overall algorithm for accepting mouse pointing by incorporating and using the table created by the above means. first,
Load the start time when the video started playing (step 340)
1). Next, the command "VTR-play" to play the video
(Step 3402). Then, “VTR-
"stop" is executed and the mouse input is waited for until the video stops (step 3403). The current time is read until the mouse enters (step 3407), and when the time reaches the time to end the video (step 3408), the “V
Execute "TR-stop" to stop the video (Step 3
409). Note that before that, if the user is looking at the screen and has any questions about an object in the video, he or she can point it directly with the mouse. When the mouse button is pressed (step 3404), "VTR-pause" is executed to freeze the video (step 3405). Coordinate data (3202, 3203) and time data (3201)
using the mouse area determination algorithm (step 34).
In step 06), it is determined which table object the user is pointing to. After the determination, if there is a corresponding object, the corresponding screen is displayed by referring to the link destination address 3204. If there is no corresponding object after the display is finished or after the determination, "VTR-pa
"use" and continue playing the video. FIG. 15 is a PAD diagram showing the mouse area determination algorithm described above. The computer records the mouse coordinates (Xm, Ym) (step 3501) and also reads table data (step 3502). Read the current time T (step 35
03), the time T(i) (3505) corresponding to that time
The coordinates X(i), Y(i
), a rectangular area of ±Xd and ±Yd is set (step 3507). Note that Xd and Yd are play amounts based on the size of the object of interest. If the mouse coordinates (Xm, Ym) are within the above rectangular area (step 3508), stop the video (step 350).
9) Refer to the link destination address 3204 (step 3510) and output the corresponding screen and audio. After processing the link destination address 3204 or if the above mouse coordinates are not within the above rectangular area (step 3508
), it is assumed that the user is pointing at something for which there is no explanatory screen, etc., and "VTR-pause" is activated.
is released (step 3511), and the continuation of the video is played. By the above means, it becomes possible to accept mouse pointing during a video.

【0014】第四の実施例を、図16〜図19を用いて
説明する。第四の実施例は、第一の実施例に示した装置
において、教材として画面に表示されるマルチメディア
データを、メディアの種類に関係なく、個人的なメモと
して記録できる機能を追加したものであり、以下に説明
する。図16は、第四の実施例における、表示画面を制
御するディスプレイ制御ブロック図であり、CPU41
06,メモ用の記憶装置4107,ビデオフレーム41
02,ミキサメモリ4103,フレームメモリ4104
,ワークメモリ4105,ユーザインタフェース410
8からなる。図11において既に説明した如く、TV同
期回路3101が、動画像のアナログ信号入力に同期を
合わせ、ディジタル化し、ミキサメモリ4103が指定
した画素に対応して、ビデオフレーム4102に順次書
き込む。一方、コンピュータグラフィック,テキスト文
字等はフレームメモリ4104に書き込む。 ビデオフレーム4102,フレームメモリ4103への
書き込みは、CPU4106からの指示に基づく。ビデ
オフレーム4102の画像とフレームメモリ4104の
画像をどういう配置でCRT3105に出力するかは、
CPU4106がミキサメモリ4103において定義し
た、以下で記述する動画表示領域情報に基づき、合成す
る。図17は、ディスプレイ4204,ビデオフレーム
4201,ミキサメモリ4202およびフレームメモリ
4203の論理構成図である。ビデオフレーム4201
,フレームメモリ4203はそれぞれn*m*階調分の
メモリを持ち、RGB3色分のデータを格納できる。ミ
キサメモリ4202は、n*m*1bitのメモリを持
つ。ビデオフレーム4201の内容と、フレームメモリ
4203の内容を、同時にディスプレイ4204に表示
するために、ディスプレイ4204出力時にビデオフレ
ーム4201とフレームメモリ4203のどちらの画面
情報を出力するかを、ミキサメモリ4202において設
定できる。例えば、動画表示領域を「1」とし、その他
を「0」としておき、ディスプレイ4204出力時に、
各画素ごとに逐一判定を行う。
A fourth embodiment will be explained using FIGS. 16 to 19. The fourth embodiment is the device shown in the first embodiment, with the addition of a function that allows multimedia data displayed on the screen as teaching materials to be recorded as personal memos, regardless of the type of media. Yes, and will be explained below. FIG. 16 is a display control block diagram for controlling the display screen in the fourth embodiment, in which the CPU 41
06, memo storage device 4107, video frame 41
02, mixer memory 4103, frame memory 4104
, work memory 4105, user interface 410
Consists of 8. As already explained with reference to FIG. 11, the TV synchronization circuit 3101 synchronizes with the analog signal input of the moving image, digitizes it, and sequentially writes it into the video frame 4102 in correspondence with the pixels designated by the mixer memory 4103. On the other hand, computer graphics, text characters, etc. are written into the frame memory 4104. Writing to the video frame 4102 and frame memory 4103 is based on instructions from the CPU 4106. How to output the image of the video frame 4102 and the image of the frame memory 4104 to the CRT 3105 is determined by
The CPU 4106 performs synthesis based on moving image display area information defined in the mixer memory 4103 and described below. FIG. 17 is a logical configuration diagram of display 4204, video frame 4201, mixer memory 4202, and frame memory 4203. Video frame 4201
, frame memory 4203 each has memory for n*m* gradations, and can store data for three colors of RGB. Mixer memory 4202 has n*m*1 bit memory. In order to simultaneously display the contents of the video frame 4201 and the contents of the frame memory 4203 on the display 4204, it is set in the mixer memory 4202 which screen information from the video frame 4201 or the frame memory 4203 is to be output when outputting the display 4204. can. For example, if the video display area is set to "1" and the others are set to "0", when outputting from the display 4204,
A determination is made one by one for each pixel.

【0015】図18は、画面に表示されるマルチメディ
アデータをメディアの種類に係りなく、個人的なメモと
して記録できるアルゴリズムのPAD図である。ビデオ
フレームの内容を記述する3次元配列をVTR[n,m
,3]とし、フレームメモリの内容を記述する3次元配
列をFLM[n,m,3]とし、ミキサメモリの内容を
記述する2次元配列をMIX[n,m]とし、メモ用の
バッファメモリをBUF[n,m,3]とする(ステッ
プ4301)。以下、動作を説明する。学習を進める中
で、ユーザからメモを取りたいという要求があった場合
(ステップ4302)、マウスをボタンを押したまま移
動させて離すことで(ステップ4304)、ユーザの要
求するコピー範囲として矩形領域の対角方向の2点(x
0,y0)−(x1,y1)を入力する(ステップ43
03,4305)ことができる。この2点間の領域につ
いて、1画素ずつ画面データからメモ用のバッファメモ
リにコピーする。すなわち、各画素の座標(i,j)に
ついて、MIX[i,j]の値が「0」であれば(ステ
ップ4306)、フレームメモリ(4203)からメモ
用のバッファメモリにコピーし(ステップ4308)、
また、MIX[i,j]の値が「1」であれば(ステッ
プ4306)、ビデオフレーム(4201)からメモ用
のバッファメモリにコピーする(ステップ4309)。 なお、図中kはカラーのパラメータであり、RGB3色
分、k=1,2,3と変化させて同じ処理を繰り返す(
ステップ4307,4310)。図19は該メモ用のバ
ッファメモリのイメージ図であり、上記処理終了後、該
メモ用のバッファメモリの構成はRGB3色について、
(x0−x1)×(y0−y1)の大きさの画面情報を
ファイルとして抽出できる。尚、抽出後メモ用の文書フ
ァイルに読み込み、編集する手段は、例えば、日立クリ
エイティブワークステーション2050 OFIS/R
EPORT−EV(3)文法/操作書(2050−3−
311)に記載されている如く、静止画の取り込み操作
として公知であり、ここでは、詳細は省略する。
FIG. 18 is a PAD diagram of an algorithm that can record multimedia data displayed on a screen as a personal memo, regardless of the type of media. VTR [n, m
, 3], the three-dimensional array that describes the contents of the frame memory is FLM[n,m,3], the two-dimensional array that describes the contents of the mixer memory is MIX[n,m], and the buffer memory for memo is is defined as BUF[n, m, 3] (step 4301). The operation will be explained below. While learning, if the user requests to take notes (step 4302), by holding down the mouse button, moving it, and then releasing it (step 4304), the user can select the rectangular area as the copy range requested by the user. Two points in the diagonal direction of (x
0, y0) - (x1, y1) (step 43
03,4305) can be done. Regarding the area between these two points, the screen data is copied pixel by pixel to the memo buffer memory. That is, for each pixel coordinate (i, j), if the value of MIX[i, j] is "0" (step 4306), it is copied from the frame memory (4203) to the memo buffer memory (step 4308). ),
Furthermore, if the value of MIX[i,j] is "1" (step 4306), the video frame (4201) is copied to the memo buffer memory (step 4309). Note that k in the figure is a color parameter, and the same process is repeated by changing k = 1, 2, and 3 for the three RGB colors (
Steps 4307, 4310). FIG. 19 is an image diagram of the buffer memory for the memo. After the above processing is completed, the configuration of the buffer memory for the memo is as follows for the three colors RGB.
Screen information with a size of (x0-x1) x (y0-y1) can be extracted as a file. The means for reading and editing the memo document file after extraction is, for example, Hitachi Creative Workstation 2050 OFIS/R.
EPORT-EV (3) Grammar/Operation Manual (2050-3-
As described in 311), this is known as a still image capture operation, and the details will be omitted here.

【0016】[0016]

【発明の効果】以上、詳細に説明した如く、本発明によ
れば、学習者の学習の進行状況を管理することが可能で
、必要により、机の上で、教科書と参考書等の、複数の
文書を見比べることができるようなディスプレイ表示方
法,動画内の物,人等の動いているオブジェクトを、画
面のどこにあっても、その位置を直接マウスで指定する
ことが可能なマウスのポインティング方法、および、学
習者がメモに残したいと思う部分について、テキスト,
グラフィック,静止画,動画等のメディアの種類に係り
なく、自由なメモファイルの作成方法、および、そのた
めの装置を実現できるという顕著な効果を奏するもので
ある。
[Effects of the Invention] As described in detail above, according to the present invention, it is possible to manage the learning progress of the learner, and if necessary, it is possible to store multiple textbooks, reference books, etc. on the desk. A display display method that allows you to compare documents, and a mouse pointing method that allows you to directly specify the position of moving objects such as objects and people in videos, no matter where they are on the screen. , and the text for the parts that the learner would like to leave in notes,
This has the remarkable effect that it is possible to realize a method for freely creating memo files and a device therefor, regardless of the type of media such as graphics, still images, and moving images.

【0017】[0017]

【図面の簡単な説明】[Brief explanation of the drawing]

【図1】マルチメディアを用いた、計算機支援による学
習における、学習時間、休憩時間の管理方法を表すPA
D図である。
[Figure 1] PA showing how to manage study time and break time in computer-assisted learning using multimedia
This is diagram D.

【図2】マルチメディアを用いた、計算機支援による学
習装置の構成図である。
FIG. 2 is a configuration diagram of a computer-assisted learning device using multimedia.

【図3】ディスプレイ制御ブロック図である。FIG. 3 is a display control block diagram.

【図4】文書縮小表示方法の全体PAD図である。FIG. 4 is an overall PAD diagram of a document reduction display method.

【図5】文書縮小表示方法における縮小画素選択アルゴ
リズムのPAD図である。
FIG. 5 is a PAD diagram of a reduction pixel selection algorithm in a document reduction display method.

【図6】文書縮小表示方法における縮小画像生成アルゴ
リズムのPAD図である。
FIG. 6 is a PAD diagram of a reduced image generation algorithm in a reduced document display method.

【図7】縮小画素選択アルゴリズム、縮小画像生成アル
ゴリズムによる画面の変化の1例のイメージ図である。
FIG. 7 is an image diagram of an example of screen changes caused by a reduced pixel selection algorithm and a reduced image generation algorithm.

【図8】文書縮小表示の一例である。FIG. 8 is an example of document reduction display.

【図9】文書縮小表示方法における縮小画像生成アルゴ
リズムのPAD図である。
FIG. 9 is a PAD diagram of a reduced image generation algorithm in a reduced document display method.

【図10】縮小画素選択アルゴリズム、縮小画像生成ア
ルゴリズムによる画面の変化の1例のイメージ図である
FIG. 10 is an image diagram of an example of screen changes caused by a reduced pixel selection algorithm and a reduced image generation algorithm.

【図11】文書縮小表示の一例である。FIG. 11 is an example of a reduced document display.

【図12】マウス受け付け領域のテーブルデータ構成図
である。
FIG. 12 is a table data configuration diagram of a mouse receiving area.

【図13】マウス受け付け領域のテーブルデータ作成ア
ルゴリズムのPAD図である。
FIG. 13 is a PAD diagram of a table data creation algorithm for a mouse reception area.

【図14】動画中のマウスポインティングのPAD図で
ある。
FIG. 14 is a PAD diagram of mouse pointing in a video.

【図15】マウス受け付け領域判定アルゴリズムのPA
D図である。
[Figure 15] PA of mouse acceptance area determination algorithm
This is diagram D.

【図16】ディスプレイ制御機能ブロック図である。FIG. 16 is a display control function block diagram.

【図17】フレームメモリ,ビデオバッファの論理構成
図である。
FIG. 17 is a logical configuration diagram of a frame memory and a video buffer.

【図18】切り貼りメモの処理アルゴリズムのPAD図
である。
FIG. 18 is a PAD diagram of a cutting and pasting memo processing algorithm.

【図19】切り貼りメモのデータ構成図である。FIG. 19 is a data configuration diagram of a cut-and-paste memo.

【符号の説明】[Explanation of symbols]

1201:計算機、1202:イメージスキャナ、12
03:光ディスク装置、1204:ディスク装置、12
05:スピーカシステム、1206:ディスプレイ、1
207:キーボード、1208:マウス、1209:時
計。
1201: Computer, 1202: Image scanner, 12
03: Optical disk device, 1204: Disk device, 12
05: Speaker system, 1206: Display, 1
207: Keyboard, 1208: Mouse, 1209: Clock.

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】  音,動画,静止画,テキスト,コンピ
ュータグラフィックスまたはアニメーション等の種類の
異なるメディア(マルチメディア)を統一的に制御する
手段と、出力装置としてのディスプレイとスピーカ,入
力装置としてのキーボードとマウス,データを格納する
記憶装置を有する学習支援のための計算機システムにお
いて、学習進行上の学習時間および休憩時間の管理を行
い、個人の学習進度に合せて学習者にアドバイスするこ
とを特徴とする学習支援方法。
Claim 1: A means for uniformly controlling different types of media (multimedia) such as sound, moving images, still images, text, computer graphics, or animation, a display and a speaker as an output device, and a device as an input device. A computer system for learning support that has a keyboard, mouse, and a storage device for storing data, and is characterized by managing learning time and break time during learning progress, and providing advice to learners according to their individual learning progress. Learning support method.
【請求項2】  学習を実行するための標準時間を設定
し、また、前記学習に実際にかかった実時間を計測して
、前記標準時間と実時間との差を表示することを特徴と
する請求項1記載の学習支援方法。
[Claim 2] A standard time for executing learning is set, the actual time actually taken for the learning is measured, and the difference between the standard time and the actual time is displayed. The learning support method according to claim 1.
【請求項3】  学習の過程を横軸に、また、学習累積
時間を縦軸にとって、学習の進行状況を2次元グラフと
して学習者に知らせることを特徴とする請求項1または
2記載の学習支援方法。
3. The learning support according to claim 1 or 2, wherein the learning progress is informed to the learner as a two-dimensional graph with the learning process on the horizontal axis and the cumulative learning time on the vertical axis. Method.
【請求項4】  音,動画,静止画,テキスト,コンピ
ュータグラフィックスまたはアニメーション等の種類の
異なるメディア(マルチメディア)を統一的に制御する
手段と、出力装置としてのディスプレイとスピーカ,入
力装置としてのキーボードとマウス,データを格納する
記憶装置を有する学習支援のための計算機システムを複
数個、ネットワークで接続し、ネットワーク内の各計算
機システムの学習進行上の学習時間および休憩時間の管
理情報を1ヵ所に集中して送る手段を具備したことを特
徴とする学習支援システム。
Claim 4: Means for uniformly controlling different types of media (multimedia) such as sound, moving images, still images, text, computer graphics, or animation, a display and a speaker as an output device, and a device as an input device. Multiple computer systems for learning support that have a keyboard, mouse, and storage device for storing data are connected through a network, and management information on learning time and break time for each computer system in the network is stored in one place. A learning support system characterized by being equipped with a means to concentrate and send information.
【請求項5】  前記ディスプレイに表示する画像を、
指定された領域内の画素を削除することにより、ユーザ
の希望する縮小率で表示する制御手段を有することを特
徴とする請求項4記載の学習支援システム。
5. An image displayed on the display,
5. The learning support system according to claim 4, further comprising a control means for displaying at a reduction ratio desired by the user by deleting pixels within the designated area.
【請求項6】  前記画像縮小表示制御手段により、同
一画面内に、複数個の縮小画像を表示することを特徴と
する請求項5記載の学習支援システム。
6. The learning support system according to claim 5, wherein the image reduction display control means displays a plurality of reduced images within the same screen.
【請求項7】  前記同一画面内に複数個表示された縮
小画像の中から、ユーザの指定した特定の画像を拡大表
示することを特徴とする請求項6記載の学習支援システ
ム。
7. The learning support system according to claim 6, wherein a specific image designated by the user is enlarged and displayed from among a plurality of reduced images displayed on the same screen.
【請求項8】  前記ディスプレイに表示する画像が動
画である場合に、動画中の移動しているオブジェクトの
位置座標を、動画表示開始後の時刻と対応付けて予めテ
ーブルに記録しておき、前記動画を表示中に、ユーザか
ら該動画中の移動しているオブジェクトが指示された場
合に、前記テーブル中の情報に基づいて対象となるオブ
ジェクトを自動判定する制御手段を有することを特徴と
する請求項4〜6のいずれかに記載の学習支援システム
8. When the image displayed on the display is a moving image, the position coordinates of moving objects in the moving image are recorded in advance in a table in association with the time after the start of displaying the moving image, and the A claim characterized by comprising a control means for automatically determining a target object based on information in the table when a user indicates a moving object in the video while displaying the video. The learning support system according to any one of Items 4 to 6.
【請求項9】  前記動画中の移動しているオブジェク
トの位置座標を、動画表示開始後の時刻と対応付けて予
め記録しておくテーブルに、当該オブジェクトに関する
説明等の情報を対応付ける情報を付加させておくことに
より、当該オブジェクトに関する説明等の情報を自動出
力する制御手段を有することを特徴とする請求項8記載
の学習支援システム。
9. Information that associates information such as a description regarding the object is added to a table in which the position coordinates of the moving object in the video are recorded in advance in association with the time after the video display starts. 9. The learning support system according to claim 8, further comprising a control means for automatically outputting information such as an explanation regarding the object when the object is stored.
【請求項10】  前記画面に表示されているデータ中
の任意の領域をユーザが指定した場合に、テキスト・グ
ラフィック・静止画・動画といったメディアの種類に係
わり無く、指定された領域内の画面データをメモ用バッ
ファにコピーする制御手段を有することを特徴とする請
求項4〜9のいずれかに記載の学習支援システム。
10. When the user specifies an arbitrary area in the data displayed on the screen, the screen data within the specified area regardless of the type of media such as text, graphics, still images, and videos. 10. The learning support system according to claim 4, further comprising control means for copying the information into the memo buffer.
JP13088991A 1991-06-03 1991-06-03 Learning support system Expired - Fee Related JP3284561B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13088991A JP3284561B2 (en) 1991-06-03 1991-06-03 Learning support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13088991A JP3284561B2 (en) 1991-06-03 1991-06-03 Learning support system

Publications (2)

Publication Number Publication Date
JPH04355490A true JPH04355490A (en) 1992-12-09
JP3284561B2 JP3284561B2 (en) 2002-05-20

Family

ID=15045077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13088991A Expired - Fee Related JP3284561B2 (en) 1991-06-03 1991-06-03 Learning support system

Country Status (1)

Country Link
JP (1) JP3284561B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001078038A1 (en) * 2000-04-07 2001-10-18 Jan Purvis Method of teaching
GB2371194A (en) * 2000-10-06 2002-07-17 Canon Kk Indicating image processing status
JP2015049649A (en) * 2013-08-30 2015-03-16 株式会社ベネッセコーポレーション Learning support system and program therefor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133615A (en) * 2004-11-08 2006-05-25 Nagaoka Univ Of Technology System which detects heterogeneous training process and provides its circumstances visually on the basis of student's training time required in e-learning

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001078038A1 (en) * 2000-04-07 2001-10-18 Jan Purvis Method of teaching
GB2371194A (en) * 2000-10-06 2002-07-17 Canon Kk Indicating image processing status
GB2371194B (en) * 2000-10-06 2005-01-26 Canon Kk Image processing apparatus
JP2015049649A (en) * 2013-08-30 2015-03-16 株式会社ベネッセコーポレーション Learning support system and program therefor

Also Published As

Publication number Publication date
JP3284561B2 (en) 2002-05-20

Similar Documents

Publication Publication Date Title
US5818436A (en) Apparatus and method for playing back continuous data
US5768607A (en) Method and apparatus for freehand annotation and drawings incorporating sound and for compressing and synchronizing sound
US7225405B1 (en) System and method for audio creation and editing in a multimedia messaging environment
Mackay et al. Video Mosaic: Laying out time in a physical space
USRE39830E1 (en) Method for apparatus for recording and playback of multidimensional walkthrough narratives
JP4555365B2 (en) Distance education system and multimedia content display control method
JPH04258090A (en) Method and device for processing video synchronizing processing
US10955999B2 (en) Controlled content presentation of objects on a canvas in a browser according to a grid
EP0469850A2 (en) Method and apparatus for pre-recording, editing and playing back presentations on a computer system
JP2994164B2 (en) Scenario editing device
CN109782986A (en) A kind of production method of teaching courseware, storage medium and application system
JP4010094B2 (en) Lecture information presentation device for remote locations
JPH04355490A (en) Learning support method and learning support system
JPH06118916A (en) Operation device and reproducing device, and data editing device for operation device
JP2014153688A (en) System for lecture
JP4574113B2 (en) Device for creating file for displaying additional information superimposed on display screen and magnetic recording medium
JP2011095809A (en) Presentation support system
JP2001052026A (en) Document processor
JP3014209B2 (en) Image information presentation device
KR102648288B1 (en) Methods and systems for presenting media content with multiple media elements in an editorial environment
KR101775626B1 (en) Apparatus for recording and playing written contents and method for controlling the same
KR20230070408A (en) Methods and systems for presenting media content with multiple media elements in an editorial environment
US20040239804A1 (en) System and method for editing the cyber teaching data having multi-layer and recording medium
JP2003067507A (en) Hypermedia distributor, hypermedia display terminal, hypermedia processing method, hypermedia processing program, and recording medium
JPH022598A (en) Method and device for data editing

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees