JPH05298340A - Consultation and conference system - Google Patents

Consultation and conference system

Info

Publication number
JPH05298340A
JPH05298340A JP9678392A JP9678392A JPH05298340A JP H05298340 A JPH05298340 A JP H05298340A JP 9678392 A JP9678392 A JP 9678392A JP 9678392 A JP9678392 A JP 9678392A JP H05298340 A JPH05298340 A JP H05298340A
Authority
JP
Japan
Prior art keywords
data
image
voice
input
overlay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9678392A
Other languages
Japanese (ja)
Other versions
JP3126479B2 (en
Inventor
Masakazu Osada
雅和 長田
Akihiro Miyauchi
昭広 宮内
Takehiro Ema
武博 江馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Engineering Co Ltd filed Critical Toshiba Corp
Priority to JP9678392A priority Critical patent/JP3126479B2/en
Publication of JPH05298340A publication Critical patent/JPH05298340A/en
Application granted granted Critical
Publication of JP3126479B2 publication Critical patent/JP3126479B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Small-Scale Networks (AREA)

Abstract

PURPOSE:To automatically and compactly store the contents of a consultation/ conference by collecting respective information inputted through touch sensor means at the same time and storing the collected data as raw data for a record. CONSTITUTION:The touch sensor means 6 is used as a trigger for specifying the contents to be recorded for a consultation conference and voice or graphic information on the means 6 is inputted while touching an image displayed on a display means 5 with a finger through the means 6. Thereby the voice and the graphic information are collected as data at the same time together with user's expression at the input. In the whole local area network(LAN), information inputted from other terminals 51, 52 at the same time is also collected and voice, expression and graphic information at the same time are recorded as raw data for a record.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、通信手段を用いた遠隔
地間でのコンサルテーション(Consultation)・カンファ
レンス(Conference)システムに係り、特にコンサルテー
ションやカンファレンスの要点だけを記録にとどめるこ
とができるコンサルテーション・カンファレンスシステ
ムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a consultation / conference system between remote places using communication means, and particularly to a consultation / conference system capable of recording only essential points of the consultation / conference. Concerning the conference system.

【0002】[0002]

【従来の技術】従来、医療現場では患者の診断を直接に
行う部門(内科、外科等)は、患者の医用情報の提供を
他の部門(放射線科等)に求め、この医用情報の提供を
求められた部門では、例えばX線画像その他の医用画像
およびその読影レポートや、検体の化学分析結果を要求
のあった部門に送る。
2. Description of the Related Art Conventionally, in a medical field, a department that directly diagnoses a patient (internal medicine, surgery, etc.) has requested other departments (radiology, etc.) to provide the medical information of the patient, and provides this medical information. In the required department, for example, an X-ray image or other medical image and its interpretation report, and the result of chemical analysis of the specimen are sent to the requesting department.

【0003】そして、患者の診断を行う部門は、これら
提供のあった医用情報に基づいて、一人もしくは複数の
担当者が患者の診断を行ったり、治療方針を決定したり
する。複数の人間が集まって患者の病状・治療方法の検
討を行う場合は、いわゆるカンファレンス方式となる。
Then, in the department for diagnosing a patient, one or a plurality of persons in charge diagnose the patient and determine a treatment policy based on the provided medical information. When a plurality of people gather to study a patient's medical condition and treatment method, a so-called conference method is used.

【0004】ところで、実際には、医用情報を提供され
た側で、その医用情報に不明な点をもつことがあり、そ
のような場合は医用情報を提供してくれた側にコンサル
テーションを仰ぐことがある。また前述の会議の場にコ
ンサルテーションを兼ねて医用情報を提供した部門の人
間の参加が求められることもある。
By the way, in practice, the side to which the medical information is provided may have an unknown point in the medical information. In such a case, consult the side who provides the medical information for consultation. There is. In addition, there may be cases where the participation of a person from the department who provided medical information for consultation purposes at the above-mentioned meeting place.

【0005】[0005]

【発明が解決しようとする課題】ところが、通常患者に
ついての医用情報を収集し、提供する部門と、その医用
情報の提供を受けて、実際に患者の診断を行う部門と
は、部屋を異にし、肉声や直接の視覚に訴えることがで
きない遠隔の場所にある。そこで、これまでは違う部門
の部屋へ出向いたり、違う部門の人達が各部門の部屋と
は違う会議室に集まってコンサルテーションやカンファ
レンスを行っており、自分たちが通常いる場所でコンサ
ルテーションやカンファレンスができないという不便が
あった。また、この場合、コンサルテーションやカンフ
ァレンスの内容を正確に記録しておくことがなかなかで
きず、類似の医用情報に接したときに過去の経験を生か
せなくなることがある。
However, the room for collecting and providing medical information about a patient and the department for actually diagnosing a patient in response to the medical information are provided in different rooms. , In a remote location that cannot appeal to the voice or direct sight. So, until now, we have been going to rooms of different departments, or people of different departments have gathered in a conference room different from the room of each department to hold a consultation or conference, and we can not hold a consultation or conference in the place where we usually are There was an inconvenience. Further, in this case, it is difficult to accurately record the contents of the consultation or the conference, and it may not be possible to make use of past experience when contacting similar medical information.

【0006】そこで、まず自分たちが通常いる場所でコ
ンサルテーションやカンファレンスを行うため、テレビ
カメラとテレビ、マイクロフォンとスピーカ等の通信手
段を用いたテレビ会議方式が考えられる。
[0006] Therefore, first, in order to hold a consultation or a conference in the place where they are usually present, a video conference system using communication means such as a television camera and a television, a microphone and a speaker, and the like can be considered.

【0007】しかし、これまでのテレビ会議方式では、
そのコンサルテーション・カンファレンス内容を自動的
に記録(録画・録音)するとなると、会議の冒頭から終
了まで出席者のすべての発言内容、あるいは提示された
視覚情報をすべて記録することになるため、情報量が厖
大となり、記録の検索に多大な時間・労力が掛かるとい
う欠点があった。
However, in the conventional video conference system,
If the content of the consultation / conference is automatically recorded (recorded / recorded), all the speech contents of the attendees or all the visual information presented will be recorded from the beginning to the end of the conference, so the amount of information will be large. It was enormous, and there was the drawback that it took a lot of time and effort to search for records.

【0008】本発明は上記事情に鑑みてなされたもので
あり、テレビ会議方式によりながら記録内容は要点だけ
にとどめて、記録情報の圧縮・検索の便を図ることがで
きるコンサルテーション・カンファレンスシステムを提
供することを目的とする。
The present invention has been made in view of the above circumstances, and provides a consultation conference system capable of compressing and retrieving recorded information by limiting the recorded contents to the essential points while using the video conference system. The purpose is to do.

【0009】[0009]

【課題を解決するための手段】本発明は上記課題を解決
するために、コンサルテーション・カンファレンスの参
加者をユーザとする端末をローカル・エリア・ネットワ
ーク(LAN)で結んだコンサルテーション・カンファ
レンスシステムであって、各端末はユーザが意見を述べ
るべき画像を表示するディスプレイ手段と、各ユーザが
意見を音声で入力するマイク手段と、他のユーザの意見
を音声で出力するスピーカ手段と、音声による意見入力
のトリガおよびグラフィックスによる意見入力の手段と
なり、前記ディスプレイ手段に重ねて設置されるタッチ
センサ手段と、意見を入力するユーザの表情を撮影する
カメラ手段と、コンサルテーション・カンファレンスの
内容の記録・編集に係る種々のコマンドを入力するキー
ボード手段と、意見の入力時刻を知らせるクロック手段
と、各端末において画像ごとに、入力されたユーザの音
声、表情および入力されたグラフィックス情報を経時的
にまとめた時系列情報を作成し、LANに送り出す手段
を有し、前記LANには各端末から送られてきた時系列
情報を画像ごとにさらに同一時刻でまとめて議事録生情
報あるいはテープを作成、記憶し、各端末からの要求に
応じて送り出す手段が接続するコンサルテーション・カ
ンファレンスシステムを提供する。
In order to solve the above-mentioned problems, the present invention provides a consultation conference system in which terminals having users as participants in a consultation conference are connected by a local area network (LAN). , Each terminal has a display means for displaying an image in which the user should state his / her opinion, a microphone means for each user to input his / her opinion by voice, a speaker means for outputting the other user's opinion by voice, and a voice / voice opinion input. The touch sensor means is a means for inputting opinions by a trigger and graphics, and is placed over the display means, a camera means for photographing the facial expression of the user who inputs an opinion, and recording / editing of the contents of the consultation conference. Keyboard means for entering various commands, And a means for generating time-series information that summarizes the input user's voice, facial expression, and input graphics information for each image in each terminal over time, and sends it to the LAN. Then, the LAN is connected to means for collecting time series information sent from each terminal at the same time for each image, creating and storing the minutes record information or tape, and sending it out in response to a request from each terminal. Providing a consultation conference system

【0010】[0010]

【作用】本発明のコンサルテーション・カンファレンス
システムは、タッチセンサ手段がコンサルテーション・
カンファレンスの記録しておくべき内容を指示するトリ
ガとなり、その下のディスプレイ手段に表示された画像
に、タッチセンサ手段を介して触れながら、音声もしく
はタッチセンサ手段上にグラフィックス情報を入力する
と、これら音声およびグラフィックス情報はその入力時
におけるユーザの表情とともに、同一時刻のデータとし
てまとめられる。そしてLAN全体では、他の端末から
の情報も同一時刻のものはまとめられ、同一時刻におけ
る音声、表情、グラフィックス情報は議事録生データと
なって記録される。
In the consultation conference system of the present invention, the touch sensor means is
It becomes a trigger to instruct what should be recorded in the conference, and while touching the image displayed on the display means below it via the touch sensor means, inputting voice or graphics information on the touch sensor means, these The voice and graphics information is collected as data at the same time together with the facial expression of the user at the time of input. In the entire LAN, information from other terminals at the same time is collected, and voice, facial expression, and graphics information at the same time are recorded as minutes record raw data.

【0011】[0011]

【実施例】以下添付の図面を参照して本発明の実施例を
説明する。
Embodiments of the present invention will be described below with reference to the accompanying drawings.

【0012】図1は、本発明の第1実施例に係るコンサ
ルテーション・カンファレンスシステムの機能構成を示
す図である。
FIG. 1 is a block diagram showing the functional arrangement of a consultation conference system according to the first embodiment of the present invention.

【0013】すなわち、データ入力(作成)用端末A
(符号50で示す)にある画像データ管理部10は、コ
ンサルテーションやカンファレンスにおいて医師がそれ
について意見を述べるべき画像を画像表示部4を介して
ディスプレイ5に表示する。本実施例においては、医師
は、画像を見ながら、自らの意見を自分の音声と自分で
画像にタッチする動作により入力する。つまり、この入
力操作は、 タッチした画像に係る意見(文字データ)を音声で入
力する 画像上でタッチした通りに図を描く という2つの入力(音声と画像[もしくはグラフィック
ス])を含む。
That is, the terminal A for data input (creation)
The image data management unit 10 (indicated by reference numeral 50) displays on the display 5 via the image display unit 4 an image for which the doctor should state his opinion at a consultation or conference. In the present embodiment, the doctor inputs his / her opinion by his / her voice and the action of touching the image by himself / herself while looking at the image. In other words, this input operation includes two inputs (voice and image [or graphics]) in which an opinion (text data) relating to the touched image is input by voice and a drawing is drawn as touched on the image.

【0014】ここで、入力端末Aは音声をマイク1で、
またディスプレイ5上の画像へのタッチをタッチセンサ
6で受取り、以下の処理を行う。
Here, the input terminal A uses the microphone 1 for voice,
Further, the touch sensor 6 receives a touch on the image on the display 5 and performs the following processing.

【0015】まず、音声はマイク1からアナログ信号が
音声デジタイザ2へ送られ、音声デジタイザ2でA/D
(アナログ/デジタル)変換されてデジタルデータにな
り、時刻−音声データ作成部3へ送られる。時刻−音声
データ作成部3では、音声デジタイザ2から送られる音
声データを、クロック13から送られる時刻データと対
応させて記憶する。具体的には、音声デジタイザ2とク
ロック13それぞれのデータを時刻−音声データ作成部
3内のバッファメモリに格納し、ついでクロック信号に
同期させて、音声データと時刻データを下記表1に示す
時刻−音声テーブルに次々と入力していく。
First, as for voice, an analog signal is sent from the microphone 1 to the voice digitizer 2, and the voice digitizer 2 performs A / D.
(Analog / digital) conversion into digital data is sent to the time-sound data creation unit 3. The time-sound data creation unit 3 stores the sound data sent from the sound digitizer 2 in association with the time data sent from the clock 13. Specifically, the data of each of the audio digitizer 2 and the clock 13 is stored in the buffer memory in the time-audio data creation unit 3, and then the audio data and the time data are synchronized with the clock signal to generate the time shown in Table 1 below. -Enter one after another in the voice table.

【0016】[0016]

【表1】 [Table 1]

【0017】一方、医師の表情のデータは、カメラ31
によって撮影され、画像デジタイザ32に入力される。
画像デジタイザ32では、入力画像をデジタル化し、逐
時時刻−表情作成部33へ送信する。時刻−表情作成部
33では、クロック13を用いながら、音声の場合と同
様に、画像デジタイザ32から送られた画像データと時
刻を対応づけた、下記表2に示す時刻−表情テーブルを
作成する。
On the other hand, the data of the facial expression of the doctor is obtained by the camera 31
Is photographed by and input to the image digitizer 32.
The image digitizer 32 digitizes the input image and transmits it to the time-of-day-facial expression creation unit 33. Using the clock 13, the time / facial expression creating unit 33 creates a time / facial expression table shown in Table 2 below in which the image data sent from the image digitizer 32 and the time are associated with each other, as in the case of voice.

【0018】[0018]

【表2】 [Table 2]

【0019】次に、ポインタデータ(医師がタッチした
画像上の座標)については、タッチセンサ6から送り出
されたポインタデータを、ポインタデータ入力部8がデ
ジタルの座標データに変換する。これには現在知られて
いるタッチセンサの技術を用いることができる。
Next, regarding the pointer data (coordinates on the image touched by the doctor), the pointer data sent from the touch sensor 6 is converted into digital coordinate data by the pointer data input unit 8. The touch sensor technology currently known can be used for this.

【0020】ポインタデータ入力部8から座標データを
受取った時刻−ポインタデータ作成部9は、クロック1
3から時刻データを受取り、音声・表情の場合と同様に
クロック13と同期させて、下記表3に示す時刻−ポイ
ンタテーブルに次々と入力する。
When the coordinate data is received from the pointer data input unit 8, the time-pointer data creation unit 9 uses the clock 1
The time data is received from 3 and input to the time-pointer table shown in Table 3 below one after another in synchronization with the clock 13 as in the case of voice / expression.

【0021】[0021]

【表3】 [Table 3]

【0022】さて、こうしてコンサルテーションやカン
ファレンスの場で医師が自分の意見を入力し終ると、医
師はキーボード27から終了要求コマンドを入力する。
すると、この終了要求コマンドは画像データ管理部10
へ伝えられ、画像データ管理部10は、現在ディスプレ
イ5に表示されており、かつ医師の所見が入力された画
像の認識番号(画像ID)を表情−時刻−音声−ポイン
タデータ−画像ID作成部14へ送信する。また、この
終了要求コマンドは、時刻−音声データ作成部3、時刻
−表情データ作成部3および時刻−ポインタデータ作成
部9にも伝えられ、これらデータ作成部3,33,9
は、それぞれ作成した時刻−音声テーブル、時刻−表情
テーブルおよび時刻−座標テーブルを、時刻−音声−表
情−ポインタデータ−画像ID作成部14へ送信する。
When the doctor finishes inputting his / her opinion at the consultation or conference, the doctor inputs a termination request command from the keyboard 27.
Then, this end request command is sent to the image data management unit 10
The image data management unit 10 sends the identification number (image ID) of the image currently displayed on the display 5 and the input of the doctor's findings to the expression-time-voice-pointer data-image ID creation unit. Send to 14. The end request command is also transmitted to the time-speech data creation unit 3, the time-facial expression data creation unit 3, and the time-pointer data creation unit 9, and these data creation units 3, 33, 9 are sent.
Transmits the created time-voice table, time-expression table and time-coordinate table to time-voice-expression-pointer data-image ID creation unit 14.

【0023】これら3つのテーブルを受取った時刻−音
声−表情−ポインタデータ−画像ID作成部14は、こ
れらを順次つなぎ合わせて1つの統一データとする。こ
れは、例えばプログラミング言語であるC言語における
構造体のようにフォーマットを予めもっていて、このフ
ォーマットに沿って順次データを構成していくものであ
り、この統一データは、議事録生データ作成部37へ送
出される。
The time, voice, facial expression, pointer data, and image ID creating section 14 that receives these three tables sequentially connect them to form one unified data. This has a format in advance like a structure in the C language which is a programming language, and sequentially forms data according to this format. This unified data is the minutes raw data creation unit 37. Sent to.

【0024】なお、1つの端末から入力された種々のデ
ータは、データ転送部34によって、同じ構成を有する
他の一部もしくはすべての端末に送信・出力される。例
えば、端末Aの画像デジタイザ32から入力される画像
データは、データ転送部34を通して端末B(符号51
で示す)の画像表示部(図示せず)へ送られ、そのディ
スプレイに表示される。端末Aで入力された音声も、音
声デジタイザ2からデータ転送部34を通って、例えば
端末Bの音声アナライザ(端末Aでは符号36)でD/
A(デジタル/アナログ)変換され、そのスピーカ(端
末Aでは符号35)から出力される。同様に、ポインタ
データも、端末Aのポインタデータ入力部8→データ転
送部34→端末Bのオーバーレイ・ポインタデータ表示
部(端末Aでは符号7)の経路を経て、そのディスプレ
イに表示される。こうして、1つの端末の入力データ
を、他の端末で共有することが可能となる。
Various data input from one terminal are transmitted / output by the data transfer unit 34 to some or all other terminals having the same configuration. For example, the image data input from the image digitizer 32 of the terminal A is transmitted to the terminal B (reference numeral 51 through the data transfer unit 34).
(Shown in FIG. 4) is sent to an image display unit (not shown) and displayed on the display. The voice input at the terminal A also passes through the data transfer unit 34 from the voice digitizer 2 and is D / D by the voice analyzer of the terminal B (reference numeral 36 at the terminal A).
The signal is A (digital / analog) converted and output from the speaker (reference numeral 35 in the terminal A). Similarly, the pointer data is also displayed on the display of the pointer data input unit 8 of the terminal A → the data transfer unit 34 → the overlay pointer data display unit of the terminal B (reference numeral 7 in the terminal A). In this way, the input data of one terminal can be shared by other terminals.

【0025】また、各端末のクロックが同じ時刻を指す
ように、例えば端末Aのクロック13からデータ転送部
34を経由して時刻データを他の端末のクロックへ転送
することもできる。
Further, time data may be transferred from the clock 13 of the terminal A to the clocks of other terminals via the data transfer unit 34 so that the clocks of the respective terminals indicate the same time.

【0026】さて、1つあるいは複数の端末50,5
1,52,……から議事録生データ作成部37に送られ
てきた統一データは、議事録生データ作成部37で同時
刻のものを関連づけ、下記表4に示すデータフォーマッ
トの議事録生データに加工される。
Now, one or a plurality of terminals 50, 5
The unified data sent from the minutes raw data creation unit 37 from 1, 52, ... Associates the same data at the same time in the minutes raw data creation unit 37, and the minutes raw data of the data format shown in Table 4 below. Is processed into.

【0027】[0027]

【表4】 [Table 4]

【0028】すなわち、まず端末Aの時刻−音声−表情
−ポインタデータ−画像ID作成部14で作成された特
定の画像についての統一データを受信すると、そのうち
の時刻データを、上記フォーマットの時刻データの部分
に対応するメモリに格納する。ついで、その時刻に対応
する音声データ、表情データおよびポインタデータを各
画像IDについて、それぞれフォーマットの該当するメ
モリ内に格納する。こうして、画像IDがn個あれば、
そのn個分の議事録生データが作成される。
That is, first, when the unified data on the time of the terminal A-voice-facial expression-pointer data-specific image created by the image ID creation unit 14 is received, the time data of that is converted into the time data of the above format. Store in the memory corresponding to the part. Then, the voice data, the facial expression data, and the pointer data corresponding to the time are stored for each image ID in the corresponding memory of the format. Thus, if there are n image IDs,
The minutes raw data for the n minutes are created.

【0029】同様にして、他の端末B,C……の時刻−
音声−表情−ポインタデータ−画像ID作成部14から
送られてきた統一データについても、同一の画像IDに
ついて上記の処理を行う。
Similarly, the time of other terminals B, C ...
With respect to the unified data sent from the voice-facial expression-pointer data-image ID creation unit 14, the above processing is performed for the same image ID.

【0030】本実施例によれば、上記表4のようなフォ
ーマットで、端末のユーザ同士で行われたカンファレン
ス・コンサルテーションの内容を議事録生データメモリ
38に保存することができる。
According to this embodiment, the contents of the conference consultation conducted between the users of the terminals can be stored in the minutes record data memory 38 in the format shown in Table 4 above.

【0031】議事録生データは、また議事録編集部39
によって編集し、その編集した内容を画像データベース
40することができる。
The raw minutes data is also recorded in the minutes editing unit 39.
The image database 40 can be edited with the edited contents.

【0032】画像データベース40には、画像情報およ
び画像へのオーバーレイ(重ね合わせ)情報が保存され
るわけであるが、各端末においてこれらの情報を利用す
る場合は、端末Aを例にとると、一旦画像情報は画像メ
モリ20に、またオーバーレイ情報はオーバーレイメモ
リ21に引き入れる。そして、画像データ管理部10の
制御下に、画像情報は画像表示部4を経由して、またオ
ーバーレイ情報はオーバーレイ・ポインタデータ表示部
22を経由してディスプレイ5に表示される。
The image database 40 stores image information and overlay (overlay) information on the image. When each terminal uses this information, the terminal A is used as an example. The image information is temporarily stored in the image memory 20, and the overlay information is stored in the overlay memory 21. Then, under the control of the image data management unit 10, the image information is displayed on the display 5 via the image display unit 4, and the overlay information is displayed on the display 5 via the overlay pointer data display unit 22.

【0033】つぎに、再生・編集の態様を、端末の実装
例を示す図2を用いて説明する。図2においては、図1
の機能構成図と同一の名称となる要素については、同一
の符号を用いた。他の実装要素については、図1の機能
要素との対応を示しながら説明する。
Next, a mode of reproduction / editing will be described with reference to FIG. 2 showing an example of mounting a terminal. In FIG. 2, FIG.
The same reference numerals are used for the elements having the same names as those in the functional configuration diagram. Other mounting elements will be described while showing the correspondence with the functional elements in FIG.

【0034】総括的に言えば、議事録生データメモリ3
8に格納された議事録生データは、例えば端末Aでキー
ボード27から入力を要求されると、CPU43の命令
により、一方でその中の画像データがLAN(ローカル
・エリア・ネットワーク)41およびネットワークI/
F(ネットワーク・インターフェース)42を経由し
て、ディスプレイコントローラ44(図1の画像表示部
4とオーバーレイ・ポインタデータ表示部22に相当す
る)へ転送され、ディスプレイ5に表示される。また、
これと同時に、議事録生データ中の音声データも音声入
出力コントローラ45(図1の音声デジタイザ2と音声
アナライザ36に相当する)へ転送され、スピーカ35
から音声が出力される。
In summary, the minutes raw data memory 3
When the input of the raw minutes data stored in 8 is requested from the keyboard 27 at the terminal A, for example, the image data in the raw data is sent to the LAN (local area network) 41 and the network I by the instruction of the CPU 43. /
It is transferred to the display controller 44 (corresponding to the image display unit 4 and the overlay pointer data display unit 22 in FIG. 1) via the F (network interface) 42 and displayed on the display 5. Also,
At the same time, the voice data in the proceedings raw data is also transferred to the voice input / output controller 45 (corresponding to the voice digitizer 2 and the voice analyzer 36 in FIG. 1) and the speaker 35.
The sound is output from.

【0035】なお、CPU43にまとめられた図1中の
構成要素は、それぞれタスク(プロセス)として起動さ
れ、各タスク間のデータ授受はタスク(プロセス)間通
信によって行われる。
The constituent elements in FIG. 1 put together in the CPU 43 are activated as tasks (processes), and data exchange between the tasks is performed by inter-task (process) communication.

【0036】これをさらに詳細に説明する。キーボード
27から、所定の入力コードで議事録生データの再生要
求を入力すると、総括コントローラ46からCPU43
に割込みがかかる。この時点でCPU43は総括コント
ローラ46のレジスタ内容を読み、下記表5に示すコマ
ンドリストと照合して再生要求であることを判断する。
This will be described in more detail. When a reproduction request for the minutes data is input from the keyboard 27 with a predetermined input code, the general controller 46 causes the CPU 43 to
Interrupts. At this point, the CPU 43 reads the register contents of the general controller 46, compares it with the command list shown in Table 5 below, and determines that the request is for reproduction.

【0037】[0037]

【表5】 [Table 5]

【0038】すると、CPU43は、予めLAN41を
通して画像メモリ20とオーバーレイメモリ21に格納
しておいた議事録生データを、ディスプレイコントロー
ラ44および音声入出力コントローラ45へ各々転送す
る。この時、ディスプレイコントローラ44には、議事
録生データのうち時刻と表情とポインタデータをまとめ
た時刻−表情−ポインタデータテーブルを、また音声入
出力コントローラ45へは時刻−音声テーブルを送信す
る。
Then, the CPU 43 transfers, to the display controller 44 and the voice input / output controller 45, the minutes record data stored in the image memory 20 and the overlay memory 21 through the LAN 41 in advance. At this time, the display controller 44 transmits a time-facial expression-pointer data table, which is a collection of time, facial expression, and pointer data in the minutes record raw data, and a time-speech table, to the voice input / output controller 45.

【0039】次にCPU43は、議事録生データの画像
IDを見て、その画像IDに相当する画像データを画像
データベース40から検索し、画像メモリ20に格納す
る。これら画像データは、ディスプレイコントローラ4
4へ送信される。
Next, the CPU 43 looks at the image ID of the raw minutes data, searches the image database 40 for the image data corresponding to the image ID, and stores it in the image memory 20. These image data are displayed on the display controller 4
4 is transmitted.

【0040】ディスプレイコントローラ44は、図3に
示すように、内部にディスプレイメモリ61、オーバー
レイメモリ62、メモリ−ID対応テーブル63、議事
録生データ用メモリ64、表情・画像出力用の画像メモ
リ65、クロック66、タッチパネルデータ入力部67
およびデータ送受信部68を有する。
As shown in FIG. 3, the display controller 44 has a display memory 61, an overlay memory 62, a memory-ID correspondence table 63, a minutes data memory 64, a facial expression / image output image memory 65, as shown in FIG. Clock 66, touch panel data input unit 67
And a data transmission / reception unit 68.

【0041】さてCPU43は、ディスプレイコントロ
ーラ44と音声入出力コントローラ45に、同時に再生
命令を送信する。ディスプレイコントローラ44は、予
め画像をディスプレイメモリ61に格納し、かつディス
プレイ5に表示させているが、再生命令を受けると、議
事録生データ中のポインタデータをオーバーレイメモリ
62に順次入力する。
Now, the CPU 43 simultaneously transmits a reproduction command to the display controller 44 and the audio input / output controller 45. The display controller 44 stores the image in the display memory 61 in advance and displays it on the display 5, but when receiving the reproduction command, the pointer data in the minutes record data is sequentially input to the overlay memory 62.

【0042】この順次入力のやり方は、まずCPU43
が議事録生データ中の時刻データの先頭にある時刻をパ
ラメータとして再生要求をディスプレイコントローラ4
4に送信する。これを受けたディスプレイコントローラ
44は、クロック66の初期値をこの時刻にセットす
る。そして、以後はディスプレイコントローラ44内の
議事録生データ用メモリ64の時刻データと先にセット
したクロック66の時刻が一致するかどうかを比較し、
一致する場合は、議事録生データ用メモリ64内のポイ
ンタデータをオーバーレイメモリ62へ送信することに
より再生を行う。音声入出力コントローラ45における
音声データの再生も同様の方法で行なわれる。
The method of this sequential input is as follows.
Is a display controller 4 requesting playback with the time at the beginning of the time data in the minutes data as a parameter.
Send to 4. Upon receiving this, the display controller 44 sets the initial value of the clock 66 at this time. Then, thereafter, it is compared whether or not the time data of the minutes raw data memory 64 in the display controller 44 and the time of the clock 66 set previously match.
If they match, the pointer data in the minutes data memory 64 is transmitted to the overlay memory 62 for reproduction. The reproduction of the audio data in the audio input / output controller 45 is performed by the same method.

【0043】次に、議事録生データの各端末での編集
(更新)方法について述べる。ユーザは、キーボード2
7からの入力で、編集要求をCPU43に知らせる。す
ると、CPU43は、ディスプレイコントローラ44と
音声入出力コントローラ45へ編集命令を送信する。
Next, a method of editing (updating) the raw minutes data at each terminal will be described. User can use keyboard 2
The input from 7 notifies the CPU 43 of the edit request. Then, the CPU 43 sends an edit command to the display controller 44 and the voice input / output controller 45.

【0044】編集命令を受取った各コントローラ44、
45は、ユーザからの入力待ち状態に入る。そして、ユ
ーザが図2のタッチスクリーンコントローラ47で制御
されるタッチスクリーン6からポインタデータを入力す
ると、これはタッチスクリーンデータ入力部67を通じ
て議事録生データメモリ64に送られる。ディスプレイ
コントローラ44は、これに伴って議事録生データメモ
リ64中のポインタデータを更新するとともに、ディス
プレイメモリ61へ送信し、ディスプレイ5に表示す
る。
Each controller 44 which has received the edit command,
45 enters a state of waiting for input from the user. When the user inputs pointer data from the touch screen 6 controlled by the touch screen controller 47 of FIG. 2, the pointer data is sent to the proceedings data memory 64 through the touch screen data input unit 67. In accordance with this, the display controller 44 updates the pointer data in the minutes record raw data memory 64, transmits it to the display memory 61, and displays it on the display 5.

【0045】音声の編集についても上記と同様に行う。The editing of voice is performed in the same manner as above.

【0046】そして、CPU43は、キーボード27か
ら編集終了の要求を受けると、終了命令を各コントロー
ラ44,45へ送り、さらに更新されたポインタデータ
と音声データを各コントローラ44、45内の議事録生
データ用メモリから、CPU43のメモリへ送信し、そ
のメモリ内にある議事録生データの原本を更新する。
When the CPU 43 receives an edit end request from the keyboard 27, the CPU 43 sends an end command to the controllers 44 and 45, and further updates the pointer data and voice data to record the minutes in the controllers 44 and 45. It transmits from the data memory to the memory of the CPU 43, and updates the original minutes data recorded in the memory.

【0047】今度は図4を参照して、図1の議事録編集
部39で音声を含む議事録生データから画像にオーバー
レイする(これを編集と考える)文字・グラフィックス
情報を作成する方法を述べる。図4において図1〜図3
に対応する要素には同一の符号を付す。
Now, referring to FIG. 4, a method of creating character / graphics information which is overlaid on an image (considered as editing) from the raw minutes data including voice in the minutes editor 39 of FIG. State. 1 to 3 in FIG.
The same reference numerals are given to the elements corresponding to.

【0048】議事録生データは、議事録生データメモリ
38から議事録編集部39に入ってくると、一方で文字
系データ作成部16へ送られる。すると、音声認識部1
5は、議事録生データのうち音声データ部分について、
公知の音声認識技術により音声データを文字コードに変
換する。この文字コードは、文字系データ作成部16で
作成される文字系データの一部として使われる。
When the minutes record raw data enters the minutes record editing section 39 from the minutes record raw data memory 38, it is sent to the character data creating section 16. Then, the voice recognition unit 1
5 is about the voice data part of the minutes record raw data,
The voice data is converted into a character code by a known voice recognition technique. This character code is used as a part of the character data created by the character data creating unit 16.

【0049】すなわち、音声認識部15は、単語あるい
は文の区切りとして、例えば無音状態になったときに、
それまでの単語あるいは文を一区切りとして文字コード
に変換し、その際下記表6に示す音声データV1 ,…,
n に相当する時刻t1 ,…,tn と、変換した文字コ
ードCを対応づけて記憶し、かつ文字系データ作成部1
6へ送る。
That is, the voice recognition unit 15 uses, as a word or sentence delimiter, for example, in a silent state,
The words or sentences up to that point are converted into a character code by separating them into one character, and in that case, the voice data V 1 , ...
Time t 1 corresponding to V n, ..., and t n, and association with each converted character code C, and character-based data creation unit 1
Send to 6.

【0050】[0050]

【表6】 このときのフォーマットは、下記表7に示すように、認
識した音声の最初の時刻t1 、最後の時刻tn および文
字コードCの組として送られる。
[Table 6] The format at this time is sent as a set of the first time t 1 , the last time t n, and the character code C of the recognized voice, as shown in Table 7 below.

【0051】[0051]

【表7】 この表から分かるように、無音状態と認識した部分につ
いては、その最初と最後の時刻に、文字コード(null)
を対応させる。
[Table 7] As can be seen from this table, the character code (null) is added at the beginning and end times of the part recognized as silence.
Correspond to.

【0052】音声認識部15から表7のデータを受取っ
た文字系データ作成部16は、議事録生データ中の画像
IDと時刻−ポインタデータおよび表7の時刻(最初と
最後)−文字コードデータから所定フォーマットの文字
系データを作成し、文字オーバーレイデータ作成部18
へ送信する。
Upon receiving the data of Table 7 from the voice recognition unit 15, the character data creation unit 16 receives the image ID and time-pointer data in the minutes record data and the time (first and last) -Character code data of Table 7. Character data in a predetermined format is created from the character overlay data creation unit 18
Send to.

【0053】つぎに、議事録生データ中のポインタ情報
(時刻−ポインタデータ)がグラフィックスデータ(画
面上を指でなぞって描いた画像データ)であるかあるい
は音声入力データ(画面上の一点を指差して発言し入力
した音声データ)であるかを弁別する方法を述べる。
Next, whether the pointer information (time-pointer data) in the minutes raw data is graphics data (image data drawn by tracing the screen with a finger) or voice input data (a point on the screen is Described below is a method for discriminating whether or not it is voice data input by pointing and speaking.

【0054】議事録生データを受取ったポインタ情報弁
別部17は、データフォーマット中の時刻−ポインタデ
ータに着目して処理を進める。
The pointer information discriminating unit 17 which has received the raw minutes data advances the processing by paying attention to the time-pointer data in the data format.

【0055】まず、時刻t1 からある決められた時間Δ
t(予め保持している)の間に、ポインタ(座標)デー
タが移動した距離を計算する。座標(X1 ,Y1 )と
(X2,Y2 )の間の距離dは、
First, a predetermined time Δ from time t 1.
The distance moved by the pointer (coordinates) data during t (held in advance) is calculated. The distance d between the coordinates (X 1 , Y 1 ) and (X 2 , Y 2 ) is

【数1】 で表される。[Equation 1] It is represented by.

【0056】Δt間に座標データがn個あったときは、
n個の座標データ全部について、それぞれt1 の座標
(X1 ,Y1 )からの距離dを計算する(これをd1
…,dn とする)。
When there are n pieces of coordinate data between Δt,
The distance d from the coordinate (X 1 , Y 1 ) of t 1 is calculated for all n coordinate data (this is d 1 ,
,, d n ).

【0057】そして、これらd1 ,…,dn のうち1つ
でも所定の値ε(予め保持している)を上回るものが存
在すれば、この(X1 ,Y1 )から(Xn ,Yn )の座
標データは、医師により手書きで入力されたグラフィッ
クスデータであると判断し、次の表8に示すフォーマッ
トに座標(X1 ,Y1 )から(Xn ,Yn )の組を格納
する。
If at least one of these d 1 , ..., D n exceeds the predetermined value ε (previously held), this (X 1 , Y 1 ) to (X n , It is determined that the coordinate data of Y n ) is graphics data input by handwriting by a doctor, and a set of coordinates (X 1 , Y 1 ) to (X n , Y n ) is formed in the format shown in Table 8 below. To store.

【0058】[0058]

【表8】 なお、この座標データの組は、グラフィックスデータと
して便宜上(X1 ,Y1 ),……,(Xn ,Yn )と書
き表す。
[Table 8] Note that this set of coordinate data is written as (X 1 , Y 1 ), ..., (X n , Y n ) as graphics data for convenience.

【0059】他方、d1 ,…,dn のうち一つたりとも
εを上回らなければ、これらは、医師がこの座標[(X
1 ,Y1 )から(Xn ,Yn )までほとんど同じ)に触
れながら音声によって文字を入力したものと判断し、d
1 ,…,dn に相当する(X1 ,Y1 )とt1 ,…,t
n を、次の表9に示すデータフォーマットに格納する。
On the other hand, if at least one of d 1 , ..., D n does not exceed ε, these are determined by the doctor at this coordinate [(X
It is determined that a character is input by voice while touching ( 1 , Y 1 ) to (X n , Y n ) are almost the same), and d
(X 1 , Y 1 ) corresponding to 1 , ..., D n and t 1 , ..., T
Store n in the data format shown in Table 9 below.

【0060】[0060]

【表9】 [Table 9]

【0061】また、このフォーマットはポインタデータ
として、便宜上つぎの表10のようにも書き表すことと
する。
For convenience, this format is also written as shown in Table 10 below.

【0062】[0062]

【表10】 さて、このようにして座標データ(X1 ,Y1 )〜(X
n ,Yn )までの解析が終了したら、つぎの(Xn+1
n+1 )以降の座標データについても同様の処理をくり
返す。こうして最後の座標データまで処理を行い、次の
表11のデータフォーマットに全てのグラフィックスデ
ータとポインタデータ(以下これを「グラフィックス−
ポインタデータ」と呼ぶ)を格納する。この表ではグラ
フィックスデータは、先の便宜形式、またポインタデー
タは表10の形式で納められる。
[Table 10] Now, in this way, the coordinate data (X 1 , Y 1 ) to (X
When the analysis up to n , Y n ) is completed, the next (X n + 1 ,
The same processing is repeated for the coordinate data after Y n + 1 ). In this way, processing is performed up to the last coordinate data, and all graphics data and pointer data (hereinafter referred to as "graphics-
Stored as "pointer data"). In this table, the graphics data is stored in the format described above, and the pointer data is stored in the format shown in Table 10.

【0063】[0063]

【表11】 このグラフィックス−ポインタデータは文字オーバーレ
イデータ作成部18へ送信される。
[Table 11] This graphics-pointer data is transmitted to the character overlay data creation unit 18.

【0064】文字系データ作成部16とポインタ情報弁
別部17から、それぞれ文字系データとグラフィックス
−ポインタデータを受取った文字オーバーレイデータ作
成部18は、これらを基に、文字オーバーレイデータを
作成する。
The character overlay data creation unit 18, which has received the character data and the graphics-pointer data from the character data creation unit 16 and the pointer information discrimination unit 17, respectively, creates the character overlay data based on these.

【0065】ところで、本実施例では、タッチセンサ6
の座標は、図5に示すように、(0,0)から最大(X
max ,Ymax )とし、この座標サイズに係るデータは文
字オーバーレイデータ作成部18でも保持しているもの
とする。
By the way, in this embodiment, the touch sensor 6
As shown in FIG. 5, the coordinates of the coordinates are from (0, 0) to the maximum (X
max , Y max ), and the data relating to the coordinate size is also held in the character overlay data creation unit 18.

【0066】さて、文字オーバーレイデータ作成部18
は、例えば端末Aの画像データ管理部10に対して、文
字系データあるいはグラフィックス−ポインタデータの
もつ画像IDをパラメータとして、当該画像についてす
でに保存されている過去の文字オーバレイデータを要求
するコマンドを送出する。
Now, the character overlay data creating section 18
Is a command for requesting the past character overlay data already stored for the image to the image data management unit 10 of the terminal A using the image ID of the character data or the graphics-pointer data as a parameter. Send out.

【0067】一方、画像データ管理部10は画像IDと
文字オーバーレイデータの対応表を保持しているものと
し、このコマンドを受取ると、その対応表を参照して、
オーバーレイメモリ21に文字オーバーレイデータを文
字オーバーレイデータ作成部18に送らせる。
On the other hand, it is assumed that the image data management unit 10 holds a correspondence table of image IDs and character overlay data. When this command is received, the correspondence table is referred to,
The overlay memory 21 is caused to send the character overlay data to the character overlay data creation unit 18.

【0068】つまり画像データ管理部10は、予め各画
像の文字オーバーレイデータについて、図6に示すよう
な空間分解能(X´,Y´)[ピクセルサイズは(X′
max,Y′max )]と1ビットの濃度分解能(0または
1;表示する場合は0、表示しない場合は1)からなる
フォーマットをオーバーレイメモリ21に作成してお
く。そして、このフォーマットの文字オーバーレイデー
タと画像IDの対応表から、文字オーバーレイデータ作
成部18の要求に対して、文字オーバーレイデータとそ
のピクセルサイズをオーバーレイメモリ19から転送さ
せるわけである。
That is, the image data management unit 10 previously sets the spatial resolution (X ′, Y ′) [pixel size is (X ′) as shown in FIG. 6 for the character overlay data of each image.
max , Y'max )] and 1-bit density resolution (0 or 1; 0 when displaying, 1 when not displaying) in the overlay memory 21. Then, from the correspondence table of the character overlay data and the image ID in this format, the character overlay data and the pixel size thereof are transferred from the overlay memory 19 in response to a request from the character overlay data creating unit 18.

【0069】文字オーバーレイデータ作成部18は、文
字オーバーレイデータとそのピクセルサイズを受取る
と、次にグラフィックス−ポインタデータのポインタデ
ータに着目する。先の例では時刻tn+1 〜tm の間は、
座標(Xn+1 ,Yn+1 )にタッチがあって、その間に音
声入力されていたと判断した。
Upon receipt of the character overlay data and the pixel size thereof, the character overlay data creating section 18 next focuses on the pointer data of the graphics-pointer data. In the above example, between times t n + 1 and t m ,
It was determined that there was a touch on the coordinates (X n + 1 , Y n + 1 ) and that voice was being input during that time.

【0070】よって、文字系データの時刻tn+1 〜tm
に相当する文字コードCを検索する。その結果、例えば
「肺炎」という文字コードが入力されていたら、図7に
示すタッチセンサと文字オーバーレイデータのフォーマ
ットの座標関係を基に、文字オーバーレイデータのフォ
ーマット中の座標(Xn+1 ・X′max /Xmax ,Yn+1
・Y′max /Ymax )から始まる近傍、例えばピクセル
数ε′(予め定める)の範囲に、「肺炎」という文字の
グラフィックスデータ(文字のある箇所を1とする)を
作成してデータ入力する。
Therefore, the times t n + 1 to t m of the character data are
The character code C corresponding to is searched. As a result, for example when I character code is input as "pneumonia", based on the coordinate relational format of the touch sensor and character overlay data shown in FIG. 7, the coordinates in the format of the character overlay data (X n + 1 · X ′ Max / X max , Y n + 1
・ Create and enter graphics data of a character "pneumonia" (where a character is 1) in the vicinity of Y'max / Ymax ), for example, in the range of the number of pixels ε '(predetermined). To do.

【0071】この操作は、グラフィックス−ポインタデ
ータ中の全てのポインタデータに対して行う。そして、
こうしてできた文字を含む新しいオーバーレイデータ
は、オーバーレイメモリ19へ送出し、過去のものと入
れ替わり格納される。
This operation is performed for all pointer data in the graphics-pointer data. And
The new overlay data containing the characters thus created is sent to the overlay memory 19 and stored in place of the old one.

【0072】つぎにグラフィクスオーバーレイデータの
作成方法を説明する。
Next, a method of creating graphics overlay data will be described.

【0073】グラフィックス−ポインタデータを受取っ
たグラフィクスオーバーレイデータ作成部25は、グラ
フィックス−ポインタデータ中のグラフィックスデータ
部分を見て、グラフィックスオーバーレイデータを作成
する。
Upon receiving the graphics-pointer data, the graphics overlay data creating section 25 looks at the graphics data portion in the graphics-pointer data and creates the graphics overlay data.

【0074】まず、グラフィックス−ポインタデータ中
の画像IDをパラメータとして、当該画像のグラフィッ
クスオーバーレイデータを要求するコマンドを画像デー
タ管理部10へ送出する。画像データ管理部10では、
そのコマンドとパラメータを受取ると、オーバーレイメ
モリ19に、該当する過去のグラフィックスオーバーレ
イデータとピクセルサイズをグラフィクスオーバーレイ
データ作成部25へ送り出させる。
First, using the image ID in the graphics-pointer data as a parameter, a command for requesting graphics overlay data of the image is sent to the image data management unit 10. In the image data management unit 10,
When receiving the command and the parameter, the overlay memory 19 sends the corresponding past graphics overlay data and the pixel size to the graphics overlay data creating unit 25.

【0075】グラフィックスオーバーレイデータ作成部
25では、受取ったグラフィックスオーバーレイデータ
とピクセルサイズを(X′max ,Y′max )およびZ
(1ビット)で表す濃度分解能を一旦格納する。
The graphics overlay data creating section 25 uses the received graphics overlay data and pixel size as (X ' max , Y'max ) and Z.
The density resolution represented by (1 bit) is temporarily stored.

【0076】次に、グラフィックス−ポインタデータ中
のグラフィックスデータの座標(X1 ,Y1 )をもとに
オーバーレイデータを作成するが、これは、オーバーレ
イデータの座標(X1 ・X′max /Xmax ,Y1 ・Y′
max /Ymax )のデータを0から1に変えることにより
行う。この座標データの変換は、クラフィックス−ポイ
ンタデータ中の全てのグラフィクスデータについて行
う。
Next, the overlay data is created based on the coordinates (X 1 , Y 1 ) of the graphics data in the graphics-pointer data, which is the coordinates (X 1 · X ′ max ) of the overlay data. / X max , Y 1 · Y ′
This is performed by changing the data of ( max / Ymax ) from 0 to 1. This conversion of coordinate data is performed for all graphics data in the Clafix-pointer data.

【0077】このようにしてできたオーバーレイデータ
は、オーバーレイメモリ21へ送出され、格納される。
The overlay data thus formed is sent to the overlay memory 21 and stored therein.

【0078】オーバーレイメモリ10において、1つの
画像IDに対応するオーバーレイデータは、文字オーバ
ーレイ用とグラフィックスオーバーレイ用に分かれてい
るのが好ましい。一つになっていてもよいが、その場合
は文字オーバーレイデータ作成部18とグラフィックス
オーバーレイデータ作成部25で同時に更新して一方が
他方を消してしまわないように、画像データ管理部10
による排他制御を必要とする。
In the overlay memory 10, the overlay data corresponding to one image ID is preferably divided into a character overlay and a graphics overlay. However, in this case, the image data management unit 10 does not erase the other by updating the character overlay data creation unit 18 and the graphics overlay data creation unit 25 at the same time.
Exclusive control by is required.

【0079】本実施例では、分かれているものとしてす
る。
In this embodiment, they are divided.

【0080】さて画像+オーバーレイを表示する場合
は、文字オーバーレイデータ作成部18とグラフィック
スオーバーレイデータ作成部25によって作成された文
字オーバーレイとグラフィックスオーバーレイがともに
画像データ管理部10により画像IDと対応づけられて
オーバーレイメモリ21に格納される。
When displaying the image + overlay, both the character overlay and the graphics overlay created by the character overlay data creation unit 18 and the graphics overlay data creation unit 25 are associated with the image ID by the image data management unit 10. It is stored in the overlay memory 21.

【0081】画像とオーバーレイを参照したいという要
求および画像IDがキーボード27から入力されると、
画像データ管理部10は、文字オーバーレイとグラフィ
ックスオーバーレイを同じ座標毎に加算し、1つのオー
バーレイデータを作成してオーバーレイ・ポインタデー
タ表示部22へ送出する。また、画像IDに対応する画
像を画像メモリ20から読み出してオーバーレイ・ポイ
ンタデータ表示部22へ送出する。
When a request to refer to an image and an overlay and an image ID are input from the keyboard 27,
The image data management unit 10 adds the character overlay and the graphics overlay for each same coordinate, creates one overlay data, and sends it to the overlay / pointer data display unit 22. Further, the image corresponding to the image ID is read from the image memory 20 and sent to the overlay pointer data display unit 22.

【0082】これにより、ディスプレイ5には、画像と
オーバーレイが重なって表示される。つまりこれまでの
動作より、音声とタッチセンサ6でのポインティングに
より入力されたデータは、オーバーレイとなって参照さ
れる。
As a result, the image and the overlay are displayed on the display 5 in an overlapping manner. That is, according to the operations performed so far, the voice and the data input by pointing with the touch sensor 6 are referred to as an overlay.

【0083】本実施例によれば、画像+オーバーレイを
編集することもできる。つまり、オーバーレイメモリ2
1に格納されたオーバーレイデータは編集することがで
き、ディスプレイ5に表示されたオーバーレイを見て、
ユーザはタッチセンサ6からポインタデータを入力す
る。入力されたデータは例えばオーバーレイグラフィッ
クスとして処理される。
According to this embodiment, the image + overlay can be edited. That is, overlay memory 2
The overlay data stored in 1 can be edited, looking at the overlay displayed on the display 5,
The user inputs pointer data from the touch sensor 6. The input data is processed as overlay graphics, for example.

【0084】すなわち、入力された座標データを全てグ
ラフィクス入力と判断し、オーバーレイメモリ21のデ
ータを更新する。さらに、入力データをオーバーレイ・
ポインタデータ表示部22へ送信し、ディスプレイ5に
表示する。これにより編集が可能となる。
That is, all the input coordinate data are judged to be graphics input, and the data in the overlay memory 21 is updated. In addition, overlay the input data
It is transmitted to the pointer data display unit 22 and displayed on the display 5. This allows editing.

【0085】[0085]

【発明の効果】以上説明したように、本発明のコンサル
テーション・カンファレンスシステムによれば、LAN
の領域内ですべての端末からのタッチセンサ手段を介し
て入力された音声、表情、グラフィックス情報が同一時
刻についてまとめられ、議事録生データとなって記録さ
れるため、コンサルテーション・カンファレンスの内容
が人手によらず自動的に、かつ要点だけコンパクトに記
録される。
As described above, according to the consultation conference system of the present invention, the LAN
Within the area of, the voice, facial expression, and graphics information input from all terminals via touch sensor means are collected at the same time and recorded as minutes record data, so the contents of the consultation conference are It is recorded automatically and without any manual effort, and only at the essential points.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例に係るコンサルテーション・
カンファレンスシステムの機能構成図。
FIG. 1 shows a consultation according to an embodiment of the present invention.
Functional configuration diagram of the conference system.

【図2】図1のコンサルテーション・カンファレンスシ
ステムの実装構成図。
FIG. 2 is an implementation configuration diagram of the consultation conference system in FIG.

【図3】図2中のディスプレイコントローラの構成図。FIG. 3 is a configuration diagram of a display controller in FIG.

【図4】図1の議事録編集部の構成図。FIG. 4 is a block diagram of the minutes editor of FIG. 1.

【図5】図1にタッチセンサの座標を示す図。FIG. 5 is a diagram showing coordinates of a touch sensor in FIG.

【図6】各画像の文字オーバーレイデータのフォーマッ
トを示す図。
FIG. 6 is a diagram showing a format of character overlay data of each image.

【図7】タッチセンサと文字オーバーレイデータのフォ
ーマットの座標関係を示す図。
FIG. 7 is a diagram showing a coordinate relationship between formats of a touch sensor and character overlay data.

【符号の説明】[Explanation of symbols]

1 マイク 4 画像表示部 5 ディスプレイ 6 タッチセンサ 10 画像データ管理部 13 クロック 14 時刻−音声−表情−ポインタデータ−画像IDデ
ータ作成部 20 画像メモリ 21 オーバーレイメモリ 27 キーボード 37 議事録生データ作成部 38 議事録生データメモリ 39 議事録編集部 40 画像データベース 50 端末A
1 Microphone 4 Image Display 5 Display 6 Touch Sensor 10 Image Data Management 13 Clock 14 Time-Voice-Facial Expression-Pointer Data-Image ID Data Creation 20 Image Memory 21 Overlay Memory 27 Keyboard 37 Minutes Raw Data Creation 38 38 Agenda Recorded data memory 39 Minutes editorial department 40 Image database 50 Terminal A

───────────────────────────────────────────────────── フロントページの続き (72)発明者 江馬 武博 栃木県大田原市下石上1385番の1 東芝メ ディカルエンジニアリング株式会社内 ─────────────────────────────────────────────────── ─── Continued Front Page (72) Inventor Takehiro Ema 1385-1 Shimoishigami, Otawara, Tochigi Prefecture Toshiba Medical Engineering Co., Ltd.

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 コンサルテーション・カンファレンスの
参加者をユーザとする端末をローカル・エリア・ネット
ワーク(LAN)で結んだコンサルテーション・カンフ
ァレンスシステムであって、各端末はユーザが意見を述
べるべき画像を表示するディスプレイ手段と、各ユーザ
が意見を音声で入力するマイク手段と、他のユーザの意
見を音声で出力するスピーカ手段と、音声による意見入
力のトリガおよびグラフィックスによる意見入力の手段
となり、前記ディスプレイ手段に重ねて設置されるタッ
チセンサ手段と、意見を入力するユーザの表情を撮影す
るカメラ手段と、コンサルテーション・カンファレンス
の内容の記録・編集に係る種々のコマンドを入力するキ
ーボード手段と、意見の入力時刻を知らせるクロック手
段と、各端末において画像ごとに、入力されたユーザの
音声、表情および入力されたグラフィックス情報を経時
的にまとめた時系列情報を作成し、LANに送り出す手
段を有し、前記LANには各端末から送られてきた時系
列情報を画像ごとにさらに同一時刻でまとめて議事録生
情報あるいはデータを作成、記憶し、各端末からの要求
に応じて送り出す手段が接続するコンサルテーション・
カンファレンスシステム。
1. A consultation conference system in which terminals using a participant of a consultation conference as a user are connected by a local area network (LAN), and each terminal displays an image to which the user should give his / her opinion. Means, a microphone means for each user to input an opinion by voice, a speaker means for outputting an opinion of another user by voice, a means for triggering an opinion input by voice and an opinion input by graphics, and the display means The touch sensor means that are installed in layers, the camera means that captures the facial expression of the user who inputs an opinion, the keyboard means that inputs various commands related to the recording / editing of the contents of the consultation / conference, and the input time of the opinion. Clock means to inform and each terminal For each image, there is a means for creating time-series information that summarizes the input user's voice, facial expression, and input graphics information over time, and sending it out to the LAN. Consultation that connects the means that collects the time series information for each image at the same time and creates and stores the minutes record information or data, and sends it out in response to the request from each terminal.
Conference system.
JP9678392A 1992-04-16 1992-04-16 Consultation conference system Expired - Lifetime JP3126479B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9678392A JP3126479B2 (en) 1992-04-16 1992-04-16 Consultation conference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9678392A JP3126479B2 (en) 1992-04-16 1992-04-16 Consultation conference system

Publications (2)

Publication Number Publication Date
JPH05298340A true JPH05298340A (en) 1993-11-12
JP3126479B2 JP3126479B2 (en) 2001-01-22

Family

ID=14174238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9678392A Expired - Lifetime JP3126479B2 (en) 1992-04-16 1992-04-16 Consultation conference system

Country Status (1)

Country Link
JP (1) JP3126479B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09237264A (en) * 1995-11-20 1997-09-09 Siemens Corporate Res Inc Multimedia based reporting system and method for preparing multimedia based report
JPH1040068A (en) * 1996-07-26 1998-02-13 Fuji Xerox Co Ltd Method for recording conference information and device therefore and device for reproducing convention information
JPH1049515A (en) * 1996-08-02 1998-02-20 Fuji Xerox Co Ltd Information display device and information storing/ reproducing device
JPH10171967A (en) * 1996-12-06 1998-06-26 Hitachi Ltd Remote medical treatment supporting method and remote medical treatment support system
JP2001350848A (en) * 2000-06-08 2001-12-21 Ge Yokogawa Medical Systems Ltd Method for providing medical information and system for the same and transmitting terminal and receiving terminal and mediating terminal and distributing terminal and storage medium
JP2003030120A (en) * 2001-07-10 2003-01-31 Usac System Kk Electronic conference system
WO2015151807A1 (en) * 2014-03-31 2015-10-08 富士フイルム株式会社 Medical-care assistance device, method, and program, and medical-care-information storage device, method, and program
WO2015151806A1 (en) * 2014-03-31 2015-10-08 富士フイルム株式会社 Data output device, method, and program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09237264A (en) * 1995-11-20 1997-09-09 Siemens Corporate Res Inc Multimedia based reporting system and method for preparing multimedia based report
JPH1040068A (en) * 1996-07-26 1998-02-13 Fuji Xerox Co Ltd Method for recording conference information and device therefore and device for reproducing convention information
JPH1049515A (en) * 1996-08-02 1998-02-20 Fuji Xerox Co Ltd Information display device and information storing/ reproducing device
JPH10171967A (en) * 1996-12-06 1998-06-26 Hitachi Ltd Remote medical treatment supporting method and remote medical treatment support system
JP2001350848A (en) * 2000-06-08 2001-12-21 Ge Yokogawa Medical Systems Ltd Method for providing medical information and system for the same and transmitting terminal and receiving terminal and mediating terminal and distributing terminal and storage medium
JP4656467B2 (en) * 2000-06-08 2011-03-23 Geヘルスケア・ジャパン株式会社 Medical information provision system, transmission terminal, reception terminal, and mediation terminal
JP2003030120A (en) * 2001-07-10 2003-01-31 Usac System Kk Electronic conference system
WO2015151807A1 (en) * 2014-03-31 2015-10-08 富士フイルム株式会社 Medical-care assistance device, method, and program, and medical-care-information storage device, method, and program
WO2015151806A1 (en) * 2014-03-31 2015-10-08 富士フイルム株式会社 Data output device, method, and program
JP2015197738A (en) * 2014-03-31 2015-11-09 富士フイルム株式会社 Medical examination assist system, method, and program, and medical examination information preservation unit, method, and program
JP2015197737A (en) * 2014-03-31 2015-11-09 富士フイルム株式会社 data output device, method, and program

Also Published As

Publication number Publication date
JP3126479B2 (en) 2001-01-22

Similar Documents

Publication Publication Date Title
US5740245A (en) Down-line transcription system for manipulating real-time testimony
US5787414A (en) Data retrieval system using secondary information of primary data to be retrieved as retrieval key
US7143044B2 (en) Translator for infants and toddlers
US6088026A (en) Method and apparatus for multimedia information association to an electronic calendar event
JP5003125B2 (en) Minutes creation device and program
US7908145B2 (en) Down-line transcription system using automatic tracking and revenue collection
US7797730B2 (en) Downline transcription system using automatic tracking and revenue collection
US20110044212A1 (en) Information processing apparatus, conference system and information processing method
JP3895892B2 (en) Multimedia information collection management device and storage medium storing program
JPH1049515A (en) Information display device and information storing/ reproducing device
WO2000008585A2 (en) Surgical recording and reporting system
JP2003533768A (en) Memory support device
JP3126479B2 (en) Consultation conference system
JP2002099530A (en) Minutes production device, method and storage medium using it
JP4018678B2 (en) Data management method and apparatus
JPH09153069A (en) Information gathering device, information gathering and reproducing device, and patrol terminal device
JP7130290B2 (en) information extractor
JP3212957B2 (en) Input / storage / output method and apparatus in medical computer
WO1997009683A1 (en) Authoring system for multimedia information including sound information
JP2005234722A (en) Information processing system, information processing method and computer program
JPH11153986A (en) Video message board system
JPH06251005A (en) Report information input/output system
JP3678492B2 (en) Medical image information transmission method
JP2002215797A (en) Hospital information system
JP2002032397A (en) Retrieving device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071102

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081102

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081102

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091102

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 12