JPH09149398A - Animation mail preparation method and animation mail system - Google Patents

Animation mail preparation method and animation mail system

Info

Publication number
JPH09149398A
JPH09149398A JP7299544A JP29954495A JPH09149398A JP H09149398 A JPH09149398 A JP H09149398A JP 7299544 A JP7299544 A JP 7299544A JP 29954495 A JP29954495 A JP 29954495A JP H09149398 A JPH09149398 A JP H09149398A
Authority
JP
Japan
Prior art keywords
moving image
image data
received
data
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7299544A
Other languages
Japanese (ja)
Other versions
JP3675008B2 (en
Inventor
Hideyuki Ban
伴  秀行
Takanobu Osaki
高伸 大崎
Hitoshi Matsuo
仁司 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP29954495A priority Critical patent/JP3675008B2/en
Publication of JPH09149398A publication Critical patent/JPH09149398A/en
Application granted granted Critical
Publication of JP3675008B2 publication Critical patent/JP3675008B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To quickly prepare animation data responding to received animation data. SOLUTION: An animation mail generating method is provided with an instruction input step 11 receiving the instruction of an operator, a received animation display step 17 displaying animation data(received animation data) which is received from another terminal, an animation editing step 10 quotating received animation data in accordance with the instruction of the operator and generating return animation data and an animation transmitting step 20 transmitting return animation data to another terminal. In the animation editing step 10, return animation data where received animation data from another terminal is quotated in accordance with the instruction of the operator is generated and transmitted to another terminal. Received animation data displayed in a received animation display step 17 is selected by indicating required received animation data from the list of received animation data by the operator. Branches 12-16 are the condition branches based on input contents in the instruction input step 11. Thus, the correspondence of received animation data to return animation data is facilitated.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、端末間で動画デー
タを送受する動画メール作成方法及び動画メールシステ
ムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture mail creating method and a moving picture mail system for transmitting and receiving moving picture data between terminals.

【0002】[0002]

【従来の技術】従来技術の第1の例として、郵政省編通
信白書平成7年度版第148頁から第150頁に、予め
定めたネットワークアドレスを有する端末のユーザーか
ら文字データを受信し、受信したユーザーは返答を作成
し、作成した文字データを送信元のユーザーに送信し
て、お互いに情報をやり取りする電子メールシステム
が、記載されている。返答を作成するユーザーは、受信
した文字データを引用しながら作成することが多い。ま
た、従来技術の第2の例として、郵政省編通信白書平成
7年度版第401頁にマルチメディアOSに関する記載
がある。この例では、動画データをネットワークを介し
て他の端末とやり取りできる。動画データは、適当な情
報圧縮を行うことで比較的短時間に伝送可能であり、文
字データのかわりに動画データを送受する電子メール
(動画メール)システムも可能である。
2. Description of the Related Art As a first example of prior art, character data is received and received from a user of a terminal having a predetermined network address in the White Paper on Communication, 148th to 150th Edition, edited by the Ministry of Posts and Telecommunications, 1995 edition. There is described an e-mail system in which the user creates a reply, sends the created character data to the sender user, and exchanges information with each other. The user who creates the reply often creates the reply by citing the received character data. In addition, as a second example of the prior art, there is a description of the multimedia OS in the White Paper on Communication, 1995 edition, page 401, edited by the Ministry of Posts and Telecommunications. In this example, moving image data can be exchanged with other terminals via the network. The moving image data can be transmitted in a relatively short time by performing appropriate information compression, and an electronic mail (moving image mail) system that transmits and receives the moving image data instead of the character data is also possible.

【0003】[0003]

【発明が解決しようとする課題】前記従来技術における
動画メールシステムでは、返答する動画データを作成す
る際、受信した動画データを引用することは全く考慮さ
れておらず、受信した画像データを引用しながら返答で
きないため、受信した動画データと返答する動画データ
との対応付けが難しく、返答内容を端的に表現した動画
データを迅速に作成できないという問題があった。本発
明は、上記問題を解決し、受信した動画メールを引用し
ながら返答する動画メールを作成可能な動画メール作成
方法及び動画メールシステムを提供することにある。
In the moving picture mail system in the above-mentioned prior art, when the moving picture data to be replied is created, reference to the received moving picture data is not considered at all, and the received image data is quoted. However, since it is not possible to reply, it is difficult to associate the received moving image data with the moving image data to be returned, and there is a problem that it is not possible to quickly create moving image data that expresses the response contents. SUMMARY OF THE INVENTION It is an object of the present invention to solve the above problems and provide a moving picture mail creating method and a moving picture mail system capable of creating a moving picture mail that replies while citing a received moving picture mail.

【0004】[0004]

【課題を解決するための手段】本発明の動画メール作成
方法は、端末間で動画データを送受する動画メール作成
方法であり、各端末は、少なくとも、他の端末から受信
した動画データ(受信動画データ)を表示する受信動画
表示ステップと、操作者の指示に従い受信動画データを
引用して返信動画データを作成する動画編集ステップ
と、返信動画データを他の端末に送信する動画送信ステ
ップを有する点に特徴がある。また、端末間で動画デー
タを送受する動画メールシステムであり、他の端末から
受信した動画データ(受信動画データ)を表示する受信
動画表示画面と、他の端末に返信する動画データ(返信
動画データ)を表示する送信動画表示画面と、操作者が
受信動画データを返信動画データに引用することを指示
する引用ボタンと、操作者が新たに作成した挿入動画デ
ータを表示する新規動画表示画面と、操作者が挿入動画
データを返信動画データの所望のフレームに挿入するこ
とを指示する挿入ボタンと、操作者が返信動画データを
他の端末に送信することを指示する送信ボタンとを有す
る点に特徴がある。
The moving picture mail creating method of the present invention is a moving picture mail creating method for sending and receiving moving picture data between terminals. Each terminal at least receives moving picture data (received moving picture data). Data)), a video editing step of creating reply video data by quoting the received video data according to the operator's instruction, and a video sending step of sending the reply video data to another terminal. Is characterized by. Also, it is a video mail system that sends and receives video data between terminals, and a received video display screen that displays video data (received video data) received from other terminals, and video data that is returned to other terminals (reply video data ) Is displayed, a quote button for the operator to quote the received video data in the reply video data, a new video display screen for displaying the inserted video data newly created by the operator, Characteristic in that the operator has an insert button for instructing to insert the inserted moving image data into a desired frame of the reply moving image data and a send button for instructing the operator to send the returned moving image data to another terminal. There is.

【0005】[0005]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

(第一の実施の形態)以下、本発明の第一の実施の形態
を、図を用いて詳細に説明する。図2は、本発明の動画
メール作成方法の一例を示す。11は、操作者の指示を
受け付ける指示入力ステップ、12、13、14、1
5、16は、指示入力ステップ11での入力内容に基づ
く条件分岐、17は、他の端末から受信した動画データ
(受信動画データ)を表示する受信動画表示ステップ、
10は、操作者の指示に従い受信動画データを引用した
返信動画データを作成する動画編集ステップ、20は、
返信動画データを他の端末に送信する動画送信ステップ
である。通常、端末には複数の電子メール(即ち、受信
動画データ)を受信し、保存することが可能である。受
信動画表示ステップ17で表示する受信動画データは、
例えば、操作者が受信動画データのリストから所望の受
信動画データを指示して選択する。選択した受信動画デ
ータは、例えば、図3に示す動画表示ステップで表示す
る。図3は、動画データを表示する動画表示ステップの
一例である。41は、操作者の指示を受け付ける指示入
力ステップ、42、43、44は、指示入力ステップ1
1での入力内容に基づく条件分岐である。フレームと
は、動画を構成する各静止画である。操作者が再生/停
止を指示すると、動画データの表示を開始する。次に、
操作者が再生/停止を指示すると、動画データの表示を
停止する。この時、表示画像は指示時点で表示していた
フレームである。再度、操作者が再生/停止を指示する
と、停止時点のフレームから動画データの表示を開始す
る。また、操作者が早送り、巻戻しを指示すると、表示
するフレームを進める処理、戻す処理を行う。
(First Embodiment) Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 2 shows an example of the moving image mail creating method of the present invention. Reference numeral 11 denotes an instruction input step for receiving an instruction from the operator, 12, 13, 14, 1
Reference numerals 5 and 16 are conditional branches based on the input content in the instruction input step 11, 17 is a received moving image display step for displaying moving image data (received moving image data) received from another terminal,
10 is a video editing step of creating reply video data in which received video data is quoted in accordance with an operator's instruction, and 20 is
This is a moving picture transmitting step of transmitting reply moving picture data to another terminal. Generally, a terminal can receive and store a plurality of electronic mails (that is, received moving image data). The received video data displayed in the received video display step 17 is
For example, the operator designates and selects desired received moving image data from the list of received moving image data. The selected received moving image data is displayed in the moving image display step shown in FIG. 3, for example. FIG. 3 is an example of a moving image display step for displaying moving image data. Reference numeral 41 is an instruction input step for receiving an operator's instruction, and 42, 43, and 44 are instruction input step 1
This is a conditional branch based on the input content of 1. A frame is each still image that constitutes a moving image. When the operator instructs reproduction / stop, display of moving image data is started. next,
When the operator instructs reproduction / stop, the display of the moving image data is stopped. At this time, the display image is the frame displayed at the time of the instruction. When the operator again instructs the reproduction / stop, the display of the moving image data is started from the frame at the time of the stop. When the operator gives an instruction to fast forward or rewind, the process of advancing the frame to be displayed and the process of rewinding are performed.

【0006】図2の動画編集ステップ10は、操作者の
指示に従い返信動画データに利用する新たな動画データ
生成する動画生成ステップ18、操作者の指示に従い返
信動画データに受信動画データを引用する動画引用ステ
ップ19とを有する。動画生成ステップ18は、例え
ば、操作者をカメラ等で撮影した動画データを生成す
る。動画編集ステップ10で生成する返信動画データ
は、例えば、図4、或いは図5の構造を有する。図4
(a)、(b)は、動画編集ステップ10で生成する返
信動画データの一例である。図4(a)において、51
は、新規動画データであって、動画生成ステップ18で
生成され、52は、受信動画データであり、動画引用ス
テップ19で生成される。図4(b)において、53
は、引用位置データであり、受信動画データ52の引用
箇所を示している。この引用箇所は、新規動画データ5
1のフレーム位置で示される。例えば、図4(b)にお
いて、引用位置データの第1行54は、新規動画データ
51のフレーム3に受信動画データ52のフレーム0か
らフレーム4を引用することを示す。これら3つのデー
タ(51、52、53)は、動画送信ステップで他の端
末に送信され、新規動画データ51のフレーム0からフ
レーム2、受信動画データ52のフレーム0からフレー
ム4、新規動画データ51のフレーム3からフレーム
6、受信動画データ52のフレーム5からフレーム7の
順に表示される。
The moving image editing step 10 in FIG. 2 is a moving image generating step 18 for generating new moving image data to be used as reply moving image data in accordance with the operator's instruction, and a moving image for quoting the received moving image data in the reply moving image data according to the operator's instruction. And citation step 19. In the moving image generation step 18, for example, moving image data obtained by shooting the operator with a camera or the like is generated. The reply moving image data generated in the moving image editing step 10 has the structure shown in FIG. 4 or 5, for example. FIG.
(A), (b) is an example of the reply moving image data generated in the moving image editing step 10. In FIG. 4A, 51
Is new moving image data, which is generated in the moving image generating step 18, 52 is received moving image data, which is generated in the moving image quoting step 19. In FIG. 4B, 53
Is quotation position data, and indicates a quotation portion of the received moving image data 52. This quote is for new video data 5
1 frame position. For example, in FIG. 4B, the first line 54 of the quotation position data indicates that frame 0 to frame 4 of the received moving image data 52 are cited in frame 3 of the new moving image data 51. These three data (51, 52, 53) are transmitted to another terminal in the moving image transmitting step, and the frames 0 to 2 of the new moving image data 51, the frames 0 to 4 of the received moving image data 52, and the new moving image data 51 are transmitted. Frame 3 to frame 6, and the received moving image data 52 are displayed in order from frame 5 to frame 7.

【0007】図5(a)、(b)は、動画編集ステップ
で生成する返信動画データの他の一例である。図5
(a)において、52は、受信動画データであり、動画
引用ステップで生成され、56は、挿入動画データであ
り、動画生成ステップで生成される。図5(b)におい
て、57は、挿入位置データであり、挿入動画データの
挿入箇所を示す。この挿入箇所は、受信動画データのフ
レーム位置で示される。例えば、図5(b)において、
挿入位置データ57の第1行58は、受信動画データ5
2のフレーム0に挿入動画データ56のフレーム0から
フレーム2を引用することを示す。これら3つのデータ
(52、56、57)は、動画送信ステップで他の端末
に送信され、挿入動画データ56のフレーム0からフレ
ーム2、受信動画データ52のフレーム0からフレーム
4、挿入動画データ56のフレーム3からフレーム6、
受信動画データ52のフレーム5からフレーム7の順に
表示される。図4及び図5に示した返信動画データのデ
ータ構造において、受信動画データ52の各フレームが
同一画像で、新規動画データ51と挿入動画データ56
の対応する各フレームが同一画像であるときには、送信
先の端末で表示される動画は、同一になり、同じ動画情
報を表示できる。また、図4及び図5のデータ構造にお
いて、他の端末で生成された受信動画データと操作者が
作成した新規動画データ或いは挿入動画データとは、互
いに分離されており独立して管理できる。通常、電子メ
ールには、返信する際のネットワークアドレスやユーザ
ー名に関する情報が付加されて送られてくる。動画送信
ステップ20において、動画編集ステップ10で作成さ
れた返信動画データの送信先は、例えば、引用した受信
動画メールに含まれるネットワークアドレスやユーザー
名に関する情報を利用する。 次に、本発明の動画メー
ル作成方法を用いた動画メールシステムの一例を、図1
を用いて説明する。図1は、図2に示す本発明の動画メ
ール作成方法を用いた動画メールシステムの端末の画面
の一例である。21は、端末の画面、22は、他の端末
から受信した動画データ(受信動画データ)を表示する
受信動画表示画面、23は、他の端末に返信する動画デ
ータ(返信動画データ)を表示する送信動画表示画面、
24は、操作者が新たに作成した挿入動画データを表示
する新規動画表示画面である。
FIGS. 5A and 5B show another example of the reply moving image data generated in the moving image editing step. FIG.
In (a), 52 is received moving image data, which is generated in the moving image quoting step, and 56 is inserted moving image data, which is generated in the moving image generating step. In FIG. 5B, reference numeral 57 is insertion position data, which indicates the insertion position of the insertion moving image data. This insertion point is indicated by the frame position of the received moving image data. For example, in FIG.
The first line 58 of the insertion position data 57 is the received moving image data 5
2 indicates that frame 0 to frame 2 of the inserted moving image data 56 are quoted in frame 0 of 2. These three data (52, 56, 57) are transmitted to another terminal in the moving image transmitting step, and the frame 0 to the frame 2 of the inserted moving image data 56, the frame 0 to the frame 4 of the received moving image data 52, and the inserted moving image data 56 are transmitted. Frame 3 to frame 6,
The received moving image data 52 are displayed in order from frame 5 to frame 7. In the data structure of the reply moving image data shown in FIGS. 4 and 5, each frame of the received moving image data 52 is the same image, and the new moving image data 51 and the inserted moving image data 56 are included.
When the corresponding frames of are the same image, the moving images displayed on the destination terminal are the same, and the same moving image information can be displayed. Further, in the data structures of FIGS. 4 and 5, the received moving image data generated by another terminal and the new moving image data or the inserted moving image data created by the operator are separated from each other and can be managed independently. Usually, information about a network address and a user name when replying is added to an electronic mail and sent. In the moving image sending step 20, the destination of the reply moving image data created in the moving image editing step 10 uses, for example, the information about the network address or the user name included in the quoted received moving image mail. Next, an example of a moving picture mail system using the moving picture mail creation method of the present invention is shown in FIG.
This will be described with reference to FIG. FIG. 1 is an example of a screen of a terminal of a moving picture mail system using the moving picture mail creation method of the present invention shown in FIG. 21 is a screen of the terminal, 22 is a received video display screen for displaying video data (received video data) received from another terminal, and 23 is video data for reply to other terminal (reply video data). Sending video display screen,
Reference numeral 24 is a new moving image display screen for displaying the inserted moving image data newly created by the operator.

【0008】受信動画表示画面22は、表示している受
信動画データに対する返信動画データの作成を指示する
返信ボタン31と、表示の終了を指示する終了ボタン3
2とを有する。送信動画表示画面23は、受信動画デー
タを返信動画データに引用することを指示する引用ボタ
ン33と、新たに挿入動画データを作成して返信動画デ
ータに引用することを指示する作成ボタン34と、作成
した返信動画データを他の端末に送信することを指示す
る送信ボタン35とを有する。新規動画表示画面24
は、カメラ等で操作者の撮影の開始を指示する録画ボタ
ン36と、作成した挿入動画データを返信動画データの
所望のフレームに挿入することを指示する挿入ボタン3
7とを有する。各表示画面(22、23、24)は、動
画データを表示する。操作者が、3つの操作ボタン(再
生/停止25、早送り26、巻戻し27)を操作し、例
えば、図3に示す動画表示ステップにより動画データを
表示する。
The received moving image display screen 22 has a reply button 31 for instructing the creation of reply moving image data for the displayed received moving image data and an end button 3 for instructing the end of the display.
And 2. The transmitted moving image display screen 23 includes a quote button 33 for instructing to quote the received moving image data in the reply moving image data, a create button 34 for instructing to newly create inserted moving image data and quote it in the returned moving image data, It has a send button 35 for instructing to send the created reply moving image data to another terminal. New video display screen 24
Is a recording button 36 for instructing the operator to start shooting with a camera or the like, and an insert button 3 for instructing to insert the created insertion moving image data into a desired frame of the reply moving image data.
And 7. Each display screen (22, 23, 24) displays moving image data. The operator operates the three operation buttons (play / stop 25, fast forward 26, rewind 27) to display the moving image data in the moving image display step shown in FIG. 3, for example.

【0009】次に、図1の動画メールシステムを用い
て、受信動画データを引用して返信動画データを作成し
て送信する手順を説明する。なお、本手順の開始時点で
は、各表示画面(22、23、24)は、何も表示され
ていない、或いはウィンドウシステムにより、表示画面
自体のウィンドウが存在しないものとする。先ず、操作
者は、受信動画表示ステップ17を用いて、受信動画デ
ータを受信動画表示画面22に表示させる。例えば、操
作者が、受信動画データのリストから所望する受信動画
データを選択すると、選択された受信動画データ28は
受信動画表示画面22に表示される。なお、受信動画デ
ータ28は、他の端末の操作者(即ち、送信者)を撮影
した例とする。次に、受信動画表示画面22の3つの操
作ボタン(25、26、27)を操作し、受信動画デー
タ28の内容を確認した後、返信ボタン31を選択す
る。返信ボタン31を選択すると、動画生成ステップ1
8により、送信動画表示画面23が表示される。
Next, a procedure for quoting received moving image data to create reply moving image data and transmitting it using the moving image mail system shown in FIG. 1 will be described. At the start of this procedure, it is assumed that no display screen (22, 23, 24) is displayed, or that no window of the display screen itself exists due to the window system. First, the operator uses the received moving image display step 17 to display the received moving image data on the received moving image display screen 22. For example, when the operator selects desired received moving image data from the received moving image data list, the selected received moving image data 28 is displayed on the received moving image display screen 22. Note that the received moving image data 28 is an example in which an operator (that is, a sender) of another terminal is photographed. Next, after operating the three operation buttons (25, 26, 27) on the received moving image display screen 22 to confirm the content of the received moving image data 28, the reply button 31 is selected. Select the reply button 31 to create a video 1
8, the transmitted moving image display screen 23 is displayed.

【0010】次に、引用ボタン33を選択すると、動画
引用ステップ19により受信動画データ28が返信動画
データ29に引用される。引用結果は、送信動画表示画
面23に表示される。次に、送信動画表示画面23の3
つの操作ボタン(25、26、27)を操作し、新たな
動画データを挿入したい返信動画データ28(現時点で
は、受信動画データと同じ)のフレームを表示させる。
所望のフレーム表示後、作成ボタン34を選択すると、
動画生成ステップ18により、新規動画表示画面24が
表示される。次に、録画ボタン36を選択すると、動画
生成ステップ18により、例えば、操作者(即ち、受信
者)をカメラ等で撮影した動画データを生成する。生成
した動画データ30は、新規動画表示画面24に表示さ
れる。次に、新規動画表示画面24の3つの操作ボタン
(25、26、27)を操作し、生成した動画データ3
0の内容を確認した後、挿入ボタン37を選択すると、
動画生成ステップ18により、作成ボタン34を選択し
たときの返信動画データ28のフレーム位置に、生成し
た動画データ30が挿入され、その結果が送信動画表示
画面23に表示される。最後に、送信動画表示画面23
の3つの操作ボタン(25、26、27)を操作し、返
信動画データ29の内容を確認した後、送信ボタン35
を選択すると、動画送信ステップ20により、返信動画
データ29が他の端末に送信される。
Next, when the quote button 33 is selected, the received moving picture data 28 is quoted in the reply moving picture data 29 in the moving picture quote step 19. The quotation result is displayed on the transmitted video display screen 23. Next, 3 of the transmitted video display screen 23
One of the operation buttons (25, 26, 27) is operated to display the frame of the reply moving image data 28 (currently the same as the received moving image data) in which new moving image data is to be inserted.
When the create button 34 is selected after the desired frame is displayed,
A new moving image display screen 24 is displayed by the moving image generation step 18. Next, when the recording button 36 is selected, the moving image generation step 18 generates, for example, moving image data obtained by shooting the operator (that is, the receiver) with a camera or the like. The generated moving image data 30 is displayed on the new moving image display screen 24. Next, by operating the three operation buttons (25, 26, 27) on the new moving image display screen 24, the generated moving image data 3
After confirming the contents of 0 and selecting the insert button 37,
By the moving image generation step 18, the generated moving image data 30 is inserted into the frame position of the reply moving image data 28 when the create button 34 is selected, and the result is displayed on the transmitted moving image display screen 23. Finally, the transmitted video display screen 23
After operating the three operation buttons (25, 26, 27) to confirm the contents of the reply moving image data 29, the send button 35
When is selected, the moving image sending step 20 sends the reply moving image data 29 to another terminal.

【0011】以上説明したように本実施形態では、他の
端末から受信した受信動画データを、操作者の指示に従
い引用した返信動画データを作成する動画編集ステップ
を設け、作成した返信動画データを他の端末に送信する
ので、受信した画像データを引用しながら返答でき、受
信した動画データと返答する動画データとの対応付けが
容易になり、返答内容を端的に表現した返信動画データ
を迅速に作成できる。さらに、返信動画データのデータ
構造を、他の端末で生成された受信動画データと操作者
が作成する新規動画データ或いは挿入動画データとが互
いに分離して、独立して管理するので、各々の画像デー
タの作成者(即ち、著作権の所有者)を明確にでき、情
報の漏洩や不正な引用を容易に防止でき、情報の安全性
を高めることができる。第一の実施の形態において、送
信動画表示画面23の引用ボタン33を選択して、受信
動画データ28を返信動画データ29に引用したが、受
信動画表示画面22の返信ボタン31を選択すると、自
動的に受信動画データ28を返信動画データ29に引用
し、送信動画表示画面23に表示してもよい。或いは、
受信動画表示画面22の返信ボタン31を選択すると、
操作者に引用する/しないを問う表示画面を表示し、操
作者が引用する指示をした場合は、自動的に受信動画デ
ータ28を返信動画データ29に引用し、送信動画表示
画面23に表示してもよい。
As described above, in the present embodiment, a moving image editing step for creating reply moving image data in which received moving image data received from another terminal is quoted according to an instruction of the operator is provided, and the created reply moving image data is Since it is sent to other terminals, it is possible to reply while quoting the received image data, it becomes easy to associate the received video data with the video data to be returned, and reply video data that expresses the response contents is created quickly it can. Further, the data structure of the reply moving image data is managed separately from the received moving image data generated by another terminal and the new moving image data or the inserted moving image data created by the operator, so that each image is managed. The creator of the data (that is, the owner of the copyright) can be clarified, information leakage and illegal citation can be easily prevented, and the security of information can be improved. In the first embodiment, the quote button 33 on the transmitted video display screen 23 is selected and the received video data 28 is quoted as the reply video data 29. However, when the reply button 31 on the received video display screen 22 is selected, Alternatively, the received moving image data 28 may be quoted in the reply moving image data 29 and displayed on the transmitted moving image display screen 23. Or,
If you select the reply button 31 on the received video display screen 22,
When the operator displays a display screen asking whether to quote or not, and when the operator gives an instruction to quote, the received moving image data 28 is automatically quoted in the reply moving image data 29 and displayed in the transmitted moving image display screen 23. May be.

【0012】また、第一の実施の形態において、返信動
画データ29への新たな動画データの挿入は、新規動画
表示画面24を用いて行ったが、送信動画表示画面23
に録音ボタンや挿入ボタンを設け、送信動画表示画面2
3を用いて行ってももよい。例えば、新たな動画データ
を挿入したい返信動画データ28のフレームを表示後、
録画ボタン36を選択して、操作者をカメラ等で撮影し
た動画データを生成し(動画データは、送信動画表示画
面23に表示される)、挿入ボタン37を選択して、生
成した動画データを返信動画データ29に挿入する。ま
た、第一の実施の形態において、図4及び図5に示した
返信動画データのデータ構造は、動画データのやり取り
の繰り返し等により、受信動画データに、過去に操作者
(即ち、受信者)が作成した動画データの引用や挿入が
行われている場合、データ構造を階層化して対応させて
もよい。
In addition, in the first embodiment, the insertion of new moving image data into the reply moving image data 29 is performed using the new moving image display screen 24.
Provided with a record button and insert button, the transmitted video display screen 2
3 may be used. For example, after displaying the frame of the reply video data 28 in which new video data is to be inserted,
Select the record button 36 to generate moving image data obtained by shooting the operator with a camera (the moving image data is displayed on the transmitted moving image display screen 23), and select the insert button 37 to generate the generated moving image data. It is inserted in the reply moving image data 29. Further, in the first embodiment, the data structure of the reply moving image data shown in FIGS. 4 and 5 is changed to the received moving image data in the past by the operator (that is, the receiver) by the repeated exchange of the moving image data. When the moving image data created by is being quoted or inserted, the data structure may be hierarchized.

【0013】(第二の実施の形態)次に、第二の実施の
形態を、図を用いて詳細に説明する。第一の実施の形態
では、動画編集ステップ10は、録画ボタン36を選択
すると、動画生成ステップ18が、例えば、操作者(即
ち、受信者)をカメラ等で撮影した動画データを生成
し、返信動画データを作成するが、操作者の音声に反応
にして他のステップを制御する音声制御ステップを設
け、操作者が受信動画データを参照しながら発声した音
声に反応して、発声中の撮影者の動画データを、発声開
始時点で表示されていた受信動画データのフレーム位置
に、自動的に挿入して作成することもできる。図6は、
新たな動画データを生成する動画生成ステップ18の一
例である。67は、操作者の音声に反応して他のステッ
プを制御する音声制御ステップ、68は、操作者を撮影
した動画データを生成する動画生成ステップである。音
声制御ステップ67では、例えば、操作者の音声を集音
するマイクを用いる。図6による返信動画データの作成
は、例えば以下の手順により行う。先ず、引用ボタン3
3を選択し、受信動画データ28を返信動画データ29
に引用して、送信動画表示画面23に表示する。次に、
送信動画表示画面23で返信動画データ29(現時点で
は、受信動画データと同じ)を再生し、所望の引用箇所
(フレーム)が表示されたときに、操作者が返信相手へ
のメッセージを発声すると、音声制御ステップ67で発
声開始を検出し(61)、送信動画表示画面23での再
生を停止後(63)、動画生成ステップ68で発声中の
撮影者の動画データを録画する(64)。最後に、操作
者による返信相手へのメッセージが終了し発声を止める
と、音声制御ステップ67で発声終了を検出し(6
2)、動画生成ステップ68での録画を終了し(6
5)、録画した動画データを発声開始時点で送信動画表
示画面に表示されていた返信動画データのフレーム位置
に挿入する(66)。
(Second Embodiment) Next, a second embodiment will be described in detail with reference to the drawings. In the first embodiment, in the moving image editing step 10, when the recording button 36 is selected, the moving image generating step 18 generates moving image data in which, for example, the operator (that is, the receiver) is photographed by a camera and returns. Although video data is created, a voice control step that controls other steps in response to the operator's voice is provided, and the operator shooting the voice while responding to the voice uttered while the operator refers to the received video data. It is also possible to automatically create the moving picture data at the frame position of the received moving picture data displayed at the start of utterance. FIG.
It is an example of a moving image generation step 18 for generating new moving image data. 67 is a voice control step that controls other steps in response to the voice of the operator, and 68 is a moving image generation step that generates moving image data of the operator. In the voice control step 67, for example, a microphone that collects the voice of the operator is used. The reply moving image data shown in FIG. 6 is created, for example, by the following procedure. First, quote button 3
3 is selected and the received moving image data 28 is returned to the moving image data 29.
Is displayed on the transmitted moving image display screen 23. next,
When the operator utters a message to the reply partner when the reply moving picture data 29 (currently the same as the received moving picture data) is reproduced on the transmitted moving picture display screen 23 and the desired quotation (frame) is displayed, At the voice control step 67, the start of utterance is detected (61), after the reproduction on the transmitted moving image display screen 23 is stopped (63), the moving image data of the photographer who is uttering is recorded at the moving image generating step 68 (64). Finally, when the operator finishes the message to the reply partner and stops uttering, the voice control step 67 detects the end of utterance (6
2), the recording at the video generation step 68 is completed (6
5) The recorded moving image data is inserted into the frame position of the reply moving image data displayed on the transmitted moving image display screen at the start of utterance (66).

【0014】以上説明したように本実施形態では、操作
者の音声に反応にして他のステップを制御する音声制御
ステップを設け、操作者が受信動画データを参照しなが
ら発声した音声に反応して、発声中の撮影者の動画デー
タを自動的に挿入して、返信動画データを作成するの
で、返信する相手と実際に対話する場合と同様な感覚で
返信動画データを作成でき、返信動画データを簡便な操
作で、迅速、的確に作成できる。
As described above, in this embodiment, a voice control step for controlling other steps in response to the voice of the operator is provided, and in response to the voice uttered by the operator while referring to the received moving image data. , The video data of the photographer who is speaking is automatically inserted to create the reply video data, so you can create the reply video data as if you were actually interacting with the person you are replying to. Can be created quickly and accurately with simple operations.

【0015】(第三の実施の形態)次に、第三の実施の
形態を、図を用いて詳細に説明する。第一の実施の形態
では、動画表示ステップは、例えば、図3に示す手順に
従い、3つの操作ボタン(再生/停止25、早送り2
6、巻戻し27)を操作して動画データを表示するが、
動画データを作成した操作者を表示したり、動画データ
を作成した操作者や表示する動画データの種類により表
示条件を変更することもできる。図7(a)、(b)
は、受信動画表示画面の他の一例であり、図7(a)に
おいて、符号22、25、26、27、28、31、3
2は、図1と同じ意味の符号である。本実施形態では、
システムを利用し動画データを作成した作成者を特定す
る情報を利用する。この情報は、例えば、通常、電子メ
ールに付加されている返信する際のネットワークアドレ
スやユーザー名に関する情報と同様に、返信動画データ
に作成者に関する情報を付加して送受して各端末で利用
できる。或いは、図4及び図5に示した返信動画データ
のデータ構造で、各動画データに作成者に関する情報を
付加することで得られる。
(Third Embodiment) Next, a third embodiment will be described in detail with reference to the drawings. In the first embodiment, in the moving image display step, for example, three operation buttons (play / stop 25, fast forward 2 are performed in accordance with the procedure shown in FIG.
Operate 6, rewind 27) to display the video data,
It is also possible to display the operator who created the moving image data, and change the display conditions depending on the operator who created the moving image data and the type of moving image data to be displayed. FIGS. 7A and 7B
Is another example of the received moving image display screen, and in FIG. 7A, reference numerals 22, 25, 26, 27, 28, 31, 3
2 is a code having the same meaning as in FIG. In this embodiment,
Use the information that identifies the creator who created the video data using the system. This information, for example, can be used by each terminal by sending and receiving information about the creator by adding it to the reply video data, similar to the information about the network address and user name when replying, which is usually added to e-mail. . Alternatively, it can be obtained by adding information about the creator to each moving image data in the data structure of the reply moving image data shown in FIGS. 4 and 5.

【0016】図7(a)において、71、72、73
は、表示する動画データの作成者の概略を表す作成者バ
ーである。例えば、作成者バー全体が動画データ全体を
表し、ポインタ74は表示中のフレーム位置を、色や模
様等の違いは作成者を表現する。図7(a)の例では、
ハッチングのある部分(71、73)は送信者が作成し
たフレーム、ハッチングのない部分(72)は受信者が
作成したフレーム(即ち、送信者が引用したフレーム)
を表現する。図7(a)の例では、ポインタ74は72
の部分にあるので、受信者が作成したフレームを表示し
ている状態である。75、76は、作成者を単位とする
早送り、巻戻しボタンである。例えば、受信者が作成し
た動画データを表示中(ポインタ74が72の部分にあ
る時)にボタン76を選択すると、次に送信者が作成し
た動画データの先頭フレームまで早送り(ポインタ74
が73の部分の左端に移動)して、表示を再開する。
In FIG. 7A, 71, 72, 73
Is a creator bar showing an outline of the creator of the moving image data to be displayed. For example, the entire creator bar represents the entire moving image data, the pointer 74 represents the position of the frame being displayed, and the difference in color or pattern represents the creator. In the example of FIG. 7A,
The hatched parts (71, 73) are the frames created by the sender, and the unhatched parts (72) are the frames created by the receiver (that is, the frames quoted by the sender).
To express. In the example of FIG. 7A, the pointer 74 is 72
The frame created by the receiver is being displayed because it is in the part. 75 and 76 are fast-forward and rewind buttons with the creator as a unit. For example, if the button 76 is selected while displaying the moving image data created by the receiver (when the pointer 74 is at the portion 72), the next fast forward to the first frame of the moving image data created by the sender (pointer 74
Moves to the left end of the part 73) and restarts the display.

【0017】77は、作成者を表示する領域である。図
7(a)の例では、受信者のユーザー名(太郎)を表示
している状態である。78は、動画データの表示条件
を、詳細に設定することを指示する表示条件設定ボタン
である。このボタン78を選択すると、図7(b)に示
す表示条件設定画面81が表示される。表示条件設定画
面81では、音量や表示速度等の表示条件を、動画デー
タの作成者毎に設定できる。図7(b)の例では、作成
者84が受信者の場合、画像85は表示して、音声86
は標準の音量で、表示速度87は倍速で表示することを
選択した状態である。選択終了後、設定ボタン83を選
択し、84、85、86の選択を設定する。他の作成者
に関しては、プルダウンメニューボタン88を操作し
て、プルダウンメニューから所望の作成者を選択した
後、同様な手順で設定できる。設定後、受信動画データ
の表示を、例えば、図8の手順で行う。
Reference numeral 77 is an area for displaying the creator. In the example of FIG. 7A, the user name (Taro) of the recipient is displayed. Reference numeral 78 denotes a display condition setting button for instructing to set the display condition of the moving image data in detail. When this button 78 is selected, a display condition setting screen 81 shown in FIG. 7B is displayed. On the display condition setting screen 81, display conditions such as volume and display speed can be set for each creator of moving image data. In the example of FIG. 7B, when the creator 84 is the recipient, the image 85 is displayed and the audio 86 is displayed.
Indicates a standard volume, and the display speed 87 is a state in which display at double speed is selected. After the selection is completed, the setting button 83 is selected to set the selection of 84, 85 and 86. For other creators, the pull-down menu button 88 is operated to select a desired creator from the pull-down menu, and then the same procedure can be performed. After the setting, the received moving image data is displayed, for example, in the procedure shown in FIG.

【0018】図8は、動画表示ステップの他の一例であ
る。再生する動画データの作成者を調べ(91)、9
2、93、94の条件分岐により、作成者に応じた表示
条件が設定(95、96、97)される。予め設定した
作成者以外の場合は、標準の表示条件が設定される(9
8)。次に、設定した表示条件で動画データを表示(9
9)する。表示中、作成者が変更された場合、条件分岐
100で判別し、再度、表示条件を設定する。表示条件
設定画面81の例では、図8の手順に従えば、例えば、
受信者が作成した動画データは倍速で表示され、送信者
が作成した動画データは標準速で表示できる(但し、送
信者の表示速度は、標準速に設定していると仮定し
た)。即ち、送信者が引用した受信者の動画データの
み、高速に表示できる。また、表示する動画データが受
信動画データか返信動画データかによって、異なる表示
条件を設定することもできる。例えば、送信動画表示画
面23にも図7(a)の受信動画表示画面22と同様な
表示条件設定ボタン78及び表示条件設定画面81を用
意し、受信者が作成した動画データを標準速で表示し、
送信者が作成した動画データは倍速で表示できる。即
ち、新たに作成した受信者の動画データのみ、標準速で
表示できる。
FIG. 8 shows another example of the moving image display step. Check the creator of the video data to be played (91), 9
The display condition according to the creator is set (95, 96, 97) by the condition branch of 2, 93, 94. If the creator is not a preset creator, standard display conditions are set (9
8). Next, display the video data under the set display conditions (9
9) Do. When the creator is changed during display, the condition branching 100 is used to make a determination, and the display condition is set again. In the example of the display condition setting screen 81, if the procedure of FIG. 8 is followed, for example,
Video data created by the receiver can be displayed at double speed, and video data created by the sender can be displayed at standard speed (provided that the sender's display speed is set to standard speed). That is, only the moving image data of the recipient quoted by the sender can be displayed at high speed. Also, different display conditions can be set depending on whether the moving image data to be displayed is received moving image data or reply moving image data. For example, a display condition setting button 78 and a display condition setting screen 81 similar to those of the reception moving image display screen 22 of FIG. 7A are prepared on the transmission moving image display screen 23 to display the moving image data created by the receiver at standard speed. Then
Video data created by the sender can be displayed at double speed. That is, only the newly created moving image data of the recipient can be displayed at the standard speed.

【0019】以上説明したように本実施形態では、動画
データを作成した操作者を表示するので、各々の画像デ
ータの作成者(即ち、著作権の所有者)を明確にでき、
情報の取り間違い等を防止でき、情報の安全性を高める
ことができる。さらに、動画データを作成した操作者や
表示する動画データの種類により表示条件を変更するの
で、受信動画データは、送信者が引用した受信者の動画
データのみを高速に表示し、返信動画データは、新たに
作成した受信者の動画データのみを標準速で表示でき
る。これにより、例えば操作者にとってより重要な情報
は標準速で表示し、あまり重要でない情報は高速で表示
でき、必要な情報が迅速且つ的確に得られる。
As described above, in the present embodiment, since the operator who created the moving image data is displayed, the creator of each image data (that is, the owner of the copyright) can be clarified.
It is possible to prevent mistaking of information, etc., and improve the safety of information. Furthermore, because the display conditions are changed depending on the operator who created the video data and the type of video data to be displayed, the received video data displays only the video data of the recipient quoted by the sender at high speed, and the reply video data , Only newly created video data of the recipient can be displayed at standard speed. As a result, for example, more important information for the operator can be displayed at standard speed, less important information can be displayed at high speed, and necessary information can be quickly and accurately obtained.

【0020】第三の実施の形態において、動画表示ステ
ップを利用して、送信者が新たに作成した動画データの
み表示する表示画像を設け、受信動画表示ステップ17
で、例えば、操作者が表示する受信動画データのリスト
から所望する受信動画データを選択する際の参照画像と
して利用してもよい。また、第三の実施の形態におい
て、作成者のユーザー名を作成者を表示する領域77に
表示するが、動画生成ステップ18で、新たな動画デー
タを生成する際に、生成する動画データの各フレームに
作成者のユーザー名をイメージ(ビットマップ)で直接
記録し、動画表示ステップで表示する画像に、作成者の
ユーザー名を常に表示してもよい。これにより、各々の
画像データの作成者(即ち、著作権の所有者)をより明
確にでき、情報の安全性をさらに高めることができる。
In the third embodiment, a moving image displaying step is used to provide a display image for displaying only moving image data newly created by the sender, and a receiving moving image displaying step 17
Then, for example, it may be used as a reference image when selecting desired received moving image data from the list of received moving image data displayed by the operator. Further, in the third embodiment, the user name of the creator is displayed in the area 77 for displaying the creator. When creating new video data in the video creation step 18, each of the video data to be created is displayed. The creator's user name may be directly recorded as an image (bitmap) in the frame, and the creator's user name may always be displayed in the image displayed in the moving image display step. As a result, the creator of each image data (that is, the owner of the copyright) can be made clearer, and the security of information can be further enhanced.

【0021】(第四の実施の形態)次に、第四の実施の
形態を、図を用いて詳細に説明する。本実施形態は、本
発明を医療分野での遠隔診療支援システムに利用した一
例である。遠隔診療支援システムは、複数の医療施設に
配置した端末に同一の診療データ(検査値や画像、カル
テ等)を表示するシステムである。例えば、診療所の主
治医と病院の専門医との間等、遠隔地にいる複数の医師
が同一の診療データを互いに観察しながら診断や治療方
針等を決定するテレカンファレンスを行う。テレカンフ
ァレンスでは、以下の点が問題となっていいる。即ち、
遠隔診療支援システムを用いたテレカンファレンスで
は、カンファレンスに参加する医師が各々の端末に就く
必要があり、医師は多忙なため、お互いに予め定めた時
間を確保することが困難である。また、確保できたとし
ても、急患等により中断や中止を余儀なくさせられるこ
とが多々ある。そこで本発明の動画メールを利用する
と、相手が不在でもメールの送受が可能であり、上記の
問題を解決できる。
(Fourth Embodiment) Next, a fourth embodiment will be described in detail with reference to the drawings. This embodiment is an example of applying the present invention to a remote medical care support system in the medical field. The remote medical care support system is a system for displaying the same medical care data (examination value, image, medical chart, etc.) on terminals arranged in a plurality of medical facilities. For example, a teleconferencing is performed in which a plurality of doctors in remote areas, such as a doctor in a clinic and a specialist in a hospital, determine diagnosis and treatment policies while observing the same medical data with each other. At the teleconference, the following points are problems. That is,
In a teleconference using a remote medical care support system, it is necessary for a doctor who participates in the conference to go to each terminal, and the doctors are busy, so it is difficult to secure a predetermined time for each other. In addition, even if it can be secured, there are many cases in which it is unavoidable to suspend or cancel due to an emergency. Therefore, by using the moving image mail of the present invention, it is possible to send and receive the mail even if the other party is absent, and the above problems can be solved.

【0022】図9は、本実施形態の動画メールシステム
の一構成例であり、病院101の専門医102と診療所
103の主治医104との間でテレカンファレンスを行
う場合の構成例である。105は病院の端末、106は
診療所の端末であり、第一から第三の実施形態で説明し
た手順に従い、回線107等のネットワークを介して、
動画メールを送受できる。108及び109は、検査装
置である。図9の例では、病院101にはX線CT装
置、診療所103には超音波診断装置が配置されてい
る。また、各装置で得られる画像データは、ネットワー
クや媒体搬送等の手段を用いて、各々の施設の端末に取
り込み、動画メールの素材として利用する。次に、図9
の一構成例を用いた動画メールの利用例を説明する。
今、腹部に異常を訴えた患者が診療所103を訪れ、主
治医104の診察を受けた。主治医104は、簡便で侵
襲のない超音波診断装置109を用いて、腹部超音波検
査を行った。その結果、肝臓に腫瘤のような陰影を認め
たが、良性か悪性かの判断や、今後必要な精密検査、治
療方針立案が困難であった。そこで主治医104は、端
末106を利用し、図10に示す動画データを作成し、
動画メールとして専門医102に送信した。
FIG. 9 shows an example of the configuration of the moving picture mail system of this embodiment, which is an example of the configuration when a teleconference is held between the specialist 102 of the hospital 101 and the attending doctor 104 of the clinic 103. 105 is a terminal of a hospital, 106 is a terminal of a clinic, and according to the procedure described in the first to third embodiments, via the network such as the line 107,
You can send and receive video mail. Reference numerals 108 and 109 are inspection devices. In the example of FIG. 9, an X-ray CT apparatus is installed in the hospital 101 and an ultrasonic diagnostic apparatus is installed in the clinic 103. Further, the image data obtained by each device is taken into a terminal of each facility by using a means such as a network or a medium transport and used as a material for a moving image mail. Next, FIG.
An example of using the moving image mail using one configuration example will be described.
Now, a patient who complains of an abnormality in the abdomen visited the clinic 103 and was examined by the attending physician 104. The attending physician 104 performed an abdominal ultrasonography using a simple and non-invasive ultrasonic diagnostic apparatus 109. As a result, a shadow like a tumor was found in the liver, but it was difficult to judge whether it was benign or malignant, and to perform necessary detailed examinations and treatment policy planning in the future. Therefore, the attending physician 104 uses the terminal 106 to create the moving image data shown in FIG.
It was sent to the specialist 102 as a video mail.

【0023】図10の動画データは、家族歴111、食
習慣112、既往症113等の問診結果、主訴114、
更に、超音波診断装置から取り込んだ超音波検査画像
(115〜117)等からなる。121〜129は、動
画データの内容111〜119に関する主治医の音声の
要約である。また、超音波診断装置は、リアルタイムで
画像が収集でき、収集結果から1フレームを取り出した
静止画ではなく、収集結果全体を動画データとして専門
医に送信できる。本実施形態では、撮影方向が異なる複
数の動画データ(115〜117)を送信した。病院1
01の専門医102は、一日の診察が終了した時点で端
末105を操作し、第一の実施の形態(図1)と同様な
手順で、主治医104からの動画メール(受信動画デー
タ)を受信動画表示画面22に表示した。その結果、腫
瘍が2つ存在し、一方は良性であるが、他方は悪性の可
能性があると判断した。そこで、返信ボタン31を選択
し、更に、引用ボタン33を選択し、受信動画データを
引用した。そして、良性、悪性の特徴(形状、後方の陰
影、境界の明確さ等)が最も明確に現れているフレーム
を表示して、作成ボタン34を選択し、良性/悪性及び
その根拠を説明する挿入動画データを作成して挿入し
た。その結果、図11に示すような返信動画データを作
成し、動画メールとして主治医106に送信した。
The moving picture data shown in FIG. 10 includes the family history 111, dietary habits 112, medical examination results such as the history 113, the main complaint 114,
Further, it is composed of ultrasonic inspection images (115 to 117) and the like captured from the ultrasonic diagnostic apparatus. 121 to 129 are summaries of voices of the attending physician regarding the contents 111 to 119 of the moving image data. Further, the ultrasonic diagnostic apparatus can collect images in real time, and can transmit the entire collection result to a medical doctor as moving image data instead of a still image obtained by extracting one frame from the collection result. In this embodiment, a plurality of moving image data (115 to 117) having different shooting directions are transmitted. Hospital 1
The medical doctor 102 of 01 operates the terminal 105 at the end of the day's medical examination, and receives the video mail (received video data) from the attending doctor 104 in the same procedure as in the first embodiment (FIG. 1). It is displayed on the moving image display screen 22. As a result, it was judged that there were two tumors, one was benign and the other was possibly malignant. Then, the reply button 31 was selected, and further the quote button 33 was selected to quote the received moving image data. Then, a frame in which benign and malignant characteristics (shape, shadow behind, clearness of boundaries, etc.) appear most clearly is displayed, the create button 34 is selected, and benign / malignant and its explanation are inserted. I created and inserted video data. As a result, reply moving image data as shown in FIG. 11 was created and transmitted to the doctor 106 as a moving image mail.

【0024】図11の返信動画データは、引用した受診
動画データの165〜169(図10の動画データの1
11〜119に相当)の後に、挿入動画データ131〜
135を各々挿入したデータである。本実施形態では、
図5に示したデータ構造を用いた。141〜145は、
挿入動画データの内容131〜135に関する専門医の
音声の要約である。検査画像115に対しては良性腫瘍
である旨を、検査画像116に対しては悪性腫瘍である
旨を、検査画像117に対しては腫瘍は2つである旨
を、必須精密検査118に対しては造影検査を要する旨
を、治療計画119に対しては投薬内容に関する旨をそ
れぞれ作成して挿入した。診療所103の主治医104
は、例えば翌朝に端末106を操作し、専門医102か
らの動画メールを表示する。専門医での検査が必要なこ
とが分かると、患者に連絡を取って専門医による検査を
すすめ、電話や再度動画メールを送る等して、検査の予
約手続きを行う。
The reply moving image data shown in FIG. 11 is 165 to 169 of the medical examination moving image data quoted (1 of the moving image data shown in FIG. 10).
(Corresponding to 11 to 119), the inserted moving image data 131 to
This is data in which 135 is inserted. In this embodiment,
The data structure shown in FIG. 5 was used. 141-145 are
It is a summary of the audio | voice of a specialist regarding the contents 131-135 of insertion video data. The inspection image 115 is a benign tumor, the inspection image 116 is a malignant tumor, the inspection image 117 is two tumors, and the essential precision inspection 118 is For the medical treatment plan 119, the fact that the contrast examination is required and the content regarding the medication content are prepared and inserted. Doctor 104 of clinic 103
Displays the video mail from the specialist 102 by operating the terminal 106 the next morning, for example. When it is determined that a specialist's examination is necessary, the patient is contacted, the specialist's examination is recommended, a telephone call or a video mail is sent again, and the examination reservation procedure is performed.

【0025】以上のように本発明では、複数の医療施設
に配置した端末に、他の端末から受信した動画データを
操作者の指示に従い引用した返信動画メールを他の端末
に送信する動画メールを利用できるので、お互いに予め
定めた時間の確保や、急患等により中断や中止を余儀な
くさせられることなしに、診療所の主治医と病院の専門
医との間等、遠隔地にいる複数の医師が同一の診療デー
タを互いに観察しながら診断や治療方針等を決定でき
る。さらに、複数の検査画像、必須精密検査、治療計画
等の複数の問い合わせ事項を引用し、各問い合わせに対
応して回答を挿入でき、回答内容を端的に表現した返信
動画データを迅速に作成できる。
As described above, according to the present invention, a moving picture mail for transmitting to another terminal a reply moving picture mail in which moving picture data received from another terminal is quoted according to an operator's instruction is sent to a terminal arranged in a plurality of medical facilities. Since it can be used, multiple doctors in remote areas, such as between the attending physician at the clinic and the specialist at the hospital, will be able to share the same time with each other without interruption or discontinuation due to sudden illness. It is possible to decide the diagnosis and treatment policy while observing each other's medical care data. Furthermore, a plurality of inquiry items such as a plurality of examination images, essential precision examinations, treatment plans, etc. can be quoted, an answer can be inserted corresponding to each inquiry, and reply moving image data that expresses the answer contents can be quickly created.

【0026】以上説明したように、本発明では、他の端
末から受信した受信動画データを、操作者の指示に従い
引用した返信動画データを作成する動画編集ステップを
設け、作成した返信動画データを他の端末に送信する
が、この主旨を超えない範囲内で、様々な変形や組み合
わせ等が可能である。
As described above, according to the present invention, a moving image editing step is provided for creating reply moving image data in which received moving image data received from another terminal is quoted according to an instruction of the operator, and the created reply moving image data is However, various modifications and combinations are possible within the range not exceeding this gist.

【0027】[0027]

【発明の効果】以上説明したように本発明によれば、受
信した画像データを引用しながら返答でき、受信した動
画データと返答する動画データとの対応付けが容易にな
り、返答内容を端的に表現した返信動画データを迅速に
作成できる。また、音声制御ステップを使用し、返信す
る相手と実際に対話する場合と同様な感覚で返信動画デ
ータを作成でき、返信動画データを簡便な操作で、迅
速、的確に作成できる。さらに、動画データの種類によ
り表示の速度を変え、必要な情報が迅速且つ的確に得ら
れる。
As described above, according to the present invention, it is possible to reply while quoting received image data, it becomes easy to associate the received moving image data with the moving image data to be returned, and the response content can be summarized. Expressed reply video data can be created quickly. Further, by using the voice control step, the reply moving image data can be created with the same feeling as when actually interacting with the other party to reply, and the reply moving image data can be created quickly and accurately by a simple operation. Further, the display speed is changed depending on the type of moving image data, and necessary information can be obtained quickly and accurately.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の動画メールシステムの端末の画面画面
の一例を示す図。
FIG. 1 is a diagram showing an example of a screen screen of a terminal of a moving image mail system of the present invention.

【図2】本発明の動画メール作成方法の一例を示すフロ
ー。
FIG. 2 is a flowchart showing an example of a moving image mail creation method of the present invention.

【図3】動画データを表示する動画表示ステップの一例
を示すフロー。
FIG. 3 is a flowchart showing an example of a moving image display step for displaying moving image data.

【図4】動画編集ステップで生成する、(a)返信動画
データ、(b)引用位置データの一例を説明する図。
FIG. 4 is a diagram illustrating an example of (a) reply moving image data and (b) citation position data generated in a moving image editing step.

【図5】動画編集ステップで生成する、(a)返信動画
データ、(b)挿入位置データの他の一例を説明する
図。
FIG. 5 is a diagram illustrating another example of (a) reply moving image data and (b) insertion position data generated in the moving image editing step.

【図6】新たな動画データ生成する動画生成ステップの
一例を示すフロー。
FIG. 6 is a flowchart showing an example of a moving image generation step of generating new moving image data.

【図7】(a)受信動画表示画面の他の一例、(b)表
示条件設定画面の例を示す図。
FIG. 7 is a diagram showing (a) another example of a received moving image display screen and (b) an example of a display condition setting screen.

【図8】動画表示ステップの他の一例を示すフロー。FIG. 8 is a flowchart showing another example of a moving image display step.

【図9】本発明の動画メールシステムの一構成例を示す
図。
FIG. 9 is a diagram showing a configuration example of a moving image mail system of the present invention.

【図10】動画データの一例を示す図。FIG. 10 is a diagram showing an example of moving image data.

【図11】返信動画データの一例を示す図。FIG. 11 is a diagram showing an example of reply moving image data.

【符号の説明】[Explanation of symbols]

10…動画編集ステップ、11…指示入力ステップ、1
2〜16…指示入力ステップでの入力内容に基づく条件
分岐、17…受信動画表示ステップ、18…動画生成ス
テップ、19…動画引用ステップ、20…動画送信ステ
ップ、21…端末の画面、22…受信動画表示画面、2
3…送信動画表示画面、24…新規動画表示画面、25
…再生/停止ボタン、26…早送りボタン、27…巻戻
しボタン、28…受信動画データ、29…返信動画デー
タ、30…生成した動画データ、31…返信ボタン、3
2…終了ボタン、33…引用ボタン、34…生成ボタ
ン、35…送信ボタン、36…録画ボタン、37…完了
ボタン、41…指示入力ステップ、42〜44…指示入
力ステップでの入力内容に基づく条件分岐、51…新規
動画データ、52…受信動画データ、53…引用位置デ
ータ、54…引用位置データの第1行、55…引用位置
データの第2行、56…挿入動画データ、57…挿入位
置データ、58…挿入位置データの第1行、59…挿入
位置データの第2行、60…挿入位置データの第3行、
61〜62…音声に基づく条件分岐、63…再生を停止
するステップ、64…録画を開始するステップ、65…
録画を終了するステップ、66…録画した動画データを
返信動画データに挿入するステップ、67…音声制御ス
テップ、68…動画生成ステップ、71〜73…作成者
バー、74…ポインタ、75…作成者を単位とする早送
りボタン、76…作成者を単位とする巻戻しボタン、7
7…作成者を表示する領域、78…表示条件設定ボタ
ン、81…表示条件設定画面、91…再生する動画デー
タの作成者を調べるステップ、92〜94…動画データ
の作成者に基づく条件分岐、95…送信者の表示条件を
設定するステップ、96…受信者の表示条件を設定する
ステップ、97…太郎の表示条件を設定するステップ、
98…標準の表示条件を設定するステップ、99…設定
した表示条件で動画データを表示するステップ、100
…作成者を調べる条件分岐、101…病院、102…専
門医、103…診療所、104…主治医、105…病院
の端末、106…診療所の端末、107…回線、108
〜109…検査装置、111〜119…動画データ、1
21〜129…音声要約、131〜135…挿入動画デ
ータ、141〜145…音声要約、161〜169…受
信動画データ、171〜179…音声要約。
10 ... Video editing step, 11 ... Instruction input step, 1
2 to 16 ... Conditional branching based on the input contents in the instruction input step, 17 ... Received video display step, 18 ... Video generation step, 19 ... Video quote step, 20 ... Video transmission step, 21 ... Terminal screen, 22 ... Reception Video display screen, 2
3 ... Transmission video display screen, 24 ... New video display screen, 25
... Play / Stop button, 26 ... Fast forward button, 27 ... Rewind button, 28 ... Received video data, 29 ... Reply video data, 30 ... Generated video data, 31 ... Reply button, 3
2 ... End button, 33 ... Quote button, 34 ... Create button, 35 ... Send button, 36 ... Record button, 37 ... Finish button, 41 ... Instruction input step, 42-44 ... Conditions based on input contents at instruction input step Branches, 51 ... New moving image data, 52 ... Received moving image data, 53 ... Quoted position data, 54 ... First line of quoted position data, 55 ... Second line of quoted position data, 56 ... Inserted moving image data, 57 ... Inserted position Data, 58 ... First line of insertion position data, 59 ... Second line of insertion position data, 60 ... Third line of insertion position data,
61 to 62 ... Conditional branch based on voice, 63 ... Step of stopping reproduction, 64 ... Step of starting recording, 65 ...
Step of ending recording, 66 ... Inserting recorded video data into reply video data, 67 ... Voice control step, 68 ... Video generation step, 71-73 ... Author bar, 74 ... Pointer, 75 ... Author Fast forward button in units, 76 ... Rewind button in units of creator, 7
7 ... Area for displaying creator, 78 ... Display condition setting button, 81 ... Display condition setting screen, 91 ... Step for checking creator of moving picture data to be reproduced, 92 to 94 ... Conditional branch based on creator of moving picture data, 95 ... Setting display condition of sender, 96 ... Setting display condition of receiver, 97 ... Setting display condition of Taro,
98: step of setting standard display conditions, 99: step of displaying moving image data under the set display conditions, 100
… Condition branch to check the creator, 101… Hospital, 102… Specialist, 103… Clinic, 104… Doctor, 105… Hospital terminal, 106… Clinic terminal, 107… Line, 108
... 109 ... inspection device, 111-119 ... moving image data, 1
21-129 ... Voice summary, 131-135 ... Inserted video data, 141-145 ... Voice summary, 161-169 ... Received video data, 171-179 ... Voice summary.

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】複数の端末間で動画データを送受する動画
メール作成方法において、前記複数の端末のそれぞれ
は、他の端末から受信した動画データである受信動画デ
ータを表示する受信動画表示ステップと、操作者の指示
に従い前記受信動画データを引用して前記他の端末に返
信する返信動画データを作成する動画編集ステップと、
前記返信動画データを前記他の端末に送信する動画送信
ステップとを有することを特徴とする動画メール作成方
法。
1. A method of creating a moving image mail for transmitting and receiving moving image data between a plurality of terminals, wherein each of the plurality of terminals displays a received moving image data which is received moving image data from another terminal. A video editing step of creating reply video data that cites the received video data according to the instruction of the operator and replies to the other terminal.
And a moving image sending step of sending the reply moving image data to the other terminal.
【請求項2】請求項1記載の動画メール作成方法におい
て、前記返信動画データは、少なくとも、引用する前記
受信動画データと、前記受信動画データの前記引用の箇
所を前記返信動画データのフレーム位置で示す引用位置
データとを有することを特徴とする動画メール作成方
法。
2. The method of creating a moving picture mail according to claim 1, wherein the reply moving picture data includes at least the received moving picture data to be quoted and the quoted portion of the received moving picture data at a frame position of the reply moving picture data. A method for creating a moving image mail, comprising:
【請求項3】請求項1記載の動画メール作成方法におい
て、前記返信動画データは、少なくとも、前記操作者の
指示に従い生成した新たな動画データである挿入動画デ
ータと、該挿入動画データの挿入箇所を前記受信動画デ
ータのフレーム位置で示す挿入位置データとを有するこ
とを特徴とする動画メール作成方法。
3. The moving image mail creating method according to claim 1, wherein the reply moving image data is at least insertion moving image data which is new moving image data generated according to an instruction from the operator, and an insertion position of the insertion moving image data. And inserting position data indicating the frame position of the received moving image data.
【請求項4】請求項1から請求項3のいずれかに記載の
動画メール作成方法において、前記動画編集ステップ
は、少なくとも、前記操作者の音声に反応にして他のス
テップを制御する音声制御ステップと、前記操作者を撮
影した動画データを生成する動画生成ステップとを有
し、前記操作者が前記受信動画表示ステップで表示され
た前記受信動画データを参照しながら発声した音声に反
応した前記音声制御ステップの制御により、前記動画生
成ステップで発声中の前記操作者の動画データを生成
し、前記操作者の動画データを、前記操作者の発声開始
時点で前記受信動画表示ステップで表示されていた前記
受信動画データのフレーム位置に挿入することを特徴と
する動画メール作成方法。
4. The moving image mail creating method according to claim 1, wherein the moving image editing step is a voice control step of controlling at least other steps in response to a voice of the operator. And a moving image generating step of generating moving image data of the operator, wherein the voice reacts to a voice uttered by the operator while referring to the received moving image data displayed in the received moving image display step. By the control of the control step, the moving image data of the operator who is speaking in the moving image generating step is generated, and the moving image data of the operator is displayed in the received moving image display step when the operator starts speaking. A method for creating a moving image mail, characterized by inserting the received moving image data at a frame position.
【請求項5】請求項1から請求項4のいずれかに記載の
動画メール作成方法において、前記複数の端末のそれぞ
れは、少なくとも、前記動画データを作成した前記操作
者を特定する情報を表示するステップを有することを特
徴とする動画メール作成方法。
5. The moving image mail creating method according to any one of claims 1 to 4, wherein each of the plurality of terminals displays at least information for identifying the operator who created the moving image data. A method for composing a moving picture mail, comprising steps.
【請求項6】請求項1から請求項5のいずれかに記載の
動画メール作成方法において、少なくとも、前記動画デ
ータを作成した前記操作者に応じて前記動画データの表
示条件を変更して表示する動画表示ステップを有するこ
とを特徴とする動画メール作成方法。
6. The moving image mail creating method according to claim 1, wherein the displaying condition of the moving image data is changed and displayed at least according to the operator who created the moving image data. A method for creating a moving picture mail, comprising a moving picture displaying step.
【請求項7】請求項6記載の動画メール作成方法におい
て、前記動画表示ステップは、表示する前記動画データ
が前記受信動画データか前記返信動画データかによっ
て、前記動画データの表示条件を変更することを特徴と
する動画メール作成方法。
7. The moving image mail creating method according to claim 6, wherein the moving image display step changes display conditions of the moving image data depending on whether the moving image data to be displayed is the received moving image data or the reply moving image data. Video mail creation method characterized by.
【請求項8】複数の端末間で動画データを送受する動画
メールシステムにおいて、前記複数の端末のそれぞれ
は、他の端末から受信した動画データである受信動画デ
ータを表示する受信動画表示画面と、前記他の端末に返
信する動画データである返信動画データを表示する送信
動画表示画面と、操作者が前記受信動画データを前記返
信動画データに引用することを指示する引用ボタンと、
前記操作者が新たに作成した挿入動画データを表示する
新規動画表示画面と、前記操作者が前記挿入動画データ
を前記返信動画データの所望のフレームに挿入すること
を指示する挿入ボタンと、前記操作者が前記返信動画デ
ータを前記他の端末に送信することを指示する送信ボタ
ンとを有することを特徴とする動画メールシステム。
8. A moving picture mail system for transmitting and receiving moving picture data between a plurality of terminals, wherein each of the plurality of terminals has a received moving picture display screen for displaying received moving picture data which is moving picture data received from another terminal, A transmission moving image display screen that displays reply moving image data that is moving image data that is returned to the other terminal, and a quote button that instructs the operator to quote the received moving image data in the reply moving image data,
A new moving image display screen for displaying the inserted moving image data newly created by the operator, an insert button for instructing the operator to insert the inserted moving image data into a desired frame of the reply moving image data, and the operation And a send button for instructing a person to send the reply moving image data to the other terminal.
【請求項9】請求項8に記載の動画メールシステムにお
いて、請求項1から7記載のいずれかに動画メール作成
方法を用いることを特徴とする動画メールシステム。
9. The moving picture mail system according to claim 8, wherein the moving picture mail creating method is used in any one of claims 1 to 7.
JP29954495A 1995-11-17 1995-11-17 Video mail creation method and video mail system Expired - Lifetime JP3675008B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29954495A JP3675008B2 (en) 1995-11-17 1995-11-17 Video mail creation method and video mail system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29954495A JP3675008B2 (en) 1995-11-17 1995-11-17 Video mail creation method and video mail system

Publications (2)

Publication Number Publication Date
JPH09149398A true JPH09149398A (en) 1997-06-06
JP3675008B2 JP3675008B2 (en) 2005-07-27

Family

ID=17873997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29954495A Expired - Lifetime JP3675008B2 (en) 1995-11-17 1995-11-17 Video mail creation method and video mail system

Country Status (1)

Country Link
JP (1) JP3675008B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0849691A2 (en) * 1996-12-20 1998-06-24 Sony Corporation Method and apparatus for handling E-mail with animated representation
EP0849692A2 (en) * 1996-12-20 1998-06-24 Sony Corporation Method and apparatus for automatic sending of E-mail and automatic sending control program supplying medium
WO2001093205A1 (en) * 2000-05-31 2001-12-06 Sharp Kabushiki Kaisha Image information processing device, image information processing method, image information processing program, and recorded medium on which image information processing program is recorded
JP2002033802A (en) * 2000-07-14 2002-01-31 Toshiba Corp Contents service method utilizing mobile communication terminal
WO2003038759A1 (en) * 2001-10-29 2003-05-08 Sharp Kabushiki Kaisha Cellular terminal, method for creating animation on cellular terminal, and animation creation system
WO2003039124A1 (en) * 2001-10-31 2003-05-08 Sharp Kabushiki Kaisha Cellular telephone apparatus capable of creating animation
JP2003304309A (en) * 2003-04-11 2003-10-24 Sharp Corp Portable terminal device, control program for the device and a computer-readable recording medium with the program recorded thereon
US7159009B2 (en) 1997-12-17 2007-01-02 Sony Corporation Method and apparatus for automatic sending of e-mail and automatic sending control program supplying medium
JP2010268305A (en) * 2009-05-15 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> Video mail communication method, device, and program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0849691A2 (en) * 1996-12-20 1998-06-24 Sony Corporation Method and apparatus for handling E-mail with animated representation
EP0849692A2 (en) * 1996-12-20 1998-06-24 Sony Corporation Method and apparatus for automatic sending of E-mail and automatic sending control program supplying medium
EP0849691A3 (en) * 1996-12-20 2000-02-23 Sony Corporation Method and apparatus for handling E-mail with animated representation
EP0849692A3 (en) * 1996-12-20 2000-03-01 Sony Corporation Method and apparatus for automatic sending of E-mail and automatic sending control program supplying medium
US7159009B2 (en) 1997-12-17 2007-01-02 Sony Corporation Method and apparatus for automatic sending of e-mail and automatic sending control program supplying medium
EP1304654A1 (en) * 2000-05-31 2003-04-23 Sharp Kabushiki Kaisha Image information processing device, image information processing method, image information processing program, and recorded medium on which image information processing program is recorded
WO2001093205A1 (en) * 2000-05-31 2001-12-06 Sharp Kabushiki Kaisha Image information processing device, image information processing method, image information processing program, and recorded medium on which image information processing program is recorded
EP1304654A4 (en) * 2000-05-31 2009-05-13 Sharp Kk Image information processing device, image information processing method, image information processing program, and recorded medium on which image information processing program is recorded
JP2002033802A (en) * 2000-07-14 2002-01-31 Toshiba Corp Contents service method utilizing mobile communication terminal
WO2003038759A1 (en) * 2001-10-29 2003-05-08 Sharp Kabushiki Kaisha Cellular terminal, method for creating animation on cellular terminal, and animation creation system
WO2003039124A1 (en) * 2001-10-31 2003-05-08 Sharp Kabushiki Kaisha Cellular telephone apparatus capable of creating animation
JP2003304309A (en) * 2003-04-11 2003-10-24 Sharp Corp Portable terminal device, control program for the device and a computer-readable recording medium with the program recorded thereon
JP2010268305A (en) * 2009-05-15 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> Video mail communication method, device, and program

Also Published As

Publication number Publication date
JP3675008B2 (en) 2005-07-27

Similar Documents

Publication Publication Date Title
US8510441B2 (en) Transmission apparatus, transmission method, content delivery system, content delivery method, and program
US7823080B2 (en) Information processing apparatus, screen display method, screen display program, and recording medium having screen display program recorded therein
US5841977A (en) Computer-based conferencing system with local operation function
US5778053A (en) Answering machine services for data conferences
US6100882A (en) Textual recording of contributions to audio conference using speech recognition
WO2009045973A2 (en) Recording and videomail for video conferencing call systems
JP6664249B2 (en) Minutes preparation system
JP2002116996A (en) Cooperative work supporting method and system, client terminal equipment for cooperative work, cooperative work coordinator and recording medium
US11843920B2 (en) Systems and methods for remote administration of hearing tests
JPH09149398A (en) Animation mail preparation method and animation mail system
JP4352380B2 (en) Video interactive communication terminal, computer program, and call control method
JPH0822503A (en) Remote medical examination support system
JP3608346B2 (en) Telemedicine support system and telemedicine support method used therefor
JP2008029658A (en) Remote control instruction system of medical image diagnostic apparatus, remote control instruction control apparatus, and remote control instruction method
CN218041559U (en) Remote consultation equipment
JP3211786U (en) Interactive device using live video
JP5682376B2 (en) Communication device
CN105959465A (en) Method and device for achieving conference mode and terminal
WO2019193935A1 (en) Medical moving image processing system
KR20150117367A (en) Internet based medical symposium system and Management Method thereof
JPH1084423A (en) Help desk device and recording medium
JP3783504B2 (en) Dialog recording system
JP2008048126A (en) Cellular phone having function of generating announcement for answering machine and system of generating announcement for answering machine
JPH04362769A (en) Automatic preparation device for electronic conference report
EP1206107A2 (en) Method of associating multi-lingual audio recording with objects in an internet presentation system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080513

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

EXPY Cancellation because of completion of term