JPH08163122A - Remote conference method - Google Patents

Remote conference method

Info

Publication number
JPH08163122A
JPH08163122A JP6304573A JP30457394A JPH08163122A JP H08163122 A JPH08163122 A JP H08163122A JP 6304573 A JP6304573 A JP 6304573A JP 30457394 A JP30457394 A JP 30457394A JP H08163122 A JPH08163122 A JP H08163122A
Authority
JP
Japan
Prior art keywords
terminal
user
shared window
method
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6304573A
Other languages
Japanese (ja)
Inventor
Ippei Doi
Kiyoshi Inoue
Tsukasa Sato
潔 井上
司 佐藤
一平 土井
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, 株式会社日立製作所 filed Critical Hitachi Ltd
Priority to JP6304573A priority Critical patent/JPH08163122A/en
Publication of JPH08163122A publication Critical patent/JPH08163122A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE: To provide a remote conference system which is attained with use of a slow and inexpensive communication circuit and also needs a low cost for installation of terminals.
CONSTITUTION: The terminal equipments 101 and 102 are connected together via a communication circuit 103. An input device 104 constructs a voice input means like a microphone, etc., a text like a keyboard, a mouse, etc., and a graphic information input means. The input data supplied from the device 104 are first outputted to an output device 106 of its own terminal through an output device control means 105 like an ordinary terminal equipment. The device 106 consists of a display and a speaker. At the same time, the input data that should be sent to the equipment 102 of the opposite party side are converted into a transmission data packet by a transmission data generation means 107 and sent to the opposite party terminal by a communication control means 108.
COPYRIGHT: (C)1996,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は通信方法に係り、特に、 The present invention relates relates to a communication method, in particular,
通信回線により結合された複数の端末のそれぞれの利用者が、音声による対話を行いつつ、各端末間でデータ通信を行って情報を共有することにより、共同で情報処理を進めることを可能とする、いわゆる遠隔会議の方法に関する。 Each user of a plurality of terminals linked by a communication line, while performing interaction by voice, by sharing information with data communication between the terminals, making it possible to proceed with processing jointly relates to a method of so-called remote conference.

【0002】 [0002]

【従来の技術】従来、遠隔地間の迅速な連絡の手段として電話が最もよく用いられてきた。 Conventionally, the telephone as a means of rapid communication between remote locations has been most commonly used. 電話の利点は通信者間の反応をリアルタイムで伝達できることと、音声という人間にとって非常に理解しやすい情報を用いる点にある。 The advantage of the telephone in that it uses the ability to transmit a reaction between communicating parties in real time, a very easy to understand information for human beings sound. しかし、電話による音声のみで複雑な図面について議論しようとすると、意志の疎通が極めて困難になることが多い。 However, when you try to discuss the complex drawings only by voice by telephone, it is often the will of the communication is very difficult.

【0003】一方、電子メールやファクシミリでは文書や図面の送受信ができることから、遠隔地での情報共有の手段として広く用いられている。 [0003] On the other hand, because it can send and receive documents and drawings by e-mail or facsimile has been widely used as a means of sharing information in remote locations. しかし、これらの手段は送信者と受信者が異なる時点で情報にアクセスするシステムであり、リアルタイムで情報処理を進めることができない。 However, these means are system sender and receiver to access information at different times, it is impossible to proceed with the processing in real time.

【0004】そこで、音声を送受信しつつ、通信回線で結合された端末装置により文書データを共有して、リアルタイムで共同での情報処理を進めることを可能とするシステムが提案されている。 [0004] Therefore, while transmitting and receiving voice, share the document data by the combined terminal device via a communication line, a system that allows to advance the information processing jointly in real time has been proposed.

【0005】通信回線で接続された二つの端末装置がそれぞれ電話機を備え、双方の端末の表示装置に同一の画面を表示し、各表示画面上に自端末が制御するカーソルと、相手端末が制御するカーソルとを同時に表示することにより、画面を参照しながらリアルタイムで会議を行えるように構成したシステムが、例えば、特開昭62−53 [0005] each comprise a telephone are two terminals which are connected via a communication line, and displaying the same screen on the display device of the both terminals, and the cursor of the own terminal control on each display screen, the remote terminal is controlled by displaying the cursor at the same time, the system configured to allow a meeting in real time with reference to the screen, for example, JP-62-53
084 号公報に開示されている。 It disclosed in 084 JP.

【0006】上記システムでは、音声と同一文書を複数端末上で表示するための制御情報のみを送受信するので、いわゆる、テレビ会議システムと異なり大量の画像情報をリアルタイムで送受信する必要がないので、端末装置の設置コストが安く、また公衆電話回線など既存の通信設備の上で実現可能な点に特徴がある。 [0006] In the above system, since the transmitting and receiving only the control information for displaying a voice the same document on multiple terminals, so-called, there is no need to transmit and receive in real time a large amount of image information different from the video conference system, the terminal installation costs of the apparatus cheaper, also is characterized in that achievable on existing communication facilities such as a public telephone line.

【0007】半面、話者の表情や動作などを画像としては常時送受信しないので、特に三人以上の間で遠隔会議を行う場合、共有画面に表示されているカーソルの制御者および現在の話者を特定するためのなんらかの手段を提供する必要がある。 [0007] other hand, because it does not receive at all times and speaker of the expressions and movements as an image, especially when performing a remote conference between three or more, control person of the cursor displayed on the shared screen and the current speaker there is a need to provide some means for identifying.

【0008】カーソルの制御者を特定するための手段が特開平1−276892 号公報に開示されている。 [0008] means for identifying the control's cursor is disclosed in Japanese Patent Laid-Open No. 1-276892. この発明では、各会議参加者に形・色などマークの異なるカーソルを割り振ることにより、各カーソルの制御者を識別する手段が提供されている。 In the present invention, by allocating different cursor marked like shape and color to each conference participant, means for identifying a control person of each cursor is provided.

【0009】現在の話者を特定するための手段は特開昭 [0009] means for identifying the current speaker JP
64−49465 号公報に開示されている。 It disclosed in 64-49465 JP. この発明では、各参加者を特定するための文字列または図形情報を表示し、発言中は発言マークがそれら文字列または図形情報の近傍に表示されることにより、現在の話者を認識できる手段が提供されている。 In the present invention, displays the character string or graphic information for identifying each participant is speaking by speech mark is displayed in the vicinity of their character string or graphic information, means for recognizing a current speaker There has been provided.

【0010】 [0010]

【発明が解決しようとする課題】カーソルの制御者を特定するために提案されている従来発明では、三人以上が同時に討論に参加するようなケースでは、カーソルが入り乱れて動くため、カーソルマークの違いをもってしても、カーソルと制御者の対応付けを自然にかつ迅速に行うことが困難になるという問題があった。 In the proposed conventional invention in order to identify the control's cursor [0005], in the cases, such as three or more people to participate in the debate at the same time, in order to move jumbled the cursor, the cursor mark even with the differences, there is a problem that is possible to perform the mapping of the cursor and control who naturally and quickly becomes difficult.

【0011】また、実際の討論のプロセスを思い浮かべると、通常は、話手の表情の動き、特に口元を中心とする動きに注目することによって自然に話者を認識している。 [0011] In addition, when the think of the process of the actual debate, usually, are aware of the speaker naturally by noting speaker's facial expression of the movement, the movement, especially around the mouth. このため、人工的なマーク表示によって発言者を明示しようとする従来発明では、発言者が頻繁に入れ替わる場合、スムーズに会話の流れに追随することが感覚的に困難になってくるという問題があった。 Therefore, in the conventional invention to be explicitly speaker by artificial mark display, a case where the speaker are switched frequently, a problem that follow the flow of the conversation smoothly it becomes sensuously difficult It was.

【0012】 [0012]

【課題を解決するための手段】そこで、本発明では、各端末画面上に会議参加者の肖像(顔,半身像または全身像)が表示され、この肖像画と各参加者が制御するカーソルを、実線などで結んで表示することにより、カーソルの制御者が一目瞭然に認識される。 Therefore SUMMARY OF THE INVENTION In the present invention, portrait (facial, bust or systemic image) conference participant to each terminal screen is displayed, the cursor control is the portrait and each participant, by displaying tied like a solid line, the control's cursor is recognized plainly.

【0013】また、ユーザは自由に共有画面制御権を取得または放棄できる。 [0013] In addition, the user can freely acquire or give up the shared screen control rights. そして、ユーザが制御するカーソルは、このユーザが共有画面制御権を有している場合にのみ、他ユーザの端末上に表示されるので、会議の進行にさし当り必要のないカーソルまでが表示されて画面が見づらくなるということがない。 Then, the cursor for the user to control, only if this user has a shared screen control right, because it is displayed on the other user terminal, to unnecessary cursors per pointing the progress of the conference display there is no possibility that the screen is difficult to see is.

【0014】また、本発明では、会議参加者の肖像の静止画像を各端末に予め配付しておき、通信回線を通じて送られてくる音声情報やカーソルの移動情報に基づいて、上記画像を各端末上でコンピュータグラフィックス(CG)技術により変形して、話手の身振りや表情として表示する。 [0014] In the present invention, a portrait of a still picture of the conference participant previously distributed to each terminal, based on the movement information of the audio information and cursor sent via the communication line, each terminal the image deformed by computer graphics (CG) techniques above, it displayed as gestures and expressions of the speaker.

【0015】 [0015]

【作用】本発明によれば、会議参加者の肖像画とその参加者の制御するカーソルが実線などで結んで表示されるので、あたかも参加者が指示棒を持って画面を指示するかのごとく自然に各カーソルと参加者の対応が表現される。 According to the present invention, since the cursor to control of the portrait and its participants of the conference participants is displayed by connecting in such a solid line, as if they were participants of whether to instruct the screen with a pointing stick nature correspondence of participants and each cursor is represented in.

【0016】また、参加者の身振りや表情がCG処理により疑似的に表現されるので、通常の討論におけるのに近い形で話手を識別することが可能である。 [0016] In addition, because of the gestures and facial expressions participants are artificially expressed by CG processing, it is possible to identify the story hand in the form close to in a normal discussion. このCG処理は、各端末上で独立に行われるので、この処理に際し、画像データを送受信する必要はない。 This CG processing is performed independently on each terminal, upon this process, it is not necessary to transmit and receive image data.

【0017】これらの作用により、画像データを常時には送受信しない遠隔会議システムでも、実際の討論の自然さを再現することができる。 [0017] These effects, in teleconferencing systems not always to receive the image data, it is possible to reproduce the naturalness of actual debate.

【0018】 [0018]

【実施例】図1は本発明の一実施例としての通信端末装置のブロック図である。 DETAILED DESCRIPTION FIG. 1 is a block diagram of a communication terminal apparatus as an embodiment of the present invention. 図1では、二つの端末装置10 In Figure 1, two terminals 10
1,102が通信回線103により接続されている。 1,102 are connected by a communication line 103. 入力装置104は、マイクロフォンなどの音声入力手段とキーボードやマウスなどのテキスト,図形情報の入力手段を構成する。 Input device 104 may constitute text, such as voice input means and a keyboard and a mouse, such as a microphone, the input means of the graphical information. 入力手段104より入力された入力データは、通常の端末装置と同様にまず出力装置制御手段1 Input data input from the input means 104, like a normal terminal first output device control means 1
05を通して、自端末の出力装置106へ出力される。 Through 05 are outputted to the output device 106 of the terminal.
出力装置106は、ディスプレイおよびスピーカより構成されている。 The output device 106 is composed of a display and a speaker. 他方、入力データの内、相手端末102 On the other hand, the input data, the remote terminal 102
に送信する必要のあるものは、送信データ生成手段10 What needs to be transmitted, the transmission data generating unit 10
7により、送信用データパケットに変換され、通信制御手段108により相手端末に向け送信される。 By 7, it is converted into transmission data packet is transmitted toward the partner terminal by the communication control unit 108.

【0019】同様に、相手端末102からもデータパケットが送信されてくる。 [0019] Similarly, the data packet is transmitted from the partner terminal 102. 受信データ解析手段109は、 Received data analysis means 109,
データパケットを受信すると、自端末内の出力装置制御手段105に受付可能な形態に変換し、出力装置制御手段105を通して、出力装置106へ出力する。 Upon receiving the data packet, into a receivable form on the output device control unit 105 in the own terminal, through an output device controller unit 105, and outputs to the output device 106.

【0020】図1に示す装置では、自端末からの入力を相手端末の出力装置にも反映することによって、遠隔会議が可能となっている。 [0020] In the apparatus shown in Figure 1, by reflecting in the output device of the remote terminal input from its own terminal, and can teleconferencing. 図1では図面を簡潔にするため、二端末が通信回線により接続される様子を示したが、本図の構成は直ちにそれ以上の個数の端末が接続される形態に拡張できる。 To simplify the drawing in FIG. 1, the two-terminal although showing a state connected by a communication line, the structure of the figure can be extended to form immediately the more the number of terminals connected.

【0021】図2は本発明の方法および装置を用いた遠隔会議の実行時に見られるディスプレイ上の代表的な表示例を示したものである。 [0021] Figure 2 shows a typical example of display on a display seen when running teleconference using the method and apparatus of the present invention. ディスプレイ201上には、 On the display 201,
自端末からのみ制御可能なローカルウィンドウ202 Local window 202 can be controlled only from its own terminal
と、他端末からも制御可能な共有ウィンドウ203が表示されている。 If, controllable sharing window 203 is displayed from another terminal. 遠隔会議の実行に先立って、全ユーザには同一の文書が配付されており、各ユーザの共有ウィンドウ203内には、この文書の同一箇所が表示されている。 Prior to the execution of the remote conference, the all users are distributed the same document, the shared window 203 of each user, the same portions of the document is displayed. また、各ユーザは共有ウィンドウ203内の文書を編集したり、表示部分を変更したりすることが可能であり、あるユーザが共有ウィンドウ203内の文書に対して行った操作は、直ちに全ユーザの共有ウィンドウに反映される。 Moreover, each user can edit a document in the shared window 203, it is possible to change the display part, operations that users make to the document in the shared window 203 immediately for all users It is reflected in the shared window.

【0022】共有ウィンドウ203の傍らには、各ユーザの肖像204,205,206…(表情,上半身像または全身像)が表示されている。 [0022] beside the shared window 203, portrait 204, 205, 206 ... (facial expression, upper body image or a full-length portrait) of each user is displayed. これらの肖像の画像データは共有ウィンドウに表示されている文書と同様に、 Image data of these portraits, like the document displayed in the shared window,
遠隔会議に先だって予め全ユーザに配付されている。 Is distributed to prior advance all users in the teleconference.

【0023】現在話中のユーザに対しては、このユーザの肖像画の背景の輝度を上げるなどして、話手を特定できるようになっている。 [0023] For the user of the currently busy, by, for example, increase the brightness of the portrait of the background of the user, which is to be able to identify the story hand. 例えば、図2は、ユーザ1が話中であることを示している。 For example, Figure 2 shows that user 1 is busy.

【0024】各ユーザの制御下にあるカーソルは通常は自端末ディスプレイ上にのみ表示され、他のユーザの端末画面上には表示されない。 The cursor under the control of each user is normally displayed only on its own terminal display, not displayed on the terminal screen of another user. 例えば、図2がユーザ2のディスプレイ上の表示を示したものであるとする。 For example, it is assumed that Figure 2 showed the display on the user 2 display. この場合、ユーザ2が制御するカーソル207は、他のユーザのディスプレイ上には表示されない。 In this case, the cursor 207 by the user 2 is controlled, not displayed on the other user display. 更に、この場合、ユーザ2は共有ウィンドウの制御を行うことができない。 Furthermore, in this case, the user 2 can not perform the control of the shared window. これは、会議中には特に意図がなくても何気なくカーソルを移動させることが起こりうるため、同時に表示されるカーソルの数を減らして画面を見やすくすると共に、徒に共有ウィンドウが操作されるのを防ぐためである。 This is because a possible be moved casually cursor even without particular intention during the meeting, as well as easier to see the screen by reducing the number of cursor displayed simultaneously, unnecessarily that the shared window is operated it is to prevent.

【0025】そこで、ユーザ2が共有ウィンドウ203 [0025] Thus, user 2 shared window 203
に表示されている文書の特定の位置をポイントしながら、他のユーザに説明を行いたい場合は、それを明示的に宣言する。 While point to a specific location of the document being displayed, if you want to explanation to other users, explicitly declare it. 具体的には、共有ウィンドウ制御開始メニュー208を選択する。 Specifically, to select a common window control start menu 208. このメニューを選択するとそれまで他端末上では表示されていなかったユーザ2のカーソル207が他ユーザの端末上に表示される。 Selecting this menu meantime on other terminals cursor 207 of the user 2 that has not been displayed is displayed on the other user terminal.

【0026】図3に、その状態を示す。 [0026] FIG. 3 shows the state. カーソル(図示せず)の位置とユーザ2の肖像205を矢実線210で結んだ形で表示されている。 Cursor is displayed in the connecting it forms a portrait 205 of the position and the user 2 (not shown) in the arrow solid line 210. 話手から書類への指示棒が伸びているようにみえるので、話手とカーソルの対応は一目瞭然である。 Since seems to extend the pointing stick to the documents from the story hand, correspondence of the speaker and the cursor is obvious. 同時に、ユーザ2に共有ウィンドウ制御権が付与され、ユーザ2による共有ウィンドウの制御が可能となる。 At the same time, the common window control authority granted to the user 2, it is possible to control the shared window by a user 2. 即ち、ユーザ2が行った共有ウィンドウ内の文書への操作、例えば、カーソルで選択した文書領域の移動,削除やキーボードによるテキスト入力が、全ユーザの端末画面上に反映される。 That is, the operation of the document in a shared window that the user 2 has performed, for example, the movement of the document area selected by the cursor, to text entry by deleting or keyboard, is reflected in the terminal screen of all users. 図3は、ユーザ1とユーザ2が会話中であり、かつ両者が共有ウィンドウの制御権を獲得している状態を示している。 Figure 3 shows a state in which the user 1 and user 2 are in a conversation, and both are to take control of the shared window.

【0027】なお、特に会話をしていなかったユーザがいきなり共有ウィンドウを操作し始めるのは、他ユーザにとって極めて唐突な印象をうけるので、このように共有ウィンドウ制御メニューの選択が受付可能となるための一定の条件を設定しておくのが自然である。 [0027] It should be noted, in particular begin to manipulate the user is suddenly shared window that was not a conversation, because subject to extremely abrupt impression to other users, since the selection of the shared window control menu in this way it becomes possible to accept it is a natural idea to set certain conditions. 例えば、 For example,
ユーザが話中であるか、最後に音声を発してから所定の時間以内である場合にのみ、このユーザによる共有ウィンドウ制御開始メニューの選択を受付けるようにする。 The user is busy, finally only if the emitting sound is within a predetermined time, to accept the selection of the common window control start menu by the user.

【0028】更に、本発明では、会議の臨場感を高めるため、オプションとして次のような二つのユーザインターフェースを備える。 Furthermore, in the present invention, to enhance the realism of the conference comprises two user interfaces, such as: optional.

【0029】第一のインターフェースでは、図4に示すように、各ユーザの発する音声に対応して、ユーザの肖像の口元を動かして表示する。 [0029] In a first interface, as shown in FIG. 4, in response to the sound emitted from each user, and displays moving the portrait of the user's mouth. 例えば、肖像画204より口唇部401の画像を切り出し、音声の母音部に応じて、口唇部画像を縦あるいは横に伸縮させる。 For example, cutting out the image of the lip portion 401 from the portrait 204, depending on the vowel part of speech, thereby stretching the lip image vertically or horizontally. この処理は、各端末上でコンピュータグラフィックス(CG)処理により実行される。 This process is executed by the computer graphics (CG) processing on each terminal. 従って、音声の送信側は、口唇部の画像データは送信する必要がない。 Thus, the sender of the voice, image data of lips does not need to send. 通常の討論の場では、我々は話手の表情、特に口元の動きを無意識のうちに注目することにより、話手の入れ替わりに追随している。 In place of the usual discussion, we are the expression of the speaker, by particular interest the movement of the mouth unconsciously, is to follow the turnover of the speaker. インターフェースはこのような環境を疑似的に生成することにより、会話の流れをより自然に把握せしめるためのものである。 Interface by generating such an environment artificially, is intended for allowing more naturally understand the flow of conversation.

【0030】第二のインターフェースでは、図5のように、CG画像による会議参加者の全身像501が表示される。 [0030] In a second interface, as shown in FIG. 5, systemic image 501 conferees by CG image is displayed. 共有ウィンドウ制御権を得たユーザに対しては、 For a user who has obtained a shared window control rights,
この全身像の手先から、このユーザが制御するカーソルの位置に向けて指示棒502が伸びているイメージで、 From the hand of the whole body image, the image which the indicator rod 502 extends toward the position of the cursor the user to control,
カーソル位置が表現される。 The cursor position is represented. そして、カーソル位置に合わせて、このユーザの全身像501は、腕の角度を変えたり、体の向きをかえたりするなどの動きを示す。 Then, in accordance with the cursor position, the whole body image 501 of the user indicates changing the angle of the arm, the movement of such or changing the orientation of the body. この動きの画像データは、静止画として予め配付されているユーザの全身像に基づいて、各端末上でCGとして疑似的に生成される。 Image data of the motion, based on the full-length portrait of the user pre delivered as a still image, artificially generated as CG on each terminal.

【0031】このインターフェースにより、各ユーザの端末画面上では、あたかも会議参加者がOHP表示画面のような大画面で表示された書類の前に集まって、指示棒をもって画面を指し示しつつ討論しているかのようなイメージを疑似生成することができる。 [0031] With this interface, in the terminal screen on each user, if it were conference participants gathered in front of the documents that have been displayed on a large screen, such as the OHP display screen, and discussion while pointing to the screen with a pointing stick image can be pseudo-generate the like.

【0032】図6は図1に示す通信端末装置を、マイクロプロセッサを用いて構成した場合のブロック図である。 [0032] Figure 6 is a communication terminal apparatus shown in FIG. 1 is a block diagram of a case constituted by using a microprocessor. 図6では、入力手段としてマイクロフォン601, In Figure 6, the microphone 601 as an input means,
マウス602およびキーボード603が、出力手段としてディスプレイ604およびスピーカ605が提供されている。 Mouse 602 and keyboard 603, a display 604 and a speaker 605 are provided as output means. これらの装置は、各入力装置毎のインターフェース606,607,608,609および610を介して、バス611に接続されている。 These devices, via the interface 606,607,608,609 and 610 for each input device, connected to the bus 611. バス611を通じてこれらの装置と接続されているCPU612はRAM613内部のプログラムと共に、図1の送信データ生成手段,受信データ解析手段を構成する。 CPU612 connected to these devices via the bus 611 with an internal program RAM 613, constituting the transmission data generating unit of FIG. 1, the received data analysis means. そして、端末装置600は通信インターフェース614を介して、全2重回線615 Then, the terminal apparatus 600 through the communication interface 614, the full duplex line 615
によって、他の同様の端末装置と接続されている。 By, and it is connected with other similar terminals.

【0033】図6に示した構成の端末装置によって、図2から図5に示したユーザインタフェースを実現する処理方式を流れ図を用いて説明する。 [0033] The configuration of the terminal shown in FIG. 6, with reference to the flowchart processing method for realizing a user interface shown in FIGS. 2-5.

【0034】図7は、CPU612が実行する制御プログラムのフローチャートである。 [0034] FIG. 7 is a flow chart of a control program CPU612 executes. 端末装置が起動されると、まず初期設定処理701が実行される。 When the terminal device is activated, the initial setting processing 701 is executed first. ここでは、他端末との通信チャンネルの確保や、共有ウィンドウのオープンと配付文書の表示および会議参加者の肖像画表示などの、会議開始に先立つ各種設定が行われる。 In this case, ensure and communication channels with other terminals, such as the display and conference participants of the portrait display of open and distributed document sharing window, various settings prior to the conference start is carried out. これが終わると、プログラムは割り込み待ち状態に入る(ステップ702)。 When this is done, the program enters a wait for interrupt state (step 702). もし、終了割り込みがあれば、ステップ70 If there is end interrupt, Step 70
3で、通信チャンネルの解除,共有ウィンドウのクローズ,本プログラム終了などの一連の終了処理を行う。 3, releasing the communication channel, closing the shared window, a series of termination processing, such as completion of the program carried out.

【0035】終了以外の割り込み検出時には、割り込みの種類に応じた処理が行われる。 [0035] When the interrupt detection than ended, processing corresponding to the type of interrupt is performed. 本実施例では、音声入力割り込み(ステップ704),マウス割り込み(70 In this embodiment, voice input interrupt (step 704), the mouse interrupt (70
5),キーボード割り込み(706),データ受信割り込み(707)を検知すると、それぞれの割り込みに対応する処理が非同期に実行される。 5), a keyboard interrupt (706), when detecting the data reception interrupt (707), processing corresponding to each interrupt is executed asynchronously.

【0036】図8は音声入力割り込みルーチンの内容を示すフローチャートである。 [0036] FIG. 8 is a flow chart showing the contents of a speech input interrupt routine. 図6の端末装置のマイクロフォン601から入力された音声がデコーダ606によりデジタルデータに符号化され、バス611に入力されると、CPU612はこれを割り込み信号として検出し、本ルーチンを起動する。 Voice input from the microphone 601 of the terminal device of FIG. 6 is encoded into digital data by the decoder 606, is input to the bus 611, CPU 612 detects this as an interrupt signal, to start the routine. ステップ801でCPU612は入力された音声データを読み込み、ステップ802で他端末へ送信するためのデータパケットを生成した後、ステップ8 In step 801 CPU 612 reads the audio data that is input, after generating a data packet for transmission at step 802 to another terminal, Step 8
03で他の端末に向けてデータパケットを送信する。 Transmitting the data packet to the other terminal 03. 最後に、ステップ804でタイマをリセットして、本ルーチンを終了する。 Finally, the timer is reset in step 804, the routine ends. ステップ804は、共有ウィンドウ制御開始コマンドの受付条件を制御するために設けてある。 Step 804 is provided in order to control the reception condition of the shared window control start command.

【0037】図9で、ステップ802で生成されるデータパケット900の形式を示す。 [0037] In FIG. 9 shows a format of a data packet 900 generated in step 802. CPU612により、ヘッダ部に送信元端末を一意に識別する識別子901が付加される。 The CPU 612, the identifier 901 uniquely identifies the sender terminal in the header portion is added. 続く領域には、受信側でデータのタイプ(この場合は音声データであること)を一意に識別できるようにするためにデータ識別子902を付加する。 The subsequent region, the type of data at the receiving side (in this case it is voice data) adding the data identifier 902 in order to be able to uniquely identify a. それに引き続いて音声データ902が連結されて、一つのデータパケットが形成される。 It is coupled voice data 902 Thereupon, one data packet is formed.

【0038】図10は、マウス割り込みルーチンの内容を示すフローチャートである。 [0038] FIG. 10 is a flowchart showing the contents of the mouse interrupt routine. ステップ1001では、 In step 1001,
マウスからの入力信号を解釈し、コマンド文字列に変換する。 It interprets the input signals from the mouse, into a command string. ここで、コマンド文字列とは、例えば、マウスの移動による信号に対しては、マウス移動コマンドとマウスの新しい座標値の組み合わせであり、メニュー上でのマウスボタン・クリックの信号に対しては、このメニューに対応するコマンドである。 Here, the command string, for example, for a signal due to movement of the mouse, a new combination of coordinate values ​​of the mouse movement commands and mouse, for the mouse button click of the signal on the menu, is a command that corresponds to this menu. このコマンドが共有ウィンドウ制御開始コマンドであれば、ステップ1003に分岐する。 If this command is common window control start command, the process branches to step 1003.

【0039】ここでタイマ値が設定値以下である、即ち、ユーザが最後に音声を発してから一定時間以内であれば、ステップ1004でユーザに共有ウィンドウ制御権を付与して処理を終了し、そうでなければ直ちに処理を終了する。 [0039] Here is below the timer value is a set value, i.e., the user if it is within the last predetermined time from emitting sound to, and exit the grant and processing shared window control to the user at step 1004, immediately terminated otherwise processed. コマンドが共有ウィンドウ制御終了コマンドであれば、ステップ1006でユーザの共有ウィンドウ制御権を取り消す。 If the command is shared window control end command, cancel a shared window control of the user in step 1006.

【0040】それ以外のコマンドに対しては、以下の処理が行われる。 [0040] For other commands, the following process is performed. まず、ステップ1007で、コマンドを実行し、実行結果を自画面に出力する。 First, in step 1007, execute the command, and outputs the execution result to the own screen. そして、ユーザに共有ウィンドウ制御権がなければ本ルーチンを終了する。 Then, the present routine is ended if there is no common window control to the user.
このユーザに共有ウィンドウ制御権がある場合には、ステップ1009で、ユーザが制御するカーソルの現在位置とユーザの肖像画との間に実線を描画する。 If this user has shared window control right, at step 1009, to draw a solid line between the current position and the user's portrait of cursor control user.

【0041】また、入力されたコマンドの実行結果を他の端末上にも反映する必要があるので、ステップ101 Further, since it is necessary to also reflect the execution result of the input command on another terminal, step 101
0でコマンド文字列を送信用データパケットに変換する。 0 converts the command string to the transmission data packet. このデータパケットは、図9に示されるものと同様な形式であるが、データ識別子はマウス入力であることを示す識別子であり、データ部はステップ1001で生成されたコマンド文字列である。 The data packet is the same form as that shown in Figure 9, it is an identifier indicating that the data identifier is a mouse input, data unit is a command string generated in step 1001. そして、ステップ10 Then, step 10
11で各端末に向けデータパケットが送信される。 Data packet is transmitted toward each terminal 11.

【0042】図11には、キーボード入力割り込みルーチンの処理内容が示してある。 [0042] FIG. 11 shows the processing contents of the keyboard input interrupt routine. ステップ1101で、キーボードからの入力信号を解釈し、コマンド文字列に変換する。 In step 1101, interprets the input signals from the keyboard is converted into a command string. 具体的には、キーボードより入力されたテキストと現在のカーソル位置から、テキスト挿入コマンドとテキスト挿入位置および入力テキストを連結した文字列がコマンド文字列として生成される。 Specifically, the text and the current cursor position input from the keyboard, concatenated string of text insertion command and text insertion point and the input text is generated as the command string. ステップ1102 Step 1102
で、生成されたコマンドを実行し、実行結果を自端末画面に表示する。 In, run the generated command to display the execution result to the own terminal screen. そして、ステップ1103で、ユーザに共有ウィンドウ制御権がなければ、本ルーチンを終了する。 Then, in step 1103, if there is no common window control to the user, and ends the present routine. ユーザに共有ウィンドウ制御権があれば、入力を他端末にも反映させる必要があるので、ステップ1104 If there is a shared window control to the user, it is necessary to also reflect the input to another terminal, the step 1104
で、他端末へ送信するためのデータパケットを生成し、 In, it generates a data packet to be transmitted to another terminal,
ステップ106で送信処理を行う。 It performs transmission processing in step 106.

【0043】図12は、データ受信割り込みルーチンの内容を示すフローチャートである。 [0043] Figure 12 is a flowchart showing the contents of the data receive interrupt routine. まず、ステップ12 First, step 12
01で、データの送信元を識別する。 01 identifies a data source. 次に、ステップ12 Next, step 12
02でデータ識別子を読み込み、データのタイプを識別する。 02 reads the data identifier, identifying the type of data. 以降の処理はデータのタイプに応じて分岐する。 Subsequent processing branches depending on the type of data. データが音声データであれば、ステップ1204でデータパケットのデータ部である音声信号を図6のデコーダを通してスピーカへ出力する。 If the data is audio data, and outputs the audio signal is a data portion of the data packet in step 1204 to the speaker through the decoder of FIG. 引き続いて話者を強調する処理を行う場合には、ステップ1205へ進む。 In the case of performing the process of enhancing the speaker Subsequently, the process proceeds to step 1205. ここでは、話者の肖像の背景が強調されたり、または、図4に関連して説明したように、話者の肖像の口元部の画像を音声の種類に応じてCG処理により変形して、話者が実際に話しかけているかのような臨場感を疑似的に表現するなどの処理が行われる。 Here, or it is emphasized portrait background speaker, or, as described in relation to FIG. 4, is deformed by CG processing an image of the mouth portion of the portrait of the speaker according to the type of speech, processing such as pseudo representation of the reality, such as if the speaker is actually talking is done.

【0044】データがキーボード入力であれば、ステップ1207でデータパケットのデータ部であるコマンド文字列を読み込み、ステップ1208でコマンドを実行する。 [0044] If the data is keyboard input, reads the command string is a data portion of the data packet in step 1207, executes the command in step 1208.

【0045】データがマウス入力である場合には、コマンド文字列の内容に応じて以下のように処理が分岐する。 [0045] If the data is a mouse input, the processing as follows branches according to the contents of the command string. コマンドがカーソル移動コマンドであれば、ステップ1212で新しい位置にカーソルを移動する。 If the command is a cursor movement command to move the cursor to the new location in step 1212. コマンドがデータ送信元のユーザより発信された共有ウィンドウ制御開始コマンドであれば、ステップ1214で新規にカーソルを描画する。 If the command is shared window control start command originating from the user data source, it draws the cursor to a new in step 1214. ステップ1212および1214に引き続き、カーソル制御元のユーザを明示するために、 Continuing to step 1212 and 1214, in order to clearly show cursor control source user,
ステップ1215で、カーソル位置とカーソル制御元のユーザの肖像とを実線で結んで表示する。 In step 1215, displays by connecting the portrait of the cursor position and cursor control source user a solid line.

【0046】更に、図7に関連して説明したようなインターフェースを実現する場合には、ステップ1216でカーソル制御者強調処理を行う。 [0046] Further, when realizing an interface, such as described in connection with FIG. 7 performs a cursor control's enhancement processing in step 1216. 即ち、ここではカーソル位置に応じて、カーソル制御元ユーザの肖像の腕の振り上げ角度を計算し、CG処理により、肖像の画像を更新する処理を行う。 That is, here in accordance with the cursor position, calculates the swing-up angle of the portrait of the arm of the cursor control source user, by CG processing, performs processing for updating the image of the portrait. コマンドが共有ウィンドウ制御終了コマンドであれば、ステップ1218でデータ発信元ユーザの制御下にあったカーソルを消去する。 If the command is shared window control end command to erase the cursor was under the control of the data source the user at step 1218. 上記以外のコマンドであれば、ステップ1219でそれを実行する。 If a command other than the above, executes it in step 1219.

【0047】 [0047]

【発明の効果】本発明によれば、実際の会議に近い自然な対話環境を実現するにあたり、参加者の表情などを動画像として常時には送受信する必要がないので、端末の設置コストが安価であり、かつ低速で安価な通信回線を用いて実現可能な遠隔会議システムが提供される。 According to the present invention, when to achieve a natural interactive environment close to the actual meeting, because all the time there is no need to send and receive, such as facial expressions of the participants as a moving image, the installation cost of the terminal is less expensive There, and teleconference system that can be realized by using an inexpensive communication line at low speed is provided.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の遠隔会議用端末装置のブロック図。 1 is a block diagram of a remote conference terminal device of the present invention.

【図2】本発明の遠隔会議用端末装置を用いて遠隔会議を実行中の、画面表示の一例の説明図。 [2] using a teleconference terminal device of the present invention running teleconferencing, an exemplary illustration of a screen display.

【図3】本発明の遠隔会議用端末装置を用いて遠隔会議を実行中の、画面表示の第二の例の説明図。 [3] using a teleconference terminal device of the present invention running teleconferencing, illustration of a second example of the screen display.

【図4】ユーザの肖像の説明図。 FIG. 4 is an explanatory diagram of a portrait of the user.

【図5】会議参加者の説明図。 FIG. 5 is an explanatory diagram of a conference participant.

【図6】通信端末装置を、マイクロプロセッサを用いて構成した場合のブロック図。 [6] The communication terminal apparatus, a block diagram of a case constituted by using a microprocessor.

【図7】CPU612が実行する制御プログラムのフローチャート。 FIG. 7 is a flowchart of a control program CPU612 executes.

【図8】音声入力割り込みルーチンの内容を示すフローチャート。 8 is a flowchart showing the contents of a speech input interrupt routine.

【図9】ステップ802で生成されるデータパケット9 [9] Data packets 9 that is generated in step 802
00の形式を示す説明図。 Explanatory view showing a 00 format.

【図10】マウス割り込みルーチンの内容を示すフローチャート。 10 is a flowchart showing the contents of the mouse interrupt routine.

【図11】キーボード入力割り込みルーチンの処理内容の説明図。 FIG. 11 is an explanatory diagram of the processing contents of the keyboard input interrupt routine.

【図12】データ受信割り込みルーチンの内容を示すフローチャート。 12 is a flowchart showing the contents of the data receive interrupt routine.

【符号の説明】 DESCRIPTION OF SYMBOLS

104…入力装置、106…出力装置。 104 ... input device, 106 ... output device.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 6識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/15 ────────────────────────────────────────────────── ─── front page continued (51) Int.Cl. 6 in identification symbol Agency Docket No. FI art display portion H04N 7/15

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】複数の端末装置が通信回線により接続され、上記端末装置のそれぞれが表示画面と、上記表示画面上の位置を指示するためのポインティング手段と、データおよびコマンドの入力手段と、上記画面内に他端末からも制御可能な共有ウィンドウを有し、上記各端末装置の利用者は、コマンドを投入することにより、上記共有ウィンドウの操作権を取得および放棄することができ、上記共有ウィンドウの操作権取得中は、この利用者が上記ポインティング手段または上記入力手段を用いて行った上記共有ウィンドウの操作手続きを自端末上で実行し、上記共有ウィンドウの操作手続きをパケットデータとして他の端末にも送信し、他の端末上では、受信した上記パケットデータから上記共有ウィンドウの操作手続きを復元して実行し 1. A plurality of terminal devices are connected by a communication line, respectively and a display screen of the terminal device, and a pointing device for indicating a position on the display screen, an input means of the data and commands, the from other terminals in the screen have a controllable shared window, the user of each terminal device, by placing the command, it is possible to obtain and relinquish the operation right of the shared window, the shared window during operation right acquisition, the user operation procedure of the shared window was performed using the pointing device or the input means and executed on the own terminal, the other terminal operations procedure of the shared window as a packet data also transmitted, on other devices, run from the received packet data to restore the operating procedure of the shared window 、上記パケットデータの送信側端末の共有ウィンドウの状態を他の端末の上記共有ウィンドウにも再現することにより、上記共有ウィンドウ上の情報を介して端末利用者間の意志の疎通を図ることを特徴とする遠隔会議の方法。 , Characterized in that achieved by reproducing in the shared window of the shared window state of the other terminal of the transmitting terminal of the packet data, the communication of intention between terminal user via the information on the shared window the method of remote conference to be.
  2. 【請求項2】請求項1において、上記端末装置の利用者が、上記共有ウィンドウの操作権を取得している間は、 2. The method of claim 1, while the user of the terminal device, and obtains the operation right of the shared window,
    自端末だけでなく他の端末の表示画面上にも、上記ポインティング手段が指示する画面上の位置にカーソルが表示され、共有ウィンドウ操作権を放棄した場合には、上記カーソルが自端末の表示画面上にのみ表示される遠隔会議の方法。 To its own terminal just not other terminals of the display screen, the pointing means to display the cursor position on the screen indicated shared window when abandoned operation right, the cursor display screen of the terminal the method of remote meetings that are displayed only in the upper.
  3. 【請求項3】請求項1において、上記各端末装置が音声の入出力手段を有し、上記通信回線を介して、上記パケットデータと上記音声とが並列的に送受信される遠隔会議の方法。 3. The method of claim 1, comprising input and output means of each terminal device voice, via the communication line, the method of teleconferencing and the packet data and the audio are parallel transmission and reception.
  4. 【請求項4】請求項3において、上記各端末装置がタイマを有し、端末より音声が送信される度に上記タイマの値がリセットされ、上記タイマの値が所定の値以上になった場合には、上記共有ウィンドウ制御権が取得できなくなる遠隔会議の方法。 4. The method of claim 3, each terminal device has a timer, the value of the timer is reset each time the speech is transmitted from the terminal, if the value of the timer exceeds a predetermined value the method of teleconferencing the shared window control authority can not be acquired.
  5. 【請求項5】請求項2において、上記各端末装置の利用者の肖像画が上記共有ウィンドウの周囲に配置されて会議の構成図を形成し、ある利用者が共有ウィンドウ操作権を取得している場合には、各端末装置の表示画面上で、この利用者が制御しているカーソル位置とこの利用者の肖像画とが幾何学的に連結していることが明らかな表示を描画することにより、カーソルとその制御者の対応を明示する遠隔会議の方法。 5. The method of claim 2, the user of the portrait of the each terminal device to form the block diagram of the conference is placed around the shared window, and certain user obtains a shared window operation right in this case, on the display screen of each terminal apparatus, by a cursor position where the user has control of the portrait of the user that are geometrically connected to draw a clear display, the method of demonstrating remote meeting the correspondence of the cursor and its control person.
  6. 【請求項6】請求項3において、上記各通信端末の利用者の肖像画が上記共有ウィンドウの周囲に配置されて会議の構成図を形成し、ある利用者が音声を送信中の場合、または、上記共有ウィンドウを制御中の場合には、 6. The method of claim 3, the user of the portraits of the respective communication terminals to form a block diagram of a conference is arranged around the shared window, if certain user is transmitting voice, or, in the case of in control of the shared window,
    この利用者の入力に応じて、この利用者の肖像画の全部もしくは一部を、各端末側でコンピュータグラフィックス処理により変形処理して表示することにより、他の利用者に対して、この利用者が入力動作を行っていることを疑似的に表現する遠隔会議の方法。 In response to the input of the user, all or part of the portrait of the user, by displaying to deformation processing by the computer graphics processing in each terminal, to other users, the user the method of remote conference that pseudo representation that There has been carried out the input operation.
JP6304573A 1994-12-08 1994-12-08 Remote conference method Pending JPH08163122A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6304573A JPH08163122A (en) 1994-12-08 1994-12-08 Remote conference method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6304573A JPH08163122A (en) 1994-12-08 1994-12-08 Remote conference method

Publications (1)

Publication Number Publication Date
JPH08163122A true JPH08163122A (en) 1996-06-21

Family

ID=17934623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6304573A Pending JPH08163122A (en) 1994-12-08 1994-12-08 Remote conference method

Country Status (1)

Country Link
JP (1) JPH08163122A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219728A (en) * 2009-03-16 2010-09-30 Brother Ind Ltd Display control unit, method of controlling and processing display, and control program
US9001486B2 (en) 2005-03-01 2015-04-07 X2Y Attenuators, Llc Internally overlapped conditioners
US9019679B2 (en) 1997-04-08 2015-04-28 X2Y Attenuators, Llc Arrangement for energy conditioning
US9036319B2 (en) 1997-04-08 2015-05-19 X2Y Attenuators, Llc Arrangement for energy conditioning
US9054094B2 (en) 1997-04-08 2015-06-09 X2Y Attenuators, Llc Energy conditioning circuit arrangement for integrated circuit

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019679B2 (en) 1997-04-08 2015-04-28 X2Y Attenuators, Llc Arrangement for energy conditioning
US9036319B2 (en) 1997-04-08 2015-05-19 X2Y Attenuators, Llc Arrangement for energy conditioning
US9054094B2 (en) 1997-04-08 2015-06-09 X2Y Attenuators, Llc Energy conditioning circuit arrangement for integrated circuit
US9373592B2 (en) 1997-04-08 2016-06-21 X2Y Attenuators, Llc Arrangement for energy conditioning
US9001486B2 (en) 2005-03-01 2015-04-07 X2Y Attenuators, Llc Internally overlapped conditioners
JP2010219728A (en) * 2009-03-16 2010-09-30 Brother Ind Ltd Display control unit, method of controlling and processing display, and control program

Similar Documents

Publication Publication Date Title
CN101874404B (en) Enhanced interface for voice and video communications
US5909482A (en) Relay for personal interpreter
AU2004248274B2 (en) Intelligent collaborative media
AU767960B2 (en) System and method for conducting an auction over a communications network
JP3735890B2 (en) Line terminal device and an image display method
JP3784289B2 (en) Media editing method and apparatus
RU2334371C2 (en) System and method for multiplex transmission via media information network using limited connection resources and stored knowledge/experience of called or calling party
CN100393073C (en) System and method for internet audio browsing using standard telephone
US5432525A (en) Multimedia telemeeting terminal device, terminal device system and manipulation method thereof
US7555104B2 (en) Relay for personal interpreter
US20030220971A1 (en) Method and apparatus for video conferencing with audio redirection within a 360 degree view
US7542068B2 (en) Method and system for controlling multimedia video communication
CN101690071B (en) Methods and terminals that control avatars during videoconferencing and other communications
US7039676B1 (en) Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
CN1253807C (en) Improved network transmitting content data based on user's prescribed characteristics
US5502727A (en) Image and audio communication system having graphical annotation capability
US20040001065A1 (en) Electronic conference program
US6069622A (en) Method and system for generating comic panels
EP0694187B1 (en) System for computer supported collaboration
US7065711B2 (en) Information processing device and method, and recording medium
US6330022B1 (en) Digital processing apparatus and method to support video conferencing in variable contexts
CN100433828C (en) Information-processing apparatus, information-processing methods, recording mediums, and programs
RU2144283C1 (en) Method and device for controlling access of participants into conference call system
US20090009588A1 (en) Recognition of human gestures by a mobile phone
CN1269012C (en) Rich communication over internet