JP6680031B2

JP6680031B2 - Conference apparatus, transmission method, and computer program

Info

Publication number: JP6680031B2
Application number: JP2016061127A
Authority: JP
Inventors: 英明副島; 一美澤柳; 陽介谷口; 俊彦大竹
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2016-03-25
Filing date: 2016-03-25
Publication date: 2020-04-15
Anticipated expiration: 2036-03-25
Also published as: JP2017175490A

Description

本発明は、テレビ会議の画像または音声を提供の技術に関する。 The present invention relates to a technique for providing video or image of a video conference.

従来、互いに離れた複数の拠点、例えば複数の会議室の間での会議を実現する手段として、テレビ会議システムが知られている。このシステムによって、会議の参加者は、同じ会議室にいなくとも顔を見ながら会議ができる。 BACKGROUND ART Conventionally, a video conference system is known as a means for realizing a conference between a plurality of bases separated from each other, for example, a plurality of conference rooms. This system allows participants in a meeting to look at each other even if they are not in the same meeting room.

例えば、テレビ会議の技術として、次のような技術が知られている。特許文献１に記載の通信システムによると、通信装置部と、通信装置部が提供するサービスなどを受信する第１、第２の端末装置とを有し、通信装置部は、第１の端末からの要求により、通信の接続を第１の端末から第２の端末に変更する。 For example, the following techniques are known as techniques for video conferencing. According to the communication system described in Patent Document 1, the communication device unit includes first and second terminal devices that receive a service provided by the communication device unit, and the communication device unit is provided from the first terminal. Request to change the communication connection from the first terminal to the second terminal.

特許文献２に記載の通信システムによると、会議参加端末が会議に参加するための情報を持っていない場合において、その端末が会議に参加できるようにするために、多地点会議制御装置に接続するための情報を、プレゼンスサーバ装置からその端末へ送信する。 According to the communication system described in Patent Document 2, when a conference participating terminal does not have information for participating in the conference, the terminal is connected to the multipoint conference control device in order to enable the terminal to participate in the conference. Information for sending is transmitted from the presence server device to the terminal.

特開２００５−２６０３４８号公報JP, 2005-260348, A 特開２００６−３４５３６１号公報JP 2006-345361 A

会議室に集合した複数の参加者と他の会議室に集合した複数の参加者とが、テレビ会議をすることがある。 A plurality of participants gathered in a conference room and a plurality of participants gathered in another conference room may make a video conference.

参加者は、突発的な事情などで会議室を退出すると、会議の状況を知ることができなくなる。 Participants cannot know the status of the meeting when they leave the meeting room due to sudden circumstances.

特許文献１に記載の通信システムは、会議室にいる参加者および退出した参加者の両方へ他の会議室の様子を提供することができない。 The communication system described in Patent Document 1 cannot provide the state of another conference room to both the participant in the conference room and the participant who has left.

特許文献２に記載の通信システムは、参加者が個人用の移動可能な端末を用いて参加する会議を前提としている。つまり、複数の参加者が会議室に集合するテレビ会議を想定していない。また、会議制御装置に接続するための情報を端末が受信するには、その端末を会議に参加する端末として、事前に別途登録しておく必要がある。突発的な事情に備えるためだけに、すべての参加者に端末を所持させ、かつ、すべての端末を会議に参加するための端末として登録することは、効率的ではない。 The communication system described in Patent Document 2 is premised on a conference in which participants participate by using personal movable terminals. That is, a video conference in which a plurality of participants gather in a conference room is not assumed. Further, in order for the terminal to receive information for connecting to the conference control device, the terminal needs to be separately registered in advance as a terminal that participates in the conference. It is not efficient to make all participants possess terminals and to register all terminals as terminals for participating in a conference just to prepare for a sudden situation.

本発明は、このような問題点に鑑み、会議の途中で退出した参加者へ従来よりも効率的に会議の状況の情報を与えることを、目的とする。 In view of such problems, an object of the present invention is to provide a participant who leaves during a conference with information on the situation of the conference more efficiently than before.

本発明の一実施形態に係る会議用装置は、複数の参加者が所定の場所に集まって行われる会議において用いられる会議用装置であって、前記複数の参加者のうちの、前記所定の場所から退出しようとしているまたは退出した参加者である退出者を検知する、退出者検知手段と、前記退出者検知手段によって前記退出者が検知された後、さらに、当該退出者が端末装置を当該退出者の耳に当てる行動が検知された場合に、当該端末装置へ前記会議の画像または音声を送信する、送信手段と、を有する。
A conference device according to an embodiment of the present invention is a conference device used in a conference in which a plurality of participants gather at a predetermined place, and the predetermined place among the plurality of participants. After the exiter is detected by the exiter detection means and the exiter detection means for detecting an exiter who is a participant who is about to leave or has exited from the terminal device, the exiter further exits the terminal device. If the action against the person's ear is detected, the transmitting the image or audio conferencing to this terminal device, and a transmission unit.

本発明によると、会議の途中で退出した参加者へ従来よりも効率的に会議の状況の情報を与えることができる。 According to the present invention, it is possible to more efficiently give the information on the status of a conference to the participants who have left during the conference.

テレビ会議システムの全体的な構成の例を示す図である。It is a figure which shows the example of the whole structure of a video conference system. 拠点装置のハードウェア構成の例を示す図である。It is a figure which shows the example of the hardware constitutions of a base apparatus. 携帯端末のハードウェア構成の例を示す図である。It is a figure which shows the example of a hardware constitutions of a portable terminal. 拠点装置の機能的構成の第１の例を示す図である。It is a figure which shows the 1st example of a functional structure of a base apparatus. 携帯端末の機能的構成の第１の例を示す図である。It is a figure which shows the 1st example of a functional structure of a portable terminal. 拠点装置におけるテレビ会議の処理の流れの第１の例を示すフローチャートである。It is a flowchart which shows the 1st example of the flow of the process of the video conference in a base apparatus. 拠点間通信処理の流れの例を示す図である。It is a figure which shows the example of the flow of communication processing between bases. 携帯端末におけるテレビ会議の処理の流れの第１の例を示すフローチャートである。It is a flowchart which shows the 1st example of the flow of the process of the video conference in a portable terminal. 周辺機器対応処理の流れの例を示す図である。It is a figure which shows the example of the flow of a peripheral device corresponding process. 表示機器の表示面およびタッチパネルディスプレイに表示される映像の例である。It is an example of an image displayed on a display surface of a display device and a touch panel display. 拠点装置の機能的構成の第２の例を示す図である。It is a figure which shows the 2nd example of a functional structure of a base apparatus. 携帯端末の機能的構成の第２の例を示す図である。It is a figure which shows the 2nd example of a functional structure of a portable terminal. 拠点装置におけるテレビ会議の処理の流れの第２の例を示すフローチャートである。It is a flowchart which shows the 2nd example of the flow of the process of the video conference in a base apparatus. 携帯端末におけるテレビ会議の処理の流れの第２の例を示すフローチャートである。It is a flowchart which shows the 2nd example of the flow of the process of the video conference in a portable terminal. 拠点装置の機能的構成の第３の例を示す図である。It is a figure showing the 3rd example of functional composition of a base unit. 拠点装置におけるテレビ会議の処理の第３の流れの例を示すフローチャートである。It is a flowchart which shows the example of the 3rd flow of the process of the video conference in a base apparatus. 退出者特定処理の流れの例を示す図である。It is a figure which shows the example of the flow of a leaving person identification process.

図１は、テレビ会議システム１００の全体的な構成の例を示す図である。図２は、拠点装置１のハードウェア構成の例を示す図である。図３は、携帯端末２のハードウェア構成の例を示す図である。 FIG. 1 is a diagram showing an example of the overall configuration of a video conference system 100. FIG. 2 is a diagram illustrating an example of the hardware configuration of the base device 1. FIG. 3 is a diagram illustrating an example of the hardware configuration of the mobile terminal 2.

テレビ会議システム１００は、図１に示すように、複数の拠点装置１、１または複数の携帯端末２、および通信回線４などによって構成されている。 As shown in FIG. 1, the video conference system 100 includes a plurality of base devices 1, one or a plurality of mobile terminals 2, a communication line 4, and the like.

各拠点装置１および各携帯端末２は、通信回線４を介して通信することができる。通信回線４として、ＬＡＮ（Local Area Network）、インターネット、公衆回線、または専用回線などが用いられる。 Each base device 1 and each mobile terminal 2 can communicate via a communication line 4. As the communication line 4, a LAN (Local Area Network), the Internet, a public line, a dedicated line, or the like is used.

このテレビ会議システム１００によると、複数の拠点の間でのテレビ会議を実現することができる。 According to this video conference system 100, it is possible to realize a video conference between a plurality of bases.

さらに、このテレビ会議システム１００によると、会議の参加者は、テレビ会議が行われている途中に会議室から退出しても、テレビ会議に継続して参加することができる。 Furthermore, according to the video conference system 100, the participants of the conference can continue to participate in the video conference even if they leave the conference room during the video conference.

各拠点の会議室には、拠点装置１が１台ずつ設置されている。拠点装置１は、他の会議室に設置されている拠点装置１と通信を行い、複数の拠点の間で行われるテレビ会議を実現する。以下、第１の拠点の会議室に設置されている拠点装置１を拠点装置１Ａとして記載し、第２の拠点の会議室に設置されている拠点装置１を拠点装置１Ｂとして記載する。 One base device 1 is installed in the conference room of each base. The base device 1 communicates with the base device 1 installed in another conference room to realize a video conference held between a plurality of bases. Hereinafter, the base device 1 installed in the conference room of the first base is described as a base device 1A, and the base device 1 installed in the conference room of the second base is described as a base device 1B.

拠点装置１として、デスクトップ型パーソナルコンピュータまたはノート型パーソナルコンピュータなどが用いられる。以下、拠点装置１として、デスクトップ型コンピュータが用いられる場合を例に説明する。 A desktop personal computer, a notebook personal computer, or the like is used as the base device 1. Hereinafter, a case where a desktop computer is used as the base device 1 will be described as an example.

拠点装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、補助記憶装置１０ｄ、ＮＩＣ（Network Interface Card）１０ｅ、ＮＦＣ（Near Field Communication）ユニット１０ｆ、映像入出力インタフェース１０ｇ、音声入出力インタフェース１０ｈ、および操作入力インタフェース１０ｉなどによって構成される。 As shown in FIG. 2, the base device 1 includes a CPU (Central Processing Unit) 10a, a RAM (Random Access Memory) 10b, a ROM (Read Only Memory) 10c, an auxiliary storage device 10d, a NIC (Network Interface Card) 10e, and an NFC. (Near Field Communication) unit 10f, video input / output interface 10g, audio input / output interface 10h, operation input interface 10i, and the like.

ＮＩＣ１０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで他の装置との通信を行う。 The NIC 10e communicates with other devices using a protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).

ＮＦＣユニット１０ｆは、他の装置またはＩＣ（Integrated Circuit）カードなどとの近距離無線通信を実行する。 The NFC unit 10f executes short-range wireless communication with another device or an IC (Integrated Circuit) card.

映像入出力インタフェース１０ｇは、ディスプレイまたはプロジェクタなどの表示機器１２、およびデジタルビデオカメラなどの撮影機器１３と接続され、表示機器１２へ映像の信号を出力し、撮影機器１３から映像の信号を入力するための回路である。映像入出力インタフェース１０ｇとして、ＨＤＭＩ（High-Definition Multimedia Interface）、ＤＶＩ（Digital Visual Interface）またはＵＳＢ（Universal Serial Bus）などの規格の回路が使用される。ＨＤＭＩは、登録商標である。 The video input / output interface 10g is connected to a display device 12 such as a display or a projector and a photographing device 13 such as a digital video camera, outputs a video signal to the display device 12, and inputs a video signal from the photographing device 13. It is a circuit for. As the video input / output interface 10g, a circuit of a standard such as HDMI (High-Definition Multimedia Interface), DVI (Digital Visual Interface) or USB (Universal Serial Bus) is used. HDMI is a registered trademark.

音声入出力インタフェース１０ｈは、スピーカなどの音声出力機器１４およびマイクなどの集音器１５と接続され、音声出力機器１４から音声の信号を出力し、集音器１５から音声の信号を入力するためのサウンドボードである。 The voice input / output interface 10h is connected to a voice output device 14 such as a speaker and a sound collector 15 such as a microphone, and outputs a voice signal from the voice output device 14 and inputs a voice signal from the sound collector 15. Sound board.

操作入力インタフェース１０ｉは、キーボード、マウスまたはスキャナなどの入力機器１６と接続され、入力機器１６から操作の信号を入力するための回路である。操作入力インタフェース１０ｉとして、ＵＳＢ（Universal Serial Bus）などの規格の回路が使用される。 The operation input interface 10i is a circuit that is connected to an input device 16 such as a keyboard, a mouse, or a scanner, and that inputs an operation signal from the input device 16. A standard circuit such as a USB (Universal Serial Bus) is used as the operation input interface 10i.

ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、テレビ会議に使用するための資料データが記憶されている。資料データとして、テキストデータまたはＰＤＦ（Portable Document Format）データなどが用いられる。さらに、ＩＰ電話用のプログラム、会議管理プログラム１１Ｐ（図４参照）、会議管理プログラム１２Ｐ（図１１参照）、および会議管理プログラム１３Ｐ（図１５参照）が記憶されている。会議管理プログラム１１Ｐないし１３Ｐについては、後に説明する。 The ROM 10c or the auxiliary storage device 10d stores material data for use in a video conference. Text data, PDF (Portable Document Format) data, or the like is used as the material data. Further, an IP telephone program, a conference management program 11P (see FIG. 4), a conference management program 12P (see FIG. 11), and a conference management program 13P (see FIG. 15) are stored. The conference management programs 11P to 13P will be described later.

これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。補助記憶装置１０ｄとして、ハードディスクドライブまたはＳＳＤ（Solid State Drive）などが用いられる。 These programs are loaded into the RAM 10b as needed and are executed by the CPU 10a. A hard disk drive, SSD (Solid State Drive), or the like is used as the auxiliary storage device 10d.

図１に戻り、携帯端末２は、複数の拠点装置１の間で送受信されている情報を受信する。携帯端末２として、スマートフォンまたはタブレットコンピュータなどが用いられる。以下、携帯端末２として、スマートフォンが用いられる場合を例に説明する。 Returning to FIG. 1, the mobile terminal 2 receives the information transmitted and received among the plurality of base devices 1. A smartphone, a tablet computer, or the like is used as the mobile terminal 2. Hereinafter, a case where a smartphone is used as the mobile terminal 2 will be described as an example.

携帯端末２は、図３に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、フラッシュメモリ２０ｄ、タッチパネルディスプレイ２０ｅ、無線ＬＡＮユニット２０ｆ、ＮＦＣユニット２０ｇ、携帯電話通信装置２０ｈ、加速度センサ２０ｉ、および音声入出力インタフェース２０ｊなどによって構成される。 As shown in FIG. 3, the mobile terminal 2 includes a CPU 20a, a RAM 20b, a ROM 20c, a flash memory 20d, a touch panel display 20e, a wireless LAN unit 20f, an NFC unit 20g, a mobile phone communication device 20h, an acceleration sensor 20i, and a voice input / output interface. 20j and the like.

タッチパネルディスプレイ２０ｅは、種々の画面を表示し、タッチされた位置を検知してＣＰＵ２０ａにその位置を通知する。 The touch panel display 20e displays various screens, detects a touched position, and notifies the CPU 20a of the position.

無線ＬＡＮユニット２０ｆは、無線ＬＡＮの規格、すなわち、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１の規格に基づいて通信を行う。 The wireless LAN unit 20f performs communication based on the wireless LAN standard, that is, the IEEE (Institute of Electrical and Electronics Engineers) 802.11 standard.

携帯電話通信装置２０ｈは、ＣＤＭＡ（Code Division Multiple Access）２０００、Ｗ−ＣＤＭＡ（Wideband-CDMA）、またはＬＴＥ（Long Term Evolution）などの規格に基づいて、いわゆる携帯電話網を介して通信を行う。 The mobile phone communication device 20h communicates via a so-called mobile phone network based on standards such as CDMA (Code Division Multiple Access) 2000, W-CDMA (Wideband-CDMA), and LTE (Long Term Evolution).

加速度センサ２０ｉは、Ｘ軸、Ｙ軸、およびＺ軸それぞれの加速度を測定する。測定された加速度によって、携帯端末２の傾きまたは動きなどが検出される。 The acceleration sensor 20i measures the X-axis, Y-axis, and Z-axis accelerations. The tilt or movement of the mobile terminal 2 is detected based on the measured acceleration.

音声入出力インタフェース２０ｊは、イヤホンなどの音声出力機器２１、およびマイクなどの集音器２２と接続され、音声出力機器２１から音声の信号を出力し、集音器２２から音声の信号を入力するための回路である。音声入出力インタフェース２０ｊとして、ＣＴＩＡ（Cellular Telephone Industry Association）などの規格の回路が使用される。 The voice input / output interface 20j is connected to a voice output device 21 such as an earphone and a sound collector 22 such as a microphone, outputs a voice signal from the voice output device 21, and inputs a voice signal from the sound collector 22. It is a circuit for. A circuit of a standard such as CTIA (Cellular Telephone Industry Association) is used as the voice input / output interface 20j.

ＲＯＭ２０ｃまたはフラッシュメモリ２０ｄには、ＩＰ電話用のプログラムのほか、会議参加プログラム２１Ｐ（図５参照）および会議参加プログラム２２Ｐ（図１２参照）が記憶されている。会議参加プログラム２１Ｐおよび会議参加プログラム２２Ｐについては、後に説明する。 The ROM 20c or the flash memory 20d stores a conference participation program 21P (see FIG. 5) and a conference participation program 22P (see FIG. 12) in addition to the IP telephone program. The conference participation program 21P and the conference participation program 22P will be described later.

これらのプログラムは、必要に応じてＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。 These programs are loaded into the RAM 20b as needed and are executed by the CPU 20a.

〔テレビ会議の処理の第１の例〕
図４は、拠点装置１Ａの機能的構成の第１の例を示す図である。図５は、携帯端末２の機能的構成の第１の例を示す図である。図６は、拠点装置１Ａにおけるテレビ会議の処理の流れの第１の例を示すフローチャートである。図７は、拠点間通信処理の流れの例を示す図である。図８は、携帯端末２におけるテレビ会議の処理の流れの第１の例を示すフローチャートである。図９は、周辺機器対応処理の流れの例を示す図である。図１０は、表示機器１２の表示面およびタッチパネルディスプレイ２０ｅに表示される映像の例である。 [First example of processing of video conference]
FIG. 4 is a diagram illustrating a first example of the functional configuration of the base device 1A. FIG. 5 is a diagram showing a first example of the functional configuration of the mobile terminal 2. FIG. 6 is a flowchart showing a first example of a flow of processing of a video conference in the base device 1A. FIG. 7 is a diagram illustrating an example of the flow of inter-base communication processing. FIG. 8 is a flowchart showing a first example of the flow of processing of a video conference in the mobile terminal 2. FIG. 9 is a diagram illustrating an example of the flow of peripheral device support processing. FIG. 10 is an example of an image displayed on the display surface of the display device 12 and the touch panel display 20e.

会議管理プログラム１１Ｐによると、図４に示すセッション管理部１０１、会議データ生成部１０２、拠点用データ送信部１０３、拠点用データ受信部１０４、コンテンツ拠点出力処理部１０５、文字変換部１０６、範囲設定部１０７、端末用データ送信部１０８、および端末用データ受信部１０９の機能が、拠点装置１Ａに実現される。 According to the conference management program 11P, the session management unit 101, the conference data generation unit 102, the site data transmission unit 103, the site data reception unit 104, the content site output processing unit 105, the character conversion unit 106, and the range setting shown in FIG. The functions of the unit 107, the terminal data transmission unit 108, and the terminal data reception unit 109 are realized in the base device 1A.

会議参加プログラム２１Ｐによると、図５に示す端末情報送信部２０１、端末情報記憶部２０２、セッション管理部２０３、会議データ受信部２０４、コンテンツ端末出力処理部２０５、発言データ生成部２０６、および発言データ送信部２０７の機能が、携帯端末２に実現される。 According to the conference participation program 21P, the terminal information transmission unit 201, the terminal information storage unit 202, the session management unit 203, the conference data reception unit 204, the content terminal output processing unit 205, the statement data generation unit 206, and the statement data shown in FIG. The function of the transmission unit 207 is realized in the mobile terminal 2.

拠点装置１のセッション管理部１０１ないし端末用データ受信部１０９、および携帯端末２の端末情報送信部２０１ないし発言データ送信部２０７が、図６ないし図９の手順に従って処理を行うことにより、複数の拠点の間でのテレビ会議が実現される。さらに、参加者は、テレビ会議が行われている途中で退出した場合であっても、発言したりテレビ会議の状況を視聴したりすることができる。 The session management unit 101 to the terminal data reception unit 109 of the base apparatus 1 and the terminal information transmission unit 201 to the utterance data transmission unit 207 of the mobile terminal 2 perform processing in accordance with the procedure of FIGS. Video conference between bases will be realized. Furthermore, the participant can speak and watch the status of the video conference even if he / she exits during the video conference.

第１の拠点の会議室にいる参加者は、拠点装置１Ａと拠点装置１Ｂとの間におけるテレビ会議のセッションを確立させるための操作を拠点装置１Ａに対して行う。 A participant in the conference room of the first base performs an operation on the base device 1A for establishing a video conference session between the base devices 1A and 1B.

すると、拠点装置１Ａにおいて、セッション管理部１０１は、セッションの確立を拠点装置１Ｂに要求し、拠点装置１Ｂの許可を受けて、拠点装置１Ｂとの間のセッションを確立する（図６の＃６０１）。 Then, in the base device 1A, the session management unit 101 requests the base device 1B to establish a session, and with the permission of the base device 1B, establishes a session with the base device 1B (# 601 in FIG. 6). ).

拠点装置１Ａおよび拠点装置１Ｂは、会議の状況を表す映像のデータ、音声のデータ、および必要な資料データの送受信を、以下のような手順で行う（＃６０２）。 The base device 1A and the base device 1B perform transmission / reception of video data, audio data, and necessary material data representing the status of the conference in the following procedure (# 602).

拠点装置１Ａにおいて、会議データ生成部１０２は、撮影機器１３から随時取得される映像のデータを圧縮することによって圧縮映像データ６１に変換し、集音器１５から随時取得される音声のデータを圧縮することによって圧縮音声データ６３に変換する（図７の＃６３１）。 In the base device 1A, the conference data generation unit 102 converts the video data that is acquired from the imaging device 13 at any time into compressed video data 61, and compresses the audio data that is acquired from the sound collector 15 at any time. By doing so, it is converted into the compressed audio data 63 (# 631 in FIG. 7).

拠点用データ送信部１０３は、圧縮映像データ６１および圧縮音声データ６３を、拠点装置１Ｂへ随時送信する（＃６３２）。これにより、第１の拠点の会議室の状況が拠点装置１Ｂへ伝えられる。 The base data transmission unit 103 transmits the compressed video data 61 and the compressed audio data 63 to the base device 1B as needed (# 632). As a result, the status of the conference room at the first base is transmitted to the base device 1B.

なお、拠点装置１Ｂにおいても同様に、会議データ生成部１０２によってデータが生成され、生成されたデータが拠点用データ送信部１０３によって拠点装置１Ａへ送信される。拠点装置１Ａにおいて生成されたデータと区別するために、拠点装置１Ｂにおいて生成された圧縮映像データおよび圧縮音声データをそれぞれ「圧縮映像データ６２」および「圧縮音声データ６４」と記載する。 Similarly, in the base device 1B, data is generated by the conference data generation unit 102, and the generated data is transmitted to the base device 1A by the base data transmission unit 103. In order to distinguish from the data generated in the base device 1A, the compressed video data and the compressed audio data generated in the base device 1B are described as "compressed video data 62" and "compressed audio data 64", respectively.

拠点用データ受信部１０４は、拠点装置１Ｂから圧縮映像データ６２および圧縮音声データ６４を随時受信する（＃６３３）。 The base data receiving unit 104 receives the compressed video data 62 and the compressed audio data 64 from the base device 1B at any time (# 633).

コンテンツ拠点出力処理部１０５は、圧縮映像データ６２および圧縮音声データ６４を復号し、復号した圧縮映像データ６２を映像のデータとして表示機器１２へ出力し、復号した圧縮音声データ６４を音声のデータとして音声出力機器１４へ出力する（＃６３４）。そして、これらのデータに基づいて、映像が表示機器１２によって表示され、音声が音声出力機器１４によって再生される。 The content base output processing unit 105 decodes the compressed video data 62 and the compressed audio data 64, outputs the decoded compressed video data 62 as video data to the display device 12, and the decoded compressed audio data 64 as audio data. It is output to the audio output device 14 (# 634). Then, based on these data, the video is displayed by the display device 12 and the sound is reproduced by the audio output device 14.

ところで、参加者は、会議中に会議室から退出しなければならない場合がある。この場合は、参加者（以下、「退出者」と記載する。）が、自分の携帯端末２を拠点装置１ＡのＮＦＣユニット１０ｆにかざす。 By the way, the participant may have to leave the conference room during the conference. In this case, a participant (hereinafter, referred to as “exiter”) holds his / her mobile terminal 2 over the NFC unit 10f of the base apparatus 1A.

すると、携帯端末２において、端末情報送信部２０１は、端末情報記憶部２０２から端末情報６Ａを読み出し、ＮＦＣによって拠点装置１Ａへ送信する（図８の＃６５１）。 Then, in the mobile terminal 2, the terminal information transmission unit 201 reads the terminal information 6A from the terminal information storage unit 202 and transmits it to the base device 1A by NFC (# 651 in FIG. 8).

端末情報６Ａは、接続情報６Ａ１および仕様情報６Ａ２を含む情報である。接続情報６Ａ１は、携帯端末２自身のユーザアカウントに関する情報である。以下、ユーザアカウントとして、Ｓｋｙｐｅ（登録商標）などのＩＰ電話のサービスのユーザアカウントが使用される場合を例に説明する。よって、接続情報６Ａ１には、ユーザアカウントのユーザＩＤが示される。 The terminal information 6A is information including the connection information 6A1 and the specification information 6A2. The connection information 6A1 is information regarding the user account of the mobile terminal 2 itself. Hereinafter, a case where a user account of an IP telephone service such as Skype (registered trademark) is used as the user account will be described as an example. Therefore, the connection information 6A1 shows the user ID of the user account.

仕様情報６Ａ２には、携帯端末２の周辺機器の接続の状況を示す情報が含まれる。例えば、携帯端末２がイヤホンなどの音声出力機器２１を接続しているか否か、またはマイクなどの集音器２２を接続しているか否か、などを示す情報である。また、携帯端末２のタッチパネルディスプレイ２０ｅのサイズなどを示す情報も含まれる。 The specification information 6A2 includes information indicating the connection status of the peripheral device of the mobile terminal 2. For example, it is information indicating whether or not the mobile terminal 2 is connected to a voice output device 21 such as an earphone, or whether a sound collector 22 such as a microphone is connected. It also includes information indicating the size of the touch panel display 20e of the mobile terminal 2 and the like.

図６に戻って、拠点装置１Ａにおいて、セッション管理部１０１は、端末情報６Ａを受信すると（＃６０３でＹｅｓ）、すなわち退出者が会議室から退出しようとしていることを検知すると、その端末情報６Ａから特定される携帯端末２とセッションが確立されているか否かを確認し、確立されていない場合は（＃６０４でＮｏ）、端末情報６Ａの接続情報６Ａ１に示されるユーザＩＤに基づいて携帯端末２とのセッションの確立を携帯端末２へ要求する（＃６０５）。 Returning to FIG. 6, in the base device 1A, when the session management unit 101 receives the terminal information 6A (Yes in # 603), that is, when it is detected that the leaving person is about to leave the conference room, the terminal information 6A is received. It is confirmed whether or not a session has been established with the mobile terminal 2 specified from No., and if not established (No in # 604), the mobile terminal based on the user ID shown in the connection information 6A1 of the terminal information 6A. The mobile terminal 2 is requested to establish a session with the mobile terminal 2 (# 605).

携帯端末２において、セッション管理部２０３は、拠点装置１Ａからの要求に応じて、拠点装置１とセッションを確立する（図８の＃６５２）。 In the mobile terminal 2, the session management unit 203 establishes a session with the base device 1 in response to a request from the base device 1A (# 652 in FIG. 8).

なお、セッションの確立のための処理は、公知のＩＰ電話の技術を用いて行うことができる。 The process for establishing the session can be performed using a known IP telephone technique.

拠点装置１において、文字変換部１０６および範囲設定部１０７は、撮影機器１３から随時取得される映像のデータ、集音器１５から随時取得される音声のデータ、圧縮映像データ６２を復号した映像のデータ、および圧縮音声データ６４を復号した音声のデータに対して、携帯端末２の周辺機器の接続の状況に基づいて、以下のような処理を行う（＃６０６）。 In the base device 1, the character conversion unit 106 and the range setting unit 107 include video data that is acquired from the photographing device 13 as needed, audio data that is acquired from the sound collector 15 as needed, and video that is obtained by decoding the compressed video data 62. The following processing is performed on the data and the audio data obtained by decoding the compressed audio data 64, based on the connection status of the peripheral device of the mobile terminal 2 (# 606).

文字変換部１０６は、仕様情報６Ａ２に、携帯端末２が音声出力機器２１を接続している旨を示す情報が含まれているか否かを判別する（図９の＃６８１）。接続している旨を示す情報が含まれていると判別した場合は（＃６８２でＮｏ）、音声のデータによって表わされる声を、公知の音声認識の技術で文字に変換することによって、テキストデータ６５を生成する（＃６８３）。 The character conversion unit 106 determines whether or not the specification information 6A2 includes information indicating that the mobile terminal 2 is connected to the audio output device 21 (# 681 in FIG. 9). When it is determined that the information indicating the connection is included (No in # 682), the voice represented by the voice data is converted into the character by the known voice recognition technique to thereby obtain the text data. 65 is generated (# 683).

テレビ会議の音声を、そのまま携帯端末２に備え付けのスピーカから再生すると、会議の内容が第三者に知られるおそれがある。そのため、テキストデータ６５を生成する。 If the audio of the video conference is reproduced as it is from the speaker provided in the mobile terminal 2, the content of the conference may be known to a third party. Therefore, the text data 65 is generated.

範囲設定部１０７は、さらに、携帯端末２のタッチパネルディスプレイ２０ｅのサイズが、所定のサイズ以下であるか否かを判別する（＃６８４）。所定のサイズは、例えば、表示機器１２の表示面の２分の１のサイズである。所定のサイズ以下であると判別した場合は（＃６８５でＹｅｓ）、表示範囲情報６Ｂを設定する（＃６８６）。 The range setting unit 107 further determines whether or not the size of the touch panel display 20e of the mobile terminal 2 is equal to or smaller than a predetermined size (# 684). The predetermined size is, for example, half the size of the display surface of the display device 12. When it is determined that the size is equal to or smaller than the predetermined size (Yes in # 685), the display range information 6B is set (# 686).

表示範囲情報６Ｂとは、表示機器１２の表示面に表示される映像のうち、どの部分をタッチパネルディスプレイ２０ｅに表示させるのかを示す情報である。 The display range information 6B is information indicating which part of the image displayed on the display surface of the display device 12 is to be displayed on the touch panel display 20e.

範囲設定部１０７は、表示機器１２の表示面の所定の一部分に表示される映像を、タッチパネルディスプレイ２０ｅで表示するように設定する。所定の一部分は、例えば、表示機器１２の表示面の２分の１のサイズを有しかつその中心が表示面の中心と一致する矩形の領域である。 The range setting unit 107 sets the video displayed on a predetermined part of the display surface of the display device 12 to be displayed on the touch panel display 20e. The predetermined portion is, for example, a rectangular area having a size of half the display surface of the display device 12 and the center of which coincides with the center of the display surface.

タッチパネルディスプレイ２０ｅは、表示機器１２の表示面よりも小さい。そのため、表示機器１２の表示面に表示されている映像すべてをタッチパネルディスプレイ２０ｅに表示した場合、小さな文字などがつぶれてしまうおそれがある。そのため、表示範囲情報６Ｂを設定する。 The touch panel display 20e is smaller than the display surface of the display device 12. Therefore, when all the images displayed on the display surface of the display device 12 are displayed on the touch panel display 20e, small characters may be crushed. Therefore, the display range information 6B is set.

図１０は、表示機器１２の表示面およびタッチパネルディスプレイ２０ｅで表示される映像の例を示す図である。 FIG. 10 is a diagram showing an example of an image displayed on the display surface of the display device 12 and the touch panel display 20e.

表示機器１２の表示面には、会議中、資料データに示される図表または会議室の状況を表わす映像７Ｂが表示されている。さらに、退出者がいる場合は、表示範囲情報６Ｂによって設定された範囲を示す枠７Ａが、映像７Ｂに重畳するように表示されている。 On the display surface of the display device 12, an image 7B showing the state of the chart or the conference room shown in the material data during the conference is displayed. Further, when there is a person leaving, a frame 7A indicating the range set by the display range information 6B is displayed so as to be superimposed on the image 7B.

この枠７Ａで示される範囲内の映像は、タッチパネルディスプレイ２０ｅに表示される映像７Ｃと同じである。 The image within the range shown by the frame 7A is the same as the image 7C displayed on the touch panel display 20e.

図６に戻って、拠点装置１Ａにおいて、会議データ生成部１０２は、上述と同様に、撮影機器１３から随時取得される映像のデータを圧縮映像データ６１に変換し、集音器１５から随時取得される音声のデータを圧縮音声データ６３に変換する（＃６０７）。 Returning to FIG. 6, in the base device 1A, the conference data generation unit 102 converts the video data, which is acquired from the photographing device 13 at any time, into the compressed video data 61, and acquires it from the sound collector 15 at any time, as described above. The audio data to be converted is converted into the compressed audio data 63 (# 607).

端末用データ送信部１０８は、携帯端末２へ圧縮映像データ６１および圧縮映像データ６２を送信し、テキストデータ６５が生成された場合はこれを送信し、生成されていない場合は圧縮音声データ６３および圧縮音声データ６４を送信する（＃６０８）。さらに、ステップ＃６８６で表示範囲情報６Ｂが設定された場合は、これも送信する。 The terminal data transmission unit 108 transmits the compressed video data 61 and the compressed video data 62 to the mobile terminal 2, transmits the text data 65 if it is generated, and the compressed audio data 63 if it is not generated. The compressed audio data 64 is transmitted (# 608). Furthermore, if the display range information 6B is set in step # 686, this is also transmitted.

携帯端末２において、会議データ受信部２０４は、拠点装置１Ａから圧縮映像データ６１および圧縮映像データ６２を受信し、圧縮音声データ６３、圧縮音声データ６４、テキストデータ６５、または表示範囲情報６Ｂを受信する（図８の＃６５３）。 In the mobile terminal 2, the conference data receiving unit 204 receives the compressed video data 61 and the compressed video data 62 from the base device 1A, and receives the compressed audio data 63, the compressed audio data 64, the text data 65, or the display range information 6B. (# 653 in FIG. 8).

コンテンツ端末出力処理部２０５は、圧縮映像データ６１および圧縮映像データ６２を復号し、圧縮音声データ６３および圧縮音声データ６４を受信した場合は、それらも復号する（＃６５４）。そして、映像または音声を出力するための処理を次のように行う（＃６５５）。 The content terminal output processing unit 205 decodes the compressed video data 61 and the compressed video data 62, and when receiving the compressed audio data 63 and the compressed audio data 64, also decodes them (# 654). Then, the process for outputting video or audio is performed as follows (# 655).

表示範囲情報６Ｂが受信されなかった場合は、コンテンツ端末出力処理部２０５は、復号した圧縮映像データ６１および圧縮映像データ６２を映像のデータとしてタッチパネルディスプレイ２０ｅへ出力する。すると、表示機器１２の表示面に表示される映像と同一の映像が、タッチパネルディスプレイ２０ｅによって表示される。 When the display range information 6B is not received, the content terminal output processing unit 205 outputs the decoded compressed video data 61 and the compressed video data 62 as video data to the touch panel display 20e. Then, the same image as the image displayed on the display surface of the display device 12 is displayed on the touch panel display 20e.

表示範囲情報６Ｂが受信された場合は、コンテンツ端末出力処理部２０５は、圧縮映像データ６１および圧縮映像データ６２を復号した映像のデータによって再現される映像のうち、表示範囲情報６Ｂに示される範囲の映像のみの映像のデータをタッチパネルディスプレイ２０ｅへ出力する。すると、この範囲の映像が、タッチパネルディスプレイ２０ｅによって表示される。 When the display range information 6B is received, the content terminal output processing unit 205 causes the range represented by the display range information 6B among the images reproduced by the data of the video obtained by decoding the compressed video data 61 and the compressed video data 62. The video data of only the video is output to the touch panel display 20e. Then, the image in this range is displayed on the touch panel display 20e.

さらに、コンテンツ端末出力処理部２０５は、圧縮音声データ６３および圧縮音声データ６４を復号した場合は、これらのデータに基づいて音声を音声出力機器２１に再生させる。テキストデータ６５を受信した場合は、テキストデータ６５に示される文字をタッチパネルディスプレイ２０ｅに表示させる。 Furthermore, when the content terminal output processing unit 205 decodes the compressed audio data 63 and the compressed audio data 64, the audio output device 21 reproduces audio based on these data. When the text data 65 is received, the characters shown in the text data 65 are displayed on the touch panel display 20e.

退出者は、会議室にいなくても、携帯端末２を使用して発言することができる。携帯端末２にマイクなどの集音器２２が接続されている場合は、集音器２２に向かって発声すればよい。接続されていない場合は、発言の内容を文字としてタッチパネルディスプレイ２０ｅに入力すればよい。 The leaving person can speak using the mobile terminal 2 without being in the conference room. When the sound collector 22 such as a microphone is connected to the mobile terminal 2, it suffices to speak into the sound collector 22. If not connected, the content of the speech may be input as characters on the touch panel display 20e.

携帯端末２において、発言データ生成部２０６は、端末情報記憶部２０２に記憶されている仕様情報６Ａ２に、携帯端末２が集音器２２を接続している旨を示す情報が含まれているか判別する（図８の＃６５６）。接続している旨を示す情報が含まれている場合は（＃６５７でＹｅｓ）、集音器２２によって取得された音声のデータを圧縮することによって圧縮音声データ６８に変換する（＃６５８）。含まれていない場合は（＃６５７でＮｏ）、タッチパネルディスプレイ２０ｅに入力された文字を、テキストデータ６６として取得する（＃６５９）。 In the mobile terminal 2, the utterance data generation unit 206 determines whether the specification information 6A2 stored in the terminal information storage unit 202 includes information indicating that the mobile terminal 2 connects the sound collector 22. (# 656 in FIG. 8). If the information indicating the connection is included (Yes in # 657), the audio data acquired by the sound collector 22 is compressed to be converted into the compressed audio data 68 (# 658). When it is not included (No in # 657), the character input to the touch panel display 20e is acquired as the text data 66 (# 659).

なお、退出者が間違って携帯端末２に備え付けのマイクに発言しないように「発言したい場合はソフトキーボードを使用して文字を入力してください」という旨のコメントをタッチパネルディスプレイ２０ｅに表示してもよい。 Even if a comment is displayed on the touch panel display 20e to prevent the evacuee from accidentally speaking into the microphone provided in the mobile terminal 2, "please enter characters using the soft keyboard if you want to speak". Good.

発言データ送信部２０７は、テキストデータ６６または圧縮音声データ６８を、拠点装置１Ａへ送信する（＃６６０）。 The utterance data transmission unit 207 transmits the text data 66 or the compressed voice data 68 to the base device 1A (# 660).

図６に戻って、拠点装置１Ａにおいて、端末用データ受信部１０９は、携帯端末２からテキストデータ６６または圧縮音声データ６８を受信する（＃６０９）。 Returning to FIG. 6, in the base apparatus 1A, the terminal data receiving unit 109 receives the text data 66 or the compressed audio data 68 from the mobile terminal 2 (# 609).

コンテンツ拠点出力処理部１０５は、復号した圧縮音声データ６８を音声のデータとして音声出力機器１４へ出力し、またはテキストデータ６６から公知の音声合成の技術によって音声のデータを生成し、音声出力機器１４へ出力する（＃６１０）。これにより、退出者の発言の音声が音声出力機器１４によって再生される。 The content base output processing unit 105 outputs the decoded compressed voice data 68 to the voice output device 14 as voice data, or generates voice data from the text data 66 by a known voice synthesis technique, and outputs the voice data. To (# 610). As a result, the voice of the leaving person is reproduced by the voice output device 14.

会議データ生成部１０２は、生成された音声のデータを圧縮することによって圧縮音声データ６７に変換する（＃６１１）。 The conference data generation unit 102 converts the generated voice data into compressed voice data 67 by compressing it (# 611).

拠点用データ送信部１０３は、圧縮音声データ６７または圧縮音声データ６８を拠点装置１Ｂへ送信する（＃６１２）。これにより、退出者の発言が拠点装置１Ｂへ伝えられる。 The base data transmission unit 103 transmits the compressed audio data 67 or the compressed audio data 68 to the base device 1B (# 612). As a result, the utterance of the leaving person is transmitted to the base device 1B.

その後、退出者は、会議室へ再度入室すると、携帯端末２を拠点装置１ＡのＮＦＣユニット１０ｆにかざす。 After that, when the leaving person enters the conference room again, the leaving person holds the mobile terminal 2 over the NFC unit 10f of the base apparatus 1A.

すると、携帯端末２の端末情報送信部２０１は、端末情報記憶部２０２から端末情報６Ａを読み出し、拠点装置１Ａに送信する（図８の＃６６１）。 Then, the terminal information transmission unit 201 of the mobile terminal 2 reads the terminal information 6A from the terminal information storage unit 202 and transmits it to the base device 1A (# 661 in FIG. 8).

拠点装置１において、セッション管理部１０１は、端末情報６Ａを受信した場合（図６の＃６１３でＹｅｓ）、すなわち退出者が会議室へ再度入室したことを判別すると、受信した端末情報６Ａの仕様情報６Ａ２から特定できる携帯端末２と拠点装置１Ａとの間でセッションが確立されているか確認し、確立されている場合は（＃６０４でＹｅｓ）、このセッションを終了させる（＃６１４）。それに応じて、セッション管理部２０３も、このセッションを終了させる（図８の＃６６２）。 In the base device 1, when the session management unit 101 receives the terminal information 6A (Yes in # 613 of FIG. 6), that is, when it is determined that the leaving person re-enters the conference room, the specification of the received terminal information 6A. It is confirmed whether a session has been established between the mobile terminal 2 and the base device 1A that can be identified from the information 6A2. If the session has been established (Yes in # 604), this session is ended (# 614). In response, the session management unit 203 also ends this session (# 662 in FIG. 8).

その後、拠点装置１Ａまたは拠点装置１Ｂいずれかからセッションの終了が要求されるまで（図６の＃６１５でＮｏ）、拠点装置１Ａ、拠点装置１Ｂ、および携帯端末２は、ステップ＃６０２〜＃６１５、およびステップ＃６５１〜＃６６２の各処理を適宜、行う。 After that, the base device 1A, the base device 1B, and the mobile terminal 2 perform steps # 602 to # 615 until the end of the session is requested from either the base device 1A or the base device 1B (No in # 615 of FIG. 6). , And each processing of steps # 651 to # 662 are appropriately performed.

なお、表示範囲情報６Ｂの内容は、会議室にいる参加者が拠点装置１を操作することによって書き換えられる。拠点装置１Ａは、最新の表示範囲情報６Ｂを携帯端末２へ送信する。携帯端末２は、最新の表示範囲情報６Ｂに基づいて映像を表示する。 The contents of the display range information 6B are rewritten by the participants in the conference room operating the base device 1. The base device 1A transmits the latest display range information 6B to the mobile terminal 2. The mobile terminal 2 displays an image based on the latest display range information 6B.

または、退出者が携帯端末２を操作することによって、拠点装置１から受信した表示範囲情報６Ｂを書き換えることもできる。この場合は、携帯端末２は、書き換えた後の表示範囲情報６Ｂに基づいて映像を表示する。また、携帯端末２は、書き換えた後の表示範囲情報６Ｂを拠点装置１へ送信する。拠点装置１は、携帯端末２から受信した表示範囲情報６Ｂに基づいて、枠７Ａを表示する。 Alternatively, the leaving person can rewrite the display range information 6B received from the base device 1 by operating the mobile terminal 2. In this case, the mobile terminal 2 displays an image based on the rewritten display range information 6B. Further, the mobile terminal 2 transmits the rewritten display range information 6B to the base device 1. The base device 1 displays the frame 7A based on the display range information 6B received from the mobile terminal 2.

〔テレビ会議システムの処理の第２の例〕
図１１は、拠点装置１Ａの機能的構成の第２の例を示す図である。図１２は、携帯端末２の機能的構成の第２の例を示す図である。図１３は、拠点装置１Ａにおけるテレビ会議の処理の流れの第２の例を示すフローチャートである。図１４は、携帯端末２におけるテレビ会議の処理の流れの第２の例を示すフローチャートである。 [Second example of processing of video conference system]
FIG. 11 is a diagram showing a second example of the functional configuration of the base device 1A. FIG. 12 is a diagram showing a second example of the functional configuration of the mobile terminal 2. FIG. 13 is a flowchart showing a second example of the flow of processing of a video conference in the base device 1A. FIG. 14 is a flowchart showing a second example of the flow of processing of the video conference in the mobile terminal 2.

退出者は、急な来客などの事情により、退出後すぐに携帯端末２を使用してテレビ会議に参加できない場合がある。 The exiting person may not be able to participate in the video conference using the mobile terminal 2 immediately after leaving because of a sudden visitor or the like.

しかし、第１の例では、携帯端末２が拠点装置１ＡのＮＦＣユニット１０ｆにかざされると、拠点装置１Ａと携帯端末２とのセッションが無条件で確立され、映像などが配信された。 However, in the first example, when the mobile terminal 2 is held over the NFC unit 10f of the base device 1A, the session between the base device 1A and the mobile terminal 2 is unconditionally established, and the video and the like are distributed.

第２の例では、携帯端末２が拠点装置１ＡのＮＦＣユニット１０ｆにかざされた後に退出者が所定の動作を行うことによって、セッションが確立され、映像などが配信される。以下、第２の例について説明する。上述の第１の例と重複する点は、説明を省略する。 In the second example, a session is established and a video or the like is delivered by the exiter performing a predetermined operation after the mobile terminal 2 is held over the NFC unit 10f of the base apparatus 1A. The second example will be described below. Descriptions of points that are the same as those of the first example will be omitted.

会議管理プログラム１２Ｐによると、図１１に示すセッション管理部１２１ないし装置情報記憶部１３１の機能が拠点装置１に実現される。 According to the conference management program 12P, the function of the session management unit 121 or the device information storage unit 131 shown in FIG.

会議参加プログラム２２Ｐによると、図１２に示す端末情報送信部２２１ないし動作検知部２２８の機能が、携帯端末２に実現される。 According to the conference participation program 22P, the functions of the terminal information transmission unit 221 and the motion detection unit 228 shown in FIG. 12 are realized in the mobile terminal 2.

セッション管理部１１ないし装置情報記憶部１３１は、図１３に示す手順で処理を実行する。 The session management unit 11 to the device information storage unit 131 execute processing in the procedure shown in FIG.

端末情報送信部２２１ないし動作検知部２２８の機能は、図１４に示す手順で処理を実行する。 The functions of the terminal information transmission unit 221 and the operation detection unit 228 execute processing in the procedure shown in FIG.

拠点装置１Ａおよび拠点装置１Ｂは、図６のステップ＃６０１および＃６０２と同様の処理を行うことによって、両装置間のセッションを確立し、互いの拠点の映像および音声のやり取りを行う（図１３の＃７０１および＃７０２）。 The base device 1A and the base device 1B perform the same processing as steps # 601 and # 602 of FIG. 6 to establish a session between the two devices and exchange video and audio of the bases (FIG. 13). # 701 and # 702).

退出者は、第１の例の場合と同様に、会議の途中で退出する際に、携帯端末２を拠点装置１ＡのＮＦＣユニット１０ｆにかざす。 As in the case of the first example, the leaving person holds the mobile terminal 2 over the NFC unit 10f of the base apparatus 1A when leaving the middle of the conference.

すると、携帯端末２において、端末情報送信部２２１は、端末情報６Ａを端末情報記憶部２２２から読み出し、拠点装置１へ送信する（図１４の＃７５１）。 Then, in the mobile terminal 2, the terminal information transmission unit 221 reads the terminal information 6A from the terminal information storage unit 222 and transmits it to the base device 1 (# 751 in FIG. 14).

拠点装置１において、装置情報送信部１３０は、携帯端末２から端末情報６Ａを受信すると（図１３の＃７０３でＹｅｓ）、接続情報６Ｃ１を含む装置情報６Ｃを装置情報記憶部１３１から読み出し、携帯端末２に送信する（＃７０４）。 In the base device 1, when the device information transmission unit 130 receives the terminal information 6A from the mobile terminal 2 (Yes in # 703 of FIG. 13), the device information transmission unit 130 reads the device information 6C including the connection information 6C1 from the device information storage unit 131, It is transmitted to the terminal 2 (# 704).

接続情報６Ｃ１は、拠点装置１自身のユーザアカウントに関する情報である。上述の例に従うと、接続情報６Ｃ１には、ユーザアカウントのユーザＩＤが示される。 The connection information 6C1 is information regarding the user account of the base device 1 itself. According to the above example, the connection information 6C1 indicates the user ID of the user account.

携帯端末２は、拠点装置１Ａから装置情報６Ｃを受信し、フラッシュメモリ２０ｄの所定の記憶領域によって記憶する（図１４の＃７５２）。 The mobile terminal 2 receives the device information 6C from the base device 1A and stores the device information 6C in a predetermined storage area of the flash memory 20d (# 752 in FIG. 14).

携帯端末２の動作検知部２２８が、退出者が携帯端末２を持ちながら所定の行動をしたことを検知すると（＃７５３でＹｅｓ）、つまり携帯端末２の姿勢または動きなどが所定の状態になったことを検知すると、セッション管理部２２３は、接続情報６Ｃ１を使用して携帯端末２とのセッションの確立を要求する（＃７５４）。所定の行動は、例えば、携帯端末２を耳に当てる行動、または、携帯端末２を左右に振る行動などである。これらの行動は、携帯端末２の加速度センサ２０ｉによって検出される傾きまたは動きに基づいて検知することができる。 When the motion detection unit 228 of the mobile terminal 2 detects that the exiting person has performed a predetermined action while holding the mobile terminal 2 (Yes in # 753), that is, the posture or movement of the mobile terminal 2 is in a predetermined state. Upon detecting the fact, the session management unit 223 requests the establishment of a session with the mobile terminal 2 using the connection information 6C1 (# 754). The predetermined action is, for example, an action of putting the portable terminal 2 on the ear, an action of swinging the portable terminal 2 to the left or right, or the like. These actions can be detected based on the tilt or movement detected by the acceleration sensor 20i of the mobile terminal 2.

拠点装置１Ａにおいて、セッション管理部１２１は、携帯端末２からの要求があると（図１３の＃７０５でＹｅｓ）に応じて、携帯端末２とのセッションを確立する（＃７０６）。 In the base device 1A, the session management unit 121 establishes a session with the mobile terminal 2 in response to a request from the mobile terminal 2 (Yes in # 705 of FIG. 13) (# 706).

その後、拠点装置１Ａおよび携帯端末２は、図６のステップ＃６０６〜＃６１２、および図８のステップ＃６５３〜＃６６１と同様の処理を行う（図１３の＃７０７〜＃７１３、図１４の＃７５５〜＃７６３）。 After that, the base device 1A and the mobile terminal 2 perform the same processes as steps # 606 to # 612 in FIG. 6 and steps # 653 to # 661 in FIG. 8 (# 707 to # 713 in FIG. 13 and FIG. 14). # 755- # 763).

図１３に戻って、拠点装置１Ａにおいて、セッション管理部１２１は、携帯端末２とのセッションが確立されている状態で端末情報６Ａを受信した場合（＃７１４でＹｅｓ）、受信した端末情報６Ａの仕様情報６Ａ２から特定できる携帯端末２とのセッションを終了させる（図１３の＃７１５）。それに応じて、携帯端末２のセッション管理部２２３も、このセッションを終了させる（図１４の＃７６４）。 Returning to FIG. 13, in the base apparatus 1A, when the session management unit 121 receives the terminal information 6A while the session with the mobile terminal 2 is established (Yes in # 714), the session information of the received terminal information 6A The session with the mobile terminal 2 that can be specified from the specification information 6A2 is ended (# 715 in FIG. 13). In response to this, the session management unit 223 of the mobile terminal 2 also ends this session (# 764 in FIG. 14).

その後、拠点装置１Ａまたは拠点装置１Ｂいずれかからセッションの終了が要求されるまで（図１３の＃７１６でＮｏ）、拠点装置１Ａ、拠点装置１Ｂ、および携帯端末２は、ステップ＃７０２〜＃７１６、およびステップ＃７５１〜７６４の各処理を適宜、行う。 After that, until either the base device 1A or the base device 1B requests the end of the session (No in # 716 of FIG. 13), the base device 1A, the base device 1B, and the mobile terminal 2 perform steps # 702 to # 716. , And each processing of steps # 751 to 764 are performed appropriately.

〔テレビ会議システムの処理の第３の例〕
図１５は、拠点装置１Ａの機能的構成の第３の例を示す図である。図１６は、拠点装置１Ａにおけるテレビ会議の処理の第３の流れの例を示すフローチャートである。図１７は、退出者特定処理の流れの例を示す図である。 [Third example of processing of video conference system]
FIG. 15 is a diagram showing a third example of the functional configuration of the base device 1A. FIG. 16 is a flowchart showing an example of a third flow of processing of a video conference in the base device 1A. FIG. 17 is a diagram showing an example of the flow of the leaving person identification processing.

退出者は、急ぎの用事などの事情により、拠点装置１に携帯端末２をかざすことを失念して退出してしまう場合がある。第３の例では、携帯端末２を拠点装置１にかざすことなく、拠点装置１と携帯端末２とを接続する。以下、この仕組みについて説明する。なお、上述の第１の例と重複する点は、説明を省略する。 The leaving person may forget to hold the mobile terminal 2 over the base apparatus 1 and leave the office due to urgent business or the like. In the third example, the base device 1 and the mobile terminal 2 are connected without holding the mobile terminal 2 over the base device 1. Hereinafter, this mechanism will be described. Note that description of points that are the same as those of the above-described first example will be omitted.

会議管理プログラム１３Ｐによると、図１５に示すセッション管理部１４１ないしユーザ特定部１５４の機能が拠点装置１に実現される。 According to the conference management program 13P, the function of the session management unit 141 or the user identification unit 154 shown in FIG.

セッション管理部１４１ないしユーザ特定部１５４は、図１６および図１７に示す手順で処理を実行する。 The session management unit 141 to the user identification unit 154 execute processing in the procedure shown in FIGS. 16 and 17.

会議が始まる前に予め、管理者は、入力機器１６を使用して、会議に参加する参加者ごとの端末情報６Ａおよびユーザ情報６Ｄを拠点装置１へ入力する。 Before the conference starts, the administrator uses the input device 16 to input the terminal information 6A and the user information 6D for each participant participating in the conference to the base device 1.

ユーザ情報６Ｄは、参加者を識別するための情報であって、参加者の顔画像から認識された目、鼻または口などの器官の形状または位置などを数値化した情報である。 The user information 6D is information for identifying a participant, and is information that digitizes the shape or position of an organ such as an eye, a nose, or a mouth recognized from the face image of the participant.

拠点装置１の登録部１５０は、入力された端末情報６Ａを端末情報記憶部１５１に記憶し、入力されたユーザ情報６Ｄをユーザ情報記憶部１５２に記憶する（図１６の＃８０１）。以下、ユーザ情報記憶部１５２に記憶されるユーザ情報６Ｄを「ユーザ情報６Ｄ０」と記載する。同じ参加者の端末情報６Ａとユーザ情報６Ｄ０とは、対応付けられている。 The registration unit 150 of the base apparatus 1 stores the input terminal information 6A in the terminal information storage unit 151 and stores the input user information 6D in the user information storage unit 152 (# 801 in FIG. 16). Hereinafter, the user information 6D stored in the user information storage unit 152 will be referred to as “user information 6D0”. The terminal information 6A and the user information 6D0 of the same participant are associated with each other.

その後、拠点装置１Ａおよび拠点装置１Ｂは、図６のステップ＃６０１および＃６０２と同様の処理を行う（＃８０２および＃８０３）。 After that, the base device 1A and the base device 1B perform the same processing as steps # 601 and # 602 of FIG. 6 (# 802 and # 803).

拠点装置１Ａのユーザ監視部１５３およびユーザ特定部１５４は、退出者を特定する処理を、以下のように行う（＃８０４）。 The user monitoring unit 153 and the user identification unit 154 of the base apparatus 1A perform the process of identifying the exiter as follows (# 804).

ユーザ監視部１５３は、所定の時間の間隔で、撮影機器１３から随時取得された映像のデータから顔画像を識別する（図１７の＃８３１）。そして、顔画像に対応するユーザ情報６Ｄを抽出する（＃８３２）。その結果、参加者それぞれのユーザ情報６Ｄが抽出される。 The user monitoring unit 153 identifies the face image from the video data acquired from the image capturing device 13 at predetermined time intervals (# 831 in FIG. 17). Then, the user information 6D corresponding to the face image is extracted (# 832). As a result, the user information 6D of each participant is extracted.

なお、撮影機器１３が資料の映像の表示面を撮影している場合は、顔画像を撮影することができない。そこで、参加者を撮影するための撮影機器を設置しておき、この撮影機器によって撮影される映像に基づいて顔画像を識別してもよい。 It should be noted that when the photographing device 13 is photographing the display surface of the image of the material, the face image cannot be photographed. Therefore, a photographing device for photographing the participant may be installed and the face image may be identified based on the image photographed by the photographing device.

ユーザ特定部１５４は、退出者を例えば次のように特定する（＃８３３）。最近の時刻の映像のデータに基づいて抽出された、各人物のユーザ情報６Ｄ（以下、「ユーザ情報６Ｄ１」と記載する。）と、ユーザ情報記憶部１５２に記憶されている各ユーザ情報６Ｄ０とを比較することによって、この映像に映っている参加者を特定する。 The user identifying unit 154 identifies the leaving person, for example, as follows (# 833). User information 6D of each person (hereinafter referred to as "user information 6D1") extracted based on the video data of the latest time, and each user information 6D0 stored in the user information storage unit 152. The participants shown in this video are identified by comparing.

さらに、その時刻より所定時間早い時刻（例えば、５分前）の映像のデータに基づいて抽出された、各人物のユーザ情報６Ｄ（以下、「ユーザ情報６Ｄ２」と記載する。）と、ユーザ情報記憶部１５２に記憶されている各ユーザ情報６Ｄ０とを比較することによって、この映像に映っている参加者を特定する。 Furthermore, the user information 6D of each person (hereinafter referred to as "user information 6D2") extracted based on the image data at a time earlier than that time by a predetermined time (for example, 5 minutes before), and the user information. By comparing each user information 6D0 stored in the storage unit 152, the participant shown in this video is specified.

そして、ユーザ情報６Ｄ２から特定されたがユーザ情報６Ｄ１からは特定されなかった参加者を、退出者として特定する。 Then, the participant identified from the user information 6D2 but not identified from the user information 6D1 is identified as a leaving person.

退出者を特定することができた場合は（＃８３４でＹｅｓ）、その退出者のユーザ情報６Ｄ０に対応付けられている端末情報６Ａを特定する（＃８３５）。 If the leaving person can be specified (Yes in # 834), the terminal information 6A associated with the user information 6D0 of the leaving person is specified (# 835).

セッション管理部１４１は、端末情報６Ａが特定された場合は（図１６の＃８０５でＹｅｓ）、その端末情報６Ａの接続情報６Ａ１を使用して、携帯端末２とのセッションの確立を携帯端末２へ要求する（＃８０６）。 If the terminal information 6A is specified (Yes in # 805 of FIG. 16), the session management unit 141 uses the connection information 6A1 of the terminal information 6A to establish a session with the mobile terminal 2 (# 806).

その後、拠点装置１Ａ、拠点装置１Ｂ、および携帯端末２は、図１３のステップ＃７０７〜ステップ＃７１６と同様の処理を適時行い（図１６の＃８０７〜＃８１６）、図８のステップ＃６５２〜＃６６２の各処理を適時行う。 After that, the base device 1A, the base device 1B, and the mobile terminal 2 timely perform the same processing as steps # 707 to # 716 of FIG. 13 (# 807 to # 816 of FIG. 16), and step # 652 of FIG. Each process of # 662 to # 662 is performed at appropriate times.

本発明によると、会議の途中で退出した参加者へ従来よりも効率的に会議の状況を示す映像のデータおよび音声のデータを与えることができる。 According to the present invention, it is possible to give video data and audio data showing the status of a conference to a participant who has left during the conference more efficiently than before.

上述の実施形態では、携帯端末２のタッチパネルディスプレイ２０ｅのサイズに基づいて、表示範囲情報６Ｂが設定された。しかし、タッチパネルディスプレイ２０ｅの解像度に基づいて、表示範囲情報６Ｂを設定してもよい。例えば、所定のサイズを、２分の１に固定するのではなく、タッチパネルディスプレイ２０ｅの解像度が高いほどサイズが大きくなるようにしてもよい。 In the above-described embodiment, the display range information 6B is set based on the size of the touch panel display 20e of the mobile terminal 2. However, the display range information 6B may be set based on the resolution of the touch panel display 20e. For example, instead of fixing the predetermined size to one half, the size may increase as the resolution of the touch panel display 20e increases.

上述の実施形態では、携帯端末２を、セッションを確立した拠点装置１のＮＦＣユニット１０ｆにかざすことで、セッションを終了させた。しかし、携帯端末２を、セッションを確立した拠点装置１とは異なる他の拠点装置１のＮＦＣユニット１０ｆにかざすことで、セッションを終了させてもよい。この場合、他の拠点装置１は、携帯端末２から端末情報６Ａを受信し、受信した端末情報６Ａを、セッションを確立した拠点装置１に送信する。セッションを確立した拠点装置１は、端末情報６Ａを受信した時にセッションを終了させる。 In the above-described embodiment, the session is ended by holding the mobile terminal 2 over the NFC unit 10f of the base device 1 that has established the session. However, the session may be ended by holding the mobile terminal 2 over the NFC unit 10f of another base device 1 different from the base device 1 that established the session. In this case, the other base device 1 receives the terminal information 6A from the mobile terminal 2 and transmits the received terminal information 6A to the base device 1 that has established the session. The base device 1 that has established the session ends the session when it receives the terminal information 6A.

上述の実施形態では、拠点装置１Ａは、映像のデータをそのまま圧縮映像データ６１および圧縮映像データ６２に変換して、携帯端末２へ送信した。しかし、映像のデータの一部を、表示範囲情報６Ｂの設定する範囲に従ってトリミングし、これを圧縮映像データ６１および圧縮映像データ６２に変換して、携帯端末２へ送信してもよい。 In the above-described embodiment, the base apparatus 1A converts the video data as it is into the compressed video data 61 and the compressed video data 62, and transmits the compressed video data 61 and the compressed video data 62 to the mobile terminal 2. However, a part of the video data may be trimmed according to the range set by the display range information 6B, converted into the compressed video data 61 and the compressed video data 62, and transmitted to the mobile terminal 2.

上述の実施形態において、さらにテレビ会議に使用する資料データを、拠点装置１Ａと拠点装置１Ｂとの間で送受信し、拠点装置１Ａから携帯端末２へ送信してもよい。 In the above-described embodiment, the material data used for the video conference may be further transmitted and received between the base device 1A and the base device 1B, and may be transmitted from the base device 1A to the mobile terminal 2.

上述の実施形態以外の、拠点装置１Ａと携帯端末２との間のセッションを確立する例として、拠点装置１Ａと携帯端末２との間でＢｌｕｅｔｏｏｔｈ（登録商標）によって通信を会議中、常に行い、通信ができなくなった携帯端末２に対して、セッションの確立を拠点装置１Ａが要求してもよい。 As an example of establishing a session between the base device 1A and the mobile terminal 2 other than the above-described embodiment, communication is constantly performed between the base device 1A and the mobile terminal 2 by Bluetooth (registered trademark) during a conference, The base device 1A may request the establishment of a session to the mobile terminal 2 that cannot communicate.

または、拠点装置１Ａが、携帯端末２から発信されるビーコンを会議中、定期的に検知し、ビーコンを検知できなくなった携帯端末２に対して、セッションの確立を拠点装置１Ａが要求してもよい。 Alternatively, even if the base device 1A periodically detects a beacon transmitted from the mobile terminal 2 during a conference and the base device 1A requests the mobile terminal 2 that cannot detect the beacon to establish a session, Good.

第１の例では、端末情報６Ａは、退出者が携帯端末２を拠点装置１のＮＦＣユニット１０ｆにかざした時に拠点装置１へ送信されたが、事前に送信されてもよい。例えば、会議が開催される前に、携帯端末２から拠点装置１に送信されてもよい。 In the first example, the terminal information 6A is transmitted to the base device 1 when the exiter holds the mobile terminal 2 over the NFC unit 10f of the base device 1, but may be transmitted in advance. For example, it may be transmitted from the mobile terminal 2 to the base device 1 before the conference is held.

第２の例では、携帯端末２が、携帯端末２の姿勢または動きなどが所定の状態になったことを検知してセッションの確立を要求した。しかし、参加者が携帯端末２のボタンをタッチすることで、携帯端末２がセッションの確立を要求してもよい。または、携帯端末２が、検知した姿勢または動きなどの情報を常に拠点装置１Ａへ送信し、拠点装置１が、携帯端末２の状態が所定の姿勢または動きになったことを受信した情報から判断して、セッションの確立を要求してもよい。 In the second example, the mobile terminal 2 detects that the posture or movement of the mobile terminal 2 is in a predetermined state and requests establishment of a session. However, the mobile terminal 2 may request the establishment of the session by the participant touching the button of the mobile terminal 2. Alternatively, the mobile terminal 2 always transmits information such as the detected posture or movement to the base apparatus 1A, and the base apparatus 1 determines from the information that the mobile terminal 2 has received a predetermined posture or movement. Then, the establishment of a session may be requested.

第３の例では、認識した顔画像から端末情報６Ａを特定したが、予め会議室の座席と端末情報６Ａとを関連付け、映像のデータから人物の存在を認識できなくなった座席を選出し、その座席に関連付けられた端末情報６Ａを特定してもよい。 In the third example, the terminal information 6A is specified from the recognized face image, but the seat in the conference room and the terminal information 6A are associated in advance, and the seat in which the presence of a person cannot be recognized is selected from the video data. The terminal information 6A associated with the seat may be specified.

第３の例において、拠点装置１Ａと携帯端末２とのセッションが確立している状態で、ユーザ情報６Ｄ１から特定されたがユーザ情報６Ｄ２からは特定されなかった参加者がいる場合に、すなわち退出者が会議室へ再度入室したことを判別した場合に、セッションを終了させてもよい。 In the third example, in the state where the session between the base device 1A and the mobile terminal 2 is established, when there is a participant who is specified from the user information 6D1 but not from the user information 6D2, that is, exits. The session may be terminated when it is determined that the person has re-entered the conference room.

その他、テレビ会議システム１００、拠点装置１および携帯端末２の全体または各部の構成、処理の内容、処理の順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。 In addition, the configuration of all or each part of the video conference system 100, the base device 1, and the mobile terminal 2, the content of the process, the order of the process, the configuration of the data, and the like can be appropriately changed in accordance with the spirit of the present invention.

１、１Ａ、１Ｂ拠点装置（会議用装置）
１０１セッション管理部（退出者検知手段）
１０８端末用データ送信部（送信手段）
２携帯端末（端末装置）
２０ｅタッチパネルディスプレイ（ディスプレイ）
６Ａ１接続情報（識別子）
６Ｂ表示範囲情報（位置情報）
６１圧縮映像データ（映像）
６２圧縮映像データ（映像）
６３圧縮音声データ（音声）
６４圧縮音声データ（音声）
６５テキストデータ（テキスト）
６６テキストデータ（第２のテキスト）
６８圧縮音声データ（第２の音声） 1, 1A, 1B base device (conference device)
101 session management unit (exiter detection means)
108 terminal data transmission unit (transmission means)
2 Mobile terminals (terminal devices)
20e Touch panel display (display)
6A1 connection information (identifier)
6B Display range information (position information)
61 Compressed video data (video)
62 Compressed video data (video)
63 Compressed audio data (audio)
64 compressed audio data (audio)
65 Text data (text)
66 text data (second text)
68 Compressed audio data (second audio)

Claims

A conference device used in a conference in which a plurality of participants gather in a predetermined place,
Of the plurality of participants, an exiter detection means for detecting an exiter who is a participant who is about to leave or has exited from the predetermined place, and
After the exit person is detected by the exit-person detection means, further, if the action to which the exiting person shed terminal device to the ear of the exiting person is detected, the meeting of the image or to those terminal device Transmitting means for transmitting voice,
A conference apparatus comprising:

When the size of the display surface of the display of the terminal device is equal to or smaller than a predetermined size, the transmitting unit transmits the image so that a part of the image is displayed on the display,
The apparatus for conference according to claim 1 .

The transmitting means transmits only the portion of the image,
The apparatus for conference according to claim 2 .

The transmitting means transmits, together with the image, position information indicating the position of the part,
The conference apparatus according to claim 3 .

The transmitting means transmits, instead of the voice, text indicating a word represented by the voice,
The conference apparatus according to any one of claims 1 to 4 .

Outputting a word represented by the second text received from the terminal device by a second voice,
The conference apparatus according to any one of claims 1 to 5 .

A transmission method for transmitting an image or audio of a conference held by a plurality of participants at a predetermined place,
Of a plurality of participants, an exiter detection step of detecting an exiter who is a participant who is about to leave or has left the predetermined location,
After the exit person is detected by the exit-person detection step, further, when the action which the exiting person shed terminal device to the ear of the exiting person is detected, the meeting of the image or to those terminal device Transmitting a voice, a transmitting step,
A transmission method comprising:

A computer program used for a computer used in a conference held by a plurality of participants in a predetermined place,
On the computer,
Of the plurality of participants, detects an exiting person who is a participant who is about to leave or has exited from the predetermined place, and executes an exiting person detection process,
After the exit's by the exit person detecting processing is detected, further, if the action to which the exiting person shed terminal device to the ear of the exiting person is detected, the meeting of the image or to those terminal device Execute the transmission process to transmit the voice,
A computer program characterized by causing the computer to execute.