JP7225735B2

JP7225735B2 - VIDEO CONFERENCE SYSTEM, COMMUNICATION TERMINAL AND MICROPHONE CONTROL METHOD OF COMMUNICATION TERMINAL

Info

Publication number: JP7225735B2
Application number: JP2018220885A
Authority: JP
Inventors: 怜士川▲崎▼; 龍彦長野
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-11-27
Filing date: 2018-11-27
Publication date: 2023-02-21
Anticipated expiration: 2038-11-27
Also published as: JP2020088618A

Description

本願は、ビデオ会議システム、通信端末、及び通信端末のマイクロホンの制御方法に関する。 The present application relates to a video conferencing system, a communication terminal, and a method of controlling a microphone of a communication terminal.

複数の遠隔地を結んで双方向の画像および音声による会議を行うビデオ会議システムが普及している。また、複数のマイクロホンの出力音声を信号処理し、所定の方向の集音の感度を高くする（集音の指向性を制御する）ことで、発言者の音声を高感度に集音し、周囲の不要な音の集音を抑制するビームフォーミング技術が知られている。 2. Description of the Related Art A video conference system that connects a plurality of remote locations and conducts a two-way image and audio conference has become popular. In addition, by signal processing the output sound of multiple microphones and increasing the sensitivity of sound collection in a predetermined direction (controlling the directivity of sound collection), the speaker's voice can be collected with high sensitivity and beamforming technology for suppressing the collection of unnecessary sound is known.

一方、ビデオ会議システムでは、ビデオ会議を実行する各拠点に配置された通信端末のうちの何れか１つの通信端末において、音が発生した領域（方向）に基づき、マイクロホンの集音の指向性を決定する技術が開示されている（例えば、特許文献１参照）。 On the other hand, in a video conference system, the directivity of sound collection of a microphone is adjusted based on the area (direction) in which sound is generated in any one communication terminal among the communication terminals arranged at each base where the video conference is performed. A technique for determining is disclosed (see Patent Document 1, for example).

しかしながら、特許文献１の技術では、ビデオ会議の参加者の周囲で大きな音が発生した際に、その音の発生源の方向にマイクロホンの集音の指向性を誤って決定する場合があった。 However, with the technique of Patent Document 1, when a loud sound is generated around the participants of the video conference, there are cases where the directivity of the sound collection of the microphone is erroneously determined in the direction of the source of the sound.

本発明は、上記の点に鑑みてなされたものであって、マイクロホンの集音の指向性を適切に決定することを課題とする。 SUMMARY OF THE INVENTION It is an object of the present invention to appropriately determine the directivity of sound collected by a microphone.

開示の技術の一態様に係るビデオ会議システムは、複数の通信端末と、前記通信端末に画像を出力するカメラと、前記通信端末に音声を出力するマイクロホンと、を備え、ビデオ会議を実行するビデオ会議システムであって、前記通信端末は、前記画像から検出した前記ビデオ会議の参加者の視線を示す視線情報を蓄積する視線情報蓄積部と、蓄積された前記視線情報に基づき、前記マイクロホンの集音の指向性を決定する指向性決定部と、決定された前記指向性の情報を記憶する指向性情報記憶部と、記憶された前記指向性の情報を更新する指向性情報更新部と、を有し、前記指向性決定部は、前記指向性情報記憶部を参照して取得した前記指向性の情報に基づき、前記指向性を決定する。 A video conference system according to an aspect of the disclosed technology includes a plurality of communication terminals, a camera that outputs images to the communication terminals, and a microphone that outputs audio to the communication terminals, and a video conference system for executing a video conference. In the conference system, the communication terminal includes a line-of-sight information accumulation unit for accumulating line-of-sight information indicating a line-of-sight of a participant in the video conference detected from the image; a directivity determining unit that determines the directivity of sound; a directivity information storage unit that stores the determined directivity information; and a directivity information updating unit that updates the stored directivity information. The directivity determination unit determines the directivity based on the directivity information acquired by referring to the directivity information storage unit.

本発明の一実施形態によれば、マイクロホンの集音の指向性を適切に決定することができる。 According to an embodiment of the present invention, it is possible to appropriately determine the directivity of sound collection by a microphone.

実施形態に係るビデオ会議システムの構成の一例を説明する図である。It is a figure explaining an example of a structure of the video conference system which concerns on embodiment. 実施形態に係る通信端末のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the communication terminal which concerns on embodiment. 第１の実施形態に係る通信端末の機能構成の一例を示すブロック図である。2 is a block diagram showing an example of functional configuration of a communication terminal according to the first embodiment; FIG. 参加者の視線の一例を説明する図である。It is a figure explaining an example of a participant's line of sight. 第１の実施形態に係る視線情報の一例を説明する図である。It is a figure explaining an example of line-of-sight information concerning a 1st embodiment. 第１の実施形態に係る時間に応じた視線変化の一例を説明する図である。It is a figure explaining an example of a line-of-sight change according to time concerning a 1st embodiment. 第１の実施形態に係る注目領域の一例を説明する図である。FIG. 4 is a diagram illustrating an example of a region of interest according to the first embodiment; FIG. 第１の実施形態に係るサブパケットに含まれる情報の一例を説明する図である。4 is a diagram illustrating an example of information included in a subpacket according to the first embodiment; FIG. マイクロホンの集音の指向性について説明する図であり、（ａ）はビームフォーミングの集音方向を説明する図であり、（ｂ）は注目領域情報と集音方向との対応関係を説明する図である。FIG. 4A is a diagram for explaining the directivity of sound collection by a microphone, FIG. 4A is a diagram for explaining the sound collection direction of beam forming, and FIG. is. 第１の実施形態に係る注目領域の検出処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of attention area detection processing according to the first embodiment; 第１の実施形態に係る指向性の制御処理の一例を示すフローチャートである。6 is a flowchart showing an example of directivity control processing according to the first embodiment; 第１の実施形態に係るビデオ会議システムの動作の一例を示すシーケンス図である。4 is a sequence diagram showing an example of the operation of the video conference system according to the first embodiment; FIG. 第１の実施形態に係るビデオ会議システムの効果の一例を説明する図であり、（ａ）は比較例に係る通信端末を用いるビデオ会議を説明する図であり、（ｂ）は第１の実施形態に係る通信端末を用いるビデオ会議を説明する図である。FIG. 2A is a diagram illustrating an example of the effect of the videoconference system according to the first embodiment, FIG. 4A is a diagram illustrating a videoconference using a communication terminal according to a comparative example, and FIG. FIG. 4 is a diagram for explaining a video conference using communication terminals according to the embodiment; 第２の実施形態に係る通信端末の機能構成の一例を示すブロック図である。FIG. 11 is a block diagram showing an example of a functional configuration of a communication terminal according to the second embodiment; FIG. 第２の実施形態に係るビデオ会議システムの動作の一例を示すシーケンス図である。FIG. 11 is a sequence diagram showing an example of the operation of the video conference system according to the second embodiment; 第３の実施形態に係る通信端末の機能構成の一例を示すブロック図である。FIG. 14 is a block diagram showing an example of a functional configuration of a communication terminal according to a third embodiment; FIG. 第３の実施形態に係る入力画面の一例を説明する図である。It is a figure explaining an example of the input screen which concerns on 3rd Embodiment.

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings. In each drawing, the same components are denoted by the same reference numerals, and redundant description may be omitted.

実施形態では、拠点Ａに設置された通信端末２Ａ、或いは２Ｂを例に説明する場合があるが、何れの拠点に設置された通信端末２も、説明に係る通信端末２Ａ、或いは２Ｂと同様の機能を有し、同様の動作を実行可能であるものとする。 In the embodiment, the communication terminal 2A or 2B installed at the site A may be described as an example, but the communication terminal 2 installed at any site may be the same as the communication terminal 2A or 2B according to the description. It shall have the function and be capable of performing similar operations.

＜実施形態に係るビデオ会議システムの構成＞
図１は、実施形態に係るビデオ会議システムの構成の一例を説明する図である。図１に示すように、拠点Ａに通信端末２Ａが設置され、拠点Ｂに通信端末２Ｂが設置されている。通信端末２Ａ及び２Ｂ（以下では、区別しない場合は、通信端末２という）は、インターネットやＬＡＮ（Local Area Network）等のネットワーク３を介してサーバ４と接続されている。但し、これに限定されるものではなく、ビデオ会議システム１に含まれる通信端末２の数（拠点の数）は任意に変更可能である。 <Configuration of Video Conference System According to Embodiment>
FIG. 1 is a diagram illustrating an example configuration of a video conference system according to an embodiment. As shown in FIG. 1, a communication terminal 2A is installed at a site A, and a communication terminal 2B is installed at a site B. As shown in FIG. Communication terminals 2A and 2B (hereinafter referred to as communication terminals 2 when not distinguished) are connected to a server 4 via a network 3 such as the Internet or a LAN (Local Area Network). However, the present invention is not limited to this, and the number of communication terminals 2 (number of bases) included in the video conference system 1 can be changed arbitrarily.

サーバ４は、各通信端末２がサーバ４と接続しているか否かを監視し、ビデオ会議開始時における通信端末２Ａ及び２Ｂの呼び出し制御等のビデオ会議時に必要な制御を行う。 The server 4 monitors whether or not each communication terminal 2 is connected to the server 4, and performs necessary control during the videoconference, such as call control of the communication terminals 2A and 2B at the start of the videoconference.

ビデオ会議時の通信端末２Ａ及び２Ｂは、自端末のデータ送信時は、サーバ４に対して画像データ及び音声データの少なくとも１つ（以下、画像・音声データという）を送信し、サーバ４は、相手側の他の通信端末２に対して画像・音声データを送信する。 The communication terminals 2A and 2B at the time of the videoconference transmit at least one of image data and audio data (hereinafter referred to as image/audio data) to the server 4 when transmitting their own data, and the server 4 The image/audio data is transmitted to another communication terminal 2 on the other party's side.

一方、データ受信時は、サーバ４を介して、相手側の他の通信端末２の画像・音声データを受信する。例えば拠点Ａと拠点Ｂでビデオ会議を行った場合、拠点Ａの通信端末２Ａが送信したデータは、サーバ４を介して拠点Ｂの通信端末２Ｂに送信され、他の通信端末２（ビデオ会議に参加していない通信端末２）には送信されない。 On the other hand, when receiving data, image/audio data of another communication terminal 2 on the other party side is received via the server 4 . For example, when a videoconference is held between sites A and B, the data transmitted by the communication terminal 2A of the site A is transmitted to the communication terminal 2B of the site B via the server 4, and is transmitted to the communication terminal 2B of the site B. It is not transmitted to communication terminals 2) not participating.

同様に、拠点Ｂの通信端末２Ｂが送信した画像・音声データは、サーバ４を介して、ビデオ会議に参加している拠点Ａの通信端末２Ａに送信され、会議に参加していない他の通信端末２には送信されない。このような制御を行うことで、複数の通信端末２(複数の拠点間)でビデオ会議を行うことができる。 Similarly, the image/audio data transmitted by the communication terminal 2B at the base B is transmitted via the server 4 to the communication terminal 2A at the base A participating in the videoconference, and is transmitted to other communication terminals not participating in the conference. It is not sent to terminal 2. By performing such control, a video conference can be held between a plurality of communication terminals 2 (between a plurality of bases).

なお、図１に示すビデオ会議システム１の構成は、一例であって他の構成であってもよい。 Note that the configuration of the video conference system 1 shown in FIG. 1 is an example, and other configurations may be used.

また、通信端末２は、通信機能を備えた装置であれば、ＰＪ（Projector：プロジェクタ）、画像形成装置、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。 The communication terminal 2 can be a PJ (Projector), an image forming device, an IWB (Interactive White Board), a digital Output devices such as signage, HUD (Head Up Display) devices, industrial machines, imaging devices, sound collecting devices, medical equipment, network appliances, notebook PCs (Personal Computers), mobile phones, smartphones, tablet terminals, game machines, PDAs ( Personal Digital Assistant), digital camera, wearable PC, desktop PC, or the like.

＜実施形態に係る通信端末のハードウェア構成＞
次に、実施形態に係る通信端末のハードウェア構成について説明する。図２は、通信端末２のハードウェア構成の一例を説明する図である。通信端末２は一例としてＩＷＢである。 <Hardware Configuration of Communication Terminal According to Embodiment>
Next, the hardware configuration of the communication terminal according to the embodiment will be described. FIG. 2 is a diagram illustrating an example of the hardware configuration of the communication terminal 2. As shown in FIG. The communication terminal 2 is an IWB as an example.

通信端末２は、ＣＰＵ（Central Proccesing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＳＳＤ（Solid State Drive）２０４と、ネットワークコントローラ２０５と、センサコントローラ２０６と、キャプチャデバイス２０７とを有している。また通信端末２は、電子ペンコントローラ２０８と、外部記憶コントローラ２０９と、ＧＰＵ２１０と、ディスプレイコントローラ２１１と、カメラコントローラ２１２と、マイクロホンコントローラ２１３と、スピーカコントローラ２１４とを有している。これらはバスＢを介して相互に接続されている。 The communication terminal 2 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an SSD (Solid State Drive) 204, a network controller 205, and a sensor controller 206. , and a capture device 207 . The communication terminal 2 also has an electronic pen controller 208 , an external storage controller 209 , a GPU 210 , a display controller 211 , a camera controller 212 , a microphone controller 213 and a speaker controller 214 . These are interconnected via a bus B.

ＣＰＵ２０１は、ＲＯＭ２０２やＳＳＤ２０４等の記憶装置からプログラムやデータをＲＡＭ２０３上に読み出し、処理を実行することで、通信端末２全体の制御や機能を実現する演算装置である。 The CPU 201 is an arithmetic unit that realizes the overall control and functions of the communication terminal 2 by reading programs and data from a storage device such as the ROM 202 and the SSD 204 onto the RAM 203 and executing processing.

ＲＯＭ２０２は、電源を切ってもプログラムやデータを保持することが可能な不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ２０２には、通信端末２の起動時に実行されるＢＩＯＳ（Basic Input／Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ２０３は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。 The ROM 202 is a non-volatile semiconductor memory (storage device) capable of retaining programs and data even when power is turned off. The ROM 202 stores programs and data such as BIOS (Basic Input/Output System) executed when the communication terminal 2 is started, OS settings, and network settings. A RAM 203 is a volatile semiconductor memory (storage device) that temporarily holds programs and data.

ＳＳＤ２０４は、ＩＷＢの座標検出システム用のアプリケーションや各種データが記憶された不揮発メモリである。なお、座標検出システム用のアプリケーションは、外部メモリ２１６に記憶された状態で取得されてもよいし、ネットワークコントローラ２０５を介してサーバ等からダウンロードされてもよい。ネットワークコントローラ２０５は、ネットワーク３（図１参照）を介してサーバなどと通信する際に通信プロトコルに基づく処理を実行することができる。なお、ＳＳＤ２０４はＨＤＤ（Hard Disk Drive）であってもよい。 The SSD 204 is a non-volatile memory that stores applications and various data for the IWB coordinate detection system. Note that the application for the coordinate detection system may be obtained while being stored in the external memory 216 or may be downloaded from a server or the like via the network controller 205 . The network controller 205 can execute processing based on a communication protocol when communicating with a server or the like via the network 3 (see FIG. 1). Note that the SSD 204 may be an HDD (Hard Disk Drive).

センサコントローラ２０６は、ＩＷＢの備えるディスプレイ２１７に、電子ペン２１５、及び指が接触した場合に、接触位置の座標検出処理を実行することができる。キャプチャデバイス２０７は、ＰＣ２２１に電気的に接続され、ＰＣ２２１の備える表示装置に表示されている画像、又は映像をキャプチャすることができる。電子ペンコントローラ２０８は、入力装置である電子ペン２１５に電気的に接続され、電子ペン２１５による超音波や赤外線等の発生を制御することができる。 When the electronic pen 215 and a finger touch the display 217 of the IWB, the sensor controller 206 can execute coordinate detection processing of the contact position. The capture device 207 is electrically connected to the PC 221 and can capture images or videos displayed on the display device of the PC 221 . The electronic pen controller 208 is electrically connected to an electronic pen 215 as an input device, and can control generation of ultrasonic waves, infrared rays, and the like by the electronic pen 215 .

外部記憶コントローラ２０９は、着脱可能な外部メモリ２１６に対する書き込み、或いは外部メモ２１６リからの読み出しを行うことができる。外部メモリ２１６は、ＵＳＢ（Universal Serial Bus）メモリやＳＤカード等である。 External storage controller 209 can write to or read from removable external memory 216 . The external memory 216 is a USB (Universal Serial Bus) memory, an SD card, or the like.

ＧＰＵ（Graphics Processing Unit）２１０は、ディスプレイ２１７の各ピクセルの画素値を演算する描画専用のプロセッサである。ディスプレイコントローラ２１１は、ディスプレイ２１７に電気的に接続されており、ＧＰＵ２１０が生成した画像をディスプレイ２１７に出力することができる。ディスプレイ２１７は、ビデオ会議を実行する他の通信端末２からネットワーク３を介して伝送されたビデオ会議参加者の映像を表示することができる。 A GPU (Graphics Processing Unit) 210 is a processor dedicated to drawing that calculates the pixel value of each pixel on the display 217 . The display controller 211 is electrically connected to the display 217 and can output images generated by the GPU 210 to the display 217 . The display 217 can display images of videoconference participants transmitted via the network 3 from other communication terminals 2 executing the videoconference.

カメラコントローラ２１２は、カメラ２１８に電気的に接続され、カメラ２１８による撮像を制御することができる。カメラ２１８は、後述するように、ビデオ会議時の参加者を撮像するために用いられ、カメラ２１８で撮像された画像から参加者の視線が検出される。カメラコントローラ２１２は、カメラ２１８により撮像された画像データをＣＰＵ２０１に出力することができる。なお、参加者の視線検出のために、カメラの代わりに独立した視線センサモジュールを用いてもよい。 Camera controller 212 is electrically connected to camera 218 and can control imaging by camera 218 . As will be described later, the camera 218 is used to capture an image of a participant during the video conference, and the line of sight of the participant is detected from the image captured by the camera 218 . The camera controller 212 can output image data captured by the camera 218 to the CPU 201 . Note that an independent line-of-sight sensor module may be used instead of the camera to detect the line-of-sight of the participant.

マイクロホンコントローラ２１３は、マイクロホン２１９に電気的に接続され、マイクロホン２１９の集音の感度の高さ及び指向性等を制御することができる。なお、マイクロホン２１９の指向性については、別途詳述する。 The microphone controller 213 is electrically connected to the microphone 219 and can control the sensitivity and directivity of the sound collected by the microphone 219 . Note that the directivity of the microphone 219 will be described later in detail.

スピーカコントローラ２１４は、スピーカ２２０に電気的に接続され、スピーカ２２０により発生させる音の大きさ等を制御することができる。 The speaker controller 214 is electrically connected to the speaker 220 and can control the volume of sound generated by the speaker 220 and the like.

＜第１の実施形態に係る通信端末の機能構成＞
次に、第１の実施形態に係るビデオ会議システムについて説明する。先ず、第１の実施形態に係る通信端末の機能構成について説明する。図３は、本実施形態に係る通信端末の機能構成の一例を説明するブロック図である。 <Functional Configuration of Communication Terminal According to First Embodiment>
Next, a video conference system according to the first embodiment will be described. First, the functional configuration of the communication terminal according to the first embodiment will be explained. FIG. 3 is a block diagram illustrating an example of the functional configuration of the communication terminal according to this embodiment.

通信端末２Ａは、撮像部２１と、視線検出部２２と、視線情報蓄積部２３と、注目領域検出部２４と、サブパケット生成部２５と、送信部２６と、受信部２７と、指向性決定部２８と、指向性制御部２９とを有している。 The communication terminal 2A includes an imaging unit 21, a line-of-sight detection unit 22, a line-of-sight information storage unit 23, an attention area detection unit 24, a subpacket generation unit 25, a transmission unit 26, a reception unit 27, and a directivity determination unit. , and a directivity control unit 29 .

撮像部２１は、ビデオ会議に参加している拠点Ａでの参加者の画像を撮像し、撮像した画像情報を視線検出部２２に出力する機能を有する。参加者の画像には、参加者の視線を検出するために、少なくとも参加者の目が含まれている。 The imaging unit 21 has a function of capturing an image of a participant at the base A participating in the video conference and outputting the captured image information to the line-of-sight detection unit 22 . The participant's image includes at least the participant's eyes in order to detect the participant's line of sight.

視線検出部２２は、撮像部２１から入力した画像情報から参加者の視線を検出し、視線情報蓄積部２３に出力する機能を有する。また、視線情報蓄積部２３は視線検出部２２から入力した視線情報を蓄積する機能を有する。 The line-of-sight detection unit 22 has a function of detecting the line-of-sight of the participant from the image information input from the imaging unit 21 and outputting it to the line-of-sight information storage unit 23 . Also, the line-of-sight information accumulation unit 23 has a function of accumulating the line-of-sight information input from the line-of-sight detection unit 22 .

ここで、図４は、参加者の視線の一例を説明する図である。図４は、拠点Ａでの参加者１０１が、拠点Ｂでの参加者１０２ａ～１０２ｄの映像が表示されているディスプレイ２１７を観察している様子を示している。 Here, FIG. 4 is a diagram illustrating an example of a participant's line of sight. FIG. 4 shows participant 101 at site A observing display 217 on which images of participants 102a to 102d at site B are displayed.

例えば、拠点Ｂで参加者１０２ａが発言をした場合、参加者１０１はディスプレイ２１７で参加者１０２ａが表示されている領域に視線を向け、また参加者１０２ｄが発言をした場合、参加者１０１はディスプレイ２１７で参加者１０２ｄが表示されている領域に視線を向ける。参加者の視線情報は、このように、参加者１０１がディスプレイ２１７で視線を向けている領域を示す情報をいう。 For example, when the participant 102a speaks at the base B, the participant 101 turns his/her gaze to the area where the participant 102a is displayed on the display 217, and when the participant 102d speaks, the participant 101 looks at the display area. At 217, look at the area where participant 102d is displayed. The line-of-sight information of the participant thus refers to information indicating the area to which the line-of-sight of the participant 101 is directed on the display 217 .

視線検出部２２は、拠点Ａで撮像部２１が撮像した参加者の画像を画像処理することで、視線情報を検出することができる。視線検出部２２は、画像処理として、例えば、画像から人物の目の黒目に該当する画像領域を抽出し、黒目の重心位置座標を視線情報として算出する処理を実行することができる。視線検出の画像処理方法には、公知技術を適用することができるため、ここでは詳細な説明を省略する。 The line-of-sight detection unit 22 can detect line-of-sight information by processing the image of the participant captured by the imaging unit 21 at the site A. FIG. As image processing, the line-of-sight detection unit 22 can execute, for example, a process of extracting an image region corresponding to the iris of a person's eye from an image and calculating the barycentric position coordinates of the iris as line-of-sight information. Since a well-known technique can be applied to the image processing method for line-of-sight detection, detailed description thereof is omitted here.

図５は、視線検出部２２が検出し、視線情報蓄積部２３が蓄積する視線情報の一例を説明する図である。視線検出部２２は、時間に応じて変化する参加者の視線を検出し、順次に視線情報蓄積部２３に出力することができる。また、視線情報蓄積部２３は、図５に示すように、視線情報を示す重心位置座標を時間毎で蓄積することができる。 FIG. 5 is a diagram illustrating an example of line-of-sight information detected by the line-of-sight detection unit 22 and accumulated by the line-of-sight information accumulation unit 23. As shown in FIG. The line-of-sight detection unit 22 can detect the line-of-sight of the participant, which changes with time, and sequentially output it to the line-of-sight information accumulation unit 23 . In addition, as shown in FIG. 5, the line-of-sight information accumulation unit 23 can accumulate barycentric position coordinates indicating line-of-sight information for each time.

ここで、図６は、時間に応じた視線変化の一例を説明する図である。図６は、ディスプレイ２１７上での視線の軌跡を表す視線情報分布６１を示している。 Here, FIG. 6 is a diagram illustrating an example of line-of-sight changes over time. FIG. 6 shows a line-of-sight information distribution 61 representing the line-of-sight trajectory on the display 217 .

拠点Ａでのビデオ会議の参加者が複数人いる場合は、視線検出部２２は各人の視線情報を検出し、視線情報蓄積部２３は、人数分の視線情報を蓄積することができる。 When there are a plurality of participants in the video conference at the site A, the line-of-sight detection unit 22 can detect the line-of-sight information of each person, and the line-of-sight information accumulation unit 23 can accumulate the line-of-sight information for the number of participants.

図３に戻り、各機能部の説明を続ける。 Returning to FIG. 3, the description of each functional unit is continued.

注目領域検出部２４は、視線情報蓄積部２３が蓄積した視線情報に基づき、拠点Ａで参加者が注目している注目領域を検出し、検出した注目領域情報をサブパケット生成部２５に出力する機能を有する。 The attention area detection unit 24 detects an attention area that the participant is paying attention to at the base A based on the line-of-sight information accumulated by the line-of-sight information accumulation unit 23, and outputs the detected attention area information to the sub-packet generation unit 25. have a function.

例えば、注目領域検出部２４は、視線が集中する時間を閾値とし、予め定められた時間閾値以上に視線が集中した領域を注目領域として検出することができる。具体的には、時間閾値を２秒とし、視線検出の検出時間間隔を１０ミリ秒とすると、２０回以上の検出で同じ領域に視線が向けられていた場合、注目領域検出部２４は、この領域を注目領域として検出することができる。 For example, the attention area detection unit 24 can detect, as an attention area, an area in which the line of sight is concentrated for a predetermined time threshold or longer, using the time period during which the line of sight is concentrated as a threshold. Specifically, if the time threshold is set to 2 seconds and the detection time interval for line-of-sight detection is set to 10 milliseconds, when the line-of-sight is directed to the same area in 20 or more detections, the attention area detection unit 24 detects this A region can be detected as a region of interest.

なお、この「領域」は、注目領域を検出する単位領域として予め決定されている。単位領域は、１×１画素の領域や１０×１０画素の領域等を任意に設定することができる。時間を閾値にすることで、参加者が凝視した領域を注目領域として検出することができる。 Note that this "area" is determined in advance as a unit area for detecting the attention area. The unit area can be arbitrarily set to a 1×1 pixel area, a 10×10 pixel area, or the like. By using the time as a threshold, it is possible to detect the area that the participant gazed at as the attention area.

また、注目領域検出部２４は、視線が集中する回数を閾値とし、予め定められた回数閾値以上に視線が集中した領域を注目領域として検出することもできる。時間を閾値にした場合との違いとしては、同じ領域を複数回の検出で連続して取得した場合に、集中した時間によらず１回とカウントする点である。 Further, the attention area detection unit 24 can detect the area where the line of sight is concentrated more than a predetermined number of times as the attention area, using the number of times the line of sight is concentrated as a threshold. The difference from the case where time is used as a threshold is that when the same region is continuously acquired by multiple detections, it is counted as one regardless of the concentrated time.

具体的には、回数の閾値を１０回とし、視線検出の検出時間間隔を１０ミリ秒とすると、同じ領域が不連続に１０回検出された場合に、注目領域検出部２４は、この領域を注目領域として検出することができる。回数を閾値にすることで、注目しているときに時折視線を外すことがあっても、適切に注目領域を検出することが可能となる。 Specifically, if the threshold for the number of times is set to 10 times and the detection time interval for line-of-sight detection is set to 10 milliseconds, when the same area is detected discontinuously 10 times, the attention area detection unit 24 detects this area. It can be detected as a region of interest. By using the number of times as a threshold, it is possible to appropriately detect the attention area even if the line of sight is sometimes lost while the user is paying attention.

また、注目領域検出部２４は、視線を集中した参加者の人数を閾値として、予め定められた人数閾値以上の参加者が視線を集中した領域を注目領域として検出することもできる。拠点Ａでのビデオ会議の参加者が複数いる場合は、視線情報分布６１（図６）が人数分得られるが、注目領域検出部２４は、閾値以上の人数の参加者の視線が集中した領域を、注目領域として検出することができる。 Further, the attention area detection unit 24 can detect, as an attention area, an area where a predetermined number of participants or more have focused their gazes, using the number of participants whose gazes are concentrated as a threshold. When there are a plurality of participants in the video conference at base A, line-of-sight information distribution 61 (FIG. 6) is obtained for each number of participants. can be detected as a region of interest.

人数を閾値にすることで、よそ見をしている参加者がいたとしても、他の参加者の視線情報から適切に注目領域を検出することが可能となる。 By using the number of people as a threshold, it is possible to appropriately detect an attention area from the line-of-sight information of other participants even if there is a participant who is looking away.

注目領域を検出するための閾値は、上述の時間、回数、及び人数を組み合わせて用いてもよい。組み合わせることで、注目領域の検出精度をより向上させることができる。 A threshold value for detecting a region of interest may be used by combining the above time, number of times, and number of people. By combining them, it is possible to further improve the detection accuracy of the attention area.

図７は、注目領域の一例を説明する図である。視線情報分布６１において、破線で囲った領域６２ａ～６２ｄが注目領域として検出されている。 FIG. 7 is a diagram illustrating an example of a region of interest. In the line-of-sight information distribution 61, areas 62a to 62d surrounded by broken lines are detected as attention areas.

図３に戻り、説明を各機能部の説明を続ける。 Returning to FIG. 3, the description continues with the description of each functional unit.

サブパケット生成部２５は、注目領域検出部２４が検出した注目領域情報を入力し、拠点Ｂ等の他拠点に送信するためのサブパケットを生成し、送信部２６に出力する機能を有する。また送信部２６は、入力したサブパケットを、参加者の映像及び音声や同期データ等の会議データに含ませて、他の拠点に送信する機能を有する。なお、送信部２６がサブパケットを送信する他の拠点に設置された通信端末２Ｂは、「他の第１通信端末」の一例である。また、注目領域検出部２４が検出した注目領域情報は、「所定の座標情報」の一例である。 The sub-packet generation unit 25 has a function of receiving the attention area information detected by the attention area detection unit 24 , generating a sub-packet for transmission to another site such as the site B, and outputting the sub-packet to the transmission unit 26 . The transmission unit 26 also has a function of including the input subpacket in conference data such as video and audio of participants and synchronization data, and transmitting the conference data to another base. The communication terminal 2B installed at another site to which the transmission unit 26 transmits subpackets is an example of "another first communication terminal". Also, the attention area information detected by the attention area detection unit 24 is an example of "predetermined coordinate information".

ここで、図８は、サブパケットに含まれる情報の一例を説明する図である。図８では、注目領域のＸ、Ｙ座標が一覧で示されている。単位領域が複数画素（１０×１０画素等）で構成される場合は、単位領域の中心座標等が注目領域の座標情報となる。 Here, FIG. 8 is a diagram illustrating an example of information included in a subpacket. In FIG. 8, the X and Y coordinates of the attention area are shown in a list. When the unit area is composed of a plurality of pixels (10×10 pixels, etc.), the center coordinates of the unit area and the like become the coordinate information of the attention area.

ここで、サブパケット生成部２５は、注目領域の全ての座標情報ではなく、一部の座標情報からサブパケットを生成してもよい。一部の座標としては、Ｘ座標の最大値、Ｘ座標の最小値、Ｙ座標の最大値、及びＹ座標の最小値の少なくとも１つ等が挙げられる。 Here, the subpacket generation unit 25 may generate subpackets from not all the coordinate information of the attention area, but part of the coordinate information. Some coordinates include at least one of a maximum X coordinate, a minimum X coordinate, a maximum Y coordinate, and a minimum Y coordinate.

マイクロホン２１９の指向性の決定（詳細は後述）に影響が大きいのは、注目領域のうちの端部の領域であるため、最大値及び最小値という端部のデータからサブパケットを生成してもよい。また、Ｙ座標と比較してＸ座標は指向性の決定に影響が大きいため、Ｘ座標からサブパケットを生成してもよい。このように注目領域の一部の座標情報からサブパケットを生成することで、送信するデータ量を削減し、通信の負荷を低減し、また通信速度を上げることができる。 Since it is the edge area of the attention area that greatly affects the determination of the directivity of the microphone 219 (details will be described later), even if subpackets are generated from the edge data such as the maximum value and the minimum value, good. In addition, since the X coordinate has a greater influence on determination of directivity than the Y coordinate, subpackets may be generated from the X coordinate. By generating subpackets from the coordinate information of a part of the attention area in this way, the amount of data to be transmitted can be reduced, the communication load can be reduced, and the communication speed can be increased.

一方で、ビデオ会議を行う他の拠点で、同じ画素数、及び／又は画面サイズのディスプレイを使用しているとは限らない。そのため、この差異に起因して、注目領域情報に基づいたマイクロホン２１９の指向性の決定を適切に行えない場合がある。 On the other hand, it is not always the case that other locations where video conferences are held use displays with the same number of pixels and/or screen size. Therefore, due to this difference, it may not be possible to appropriately determine the directivity of the microphone 219 based on the attention area information.

そこで、サブパケット生成部２５は、注目領域情報とともに、製品のモデル識別番号をサブパケットに含めてもよい。受信側でディスプレイの画素数、及び／又は画面サイズの差異の影響を補正することで、適切にマイクロホン２１９の指向性を決定することができる。 Therefore, the subpacket generator 25 may include the model identification number of the product in the subpacket together with the region-of-interest information. The directivity of the microphone 219 can be appropriately determined by correcting the influence of the difference in the number of pixels of the display and/or the screen size on the receiving side.

ここで、マイクロホン２１９の集音の指向性について説明する。本実施形態では、マイクロホン２１９の集音の指向性の制御のために、ビームフォーミング技術を用いることができる。マイクロホンのビームフォーミング（以降では、単にビームフォーミングという）とは、複数のマイクロホンを用い、所定の方向に音波の指向性を高める技術である。 Here, the directivity of the sound collected by the microphone 219 will be described. In this embodiment, beam forming technology can be used for controlling the directivity of the sound collected by the microphone 219 . Beamforming of microphones (hereinafter simply referred to as beamforming) is a technique of using a plurality of microphones to increase the directivity of sound waves in a predetermined direction.

具体的には、複数のマイクロホンが出力する音声を信号処理することで、集音の感度を所定の方向では高く、それ以外の方向では低くするようにする。これにより、ビデオ会議において、発言者の音は集音感度を上げて聞こえやすくし、周囲の不要な音は集音感度を下げて聞こえ難くすることができる。 Specifically, by signal-processing sounds output from a plurality of microphones, the sensitivity of sound collection is made high in a predetermined direction and low in other directions. As a result, in a video conference, the sound collection sensitivity of the speaker can be increased to make it easier to hear, and the sound collection sensitivity of unnecessary surrounding sounds can be lowered to make it harder to hear.

図９は、マイクロホンの集音の指向性について説明する図である。（ａ）はビームフォーミングの集音方向を説明する図であり、（ｂ）は注目領域情報と集音方向との対応関係を説明する図である。 FIG. 9 is a diagram for explaining the directivity of sound collected by a microphone. (a) is a diagram for explaining the sound collection direction of beam forming, and (b) is a diagram for explaining the correspondence relationship between attention area information and the sound collection direction.

本実施形態では、図９（ａ）に示すように、ディスプレイ２１７のディスプレイ面に垂直な方向を集音方向の０度とし、図中左側に回転する方向を正の集音方向とし、右側に回転する方向を負の集音方向としている。また、図９（ａ）の±９０度方向（水平方向）に対応する方向を撮像部２１による画像のＸ方向とした場合に、注目領域情報と集音方向とを図６（ｂ）に示す対応関係としている。 In this embodiment, as shown in FIG. 9A, the direction perpendicular to the display surface of the display 217 is 0 degrees of the sound collection direction, the direction rotating leftward in the figure is the positive sound collection direction, and the right direction is the sound collection direction. The direction of rotation is the negative sound collection direction. FIG. 6B shows attention area information and sound collecting directions when the direction corresponding to the ±90 degree direction (horizontal direction) in FIG. Corresponding relationship.

図６（ｂ）の対応関係を参照して、注目領域情報のＸ座標に基づき、マイクロホンの集音方向の最大値と最小値を示す角度、すなわち指向性を設定することができる。例えば、注目領域情報のＸ座標の最大値が２８０画素で最小値が２４０画素の場合、指向性は最小値０度～最大値２５度に設定され、この方向に位置する参加者１０１ａ及び１０１ｂの発する音に対する集音感度が上がり、逆に参加者１０１ｃ及び１０１ｄの発する音に対する集音感度は下がる。このようにして注目領域に応じて指向性が決定される。図９（ｂ）の対応関係を示すデータは、予め決定され、ＳＳＤ２０４等のメモリに記憶されている。 With reference to the correspondence relationship shown in FIG. 6B, it is possible to set the angle indicating the maximum value and minimum value of the sound collecting direction of the microphone, that is, the directivity, based on the X-coordinate of the attention area information. For example, when the maximum value of the X coordinate of the attention area information is 280 pixels and the minimum value is 240 pixels, the directivity is set to a minimum value of 0 degrees to a maximum value of 25 degrees, and the participants 101a and 101b positioned in this direction are The sound collection sensitivity for the sounds emitted by the participants 101c and 101d is decreased. In this way, the directivity is determined according to the attention area. Data indicating the correspondence relationship in FIG. 9B is determined in advance and stored in a memory such as the SSD 204 .

なお、注目領域情報のＹ座標は、ディスプレイから参加者までの距離に対応するため、参加者までの距離が長い場合は、マイクロホンの集音感度を上げる等、Ｙ座標の値に応じてマイクロホンの集音感度を決定してもよい。 Note that the Y coordinate of the attention area information corresponds to the distance from the display to the participants. Sound collection sensitivity may be determined.

図３に戻り、各機能部の説明を続けると、受信部２７は、他の拠点から注目領域情報を受信し、指向性決定部２８に出力する機能を有する。なお、受信部２７が受信する注目領域情報を送信する、他の拠点に設置された通信端末２Ｂは、「他の第２通信端末」の一例である。なお、上述の「他の第１の通信端末」と「他の第２の通信端末」は、同じ通信端末であってもよいし、異なる通信端末であってもよい。 Returning to FIG. 3 and continuing the description of each functional unit, the receiving unit 27 has a function of receiving attention area information from other bases and outputting it to the directivity determination unit 28 . Note that the communication terminal 2B installed at another site, which transmits the attention area information received by the receiving unit 27, is an example of "another second communication terminal." It should be noted that the above-mentioned "another first communication terminal" and "another second communication terminal" may be the same communication terminal or different communication terminals.

指向性決定部２８は、受信部２７が受信した注目領域情報に基づき、ＳＳＤ２０４等に記憶された図９（ｂ）の対応関係を示すデータを参照してマイクロホン２１９の集音の指向性を決定し、決定した指向性情報を指向性制御部２９に出力する機能を有する。 Based on the attention area information received by the receiving unit 27, the directivity determining unit 28 determines the directivity of sound collection by the microphone 219 by referring to the data indicating the correspondence shown in FIG. and outputs the determined directivity information to the directivity control unit 29 .

指向性制御部２９は、入力した指向性情報に基づき、マイクロホン２１９の集音の指向性を制御することができる。 The directivity control unit 29 can control the directivity of the sound collected by the microphone 219 based on the input directivity information.

なお、本実施形態では、公知のビームフォーミング技術を適用することができるため、ビームフォーミング制御技術等の詳細な説明は省略する。 In addition, in this embodiment, since a well-known beamforming technique can be applied, detailed description of the beamforming control technique and the like is omitted.

＜第１の実施形態に係るビデオ会議システムの動作＞
次に、図１０は、本実施形態に係る通信端末２Ａによる注目領域の検出処理の一例を示すフローチャートである。 <Operation of Video Conference System According to First Embodiment>
Next, FIG. 10 is a flow chart showing an example of detection processing of an attention area by the communication terminal 2A according to this embodiment.

先ず、ステップＳ１０１において、撮像部２１は、拠点Ａでのビデオ会議への参加者の画像を撮像し、撮像した画像情報を視線検出部２２に出力する。 First, in step S<b>101 , the imaging unit 21 captures an image of a participant in the video conference at the site A, and outputs captured image information to the line-of-sight detection unit 22 .

続いて、ステップＳ１０２において、視線検出部２２は、入力した画像情報から参加者の視線を検出し、検出した視線情報を視線情報蓄積部２３に出力する。なお、参加者が複数いる場合は、各参加者の視線を検出し、各参加者の視線情報を視線情報蓄積部２３に出力する。 Subsequently, in step S<b>102 , the line-of-sight detection unit 22 detects the line-of-sight of the participant from the input image information, and outputs the detected line-of-sight information to the line-of-sight information accumulation unit 23 . If there are a plurality of participants, the line of sight of each participant is detected, and the line of sight information of each participant is output to the line of sight information accumulation unit 23 .

続いて、ステップＳ１０３において、視線情報蓄積部２３は、入力した視線情報を蓄積する。なお、参加者が複数いる場合は、各参加者の視線情報を蓄積する。 Subsequently, in step S103, the line-of-sight information accumulation unit 23 accumulates the input line-of-sight information. In addition, when there are multiple participants, the line-of-sight information of each participant is accumulated.

続いて、ステップＳ１０４において、視線検出部２２は、所定の時間を経過したか否かを判定する。この「所定の時間」は、視線情報を蓄積するために予め定められた時間である。 Subsequently, in step S104, the line-of-sight detection unit 22 determines whether or not a predetermined period of time has elapsed. This "predetermined time" is a predetermined time for accumulating line-of-sight information.

所定の時間が経過していないと判断された場合は（ステップＳ１０４、Ｎｏ）、ステップＳ１０１に戻る。一方、所定の時間が経過していると判断された場合は（ステップＳ１０４、Ｙｅｓ）、ステップＳ１０５において、注目領域検出部２４は、視線情報蓄積部２３により蓄積された視線情報に基づき、拠点Ａで参加者が注目している注目領域を検出する。そして、検出した注目領域情報をサブパケット生成部２５に出力する。 If it is determined that the predetermined time has not passed (step S104, No), the process returns to step S101. On the other hand, if it is determined that the predetermined time has passed (step S104, Yes), in step S105, the attention area detection unit 24 detects the point A based on the line-of-sight information accumulated by the line-of-sight information accumulation unit 23. to detect the region of interest that the participant is paying attention to. Then, the detected attention area information is output to the subpacket generator 25 .

続いて、ステップＳ１０６において、サブパケット生成部２５は、入力した注目領域情報から拠点Ｂ等の他拠点に送信するためのサブパケットを生成し、送信部２６に出力する。 Subsequently, in step S<b>106 , the subpacket generation unit 25 generates subpackets for transmission to other bases such as the base B from the input region-of-interest information, and outputs the subpackets to the transmission unit 26 .

続いて、ステップＳ１０７において、送信部２６は、入力したサブパケットを、参加者の映像及び音声や、同期データ等の会議データに含ませて、拠点Ｂ等の他の拠点に送信する。 Subsequently, in step S107, the transmission unit 26 includes the input subpacket in conference data such as video and audio of the participants and synchronization data, and transmits the conference data to the base B and other bases.

このようにして、通信端末２Ａは拠点Ａでのビデオ会議への参加者の注目領域情報を、拠点Ｂ等の他拠点に送信することができる。 In this manner, the communication terminal 2A can transmit attention area information of participants in the video conference at the base A to other bases such as the base B. FIG.

次に、図１１は、本実施形態に係る通信端末２Ａによる指向性の制御処理の一例を示すフローチャートである。 Next, FIG. 11 is a flowchart showing an example of directivity control processing by the communication terminal 2A according to this embodiment.

先ず、ステップＳ１１１において、受信部２７は、注目領域情報が含まれるサブパケットを受信したか否かを判定する。注目領域情報が含まれるサブパケットを受信していない場合は（ステップＳ１１１、Ｎｏ）、再度ステップＳ１１１の処理を実行する。一方、注目領域情報を受信した場合は（ステップＳ１１１、Ｙｅｓ）、ステップＳ１１２において、受信部２７は受信した注目領域情報を指向性決定部２８に出力する。指向性決定部２８は、入力した注目領域情報に基づき、ＳＳＤ２０４等に記憶された注目領域情報と集音方向との対応関係を示すデータを参照し、マイクロホン２１９の集音の指向性を決定する。そして、決定した指向性情報を指向性制御部２９に出力する。 First, in step S111, the receiving unit 27 determines whether or not a subpacket containing attention area information has been received. If no subpacket containing attention area information has been received (step S111, No), the process of step S111 is executed again. On the other hand, if attention area information has been received (step S111, Yes), the reception unit 27 outputs the received attention area information to the directivity determination unit 28 in step S112. Based on the input area-of-interest information, the directivity determining unit 28 refers to data indicating the correspondence relationship between the area-of-interest information and the sound-collecting direction stored in the SSD 204 or the like, and determines the directivity of sound collection by the microphone 219. . Then, the determined directivity information is output to the directivity control section 29 .

続いて、ステップＳ１１３において、指向性制御部２９は、入力した指向性情報に基づき、マイクロホン２１９の集音の指向性を制御する。 Subsequently, in step S113, the directivity control unit 29 controls the directivity of sound collection by the microphone 219 based on the input directivity information.

このようにして、通信端末２Ａは、拠点Ｂ等の他拠点から受信した注目領域情報に基づき、通信端末２Ａの備えるマイクロホン２１９の指向性を決定し、制御することができる。 In this manner, the communication terminal 2A can determine and control the directivity of the microphone 219 included in the communication terminal 2A based on the attention area information received from other sites such as the site B. FIG.

次に、図１２は、本実施形態に係るビデオ会議システムの動作の一例を示すシーケンス図である。 Next, FIG. 12 is a sequence diagram showing an example of the operation of the video conference system according to this embodiment.

先ず、ステップＳ１２１において、通信端末２Ａは、通信端末２Ｂに対してビデオ会議の開始を要求する信号を送信する。 First, in step S121, the communication terminal 2A transmits a signal requesting the start of the videoconference to the communication terminal 2B.

続いて、ステップＳ１２２において、通信端末２Ｂは、ビデオ会議を開始可能である場合は、その旨を示す要求応答信号を通信端末２Ａに送信する。 Subsequently, in step S122, when the communication terminal 2B can start the video conference, the communication terminal 2B transmits a request response signal to that effect to the communication terminal 2A.

続いて、ステップＳ１２３において、通信端末２Ａは、図１０で説明した注目領域検出処理を実行する。 Subsequently, in step S123, the communication terminal 2A executes the attention area detection process described with reference to FIG.

続いて、ステップＳ１２４において、通信端末２Ａは、注目領域情報を含むサブパケットを、会議データに含めて通信端末Ｂに送信する。 Subsequently, in step S124, the communication terminal 2A transmits the conference data to the communication terminal B including the subpacket including the attention area information.

続いて、ステップＳ１２５において、通信端末２Ｂは、受信したサブパケットに含まれる注目領域情報に基づいて、図１１で説明した指向性の制御処理を実行する。 Subsequently, in step S125, the communication terminal 2B executes the directivity control process described with reference to FIG. 11 based on the attention area information included in the received subpacket.

続いて、ステップＳ１２６において、ビデオ会議を終了する場合は、通信端末２Ａは、通信端末２Ｂに対してビデオ会議の終了を要求する信号を送信する。 Subsequently, in step S126, when ending the videoconference, the communication terminal 2A transmits a signal requesting the end of the videoconference to the communication terminal 2B.

続いて、ステップＳ１２７において、通信端末２Ｂは、ビデオ会議を終了可能である場合は、その旨を示す要求応答信号を通信端末２Ａに送信する。 Subsequently, in step S127, when the video conference can be terminated, the communication terminal 2B transmits a request response signal to that effect to the communication terminal 2A.

このようにして、ビデオ会議システム１はビデオ会議を実行することができる。 In this manner, the video conference system 1 can conduct video conferences.

＜第１の実施形態に係るビデオ会議システムの効果＞
次に、本実施形態に係るビデオ会議システムの効果について説明する。 <Effects of the video conference system according to the first embodiment>
Next, effects of the video conference system according to this embodiment will be described.

図１３は、本実施形態に係るビデオ会議システムの効果の一例を説明する図である。（ａ）は比較例に係る通信端末を用いるビデオ会議を説明する図であり、（ｂ）は本実施形態に係る通信端末を用いるビデオ会議を説明する図である。 FIG. 13 is a diagram illustrating an example of the effect of the video conference system according to this embodiment. (a) is a diagram for explaining a video conference using a communication terminal according to a comparative example, and (b) is a diagram for explaining a video conference using a communication terminal according to an embodiment.

図１３（ａ）において、比較例に係る通信端末５Ａは、通信端末５Ａｏｔｈに隣接して設置されている。通信端末５Ａが使用されるビデオ会議１０と、通信端末５Ａｏｔｈが使用されるビデオ会議１０ｏｔｈは別のビデオ会議である。また、通信端末５Ａは、音の発生した方向（領域）の音声を集音するように、マイクロホンの指向性を制御する機能を備えている。 In FIG. 13A, the communication terminal 5A according to the comparative example is installed adjacent to the communication terminal 5Aoth. The video conference 10 using the communication terminal 5A and the video conference 10oth using the communication terminal 5Aoth are different video conferences. The communication terminal 5A also has a function of controlling the directivity of the microphone so as to collect sound in the direction (area) where the sound is generated.

図１３（ａ）の場合、通信端末５Ａと通信端末５Ａｏｔｈとの距離が近いと、通信端末５Ａは、ビデオ会議１０ｏｔｈの参加者５０１ａの発言に反応し、参加者５０１ａの方向（矢印１３１）の音声を集音するように、マイクロホンの指向性を誤って決定する場合がある。 In the case of FIG. 13A, when the distance between the communication terminal 5A and the communication terminal 5Aoth is short, the communication terminal 5A reacts to the speech of the participant 501a of the video conference 10oth, and moves in the direction (arrow 131) of the participant 501a. The directionality of the microphone may be erroneously determined to pick up sound.

一方、図１３（ｂ）において、本実施形態に係る通信端末２Ａは、図１３（ａ）の場合と同様に、通信端末５Ａｏｔｈに隣接して設置されている。また、通信端末２Ａが使用されるビデオ会議１０と、通信端末５Ａｏｔｈが使用されるビデオ会議１０ｏｔｈは別のビデオ会議である。 On the other hand, in FIG. 13(b), the communication terminal 2A according to this embodiment is installed adjacent to the communication terminal 5Aoth, as in the case of FIG. 13(a). Also, the video conference 10 using the communication terminal 2A and the video conference 10oth using the communication terminal 5Aoth are different video conferences.

本実施形態では、上述のように、拠点Ｂ等の他拠点の通信端末２Ｂから送信される注目領域情報に基づき、マイクロホン２１９の指向性を制御する。別のビデオ会議に参加している参加者５０１ａが拠点Ｂでの参加者の注目領域に含まれることはないため、参加者５０１ａが発言しても、通信端末２Ａはマイクロホン２１９の指向性を参加者５０１ａの方向に向けるような誤った決定を行うことはない。 In this embodiment, as described above, the directivity of the microphone 219 is controlled based on the area-of-interest information transmitted from the communication terminal 2B at another site such as the site B. FIG. Since participant 501a participating in another videoconference is not included in the participant's attention area at site B, even if participant 501a makes a statement, communication terminal 2A uses the directivity of microphone 219 to participate in the videoconference. It does not make the wrong decision to point in the direction of person 501a.

このようにして、本実施形態では、マイクロホン２１９の集音の指向性を、ビデオ会議１０の参加者１０１ａの方向に、適切に決定することができる。 In this way, in this embodiment, the directivity of the sound collected by the microphone 219 can be appropriately determined in the direction of the participant 101a of the video conference 10. FIG.

なお、通信端末２Ａの備える撮像部２１は、別のビデオ会議に参加している参加者が撮像した画像に含まれないように、撮像視野が予め設定されていてもよい。これにより、別のビデオ会議に参加している参加者が、拠点Ｂでの参加者の注目領域に確実に含まれないようにできるため、マイクロホンの指向性を参加者５０１ａの方向に向けるような誤決定を確実に防ぐことができる。 Note that the imaging field of the imaging unit 21 provided in the communication terminal 2A may be set in advance so as not to be included in the images captured by participants participating in another video conference. As a result, since it is possible to ensure that a participant who is participating in another video conference is not included in the attention area of the participant at the base B, the directivity of the microphone is directed toward the participant 501a. An erroneous decision can be reliably prevented.

また、本実施形態では、通信端末２Ａは、検出した注目領域情報を他の第１通信端末に送信し、他の第２通信端末から受信した注目領域情報に基づいて指向性を決定する例を説明したが、これに限定されるものではない。 Further, in this embodiment, the communication terminal 2A transmits the detected attention area information to another first communication terminal, and determines the directivity based on the attention area information received from another second communication terminal. Illustrated, but not limited to.

例えば、通信端末２Ａは、検出した視線情報を他の第１通信端末に送信し、他の第２通信端末から受信した視線情報を蓄積し、蓄積した視線情報に基づき、注目領域を検出し、検出した注目領域情報に基づいて指向性を決定してもよい。この場合に送信される視線情報は、「所定の座標情報」の一例である。 For example, the communication terminal 2A transmits the detected line-of-sight information to the other first communication terminal, accumulates the line-of-sight information received from the other second communication terminal, detects the attention area based on the accumulated line-of-sight information, Directivity may be determined based on the detected attention area information. The line-of-sight information transmitted in this case is an example of "predetermined coordinate information".

或いは、通信端末２Ａは、検出した注目領域に基づき決定した指向性情報を他の第１通信端末に送信し、他の第２通信端末から受信した指向性情報に基づいて指向性を制御してもよい。 Alternatively, the communication terminal 2A transmits the directivity information determined based on the detected attention area to the other first communication terminal, and controls the directivity based on the directivity information received from the other second communication terminal. good too.

ここで、通信端末２Ａが注目領域情報、又は指向性情報を他の第１通信端末に送信する場合は、視線情報を他の第１通信端末に送信する場合と比較して、送信するデータ量を削減できる効果を得ることができる。 Here, when the communication terminal 2A transmits the attention area information or the directivity information to the other first communication terminal, the amount of data to be transmitted is compared with the case where the line-of-sight information is transmitted to the other first communication terminal. can be reduced.

［第２の実施形態］
次に、第２の実施形態に係るビデオ会議システムを説明する。なお、既に説明した実施形態と同一の構成部についての説明は省略する。 [Second embodiment]
Next, a video conference system according to the second embodiment will be described. Note that descriptions of components that are the same as those of the already described embodiment will be omitted.

ここで、通信端末２が会議室等の所定の場所に固定されて設置されている場合、参加者が着席する場所は、ビデオ会議毎でほとんど変わらないため、前回行ったビデオ会議で決定された指向性情報を、今回行うビデオ会議でそのまま適用できる場合がある。 Here, if the communication terminal 2 is fixed and installed in a predetermined place such as a conference room, the place where the participants are seated is almost the same for each video conference. The directivity information may be applied as it is in the video conference to be held this time.

そこで、本実施形態では、前回行ったビデオ会議における指向性情報を指向性情報記憶部３０に記憶しておき、指向性決定部２８ａは、今回行うビデオ会議において、指向性情報記憶部３０を参照して取得した指向性情報に基づき、指向性を決定する。 Therefore, in the present embodiment, the directivity information in the previous video conference is stored in the directivity information storage unit 30, and the directivity determining unit 28a refers to the directivity information storage unit 30 in the current video conference. Directivity is determined based on the acquired directivity information.

図１４は、本実施形態に係るビデオ会議システム１ａの備える通信端末２Ａａの機能構成の一例を説明するブロック図である。 FIG. 14 is a block diagram illustrating an example of the functional configuration of a communication terminal 2Aa included in the video conference system 1a according to this embodiment.

通信端末２Ａａは、指向性決定部２８ａと、指向性情報記憶部３０と、指向性情報更新部３１とを有している。 The communication terminal 2</b>Aa has a directivity determining section 28 a , a directivity information storage section 30 and a directivity information updating section 31 .

指向性情報記憶部３０は、指向性決定部２８ａが決定した指向性情報を、指向性情報更新部３１を介して入力し、入力した指向性情報を記憶する機能を有する。 The directivity information storage unit 30 has a function of inputting the directivity information determined by the directivity determining unit 28a via the directivity information updating unit 31 and storing the input directivity information.

また指向性決定部２８ａは、注目領域情報に基づき、マイクロホン２１９の集音の指向性を決定する機能とともに、指向性情報記憶部３０から取得した指向性情報に基づき、マイクロホン２１９の集音の指向性を決定する機能を有する。 Further, the directivity determination unit 28a has a function of determining the directivity of sound collection of the microphone 219 based on the attention area information, and determines the direction of sound collection of the microphone 219 based on the directivity information acquired from the directivity information storage unit 30. It has the function of determining sex.

指向性情報更新部３１は、指向性情報記憶部３０に記憶された指向性情報を更新する機能を有する。 The directivity information updating unit 31 has a function of updating the directivity information stored in the directivity information storage unit 30 .

図１５は、本実施形態に係るビデオ会議システムの動作の一例を示すシーケンス図である。 FIG. 15 is a sequence diagram showing an example of the operation of the video conference system according to this embodiment.

先ず、ステップＳ１５１において、通信端末２Ａａは、通信端末２Ｂａに対してビデオ会議の開始を要求する信号を送信する。 First, in step S151, the communication terminal 2Aa transmits a signal requesting the start of the videoconference to the communication terminal 2Ba.

続いて、ステップＳ１５２において、通信端末２Ｂａは、ビデオ会議を開始可能である場合は、その旨を示す要求応答信号を通信端末２Ａａに送信する。 Subsequently, in step S152, when the communication terminal 2Ba can start the video conference, the communication terminal 2Ba transmits a request response signal to that effect to the communication terminal 2Aa.

続いて、ステップＳ１５３において、通信端末２Ｂａは、通信端末２Ｂａの指向性情報記憶部３０から取得した指向性情報に基づき、マイクロホン２１９の集音の指向性を決定する。 Subsequently, in step S153, the communication terminal 2Ba determines the directivity of sound collection of the microphone 219 based on the directivity information acquired from the directivity information storage unit 30 of the communication terminal 2Ba.

続いて、ステップＳ１５４において、通信端末２Ｂａは、指向性情報に基づき、マイクロホン２１９の集音の指向性を制御する。 Subsequently, in step S154, the communication terminal 2Ba controls the directivity of sound collection by the microphone 219 based on the directivity information.

続いて、ステップＳ１５５において、通信端末２Ａａは、図１０で説明した注目領域検出処理を実行する。 Subsequently, in step S155, the communication terminal 2Aa executes the attention area detection process described with reference to FIG.

続いて、ステップＳ１５６において、通信端末２Ａａは、注目領域情報を含むサブパケットを、会議データに含めて通信端末Ｂａに送信する。 Subsequently, in step S156, the communication terminal 2Aa includes the subpacket including the attention area information in the conference data and transmits the conference data to the communication terminal Ba.

続いて、ステップＳ１５７において、通信端末２Ｂａは、受信したサブパケットに含まれる注目領域情報に基づいて、図１１で説明した指向性の制御処理を実行する。 Subsequently, in step S157, the communication terminal 2Ba executes the directivity control process described with reference to FIG. 11 based on the attention area information included in the received subpacket.

続いて、ステップＳ１５８において、通信端末２Ｂａは、今回決定した指向性情報により、通信端末２Ｂａの指向性情報記憶部３０に記憶された指向性情報を更新する。 Subsequently, in step S158, the communication terminal 2Ba updates the directionality information stored in the directionality information storage unit 30 of the communication terminal 2Ba with the directionality information determined this time.

続いて、ステップＳ１５９において、ビデオ会議を終了する場合は、通信端末２Ａａは、通信端末２Ｂａに対してビデオ会議の終了を要求する信号を送信する。 Subsequently, in step S159, when ending the videoconference, the communication terminal 2Aa transmits a signal requesting the end of the videoconference to the communication terminal 2Ba.

続いて、ステップＳ１６０において、通信端末２Ｂａは、ビデオ会議を終了可能である場合は、その旨を示す要求応答信号を通信端末２Ａａに送信する。 Subsequently, in step S160, when the video conference can be terminated, the communication terminal 2Ba transmits a request response signal to that effect to the communication terminal 2Aa.

以上説明したように、本実施形態では、前回行ったビデオ会議における指向性情報を指向性情報記憶部３０に記憶しておき、指向性決定部２８ａは、今回行うビデオ会議において、指向性情報記憶部３０を参照して取得した指向性情報に基づき、指向性を決定する。 As described above, in this embodiment, the directivity information of the previous video conference is stored in the directivity information storage unit 30, and the directivity determination unit 28a stores the directivity information in the current video conference. The directivity is determined based on the directivity information acquired by referring to the unit 30 .

ビデオ会議の開始直後は、視線検出や視線情報の蓄積等で、指向性を決定するまでに一定の時間がかかるが、本実施形態によれば、ビデオ会議の開始の直後に、前回行ったビデオ会議における指向性情報に基づき指向性を決定するため、ビデオ会議の開始の直後から指向性を適切に設定することができ、ビデオ会議を開始直後から円滑に実行することができる。 Immediately after the start of the video conference, it takes a certain amount of time to determine the directivity due to line-of-sight detection, accumulation of line-of-sight information, and the like. Since the directivity is determined based on the directivity information in the conference, the directivity can be appropriately set immediately after the start of the videoconference, and the videoconference can be smoothly executed immediately after the start.

なお、上述したもの以外の効果は、第１の実施形態で説明したものと同様である。 Effects other than those described above are the same as those described in the first embodiment.

［第３の実施形態］
次に、第３の実施形態に係るビデオ会議システムを説明する。 [Third embodiment]
Next, a video conference system according to the third embodiment will be described.

図１６は、本実施形態に係るビデオ会議システム１ｂの備える通信端末２Ａｂの機能構成の一例を説明するブロック図である。 FIG. 16 is a block diagram illustrating an example of the functional configuration of the communication terminal 2Ab included in the video conference system 1b according to this embodiment.

通信端末２Ａｂは、入力画面表示部３２と、設定入力部３３とを有している。 The communication terminal 2Ab has an input screen display section 32 and a setting input section 33 .

入力画面表示部３２は、ビデオ会議システム１ｂのユーザが、注目領域を検出するための時間閾値、回数閾値、及び人数閾値の少なくとも１つ以上と、指向性決定部２８が指向性を決定するための条件とを入力する入力画面を表示する機能を有する。 The input screen display unit 32 displays at least one of a time threshold, a number of times threshold, and a number of persons threshold for the user of the video conference system 1b to detect the attention area, and for the directivity determining unit 28 to determine the directivity. It has a function of displaying an input screen for inputting the conditions of

ここで、図１７は、このような入力画面の一例を説明する図である。図１７に示すように、入力画面３２１には、入力項目として、指向性制御処理を実行するか否かを入力するための「マイク指向性制御」と、視線情報を取得する「所定の時間」（図１０参照）を入力するための「視線情報取得時間」と、注目領域の検出で用いられる閾値の種類及び閾値を入力するための「注目領域検出条件」とが含まれている。 Here, FIG. 17 is a diagram illustrating an example of such an input screen. As shown in FIG. 17, the input screen 321 includes, as input items, "microphone directivity control" for inputting whether or not to execute the directivity control process, and "predetermined time" for acquiring line-of-sight information. (see FIG. 10), and "attention area detection conditions" for inputting the types and thresholds of thresholds used in attention area detection.

このような入力画面３２１はディスプレイ２１７に表示され、ビデオ会議システム１ｂのユーザは、入力画面３２１を通じて注目領域を検出するための閾値や、指向性を決定するための条件を入力することができる。なお、ビデオ会議システム１ｂの管理者がこのような入力を行うようにしてもよい。また、図１７に示した入力項目は一例であって、他の入力項目を追加し、或いは図１７に示した入力項目と置き換えてもよい。 Such an input screen 321 is displayed on the display 217, and the user of the video conference system 1b can input a threshold value for detecting an attention area and a condition for determining directivity through the input screen 321. Note that an administrator of the video conference system 1b may make such an input. Also, the input items shown in FIG. 17 are only examples, and other input items may be added or replaced with the input items shown in FIG.

図１６に戻り、説明を続ける。設定入力部３３は、ディスプレイ２１７に表示された入力画面３２１を通じてユーザが入力した設定情報を入力し、視線検出部２２及び注目領域検出部２４に出力する。なお、この出力先は、入力項目に応じて決定することができる。 Returning to FIG. 16, the description is continued. The setting input unit 33 inputs setting information input by the user through the input screen 321 displayed on the display 217 and outputs the setting information to the line-of-sight detection unit 22 and the attention area detection unit 24 . Note that this output destination can be determined according to the input item.

以上説明したように、本実施形態では、ビデオ会議システム１ｂのユーザが各種閾値や指向性決定の条件等の設定情報を入力する入力画面を表示し、入力された設定情報に応じて通信端末の設定を行う。 As described above, in the present embodiment, an input screen is displayed for the user of the video conference system 1b to input setting information such as various thresholds and directivity determination conditions, and the communication terminal is configured according to the input setting information. Make settings.

周囲の不要な音の大きさ等、ビデオ会議を行う環境によって、指向性を決定するための適切な条件が異なる場合があるが、本実施形態によれば、会議環境に応じて適切に指向性を決定し、制御することができる。 The appropriate conditions for determining the directivity may differ depending on the environment in which the video conference is held, such as the volume of unwanted ambient sound. can be determined and controlled.

尚、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 It should be noted that the present invention is not limited to the specifically disclosed embodiments above, but is capable of various modifications and alterations without departing from the scope of the claims.

また実施形態は、通信端末のマイクロホンの制御方法も含む。例えば、通信端末のマイクロホンの制御方法は、カメラから画像の入力を受け、および、マイクロホンから音声の入力を受け、ビデオ会議で用いられる通信端末の前記マイクロホンの制御方法であって、前記カメラによって前記ビデオ会議の参加者の画像を撮像する工程と、前記画像から検出した前記参加者の視線を示す視線情報を蓄積する工程と、蓄積された前記視線情報に基づき、前記マイクロホンによる集音の指向性を決定する工程と、を含む。このような通信端末のマイクロホンの制御方法により、上述のビデオ会議システムと同様の効果を得ることができる。 Embodiments also include a method for controlling a microphone of a communication terminal. For example, a method of controlling a microphone of a communication terminal is a method of controlling the microphone of a communication terminal used in a video conference, receiving an image input from a camera and receiving an audio input from a microphone, wherein the a step of capturing an image of a participant in a video conference; a step of accumulating line-of-sight information indicating the line-of-sight of the participant detected from the image; and directivity of sound collection by the microphone based on the accumulated line-of-sight information. and determining. Such a control method for the microphone of the communication terminal can provide the same effects as the video conference system described above.

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 Also, each function of the embodiments described above can be realized by one or more processing circuits. Here, the "processing circuit" in this specification means a processor programmed by software to perform each function, such as a processor implemented by an electronic circuit, or a processor designed to perform each function described above. devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays) and conventional circuit modules.

１、１ａ、１ｂビデオ会議システム
２、２Ａ通信端末
２Ｂ通信端末（他の第１通信端末の一例、他の第２通信端末の一例）
３ネットワーク
４サーバ
２１撮像部
２２視線検出部
２３視線情報蓄積部
２４注目領域検出部
２５サブパケット生成部
２６送信部
２７受信部
２８指向性決定部
２９指向性制御部
３０指向性情報記憶部
３１指向性情報更新部
３２入力画面表示部
３３設定入力部
２０１ＣＰＵ
２０２ＲＯＮ
２０３ＲＡＭ
２０４ＳＳＤ
２０５ネットワークコントローラ
２０６センサコントローラ
２０７キャプチャデバイス
２０８電子ペンコントローラ
２０９外部記憶コントローラ
２１０ＧＰＵ
２１１ディスプレイコントローラ
２１２カメラコントローラ
２１３マイクロホンコントローラ
２１４スピーカコントローラ
２１５電子ペン
２１６外部メモリ
２１７ディスプレイ
２１８カメラ
２１９マイクロホン
２２０スピーカ 1, 1a, 1b video conference system 2, 2A communication terminal 2B communication terminal (example of other first communication terminal, example of other second communication terminal)
3 network 4 server 21 imaging unit 22 line-of-sight detection unit 23 line-of-sight information storage unit 24 attention area detection unit 25 sub-packet generation unit 26 transmission unit 27 reception unit 28 directionality determination unit 29 directionality control unit 30 directionality information storage unit 31 directionality Sex information update unit 32 Input screen display unit 33 Setting input unit 201 CPU
202 RON
203 RAM
204 SSD
205 network controller 206 sensor controller 207 capture device 208 electronic pen controller 209 external storage controller 210 GPU
211 display controller 212 camera controller 213 microphone controller 214 speaker controller 215 electronic pen 216 external memory 217 display 218 camera 219 microphone 220 speaker

特開２０１７－０３４５０２号公報JP 2017-034502 A

Claims

A video conference system comprising a plurality of communication terminals, a camera for outputting images to the communication terminals, and a microphone for outputting audio to the communication terminals, and executing a video conference,
The communication terminal is
a line-of-sight information accumulation unit that accumulates line-of-sight information indicating the line of sight of a participant in the video conference detected from the image;
a directivity determination unit that determines the directivity of sound collected by the microphone based on the accumulated line-of-sight information;
a directivity information storage unit that stores information on the determined directivity;
a directivity information updating unit that updates the stored directivity information;
The directivity determining unit determines the directivity based on the directivity information obtained by referring to the directivity information storage unit.
video conferencing system.

an attention area detection unit that detects an attention area that the participant pays attention to based on the accumulated line-of-sight information;
a transmitting unit configured to transmit the detected attention area to another first communication terminal;
2. The video conference system according to claim 1, wherein said directivity determination unit determines said directivity based on said attention area received from another second communication terminal.

a subpacket generating unit that generates a subpacket containing predetermined coordinate information extracted from the line-of-sight information;
3. The videoconferencing system according to claim 2, wherein said transmitter transmits said subpackets.

The directivity determining unit determines an area to which the participant's gaze is directed for a time equal to or longer than a predetermined time threshold, an area to which the participant's gaze is directed for a number of times equal to or greater than a predetermined number of times threshold, and 4. The video conference system according to any one of claims 1 to 3, wherein the directivity is determined based on at least one area to which the eyes of the participants are directed by a number equal to or greater than a predetermined number threshold.

an input screen for the user of the video conference system to input at least one of the time threshold, the number of times threshold, and the number of persons threshold, and conditions for the directivity determining unit to determine the directivity; 5. The video conference system according to claim 4, further comprising an input screen display section for displaying.

A communication terminal used in a video conference that receives an image input from a camera and receives an audio input from a microphone,
a line-of-sight information accumulation unit that accumulates line-of-sight information indicating the line of sight of a participant in the video conference detected from the image;
a directivity determination unit that determines the directivity of sound collected by the microphone based on the accumulated line-of-sight information;
a directivity information storage unit that stores information on the determined directivity;
a directivity information updating unit that updates the stored directivity information;
The directivity determining unit determines the directivity based on the directivity information obtained by referring to the directivity information storage unit.
communication terminal.

A method for controlling the microphone of a communication terminal used in a video conference, receiving an image input from a camera and receiving an audio input from a microphone, comprising:
Capturing images of participants in the video conference with the camera;
accumulating line-of-sight information indicating the line-of-sight of the participant detected from the image;
determining the directivity of sound collected by the microphone based on the accumulated line-of-sight information;
a step of storing information on the determined directivity in a directivity information storage unit;
updating the stored directional information;
The step of determining the directivity determines the directivity based on the directivity information obtained by referring to the directivity information storage unit.
A control method for a microphone of a communication terminal.