JP5272820B2 - Video conference apparatus, video conference system, video conference method, and video conference program - Google Patents

Video conference apparatus, video conference system, video conference method, and video conference program Download PDF

Info

Publication number
JP5272820B2
JP5272820B2 JP2009061074A JP2009061074A JP5272820B2 JP 5272820 B2 JP5272820 B2 JP 5272820B2 JP 2009061074 A JP2009061074 A JP 2009061074A JP 2009061074 A JP2009061074 A JP 2009061074A JP 5272820 B2 JP5272820 B2 JP 5272820B2
Authority
JP
Japan
Prior art keywords
video
transparency
image
terminal
display means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009061074A
Other languages
Japanese (ja)
Other versions
JP2010219635A (en
Inventor
弘和 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2009061074A priority Critical patent/JP5272820B2/en
Publication of JP2010219635A publication Critical patent/JP2010219635A/en
Application granted granted Critical
Publication of JP5272820B2 publication Critical patent/JP5272820B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a videoconference device, capable of outputting appropriate composited video to display means of respective users according to users who provide shared sample video or users to whom the shared sample video is provided, and to provide a videoconference system, a videoconference method and a video conference program. <P>SOLUTION: An instruction for outputting shared sample video to a plurality of terminals in the videoconference system is inputted into one of the terminals (S61: YES, or S62: YES). A display device which is disposed in the same position as the position of the terminal into which the instruction has been inputted is specified as a first display device (S64, S66), and the other display devices in the videoconference system are set as second display devices. Each of first transmittance for generating first composited video outputted to the first display device and second transmittance for generating second composited video outputted to the second display device is set (S68, S69) for storing in an HDD (S70). <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、複数の拠点のユーザ間で共有する共有資料映像と、各拠点で撮像された撮像映像とを透過合成した合成映像を、各拠点の表示手段に出力するためのテレビ会議装置、テレビ会議システム、テレビ会議方法、及びテレビ会議プログラムに関する。   The present invention relates to a video conference apparatus and a television for outputting a composite video obtained by transparently synthesizing a shared material video shared between users at a plurality of sites and a captured video captured at each site to a display unit at each site. The present invention relates to a conference system, a video conference method, and a video conference program.

従来、複数の映像を透過合成し、合成映像を複数の拠点の表示手段に出力するテレビ会議システムが知られている(例えば、特許文献1参照)。このテレビ会議システムでは、所定の透過度に基づいて複数の映像が透過合成されて、合成映像が生成される。生成された合成映像が各拠点の表示手段に出力されることで、各拠点のユーザは、遠隔地のユーザの映像等を互いに共有しながら会議を行うことができる。また、ユーザの発話又は動作が検出された場合には、発話又は動作が検出されたユーザの映像の透過度が下げられる。これにより、合成映像のうち、発話又は動作を行ったユーザの映像がはっきりと表示される。よって、各端末のユーザは、発話又は動作を行ったユーザの様子を正確に認識しながら会議を行うことができる。   2. Description of the Related Art Conventionally, there is known a video conference system that transparently combines a plurality of videos and outputs the synthesized videos to display units at a plurality of bases (see, for example, Patent Document 1). In this video conference system, a plurality of videos are transmitted and synthesized based on a predetermined transparency to generate a synthesized video. By outputting the generated composite video to the display means at each site, the users at each site can hold a conference while sharing the videos of users at remote locations. When the user's speech or action is detected, the transparency of the user's video from which the speech or action is detected is lowered. Thereby, the image | video of the user who performed speech or operation | movement is displayed clearly among synthetic | combination images | videos. Therefore, the user of each terminal can hold a conference while accurately recognizing the state of the user who has spoken or operated.

また、複数のユーザ間で共有される共有資料映像を特定のユーザが提供し、提供された共有資料映像と、各ユーザの撮像映像とを透過合成して出力する場合もある。この場合、共有資料映像を提供したユーザのニーズと、提供されたユーザのニーズとは異なる。   In some cases, a specific user provides a shared material video shared between a plurality of users, and the provided shared material video and the captured video of each user are transparently synthesized and output. In this case, the needs of the user who provided the shared material video are different from the needs of the provided user.

特開2005−260880号公報JP 2005-260880 A

しかしながら、特許文献1に記載のテレビ会議システムでは、各ユーザの発話又は動作に応じて透過度を設定できるのみであった。従って、共有資料映像を提供しているユーザであるか、提供されているユーザであるかに応じて適切な合成映像を出力することはできないという問題点があった。   However, in the video conference system described in Patent Document 1, the transparency can only be set according to each user's utterance or operation. Therefore, there is a problem that it is impossible to output an appropriate composite video depending on whether the user is providing the shared material video or the user being provided.

本発明は上記課題を解決するためになされたものであり、共有資料映像を提供しているユーザであるか、提供されているユーザであるかに応じて、適切な合成映像を各ユーザの表示手段に出力することができるテレビ会議装置、テレビ会議システム、テレビ会議方法、及びテレビ会議プログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and displays an appropriate composite video for each user depending on whether the user is providing a shared document video or a provided user. An object of the present invention is to provide a video conference apparatus, a video conference system, a video conference method, and a video conference program that can be output to the means.

上記目的を達成するために、本発明の請求項1に記載のテレビ会議装置は、複数の拠点に各々配置された撮像手段及び表示手段が接続されている複数の端末とネットワークを介して接続され、前記複数の端末で共有される共有資料の映像である共有資料映像と、前記複数の拠点において複数の前記撮像手段によって撮像された前記複数の拠点の映像である複数の撮像映像と透過合成された合成映像を、前記複数の拠点に配置された複数の前記表示手段に出力するためのテレビ会議装置であって、前記共有資料映像を前記複数の表示手段へ出力する指示が入力された前記端末および前記テレビ会議装置の少なくとも一方から、前記共有資料映像を取得する第一取得手段と、前記第一取得手段が前記共有資料映像を取得することにより、前記共有資料映像の提供元を特定する特定手段と、前記特定手段によって特定された前記提供元に接続する第一表示手段出力される第一合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第一透過度、及び、前記複数の表示手段のうちで前記第一表示手段以外の前記表示手段である第二表示手段出力される第二合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第二透過度を設定する透過度設定手段とを備え、前記透過度設定手段は、前記第一合成映像に含まれる前記撮像映像の透過度よりも、前記第一合成映像に含まれる前記共有資料映像の透過度が高い前記第一透過度を設定し、前記第二合成映像に含まれる前記撮像映像の透過度よりも、前記第二合成映像に含まれる前記共有資料映像の透過度が低い前記第二透過度を設定することを特徴とする。 In order to achieve the above object, a video conference apparatus according to claim 1 of the present invention is connected via a network to a plurality of terminals to which imaging means and display means respectively arranged at a plurality of bases are connected. , a common document image is an image of a common document that will be shared by the plurality of terminals, a plurality of captured image is an image of the plurality of sites imaged by a plurality of the imaging means at said plurality of locations is transmitted synthesis A video conferencing apparatus for outputting the synthesized video to the plurality of display means arranged at the plurality of bases , wherein the instruction to output the shared material video to the plurality of display means is input. The first acquisition unit that acquires the shared material video from at least one of the terminal and the video conference device, and the first acquisition unit acquires the shared material video, thereby acquiring the shared material video. Specifying means for specifying a document image of the provider, the and the opacity of the common document images contained in the first composite video output to the first display means connected to said provider identified by the identifying means more It includes a first permeability defines a permeability of video image, and the second composite video output to the second display means is the display means other than the first display means among the plurality of display means Transparency setting means for setting a second transparency that defines the transparency of the shared document image and the transparency of the plurality of captured images, and the transparency setting means is included in the first composite image The first transparency is set such that the transparency of the shared material video included in the first composite video is higher than the transparency of the captured video, and the transparency of the captured video included in the second composite video is set. Also included in the second composite video Wherein the permeability of the common document image that sets the lower the second permeability.

また、本発明の請求項に記載のテレビ会議装置は、請求項に記載の発明の構成に加え、前記複数の端末から、前記複数の撮像手段によって撮像された前記複数の撮像映像を取得する第二取得手段と、前記第一取得手段によって取得された前記共有資料映像と、前記第二取得手段によって取得された前記複数の撮像映像とを、前記透過度設定手段によって設定された前記第一透過度で透過合成して前記第一合成映像を生成する第一生成手段と、前記第一生成手段によって生成された前記第一合成映像を前記第一表示手段に出力する第一出力手段と、前記第一取得手段によって取得された前記共有資料映像と、前記第二取得手段によって取得された前記複数の撮像映像とを、前記透過度設定手段によって設定された前記第二透過度で透過合成して前記第二合成映像を生成する第二生成手段と、前記第二生成手段によって生成された前記第二合成映像を前記第二表示手段に出力する第二出力手段とを備えている。 According to a second aspect of the present invention, in addition to the configuration of the first aspect , the video conference device acquires the plurality of captured images captured by the plurality of imaging units from the plurality of terminals. a second acquisition unit configured to, with the common document image acquired by the first acquisition unit, it has been a plurality of captured image acquired by the second acquisition means, wherein the first set by the transparency setting means First generation means for generating the first composite video by transmitting and synthesizing at one transparency, and first output means for outputting the first composite video generated by the first generation means to the first display means; , transmission synthesis and the common document image acquired by the first acquisition means, to the plurality of the captured image was acquired by the second acquisition means, by said second transmission rate set by the transparency setting means Includes a second generating unit that generates the second combined image, and a second output means for outputting the second synthesized image generated by said second generating means to said second display means Te.

また、本発明の請求項に記載のテレビ会議装置は、請求項1又は2に記載の発明の構成に加え、前記複数の端末は、前記複数の拠点に各々配置された集音手段を接続し、前記複数の端末から、前記複数の拠点において複数の前記集音手段によって集音された前記複数の拠点の音声を示す複数の音声情報を取得する音声情報取得手段と、前記音声情報取得手段によって前記複数の音声情報が取得された場合に、前記第一表示手段が接続されている前記端末を使用するユーザと、前記第二表示手段が接続されている前記端末を使用するユーザとの間で会話が行われたか否かを前記音声情報から判断する会話判断手段と、前記会話判断手段によって前記会話が行われたことが判断された場合に、前記透過度設定手段によって設定された前記第一透過度における前記共有資料映像の透過度を減少させる第一変更手段とを備えている。 According to a third aspect of the present invention, in addition to the configuration of the first or second aspect , the plurality of terminals connect sound collecting means disposed at the plurality of bases, respectively. Voice information acquisition means for acquiring a plurality of voice information indicating voices of the plurality of bases collected by the plurality of sound collection means at the plurality of bases from the plurality of terminals; and the voice information acquisition means Between the user who uses the terminal to which the first display means is connected and the user who uses the terminal to which the second display means is connected when the plurality of audio information is acquired by a talking determining means for determining whether a conversation has been performed from the audio information in the case of that the conversation has been performed is determined by the conversation determining means, said set by previous SL permeability setting means First transparent And a first changing means for reducing the permeability of the common document image in degrees.

また、本発明の請求項に記載のテレビ会議装置は、請求項1又は2に記載の発明の構成に加え、前記複数の端末は、前記複数の拠点に各々配置された集音手段を接続し、前記複数の端末から、前記複数の拠点において複数の前記集音手段によって集音された前記複数の拠点の音声を示す複数の音声情報を取得する音声情報取得手段と、前記音声情報取得手段によって取得された前記複数の音声情報によって、前記第二表示手段が接続されている前記端末を使用するユーザの発話が終了したことを検出する終了検出手段と、前記終了検出手段によって前記発話が終了したことが検出された場合に、前記透過度設定手段によって設定された前記第一透過度における前記共有資料映像の透過度を減少させる第二変更手段とを備えている。 According to a fourth aspect of the present invention, in addition to the configuration of the first or second aspect of the invention, the plurality of terminals connect sound collecting means disposed at the plurality of bases, respectively. Voice information acquisition means for acquiring a plurality of voice information indicating voices of the plurality of bases collected by the plurality of sound collection means at the plurality of bases from the plurality of terminals; and the voice information acquisition means The utterance is ended by the end detection means for detecting that the utterance of the user using the terminal to which the second display means is connected is ended by the plurality of voice information acquired by the end detection means. And second changing means for reducing the transparency of the shared material image at the first transparency set by the transparency setting means when it is detected.

また、本発明の請求項に記載のテレビ会議システムは、複数の拠点に各々配置された撮像手段及び表示手段が接続されている複数の端末と、前記複数の端末とネットワークを介して接続され、前記複数の端末で共有される共有資料の映像である共有資料映像と、前記複数の拠点において複数の前記撮像手段によって撮像された前記複数の拠点の映像である複数の撮像映像と透過合成された合成映像を、前記複数の拠点に配置された複数の前記表示手段に出力するためのテレビ会議サーバとを備えたテレビ会議システムであって、前記複数の端末は、前記共有資料映像を前記複数の表示手段へ出力する指示が入力される前記端末であって、接続されている前記表示手段である第一表示手段の表示を制御する第一端末と、前記複数の端末のうちで前記第一端末以外の前記端末であって、接続されている前記表示手段である第二表示手段の表示を制御する第二端末とを含み、前記テレビ会議サーバは、前記第一端末から前記共有資料映像を取得する第一取得手段と、前記第一取得手段が前記共有資料映像を取得することにより、前記第一端末を特定する特定手段と、前記特定手段によって特定された前記第一端末に接続する前記第一表示手段出力される第一合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第一透過度、及び、前記第二表示手段出力される第二合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第二透過度を設定する透過度設定手段とを備え、前記第一端末は、前記第一合成映像を前記第一表示手段に出力する第一出力手段を備え、前記第二端末は、前記第二合成映像を前記第二表示手段に出力する第二出力手段を備え、前記透過度設定手段は、前記第一合成映像に含まれる前記撮像映像の透過度よりも、前記第一合成映像に含まれる前記共有資料映像の透過度が高い前記第一透過度を設定し、前記第二合成映像に含まれる前記撮像映像の透過度よりも、前記第二合成映像に含まれる前記共有資料映像の透過度が低い前記第二透過度を設定することを特徴とする。 The video conference system according to claim 5 of the present invention is connected to a plurality of terminals to which imaging means and display means respectively arranged at a plurality of bases are connected, and the plurality of terminals via a network. , a common document image is an image of a common document that will be shared by the plurality of terminals, a plurality of captured image is an image of the plurality of sites imaged by a plurality of the imaging means at said plurality of locations is transmitted synthesis A video conference server for outputting the synthesized video to the plurality of display means arranged at the plurality of bases , wherein the plurality of terminals are configured to output the shared material video to the video conference server. a said terminal instruction is input to output to a plurality of display means, a first terminal for controlling the display of the first display means is the display means being connected, said plurality of terminals In a said terminal other than the first terminal, and a second terminal for controlling the display of the second display means is the display means being connected, the video conference server, said from said first terminal sharing a first acquiring means for acquiring the article image, said by the first acquisition unit acquires the common document image, said first terminal identified specifying means, by said identification means for identifying said first terminal wherein the common document first permeability defines a permeability of permeability and the plurality of captured image of the image contained in the first composite video output to the first display means and the second display means connected to the And a transparency setting means for setting a second transparency for determining the transparency of the shared material video and the transparency of the plurality of captured videos included in the second composite video output to the first terminal, , The first composite video Comprising a first output means for outputting the first display means, the second terminal includes a second output means for outputting the second synthesized image in the second display means, the transmission rate setting means, said first The first transparency is set such that the transparency of the shared material video included in the first composite video is higher than the transparency of the captured video included in the composite video, and the imaging included in the second composite video The second transparency is set such that the transparency of the shared material video included in the second composite video is lower than the transparency of the video.

また、本発明の請求項に記載のテレビ会議方法は、複数の拠点に各々配置された撮像手段及び表示手段が接続されている複数の端末とネットワークを介して接続され、前記複数の端末で共有される共有資料の映像である共有資料映像と、前記複数の拠点において複数の前記撮像手段によって撮像された前記複数の拠点の映像である複数の撮像映像と透過合成された合成映像を、前記複数の拠点に配置された複数の前記表示手段に出力するためのテレビ会議方法であって、前記共有資料映像を前記複数の表示手段へ出力する指示が入力された前記端末から、前記共有資料映像を取得する取得ステップと、前記取得ステップが前記共有資料映像を取得することにより、前記共有資料映像の提供元を特定する特定ステップと、前記特定ステップによって特定された前記提供元に接続する第一表示手段出力される第一合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第一透過度、及び、前記複数の表示手段のうちで前記第一表示手段以外の前記表示手段である第二表示手段出力される第二合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第二透過度を設定する透過度設定ステップとを備え、前記透過度設定ステップは、前記第一合成映像に含まれる前記撮像映像の透過度よりも、前記第一合成映像に含まれる前記共有資料映像の透過度が高い前記第一透過度を設定し、前記第二合成映像に含まれる前記撮像映像の透過度よりも、前記第二合成映像に含まれる前記共有資料映像の透過度が低い前記第二透過度を設定することを特徴とする。 The video conference method according to claim 6 of the present invention is connected to a plurality of terminals to which image pickup means and display means respectively arranged at a plurality of bases are connected via a network. a common document image is an image of the shared Ru common document, a combined image in which a plurality of captured image is an image of said plurality of locations that have been captured are transmitted synthesized by a plurality of the imaging means at said plurality of locations, A video conference method for outputting to a plurality of the display means arranged at the plurality of bases , wherein the shared material is input from the terminal to which an instruction to output the shared material video to the plurality of display means is input. an acquisition step of acquiring an image by the acquisition step acquires the common document image, a specifying step of specifying the common document image provider, the specific steps Therefore the first transmission of defining the permeability of the common document image transparency and the plurality of captured image included in the first composite video output to the first display means connected to the specified the provider, and , the common document image transparency and the plurality of captured image included in the second composite video output to the second display means is the display means other than the first display means among the plurality of display means A transparency setting step for setting a second transparency for determining the transparency, wherein the transparency setting step is performed on the first composite video rather than the transparency of the captured video included in the first composite video. The first transparency with a high transparency of the shared material image included is set, and the transparency of the shared material image included in the second composite image is higher than the transparency of the captured image included in the second composite image. The second permeability is low. And sets the degrees.

また、本発明の請求項に記載のテレビ会議プログラムは、複数の拠点に各々配置された撮像手段及び表示手段が接続されている複数の端末とネットワークを介して接続され、前記複数の端末で共有される共有資料の映像である共有資料映像と、前記複数の拠点において複数の前記撮像手段によって撮像された前記複数の拠点の映像である複数の撮像映像とが透過合成された合成映像を、前記複数の拠点に配置された複数の前記表示手段に出力するためのコンピュータであるテレビ会議装置に、前記共有資料映像を前記複数の表示手段へ出力する指示が入力された前記端末および前記テレビ会議装置の少なくとも一方から、前記共有資料映像を取得する取得ステップと、前記取得ステップが前記共有資料映像を取得することにより、前記共有資料映像の提供元を特定する特定ステップと、前記特定ステップによって特定された前記提供元に接続する第一表示手段に出力される第一合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第一透過度、及び、前記複数の表示手段のうちで前記第一表示手段以外の前記表示手段である第二表示手段に出力される第二合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第二透過度を設定する透過度設定ステップとを実行させ、前記透過度設定ステップは、前記第一合成映像に含まれる前記撮像映像の透過度よりも、前記第一合成映像に含まれる前記共有資料映像の透過度が高い前記第一透過度を設定し、前記第二合成映像に含まれる前記撮像映像の透過度よりも、前記第二合成映像に含まれる前記共有資料映像の透過度が低い前記第二透過度を設定することを特徴とする。 The video conference program according to claim 7 of the present invention is connected via a network to a plurality of terminals to which imaging means and display means respectively disposed at a plurality of bases are connected, and the plurality of terminals A composite video obtained by transparently combining a shared material video that is a video of a shared material to be shared and a plurality of captured images that are images of the plurality of bases captured by the plurality of imaging units at the plurality of bases, The terminal and the video conference in which an instruction to output the shared material video to the plurality of display means is input to a video conference apparatus which is a computer for outputting to the plurality of display means arranged at the plurality of bases An acquisition step of acquiring the shared material video from at least one of the devices, and the acquisition step acquires the shared material video, whereby the sharing A specifying step of specifying a provider of the charge video, a transparency of the shared material video included in the first composite video output to the first display means connected to the provider specified in the specifying step, and the plurality Included in the second composite video output to the second display means that is the display means other than the first display means among the plurality of display means. A transparency setting step for setting a second transparency that defines the transparency of the shared document image and the transparency of the plurality of captured images, and the transparency setting step is included in the first composite image The transparency of the captured video included in the second composite video is set by setting the first transparency that is higher in transparency of the shared material video included in the first composite video than the transparency of the captured video. Than the above Wherein the permeability of the common document images included in the two composite video sets the lower the second permeability.

本発明の請求項1に記載のテレビ会議装置は、共有資料映像を複数の表示手段へ出力する指示が入力された共有資料映像の提供元に接続する第一表示手段に出力される第一合成映像と、提供元以外の端末に接続する第二表示手段に出力される第二合成映像とを異ならせることができる。すなわち、第一合成映像に含まれる共有資料映像の透過度と複数の撮像映像の透過度とを定める第一透過度と、第二合成映像に含まれる共有資料映像の透過度と複数の撮像映像の透過度とを定める第二透過度とを別々に設定することができる。従って、共有資料映像を提供したユーザ、及び提供されたユーザのそれぞれのニーズに応じた適切な合成映像を各表示手段に表示させることができる。 The video conference apparatus according to claim 1 of the present invention is the first composition output to the first display means connected to the provider of the shared material video to which the instruction to output the shared material video to the plurality of display means is input. The video can be different from the second composite video output to the second display means connected to a terminal other than the provider . That is, the first transparency that determines the transparency of the shared document video and the transparency of the plurality of captured videos included in the first composite video , and the transparency of the shared document video and the plurality of captured videos included in the second composite video And the second transparency that defines the transparency of each can be set separately. Therefore, it is possible to display on each display means an appropriate composite video according to the needs of the user who provided the shared material video and the provided user.

また、共有資料映像の提供元に接続する第一表示手段に、共有資料映像よりも撮像映像の視認度が高い第一合成映像を出力できるように、第一透過度を設定することができる。よって、共有資料映像を提供したユーザは、他のユーザの反応を容易に確認しながら会議を進めることができる。また、共有資料映像の提供元以外の端末に接続する第二表示手段に、撮像映像よりも共有資料映像の視認度が高い第二合成映像を出力できるように、第二透過度が設定される。よって、共有資料映像を提供されたユーザは、共有された映像を容易に確認しながら会議を進めることができる。これにより、各ユーザのニーズに適した合成映像を各表示手段に表示させることができる。 Further, the first display means for connecting the source of the shared document image, so that it can output a first combined image is high visibility of captured image than common document image, it is possible to set the first permeability . Therefore, the user who provided the shared material video can proceed with the conference while easily confirming the reactions of other users. In addition, the second transparency is set so that the second composite image having a higher visibility of the shared material image than the captured image can be output to the second display unit connected to the terminal other than the provider of the shared material image. . Therefore, the user who is provided with the shared material video can proceed with the conference while easily checking the shared video. Thereby, the composite image suitable for each user's needs can be displayed on each display means.

また、本発明の請求項に記載のテレビ会議装置は、共有資料映像と撮像映像とを第一透過度及び第二透過度で透過合成し、第一合成映像及び第二合成映像を生成する。生成した第一合成映像を第一表示手段に出力し、第二合成映像を第二表示手段に出力する。従って、請求項に記載の発明の効果に加え、透過合成を行う装置を各拠点に配置する必要がなく、システム全体の構成を簡素化することができる。 Also, the video conference apparatus according to claim 2 of the present invention transparently synthesizes the shared material video and the captured video with the first transparency and the second transparency, and generates the first synthesized video and the second synthesized video. . The generated first composite video is output to the first display means, and the second composite video is output to the second display means. Therefore, in addition to the effect of the invention described in claim 1 , it is not necessary to arrange a device for performing transmission synthesis at each site, and the configuration of the entire system can be simplified.

また、本発明の請求項に記載のテレビ会議装置は、有資料映像の提供元を使用するユーザと、提供元以外の端末を使用するユーザとの間で会話が行われた場合には、第一合成映像の共有資料映像の視認度を増加させる。よって、請求項1又は2に記載の発明の効果に加え、共有資料映像についての議論があった場合には、共有資料映像を提供したユーザは、提供した共有資料映像を容易に確認しながら会議を進行させることができる。 The television conference apparatus according to claim 3 of the present invention, when the user using the provider of the shared document image, a conversation between a user using a terminal other than the provider has been performed The visibility of the shared material video of the first composite video is increased. Therefore, in addition to the effect of the invention according to claim 1 or 2 , when there is a discussion about the shared material video, the user who provided the shared material video can easily confirm the provided shared material video while holding the conference. Can be advanced.

また、本発明の請求項に記載のテレビ会議装置によると、共有資料映像の提供元以外の端末を使用するユーザが、提供された共有資料映像について発言を終えると、第一合成映像における共有資料映像の視認度が増加する。従って、請求項1又は2に記載の発明の効果に加え、共有資料映像を提供したユーザは、他のユーザが共有資料映像について行った発言に対し、共有資料映像を容易に認識しながら返答を行うことができる。 Further, according to the television conference apparatus according to claim 4 of the present invention, a user who uses a terminal other than the provider of the common document images, the finished remarks about common document images provided, shared in the first composite video The visibility of the document image increases. Therefore, in addition to the effect of the invention described in claim 1 or 2 , the user who provided the shared material video responds to the remarks made by other users about the shared material video while easily recognizing the shared material video. It can be carried out.

また、本発明の請求項に記載のテレビ会議システムは、共有資料映像を複数の表示手段へ出力する指示が入力された第一端末に接続する第一表示手段に出力される第一合成映像と、第一端末とは異なる第二端末に接続する第二表示手段に出力される第二合成映像とを異ならせることができる。すなわち、第一合成映像に含まれる共有資料映像の透過度と複数の撮像映像の透過度とを定める第一透過度と、第二合成映像に含まれる共有資料映像の透過度と複数の撮像映像の透過度とを定める第二透過度とを別々に設定することができる。従って、共有資料映像を提供したユーザ、及び提供されたユーザのそれぞれのニーズに応じた適切な合成映像を各表示手段に表示させることができる。また、システム全体の制御をテレビ会議サーバが司るため、各拠点に配置される第一端末及び第二端末の構成を簡素化することができる。
また、第一端末に接続する接続する第一表示手段に、共有資料映像よりも撮像映像の視認度が高い第一合成映像を出力できるように、第一透過度を設定することができる。よって、共有資料映像を提供したユーザは、他のユーザの反応を容易に確認しながら会議を進めることができる。また、第二端末に接続する第二表示手段に、撮像映像よりも共有資料映像の視認度が高い第二合成映像を出力できるように、第二透過度が設定される。よって、共有資料映像を提供されたユーザは、共有された映像を容易に確認しながら会議を進めることができる。これにより、各ユーザのニーズに適した合成映像を各表示手段に表示させることができる。
The video conference system according to claim 5 of the present invention is the first composite video output to the first display means connected to the first terminal to which an instruction to output the shared material video to the plurality of display means is input. And the second composite video output to the second display means connected to the second terminal different from the first terminal can be made different. That is, the first transparency that determines the transparency of the shared document video and the transparency of the plurality of captured videos included in the first composite video , and the transparency of the shared document video and the plurality of captured videos included in the second composite video And the second transparency that defines the transparency of each can be set separately. Therefore, it is possible to display on each display means an appropriate composite video according to the needs of the user who provided the shared material video and the provided user. Further, since the video conference server controls the entire system, the configuration of the first terminal and the second terminal arranged at each base can be simplified.
In addition, the first transparency can be set so that the first composite video having a higher visibility of the captured video than the shared material video can be output to the first display means connected to the first terminal. Therefore, the user who provided the shared material video can proceed with the conference while easily confirming the reactions of other users. In addition, the second transparency is set so that the second composite image having a higher visibility of the shared material image than the captured image can be output to the second display unit connected to the second terminal. Therefore, the user who is provided with the shared material video can proceed with the conference while easily checking the shared video. Thereby, the composite image suitable for each user's needs can be displayed on each display means.

また、本発明の請求項に記載のテレビ会議方法は、共有資料映像を複数の表示手段へ出力する指示が入力された共有資料映像の提供元に接続する第一表示手段に出力される第一合成映像と、提供元以外の端末に接続する第二表示手段に出力される第二合成映像とを異ならせることができる。すなわち、第一合成映像に含まれる共有資料映像の透過度と複数の撮像映像の透過度とを定める第一透過度と、第二合成映像に含まれる共有資料映像の透過度と複数の撮像映像の透過度とを定める第二透過度とを別々に設定することができる。従って、共有資料映像を提供したユーザ、及び提供されたユーザのそれぞれのニーズに応じた適切な合成映像を各表示手段に表示させることができる。
また、共有資料映像の提供元に接続する第一表示手段に、共有資料映像よりも撮像映像の視認度が高い第一合成映像を出力できるように、第一透過度を設定することができる。よって、共有資料映像を提供したユーザは、他のユーザの反応を容易に確認しながら会議を進めることができる。また、共有資料映像の提供元以外の端末に接続する第二表示手段に、撮像映像よりも共有資料映像の視認度が高い第二合成映像を出力できるように、第二透過度が設定される。よって、共有資料映像を提供されたユーザは、共有された映像を容易に確認しながら会議を進めることができる。これにより、各ユーザのニーズに適した合成映像を各表示手段に表示させることができる。
In the video conference method according to claim 6 of the present invention, the video conference method described in claim 6 is output to the first display means connected to the shared material video provider to which the instruction to output the shared material video to the plurality of display means is input . The one composite video and the second composite video output to the second display means connected to the terminal other than the provider can be made different. That is, the first transparency that determines the transparency of the shared document video and the transparency of the plurality of captured videos included in the first composite video , and the transparency of the shared document video and the plurality of captured videos included in the second composite video And the second transparency that defines the transparency of each can be set separately. Therefore, it is possible to display on each display means an appropriate composite video according to the needs of the user who provided the shared material video and the provided user.
In addition, the first transparency can be set so that the first composite image having a higher visibility of the captured image than the shared material image can be output to the first display means connected to the provider of the shared material image. Therefore, the user who provided the shared material video can proceed with the conference while easily confirming the reactions of other users. In addition, the second transparency is set so that the second composite image having a higher visibility of the shared material image than the captured image can be output to the second display unit connected to the terminal other than the provider of the shared material image. . Therefore, the user who is provided with the shared material video can proceed with the conference while easily checking the shared video. Thereby, the composite image suitable for each user's needs can be displayed on each display means.

また、本発明の請求項に記載のテレビ会議プログラムは、共有資料映像を複数の表示手段へ出力する指示が入力された共有資料映像の提供元に接続する第一表示手段に出力される第一合成映像と、提供元以外の端末に接続する第二表示手段に出力される第二合成映像とを異ならせることができる。すなわち、第一合成映像に含まれる共有資料映像の透過度と複数の撮像映像の透過度とを定める第一透過度と、第二合成映像に含まれる共有資料映像の透過度と複数の撮像映像の透過度とを定める第二透過度とを別々に設定することができる。従って、共有資料映像を提供したユーザ、及び提供されたユーザのそれぞれのニーズに応じた適切な合成映像を各表示手段に表示させることができる。
また、共有資料映像の提供元に接続する第一表示手段に、共有資料映像よりも撮像映像の視認度が高い第一合成映像を出力できるように、第一透過度を設定することができる。よって、共有資料映像を提供したユーザは、他のユーザの反応を容易に確認しながら会議を進めることができる。また、共有資料映像の提供元以外の端末に接続する第二表示手段に、撮像映像よりも共有資料映像の視認度が高い第二合成映像を出力できるように、第二透過度が設定される。よって、共有資料映像を提供されたユーザは、共有された映像を容易に確認しながら会議を進めることができる。これにより、各ユーザのニーズに適した合成映像を各表示手段に表示させることができる。

According to a seventh aspect of the present invention, the video conference program according to the seventh aspect of the present invention is output to the first display means connected to the provider of the shared material video to which the instruction to output the shared material video to the plurality of display means is input. The one composite video and the second composite video output to the second display means connected to the terminal other than the provider can be made different. That is, the first transparency that determines the transparency of the shared document video and the transparency of the plurality of captured videos included in the first composite video, and the transparency of the shared document video and the plurality of captured videos included in the second composite video And the second transparency that defines the transparency of each can be set separately. Therefore, it is possible to display on each display means an appropriate composite video according to the needs of the user who provided the shared material video and the provided user.
In addition, the first transparency can be set so that the first composite image having a higher visibility of the captured image than the shared material image can be output to the first display means connected to the provider of the shared material image. Therefore, the user who provided the shared material video can proceed with the conference while easily confirming the reactions of other users. In addition, the second transparency is set so that the second composite image having a higher visibility of the shared material image than the captured image can be output to the second display unit connected to the terminal other than the provider of the shared material image. . Therefore, the user who is provided with the shared material video can proceed with the conference while easily checking the shared video. Thereby, the composite image suitable for each user's needs can be displayed on each display means.

テレビ会議システム100のシステム構成を示す図である。1 is a diagram showing a system configuration of a video conference system 100. FIG. テレビ会議端末1の電気的構成を示すブロック図である。2 is a block diagram showing an electrical configuration of the video conference terminal 1. FIG. テレビ会議端末1のHDD13の構成を示す模式図である。3 is a schematic diagram showing a configuration of an HDD 13 of the video conference terminal 1. FIG. テレビ会議端末1のHDD13に記憶されている透過度情報テーブルを示す模式図である。4 is a schematic diagram showing a transparency information table stored in the HDD 13 of the video conference terminal 1. FIG. クライアント端末として動作するテレビ会議端末1及びPC2が行うクライアント処理のフローチャートである。It is a flowchart of the client process which the video conference terminal 1 and PC2 which operate | move as a client terminal perform. クライアント端末として動作するテレビ会議端末1及びPC2が行う発話終了検知処理のフローチャートである。It is a flowchart of the speech end detection process which the video conference terminal 1 and PC2 which operate | move as a client terminal perform. ホスト端末として動作するテレビ会議端末1及びPC2が行うホスト処理のフローチャートである。It is a flowchart of the host process which the video conference terminal 1 and PC2 which operate | move as a host terminal perform. ホスト処理中に実行される透過度設定処理のフローチャートである。It is a flowchart of the transparency setting process performed during a host process. α1が初期値である場合に生成された第一合成映像を表示する表示装置34の一例を示す図である。It is a figure which shows an example of the display apparatus 34 which displays the 1st synthetic | combination image | video produced | generated when (alpha) 1 is an initial value. α2が初期値である場合に生成された第二合成映像を表示する表示装置34の一例を示す図である。It is a figure which shows an example of the display apparatus 34 which displays the 2nd synthesized image produced | generated when (alpha) 2 is an initial value. ホスト端末として動作するテレビ会議端末1及びPC2が行う第一変更処理のフローチャートである。It is a flowchart of the 1st change process which the video conference terminal 1 and PC2 which operate | move as a host terminal perform. ホスト端末として動作するテレビ会議端末1及びPC2が行う第二変更処理のフローチャートである。It is a flowchart of the 2nd change process which the video conference terminal 1 and PC2 which operate | move as a host terminal perform. テレビ会議システム200のシステム構成を示す図である。1 is a diagram illustrating a system configuration of a video conference system 200. FIG.

以下、本発明のテレビ会議装置を具現化した一実施の形態であるテレビ会議端末1、及びパーソナルコンピュータ(以下、「PC」という。)2を含むテレビ会議システム100について、図面を参照して説明する。尚、参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。   Hereinafter, a video conference system 100 including a video conference terminal 1 and a personal computer (hereinafter referred to as “PC”) 2, which is an embodiment embodying the video conference apparatus of the present invention, will be described with reference to the drawings. To do. The drawings to be referred to are used for explaining technical features that can be adopted by the present invention, and the configuration of the apparatus described, the flowcharts of various processes, and the like are not intended to be limited thereto. This is just an illustrative example.

まず、図1を参照して、本発明に係るテレビ会議システム100のシステム構成について説明する。図1に示すように、拠点Aに配置されたテレビ会議端末1、拠点Bに配置されたPC2、及び拠点Cに配置されたテレビ会議端末1が、ネットワーク8を介して互いに接続することで、テレビ会議システム100を構成している。すなわち、テレビ会議端末1及びPC2のそれぞれが、各拠点でテレビ会議を実行させる「端末」として機能し、各端末が互いに情報を送受信することで、複数の拠点のユーザに映像及び音声を共有させる。尚、以下では、テレビ会議システム100を3つの端末が構成している場合を例に挙げて説明するが、テレビ会議システム100を構成する端末の数が3つに限られないことは言うまでもない。   First, the system configuration of the video conference system 100 according to the present invention will be described with reference to FIG. As shown in FIG. 1, the video conference terminal 1 arranged at the site A, the PC 2 arranged at the site B, and the video conference terminal 1 arranged at the site C are connected to each other via the network 8. A video conference system 100 is configured. That is, each of the video conference terminal 1 and the PC 2 functions as a “terminal” that causes a video conference to be performed at each site, and each terminal transmits and receives information to each other, thereby allowing users at multiple sites to share video and audio. . In the following, a case where the video conference system 100 is configured with three terminals will be described as an example, but it is needless to say that the number of terminals configuring the video conference system 100 is not limited to three.

各端末は、同一拠点内に存在するマイク31、スピーカ32、カメラ33、及び表示装置34に接続している。マイク31は、音声を音声データに変換して端末に出力する。スピーカ32は、音声データを音声に変換して出力する。カメラ33は映像を撮像し、表示装置34は映像を表示する。   Each terminal is connected to a microphone 31, a speaker 32, a camera 33, and a display device 34 existing in the same base. The microphone 31 converts voice into voice data and outputs it to the terminal. The speaker 32 converts the sound data into sound and outputs the sound. The camera 33 captures an image, and the display device 34 displays the image.

次に、テレビ会議システム100で行われる処理の概要について説明する。テレビ会議システム100では、システム内の複数の端末のうちのいずれか1つがホスト端末として機能し、その他の端末がクライアント端末となる。ホスト端末はシステム全体の主制御を司り、クライアント端末は、ホスト端末から受信するデータに応じてスピーカ32及び表示装置34を制御する。詳細には、ホスト端末は、拠点A〜Cのそれぞれの音声のデータを取得して合成し、合成音声データを生成する。また、ホスト端末は、拠点A〜Cのそれぞれの撮像映像のデータを取得して合成し、合成映像データを生成する。ホスト端末は、合成音声データ及び合成映像データをクライアント端末に送信し、音声及び映像を出力させる。テレビ会議端末1及びPC2は、いずれもホスト端末にもクライアント端末にもなり得る。テレビ会議の開始時に、システム内のいずれの端末がホスト端末として動作するかが設定される。   Next, an outline of processing performed in the video conference system 100 will be described. In the video conference system 100, any one of a plurality of terminals in the system functions as a host terminal, and the other terminals are client terminals. The host terminal controls the entire system, and the client terminal controls the speaker 32 and the display device 34 according to data received from the host terminal. More specifically, the host terminal acquires and synthesizes voice data of each of the bases A to C, and generates synthesized voice data. In addition, the host terminal acquires and synthesizes the captured video data of each of the sites A to C, and generates synthesized video data. The host terminal transmits the synthesized audio data and synthesized video data to the client terminal, and outputs audio and video. Both the video conference terminal 1 and the PC 2 can be a host terminal or a client terminal. At the start of the video conference, it is set which terminal in the system operates as the host terminal.

ここで、テレビ会議システム100は、共有資料映像と拠点A〜Cの撮像映像とを透過合成し、各拠点の表示装置34に出力することができる。共有資料映像とは、複数の拠点の複数のユーザ間で共有する共有資料の映像である。共有資料には、例えば、文書、表、グラフ、写真、動画等を用いることができ、テレビ会議システム100内の端末のいずれかが、共有資料の映像データを出力する。以下、共有資料の映像データを出力する端末を「第一端末」といい、第一端末と同一の拠点内に配置された表示装置34を「第一表示装置」という。また、システム内の第一端末以外の端末を「第二端末」といい、第二端末と同一拠点内に配置された表示装置34を「第二表示装置」という。テレビ会議システム100では、システム内のいずれの端末も、共有資料の映像データを出力する第一端末となり得る。クライアント端末が第一端末となる場合には、第一端末はホスト端末に共有資料の映像データを送信する。ホスト端末は、共有資料の映像データを受信し、共有資料映像と各拠点の撮像映像とを透過合成して合成映像を生成する。生成した合成映像を、自身が制御する表示装置34に表示させ、且つ、生成した合成映像のデータをクライアント端末に送信して、全拠点の各表示装置34に出力させる。また、ホスト端末が第一端末となる場合には、自端末が保有している共有資料映像を、撮像映像と透過合成し、合成映像を生成する。   Here, the video conference system 100 can synthesize the shared material image and the captured images of the bases A to C and output them to the display device 34 of each base. The shared material video is a video of shared material shared among a plurality of users at a plurality of bases. For example, a document, a table, a graph, a photograph, a moving image, or the like can be used as the shared material, and any of the terminals in the video conference system 100 outputs the video data of the shared material. Hereinafter, the terminal that outputs the video data of the shared material is referred to as “first terminal”, and the display device 34 disposed in the same base as the first terminal is referred to as “first display device”. A terminal other than the first terminal in the system is referred to as a “second terminal”, and the display device 34 disposed in the same base as the second terminal is referred to as a “second display device”. In the video conference system 100, any terminal in the system can be the first terminal that outputs the video data of the shared material. When the client terminal becomes the first terminal, the first terminal transmits the video data of the shared material to the host terminal. The host terminal receives the video data of the shared material, and generates a composite video by transparently combining the shared material video and the captured video of each site. The generated composite video is displayed on the display device 34 controlled by itself, and the generated composite video data is transmitted to the client terminal and output to the display devices 34 at all bases. When the host terminal is the first terminal, the shared material video held by the terminal is transparently synthesized with the captured video to generate a synthesized video.

透過合成とは、複数の映像のそれぞれを半透明にして重ねる映像処理の技術である。これにより、共有資料映像と撮像映像とを共に表示領域全体を用いて表示させることができる。1つの拠点に複数の表示装置34を配置する必要はない。また、表示装置34の表示領域を、共有資料映像の領域と撮像映像の領域とに分割する必要もない。共有資料映像及び撮像映像のそれぞれを半透明にする度合い(以下、「透過率」という。)を示す値が、透過度である。例えば、共有資料映像の透過度が大きくなれば、撮像映像を視認し易くなり、共有資料映像の透過度が小さくなれば、撮像映像よりも共有資料映像の方が視認し易くなる。ホスト端末は、共有資料映像及び撮像映像の透過度を設定し、設定した透過度を用いて2つの映像を透過合成することで、合成映像を生成する。   Transparent composition is a technique of image processing in which a plurality of images are made semitransparent and superimposed. Thereby, both the shared material video and the captured video can be displayed using the entire display area. It is not necessary to arrange a plurality of display devices 34 at one site. Further, it is not necessary to divide the display area of the display device 34 into a shared material video area and a captured video area. The value indicating the degree of making each of the shared material image and the captured image translucent (hereinafter referred to as “transmittance”) is the transparency. For example, if the transparency of the shared document video is increased, the captured video is easily visible. If the transparency of the shared document video is decreased, the shared document video is easier to view than the captured video. The host terminal sets the transparency of the shared material video and the captured video, and generates a synthesized video by transparently synthesizing the two videos using the set transparency.

本実施の形態のテレビ会議システム100では、透過合成方法として周知のアルファブレンディングを用いている。アルファブレンディングでは、透過度を決定する値であるα値によって2つの映像を合成する。アルファブレンディングによって割り出される各画素の画素値Valueは、背景となる撮像映像の画素値をValue0、前景となる共有資料映像の画素値をValue1として、以下の式で表される。
Value=Value0×α+Value1×(1−α)
α値は0〜1の間を取る係数であり、撮像映像の透過度A=1−α、共有資料映像の透過度B=αとなる。例えば、α値が大きくなると、撮像映像の透過度Aが小さくなり、逆に共有資料映像の透過度Bは大きくなる。撮像映像の透過度Aが小さくなると、合成映像の画素値Valueに対して撮像映像の画素値Value0が占める割合が上がる。共有資料映像の透過度Bが大きくなると、合成映像の画素値Valueに対して共有資料映像の画素値Value1が占める割合が下がる。その結果、撮像映像が視認し易くなる。
In the video conference system 100 of the present embodiment, the well-known alpha blending is used as the transmission composition method. In alpha blending, two images are synthesized by an α value that is a value that determines the transparency. The pixel value Value of each pixel determined by alpha blending is expressed by the following expression, where the pixel value of the captured image as the background is Value0 and the pixel value of the shared material image as the foreground is Value1.
Value = Value0 × α + Value1 × (1-α)
The α value is a coefficient that takes a value between 0 and 1. The captured image transparency A = 1−α and the shared material image transparency B = α. For example, as the α value increases, the transparency A of the captured image decreases, and conversely, the transparency B of the shared material image increases. When the transparency A of the captured image decreases, the ratio of the pixel value Value0 of the captured image to the pixel value Value of the composite image increases. When the transparency B of the shared material image increases, the ratio of the pixel value Value1 of the shared material image to the pixel value Value of the synthesized image decreases. As a result, the captured image can be easily viewed.

そして、ホスト端末は、共有資料映像と撮像映像とを透過合成して生成する合成映像として、第一合成映像及び第二合成映像の2種類の合成映像を生成する。第一合成映像は、共有資料映像を出力した第一端末の第一表示装置に出力する合成映像であり、第二合成映像は第二端末の第二表示装置に出力する合成映像である。ホスト端末は、2種類の合成映像を作成するために、第一合成映像を生成するためのα値である「α1」と、第二合成映像を生成するためのα値である「α2」とを別々に設定する。これにより、共有資料を提供したユーザ、及び提供されたユーザのそれぞれのニーズに応じた適切な合成映像を各表示装置34に表示させることができる。   Then, the host terminal generates two types of synthesized video, a first synthesized video and a second synthesized video, as synthesized video that is generated by transparently synthesizing the shared material video and the captured video. The first composite video is a composite video output to the first display device of the first terminal that outputs the shared material video, and the second composite video is a composite video output to the second display device of the second terminal. In order to create two types of composite video, the host terminal “α1” which is an α value for generating the first composite video, and “α2” which is an α value for generating the second composite video, Are set separately. Thereby, it is possible to display on each display device 34 an appropriate composite video according to the needs of the user who provided the shared material and the provided user.

尚、本発明に適用できる透過合成の方法はアルファブレンディングに限られない。例えば、加算合成、減算合成、乗算合成等の他の透過合成方法を用いることも可能である。   Note that the method of transmission composition applicable to the present invention is not limited to alpha blending. For example, other transmission synthesis methods such as addition synthesis, subtraction synthesis, and multiplication synthesis can be used.

次に、図2乃至図4を参照して、テレビ会議端末1の電気的構成、及びハードディスクドライブ(以下、「HDD」という。)13に記憶される透過度設定テーブルについて説明する。尚、PC2の電気的構成のうち、本実施の形態を説明するために必要な構成については、テレビ会議端末1の電気的構成と同じである。よって、以下の説明では、PC2の電気的構成についてはテレビ会議端末1の構成と同一の番号を付し、この詳細な説明は省略する。   Next, the electrical configuration of the video conference terminal 1 and the transparency setting table stored in the hard disk drive (hereinafter referred to as “HDD”) 13 will be described with reference to FIGS. Of the electrical configuration of the PC 2, the configuration necessary for describing the present embodiment is the same as the electrical configuration of the video conference terminal 1. Therefore, in the following description, the electrical configuration of the PC 2 is assigned the same number as the configuration of the video conference terminal 1, and this detailed description is omitted.

図2に示すように、テレビ会議端末1は、テレビ会議端末1の制御を司るCPU10を備えている。CPU10には、ROM11、RAM12、HDD13、及び入出力インターフェース19が、バス18を介して接続されている。   As shown in FIG. 2, the video conference terminal 1 includes a CPU 10 that controls the video conference terminal 1. A ROM 11, a RAM 12, an HDD 13, and an input / output interface 19 are connected to the CPU 10 via a bus 18.

ROM11は、テレビ会議端末1を動作させるためのプログラム及び初期値等を記憶している。RAM12は、制御プログラムで使用される各種の情報を一時的に記憶する。例えば、テレビ会議端末1は、ホスト端末として動作する場合、共有資料の映像データを出力した端末である第一端末を特定し、特定した第一端末をRAM12に記憶する。HDD13は、各種の情報を記憶する不揮発性の記憶装置であるが、HDD13の代わりにEEPROM又はメモリカード等の記憶装置を用いてもよい。   The ROM 11 stores a program for operating the video conference terminal 1, an initial value, and the like. The RAM 12 temporarily stores various information used in the control program. For example, when the video conference terminal 1 operates as a host terminal, the video conference terminal 1 specifies the first terminal that is the terminal that outputs the video data of the shared material, and stores the specified first terminal in the RAM 12. The HDD 13 is a nonvolatile storage device that stores various types of information, but a storage device such as an EEPROM or a memory card may be used instead of the HDD 13.

入出力インターフェース19には、音声入力処理部21、音声出力処理部22、映像入力処理部23、映像出力処理部24、操作部25、及び通信装置26が接続されている。音声入力処理部21は、音声を入力するマイク31からの音声データの入力を処理する。音声出力処理部22は、音声を出力するスピーカ32の動作を処理する。映像入力処理部23は、映像を撮像するカメラ33からの映像データの入力を処理する。映像出力処理部24は、映像を表示する表示装置34の動作を処理する。操作部25は、ユーザがテレビ会議端末1に各種指示を入力するために用いられる。通信装置26は、テレビ会議端末1をネットワーク8に接続する。   An audio input processing unit 21, an audio output processing unit 22, a video input processing unit 23, a video output processing unit 24, an operation unit 25, and a communication device 26 are connected to the input / output interface 19. The voice input processing unit 21 processes input of voice data from the microphone 31 that inputs voice. The audio output processing unit 22 processes the operation of the speaker 32 that outputs audio. The video input processing unit 23 processes video data input from the camera 33 that captures video. The video output processing unit 24 processes the operation of the display device 34 that displays video. The operation unit 25 is used for the user to input various instructions to the video conference terminal 1. The communication device 26 connects the video conference terminal 1 to the network 8.

HDD13について詳細に説明する。図3に示すように、HDD13には、透過度情報テーブル記憶エリア131、共有資料映像データ記憶エリア132、及び設定透過度記憶エリア133が少なくとも設けられている。   The HDD 13 will be described in detail. As shown in FIG. 3, the HDD 13 is provided with at least a transparency information table storage area 131, a shared material video data storage area 132, and a set transparency storage area 133.

透過度情報テーブル記憶エリア131には、図4に示すように、第一合成映像の透過度を決定するためのα値であるα1の初期値と、第二合成映像の透過度を決定するためのα値であるα2の初期値とが記憶されている。これらの初期値の値は適宜設定・変更が可能であるが、合成映像の視認度を考慮すると、いずれも0.3〜0.7の間の値に設定することが望ましい。以下の説明では、α1の初期値に0.7、α2の初期値に0.3が記憶されている場合を例に挙げて説明する。ホスト端末は、共有資料の映像データを出力した第一端末を特定すると、透過度情報テーブル記憶エリア131の値から、各表示装置34に表示させる合成映像の透過度を設定する。この詳細は後述する。   In the transparency information table storage area 131, as shown in FIG. 4, an initial value of α1, which is an α value for determining the transparency of the first composite video, and the transparency of the second composite video are determined. And an initial value of α2, which is the α value of. Although these initial values can be set and changed as appropriate, in consideration of the visibility of the composite video, it is desirable to set them to a value between 0.3 and 0.7. In the following description, an example in which 0.7 is stored as the initial value of α1 and 0.3 is stored as the initial value of α2 will be described. When the host terminal identifies the first terminal that outputs the video data of the shared material, the host terminal sets the transparency of the composite video to be displayed on each display device 34 from the value in the transparency information table storage area 131. Details of this will be described later.

また、共有資料映像データ記憶エリア132には、テレビ会議端末1がホスト端末として動作する場合に、クライアント端末から受信した共有資料の映像データ、又は自端末が保有していた共有資料の映像データが記憶される。設定透過度記憶エリア133には、テレビ会議端末1がホスト端末として動作する場合に、自身が設定した2種類の合成映像の透過度が記憶される。詳細には、共有資料映像の透過度、及び撮像映像の透過度を決定するためのα値が記憶される。ホスト端末は、会議の進行に応じて、設定透過度記憶エリア133に記憶されている透過度を変更することもできる。尚、ホスト端末は、設定透過度記憶エリア133に記憶されているα値を用いて2種類の合成映像を生成し、第一合成映像を第一表示装置に、第二合成映像を第二表示装置に出力する。   In the shared material video data storage area 132, when the video conference terminal 1 operates as a host terminal, the video data of the shared material received from the client terminal or the video data of the shared material held by the terminal itself is stored. Remembered. In the set transparency storage area 133, when the video conference terminal 1 operates as a host terminal, the transparency of two types of synthesized video set by itself is stored. Specifically, the α value for determining the transparency of the shared material image and the transparency of the captured image is stored. The host terminal can also change the transparency stored in the set transparency storage area 133 according to the progress of the conference. The host terminal generates two types of composite video using the α value stored in the set transparency storage area 133, displays the first composite video on the first display device, and the second composite video on the second display. Output to the device.

以下、本実施の形態に係るテレビ会議端末1及びPC2がクライアント端末として動作する場合の処理について、図5及び図6を参照して説明する。まず、図5を参照して、クライアント処理について説明する。クライアント処理は、クライアント端末として動作させる設定がテレビ会議端末1及びPC2に対して行われると、ROM11に記憶されているプログラムに従ってCPU10が実行する。   Hereinafter, processing when the video conference terminal 1 and the PC 2 according to the present embodiment operate as client terminals will be described with reference to FIGS. 5 and 6. First, client processing will be described with reference to FIG. The client process is executed by the CPU 10 in accordance with a program stored in the ROM 11 when a setting for operating as a client terminal is performed on the video conference terminal 1 and the PC 2.

図5に示すクライアント処理が開始されると、共有資料映像の出力指示がユーザによって行われたか否かが判断される(S1)。ユーザが共有資料を提供したい場合には、操作部25(図2参照)を操作し、共有したい資料を選択して、選択した資料を共有資料として各表示装置34に出力する指示を入力する。この指示が入力されていなければ(S1:NO)、ホスト端末から会議開始情報を受信したか否かが判断される(S2)。テレビ会議の開始を指示する会議開始情報を受信していないと判断された場合には(S2:NO)、処理はS1の判断へ戻る。   When the client process shown in FIG. 5 is started, it is determined whether or not an instruction to output the shared material video has been issued by the user (S1). When the user wants to provide the shared material, the user operates the operation unit 25 (see FIG. 2), selects the material to be shared, and inputs an instruction to output the selected material to each display device 34 as the shared material. If this instruction has not been input (S1: NO), it is determined whether conference start information has been received from the host terminal (S2). When it is determined that the conference start information for instructing the start of the video conference is not received (S2: NO), the process returns to the determination of S1.

共有資料映像の出力指示が入力された場合には(S1:YES)、選択された共有資料の映像データがホスト端末へ送信される(S3)。送信が開始されると、以降共有資料の映像データがホスト端末へ送信され続ける。後述するが、ホスト端末では、共有資料の映像データを送信したクライアント端末が第一端末に特定され、第一端末と同一の拠点内に配置された表示装置34が第一表示装置に特定される。そして、会議開始情報がホスト端末から受信されると(S2:YES)、テレビ会議が開始される。一方、共有資料映像の出力指示が入力される前に、会議開始情報が受信されると(S2:YES)、クライアント端末は、共有資料映像を提供されるユーザが使用する第二端末として以後の動作を行うこととなる。   When the output instruction of the shared material video is input (S1: YES), the video data of the selected shared material is transmitted to the host terminal (S3). When the transmission is started, the video data of the shared material is subsequently transmitted to the host terminal. As will be described later, in the host terminal, the client terminal that has transmitted the video data of the shared material is specified as the first terminal, and the display device 34 arranged in the same base as the first terminal is specified as the first display device. . When the conference start information is received from the host terminal (S2: YES), the video conference is started. On the other hand, if the meeting start information is received before the output instruction of the shared document video is input (S2: YES), the client terminal is used as the second terminal used by the user who provides the shared document video. The operation will be performed.

会議開始情報が受信されると(S2:YES)、発話終了検知処理(図6参照)が開始されて(S5)、テレビ会議が行われる。以降、クライアント処理と発話終了検知処理とが同時に進行する。テレビ会議中は、同一拠点内に配置されたカメラ33によって撮像された撮像映像のデータと、同一拠点内に配置されたマイク31によって変換された音声データとが、ホスト端末に送信される(S6)。撮像映像と共有資料映像とが合成された合成映像のデータと、各拠点の音声が合成された合成音声のデータとが、ホスト端末から受信される(S7)。受信されたデータに基づいて、合成映像が同一拠点内の表示装置34に出力され、合成音声がスピーカ32から出力される(S8)。テレビ会議が終了するまで、S6〜S8の処理が繰り返し行われる。   When the conference start information is received (S2: YES), the utterance end detection process (see FIG. 6) is started (S5), and a video conference is performed. Thereafter, the client process and the utterance end detection process proceed simultaneously. During the video conference, the data of the captured video captured by the camera 33 arranged in the same base and the audio data converted by the microphone 31 arranged in the same base are transmitted to the host terminal (S6). ). The synthesized video data obtained by synthesizing the captured video and the shared material video and the synthesized voice data obtained by synthesizing the voices of the respective bases are received from the host terminal (S7). Based on the received data, the synthesized video is output to the display device 34 in the same site, and the synthesized voice is output from the speaker 32 (S8). Until the video conference is completed, the processes of S6 to S8 are repeated.

次に、図6を参照して、クライアント端末として動作するテレビ会議端末1及びPC2が行う発話終了検知処理について説明する。先述したように、発話終了検知処理は、会議開始情報の受信を契機として、CPU10が実行する。発話終了検知処理とクライアント処理とは、テレビ会議中に同時に進行する。発話終了検知処理では、クライアント端末と同一拠点内のユーザの発話が終了したことが検知され、ホスト端末に通知される。ホスト端末は、発話の終了を通知したクライアント端末が第二端末であれば、第一合成映像を生成するための第一透過度を変更する。この詳細は図12を参照して後述する。   Next, with reference to FIG. 6, the utterance end detection process performed by the video conference terminal 1 and the PC 2 operating as client terminals will be described. As described above, the utterance end detection process is executed by the CPU 10 in response to reception of the conference start information. The utterance end detection process and the client process proceed simultaneously during the video conference. In the utterance end detection process, it is detected that the utterance of the user in the same base as the client terminal has ended, and is notified to the host terminal. If the client terminal that has notified the end of the utterance is the second terminal, the host terminal changes the first transparency for generating the first composite video. Details of this will be described later with reference to FIG.

発話終了検知処理が開始されると、同一拠点内のマイク31からの音声の入力が開始されたか否かが判断される(S21)。音声入力が開始されていない場合、すなわち、同一拠点内のユーザが発話を開始していない場合には(S21:NO)、この判断が繰り返し行われる。音声の入力が開始されると(S21:YES)、発話時間の計測が開始されて(S22)、音声の入力が終了したか否かが判断される(S24)。音声の入力が終了するまでこの判断が繰り返し行われ(S24:NO)、音声の入力が終了すると(S24:YES)、計測された発話時間が所定のS秒以上であるか否かが判断される(S25)。S秒未満であれば(S25:NO)、そのまま発話時間の計測が終了し(S33)、処理はS21の判断へ戻る。   When the utterance end detection process is started, it is determined whether or not voice input from the microphone 31 in the same base has been started (S21). If voice input has not started, that is, if a user in the same site has not started speaking (S21: NO), this determination is repeated. When the voice input is started (S21: YES), the measurement of the speech time is started (S22), and it is determined whether or not the voice input is completed (S24). This determination is repeated until the voice input is completed (S24: NO). When the voice input is completed (S24: YES), it is determined whether the measured utterance time is equal to or longer than a predetermined S seconds. (S25). If it is less than S seconds (S25: NO), the measurement of the speech time is finished as it is (S33), and the process returns to the determination of S21.

計測された発話時間がS秒以上であれば(S25:YES)、音声が入力されない無音時間の計測が開始される(S26)。次いで、音声の入力が再び開始されたか否かが判断され(S28)、開始されていなければ(S28:NO)、無音時間が所定のn秒以上となったか否かが判断される(S30)。音声の入力が開始されず(S28:NO)、n秒が経過していなければ(S30:NO)、これらの判断が繰り返し行われる。n秒が経過する前に、音声の入力が再び開始された場合には(S28:YES)、発話がまだ終了していないと判断されて、無音時間の計測が終了し(S29)、処理はS24の判断へ戻る。無音時間がn秒以上となった場合には(S30:YES)、クライアント端末のユーザの発話が終了したことを示す発話終了情報が、ホスト端末に送信される(S32)。発話時間及び無音時間の計測が終了して(S33)、処理はS21の判断へ戻る。   If the measured utterance time is S seconds or more (S25: YES), the measurement of the silent time during which no voice is input is started (S26). Next, it is determined whether or not the voice input has been started again (S28). If not started (S28: NO), it is determined whether or not the silent time has reached a predetermined n seconds or more (S30). . If the voice input is not started (S28: NO) and n seconds have not elapsed (S30: NO), these determinations are repeated. If the voice input is started again before n seconds elapse (S28: YES), it is determined that the utterance has not ended yet, the silence time measurement is ended (S29), and the process is as follows. The process returns to S24. When the silent time is n seconds or longer (S30: YES), utterance end information indicating that the utterance of the user of the client terminal is ended is transmitted to the host terminal (S32). The measurement of the utterance time and the silence time is completed (S33), and the process returns to the determination of S21.

次に、テレビ会議端末1及びPC2がホスト端末として動作する場合の処理について、図7乃至図12を参照して説明する。まず、図7及び図8を参照して、ホスト処理について説明する。ホスト処理は、ホスト端末として動作させる設定がテレビ会議端末1又はPC2に対して行われると、ROM11に記憶されているプログラムに従ってCPU10が実行する。   Next, processing when the video conference terminal 1 and the PC 2 operate as host terminals will be described with reference to FIGS. First, host processing will be described with reference to FIGS. The host process is executed by the CPU 10 in accordance with a program stored in the ROM 11 when the setting for operating as a host terminal is performed on the video conference terminal 1 or the PC 2.

図7に示すように、ホスト処理が開始されると、透過度設定処理が行われる(S41)。透過度設定処理では、共有資料の映像データを出力する第一端末及び第一表示装置が特定され、第一透過度を決定するためのα値であるα1、及び第二透過度を決定するためのα値であるα2が別々に設定される。   As shown in FIG. 7, when the host process is started, a transparency setting process is performed (S41). In the transparency setting process, the first terminal and the first display device that output the video data of the shared material are specified, and α1 that is the α value for determining the first transparency and the second transparency are determined. Α2, which is the α value of, is set separately.

図8に示すように、透過度設定処理が開始されると、同一拠点内のユーザから共有資料映像の出力指示が行われたか否かが判断される(S61)。ユーザがホスト端末の操作部25を操作し、ホスト端末が記憶している資料を選択して、共有資料として出力する指示を入力した場合には(S61:YES)、選択された資料が共有資料としてHDD13に記憶される(S65)。自端末が、共有資料の映像データを出力する第一端末として特定され、自端末と同一拠点内にある表示装置34が、共有資料映像を出力する指示を入力したユーザが使用する第一表示装置として特定される(S66)。   As shown in FIG. 8, when the transparency setting process is started, it is determined whether or not an instruction to output a shared material video has been issued from a user in the same site (S61). When the user operates the operation unit 25 of the host terminal, selects a material stored in the host terminal, and inputs an instruction to output as a shared material (S61: YES), the selected material is the shared material. Is stored in the HDD 13 (S65). The first display device used by the user whose own terminal is specified as the first terminal that outputs the video data of the shared material and the display device 34 in the same base as the own terminal inputs the instruction to output the shared material video (S66).

自端末への共有資料映像の出力指示が行われていない場合には(S61:NO)、共有資料映像のデータをクライアント端末から受信したか否かが判断される(S62)。受信していなければ(S62:NO)、処理はS61の判断へ戻る。いずれかのクライアント端末から共有資料映像のデータを受信した場合には(S62:YES)、受信したデータがHDD13に記憶される(S63)。データを送信したクライアント端末が第一端末として特定され、特定された第一端末と同一の拠点内にある表示装置34が第一表示装置として特定される(S64)。   When the output instruction of the shared material video to the own terminal is not performed (S61: NO), it is determined whether or not the data of the shared material video is received from the client terminal (S62). If not received (S62: NO), the process returns to the determination of S61. When the data of the shared material video is received from any of the client terminals (S62: YES), the received data is stored in the HDD 13 (S63). The client terminal that transmitted the data is specified as the first terminal, and the display device 34 in the same base as the specified first terminal is specified as the first display device (S64).

次いで、透過度情報テーブル(図4参照)が参照され、第一表示装置に表示される第一合成映像を生成するためのα値であるα1が「0.7」に設定される(S68)。第二表示装置に表示される第一合成映像を生成するためのα値であるα2が「0.3」に設定される(S69)。設定された2つのα値が、HDD13の設定透過度記憶エリア133に記憶される(S70)。そして、テレビ会議を開始させることを示す会議開始情報が、システム内の全てのクライアント端末に送信されて(S71)、処理はホスト処理へ戻る。   Next, the transparency information table (see FIG. 4) is referred to, and α1, which is an α value for generating the first composite video displayed on the first display device, is set to “0.7” (S68). . Α2 that is an α value for generating the first composite video displayed on the second display device is set to “0.3” (S69). The two set α values are stored in the set transparency storage area 133 of the HDD 13 (S70). Then, conference start information indicating that a video conference is to be started is transmitted to all client terminals in the system (S71), and the process returns to the host process.

図7に示すように、透過度設定処理(S41)が終了すると、会議の進行に応じて透過度を変更する処理である第一変更処理、及び第二変更処理が開始される(S42、S43)。第一変更処理、及び第二変更処理については、図11及び図12を参照して後述する。以降、第一変更処理、第二変更処理、及びホスト処理は同時に進行する。そして、テレビ会議中の処理が行われる。まず、自端末を含む全端末の撮像映像のデータ、及び音声データが取得される(S45)。取得された音声データが合成されて、音声合成データが生成される(S46)。取得された撮像映像が、1画面内に表示可能な映像に合成される(S47)。この撮像映像の合成は透過合成ではなく、複数の撮像映像を同時に並べて表示させるための合成である。   As shown in FIG. 7, when the transparency setting process (S41) ends, a first change process and a second change process, which are processes for changing the transparency according to the progress of the conference, are started (S42, S43). ). The first change process and the second change process will be described later with reference to FIGS. 11 and 12. Thereafter, the first change process, the second change process, and the host process proceed simultaneously. Then, processing during the video conference is performed. First, captured video data and audio data of all terminals including the terminal itself are acquired (S45). The acquired voice data is synthesized to generate voice synthesis data (S46). The acquired captured video is combined with video that can be displayed on one screen (S47). The composition of the captured images is not transmission composition, but a composition for displaying a plurality of captured images side by side at the same time.

次いで、先述したアルファブレンディングにより、共有資料映像と、合成された撮像映像とがα1の値を用いて透過合成され、第一合成映像が生成される(S48)。さらに、共有資料映像と撮像映像とがα2の値を用いて透過合成され、第二合成映像が生成される(S49)。合成音声データがクライアント端末に送信され、且つ、自端末に接続しているスピーカ32から合成音声が出力される(S50)。特定されている第一端末がクライアント端末であれば、第一端末に第一合成映像のデータが送信され、第一端末が自端末であれば、接続されている表示装置34(第一表示装置)から第一合成映像が出力される(S51)。そして、第二端末に第二合成映像のデータが送信され、第二端末に接続された第二表示装置から第二合成映像が出力される(S52)。自端末が第二端末であれば、自端末に接続された表示装置34(第二表示装置)からも第二合成映像が出力される(S52)。テレビ会議が終了するまで、S45〜S52の処理が繰り返し行われる。   Next, by the alpha blending described above, the shared material image and the combined captured image are transparently combined using the value of α1, and a first combined image is generated (S48). Further, the shared material image and the captured image are transparently synthesized using the value of α2, and a second synthesized image is generated (S49). The synthesized voice data is transmitted to the client terminal, and the synthesized voice is output from the speaker 32 connected to the own terminal (S50). If the identified first terminal is a client terminal, data of the first composite video is transmitted to the first terminal, and if the first terminal is the own terminal, the connected display device 34 (first display device) ) From the first composite video (S51). Then, the data of the second composite video is transmitted to the second terminal, and the second composite video is output from the second display device connected to the second terminal (S52). If the own terminal is the second terminal, the second composite video is also output from the display device 34 (second display device) connected to the own terminal (S52). Until the video conference is completed, the processes of S45 to S52 are repeated.

図9は、α1が初期値である場合に生成された第一合成映像を表示する表示装置34の一例を示す図である。図9に示すように、表示装置34には、拠点Aの撮像映像42、拠点Bの撮像映像43、及び拠点C撮像映像41の3箇所の撮像映像が合成されて、合成された撮像映像40が表示領域全体に表示される。さらに、共有資料映像45が撮像映像40と共に表示される。そして、第一合成映像を生成するための第一透過度を決定するα1の初期値は「0.7」である。よって、第一透過度における撮像映像の透過度A(=1−α)は「0.3」、第一透過度における共有資料映像の透過度B(=α)は「0.7」となり、共有資料映像の透過度Bの方が、撮像映像の透過度Aよりも高い。よって、図9に示すように、第一合成映像では、撮像映像40の方が共有資料映像45よりも視認度が高くなる。よって、共有資料映像を出力する指示を行ったユーザは、他のユーザの様子を容易に認識しながら会議を進行させることができる。   FIG. 9 is a diagram illustrating an example of the display device 34 that displays the first composite video generated when α1 is an initial value. As shown in FIG. 9, the display device 34 synthesizes the three captured images of the base A captured video 42, the base B captured video 43, and the base C captured video 41, and combines them. Is displayed in the entire display area. Further, the shared material video 45 is displayed together with the captured video 40. The initial value of α1 that determines the first transparency for generating the first composite video is “0.7”. Therefore, the transparency A (= 1−α) of the captured image at the first transparency is “0.3”, and the transparency B (= α) of the shared material image at the first transparency is “0.7”. The transparency B of the shared material video is higher than the transparency A of the captured video. Therefore, as shown in FIG. 9, in the first synthesized video, the captured video 40 has a higher visibility than the shared material video 45. Therefore, the user who gives an instruction to output the shared document video can proceed with the conference while easily recognizing other users.

図10は、α2が初期値である場合に生成された第二合成映像を表示する表示装置34の一例を示す図である。第二合成映像を生成するための第二透過度を決定するα2の初期値は「0.3」である。よって、第二透過度における撮像映像の透過度A(=1−α)は「0.7」、第二透過度における共有資料映像の透過度B(=α)は「0.3」となり、撮像映像の透過度Aの方が、共有資料映像の透過度Bよりも高い。よって、図10に示すように、第二合成映像では、共有資料映像45の方が撮像映像40よりも視認度が高くなる。よって、共有資料映像を提供されたユーザは、提供された共有資料を容易に認識しながら会議を進行させることができる。このように、共有資料映像を提供したユーザであるか、提供されたユーザであるかに応じて、透過合成を行うための透過度を別々に設定することができる。よって、各ユーザのニーズに応じた合成映像を各表示装置34に表示させることができる。   FIG. 10 is a diagram illustrating an example of the display device 34 that displays the second composite video generated when α2 is an initial value. The initial value of α2 for determining the second transparency for generating the second composite video is “0.3”. Therefore, the transparency A (= 1-α) of the captured image at the second transparency is “0.7”, and the transparency B (= α) of the shared material image at the second transparency is “0.3”. The transparency A of the captured image is higher than the transparency B of the shared material image. Therefore, as shown in FIG. 10, in the second composite image, the shared material image 45 has a higher visibility than the captured image 40. Therefore, the user who is provided with the shared material video can proceed with the conference while easily recognizing the provided shared material. As described above, the transparency for performing the transparent composition can be set separately depending on whether the user provides the shared document video or the provided user. Therefore, it is possible to display the composite video according to the needs of each user on each display device 34.

次に、図11を参照して、ホスト端末として動作するテレビ会議端末1及びPC2が行う第一変更処理について説明する。第一変更処理では、第一表示装置を使用するユーザ(共有資料映像を提供したユーザ)と、第二表示装置を使用するユーザ(共有資料映像を提供されたユーザ)とが会話を行ったか否かが判断される。会話を行ったと判断された場合に、第一透過度における共有資料映像の透過度Bを減少させる処理が行われる。これにより、共有資料映像を提供したユーザにも共有資料映像を容易に認識させ、共有資料についての議論をスムーズに行わせることを実現できる。先述したように、第一変更処理は、会議開始情報のクライアント端末への送信を契機として、ホスト処理(図7参照)と並行してCPU10が実行する。   Next, a first change process performed by the video conference terminal 1 and the PC 2 that operate as host terminals will be described with reference to FIG. Whether the user using the first display device (the user who provided the shared document video) and the user using the second display device (the user provided with the shared document video) had a conversation in the first change process Is judged. When it is determined that a conversation has been performed, a process of reducing the transparency B of the shared material image at the first transparency is performed. Accordingly, it is possible to allow the user who provided the shared material video to easily recognize the shared material video and smoothly discuss the shared material. As described above, the first change process is executed by the CPU 10 in parallel with the host process (see FIG. 7) triggered by transmission of the conference start information to the client terminal.

第一変更処理が開始されると、第一端末のマイク31が検出した音声と、第二端末のマイク31が検出した音声とが、所定時間であるT秒間取得される(S81)。次いで、第一端末のマイク31が音声を検出した時間の合計が、所定のt秒間以上であるか否かが判断される(S82)。ここで、Tとtとの関係はT≧tである。t秒間以上であれば(S82:YES)、第二端末のマイク31が音声を検出した時間の合計がt秒間以上であるか否かが判断される(S83)。共にt秒間以上であれば(S83:YES)、第一表示装置を使用するユーザと、第二表示装置を使用するユーザとの間で会話が行われたと判断される。α1の値が「0.3」に変更される(S84)。変更したα1の値を初期値にリセットするまでのリセット時間の計測が開始されて(S85)、処理はS81へ戻る。これにより、共有資料映像を提供したユーザの拠点では、共有資料映像の視認度が上がる。   When the first change process is started, the voice detected by the microphone 31 of the first terminal and the voice detected by the microphone 31 of the second terminal are acquired for T seconds, which is a predetermined time (S81). Next, it is determined whether or not the total time that the microphone 31 of the first terminal detects the voice is equal to or longer than a predetermined t seconds (S82). Here, the relationship between T and t is T ≧ t. If it is t seconds or more (S82: YES), it is determined whether or not the total time that the microphone 31 of the second terminal detects the sound is t seconds or more (S83). If both are longer than t seconds (S83: YES), it is determined that a conversation has occurred between the user using the first display device and the user using the second display device. The value of α1 is changed to “0.3” (S84). The measurement of the reset time until the changed α1 value is reset to the initial value is started (S85), and the process returns to S81. As a result, the visibility of the shared material video is increased at the base of the user who provided the shared material video.

一方で、第一端末のマイク31が音声を検出した時間、及び、第二端末のマイク31が音声を検出した時間の少なくともいずれかが、所定のt秒間未満である場合には(S82:NO、又はS83:NO)、リセット時間が経過したか否かが判断される(S86)。経過していない場合、又はリセット時間が計測されていない場合には(S86:NO)、処理はS81へ戻る。リセット時間が経過した場合には(S86:YES)、変更されたα1の値が初期値である「0.7」にリセットされて(S87)、処理はS81へ戻る。   On the other hand, when at least one of the time when the microphone 31 of the first terminal detects the sound and the time when the microphone 31 of the second terminal detects the sound is less than the predetermined t seconds (S82: NO) Or, S83: NO), it is determined whether or not the reset time has elapsed (S86). If it has not elapsed, or if the reset time has not been measured (S86: NO), the process returns to S81. If the reset time has elapsed (S86: YES), the changed α1 value is reset to the initial value “0.7” (S87), and the process returns to S81.

次に、図12を参照して、ホスト端末として動作するテレビ会議端末1及びPC2が行う第二変更処理について説明する。第二変更処理では、第二表示装置を使用するユーザ(共有資料映像を提供されたユーザ)の発話が終了したか否かが判断される。発話が終了したと判断された場合に、第一透過度における共有資料映像の透過度Bを減少させる処理が行われる。これにより、共有資料映像を提供したユーザにも共有資料映像を容易に認識させ、共有資料についての質問に対して共有資料映像を見ながら回答させることを実現している。尚、ホスト端末が第二端末として動作する場合には、ホスト端末でも発話終了検知処理(図6参照)が行われる。   Next, with reference to FIG. 12, the second change process performed by the video conference terminal 1 and the PC 2 operating as the host terminal will be described. In the second change process, it is determined whether or not the utterance of the user who uses the second display device (the user who has been provided with the shared document video) has ended. When it is determined that the utterance has ended, a process of reducing the transparency B of the shared material image at the first transparency is performed. This makes it possible for the user who provided the shared material video to easily recognize the shared material video and to answer a question about the shared material while viewing the shared material video. When the host terminal operates as the second terminal, the utterance end detection process (see FIG. 6) is also performed on the host terminal.

第二変更処理が開始されると、ユーザの発話が終了したか否かが判断される(S91)。クライアント端末から発話終了情報(S32、図6参照)を受信した場合、又は、自端末で行われた発話終了検知処理で発話終了が検知された場合には(S91:YES)、終了した発話が第二端末におけるユーザの発話であるか否かが判断される(S92)。第二端末におけるユーザの発話が終了していれば(S92:YES)、α1の値が「0.3」に変更される(S93)。変更したα1の値を初期値にリセットするまでのリセット時間の計測が開始されて(S94)、処理はS91へ戻る。これにより、共有資料映像を提供したユーザの拠点では、共有資料映像の視認度が上がる。   When the second change process is started, it is determined whether or not the user's utterance has ended (S91). When the utterance end information (S32, see FIG. 6) is received from the client terminal, or when the utterance end is detected in the utterance end detection process performed at the own terminal (S91: YES), the ended utterance is It is determined whether or not the user utters at the second terminal (S92). If the user's utterance at the second terminal has ended (S92: YES), the value of α1 is changed to “0.3” (S93). The measurement of the reset time until the changed α1 value is reset to the initial value is started (S94), and the process returns to S91. As a result, the visibility of the shared material video is increased at the base of the user who provided the shared material video.

一方で、発話終了が検知されていない場合(S91:NO)、及び、終了した発話が第二端末におけるユーザの発話でない場合には(S92:NO)、リセット時間が経過したか否かが判断される(S95)。経過していない場合、又はリセット時間が計測されていない場合には(S95:NO)、処理はS91の判断へ戻る。リセット時間が経過した場合には(S95:YES)、変更されたα1の値が初期値である「0.7」にリセットされて(S96)、処理はS91の判断へ戻る。   On the other hand, when the end of the utterance is not detected (S91: NO) and when the ended utterance is not the user's utterance at the second terminal (S92: NO), it is determined whether the reset time has elapsed. (S95). If it has not elapsed, or if the reset time has not been measured (S95: NO), the process returns to the determination of S91. When the reset time has elapsed (S95: YES), the changed value of α1 is reset to the initial value “0.7” (S96), and the process returns to the determination of S91.

以上説明したように、本実施の形態のテレビ会議システム100によると、共有資料映像をシステム内で共有させる指示を行ったユーザが見る第一合成映像と、共有資料映像を提供されたユーザが見る第二合成映像とを異ならせることができる。すなわち、第一合成映像の透過度である第一透過度と、第二合成映像の透過度である第二透過度とを別々に設定することができる。従って、共有資料映像を提供したユーザ、及び提供されたユーザのそれぞれのニーズに応じた適切な合成映像を各端末に表示させることができる。   As described above, according to the video conference system 100 of the present embodiment, the first composite video viewed by the user who gives an instruction to share the shared material video in the system and the user who is provided with the shared material video watch Different from the second composite video. That is, the first transparency that is the transparency of the first composite video and the second transparency that is the transparency of the second composite video can be set separately. Accordingly, it is possible to display on each terminal an appropriate composite video according to the needs of the user who provided the shared material video and the provided user.

詳細には、共有資料映像を提供したユーザが、共有資料映像の視認度よりも撮像映像の視認度が高い第一合成映像を見ることができるように、第一透過度が設定される。よって、共有資料映像を提供したユーザは、他のユーザの反応を容易に確認しながら会議を進めることができる。また、共有資料映像を提供されたユーザが、撮像映像の視認度よりも共有資料映像の視認度が高い第二合成映像を見ることができるように、第二透過度が設定される。よって、共有資料映像を提供されたユーザは、提供された映像を容易に確認しながら会議を進めることができる。これにより、各ユーザのニーズに適した合成映像を各表示手段に表示させることができる。   Specifically, the first transparency is set so that the user who provided the shared document video can see the first composite video having a higher visibility of the captured video than the visibility of the shared material video. Therefore, the user who provided the shared material video can proceed with the conference while easily confirming the reactions of other users. Further, the second transparency is set so that the user who is provided with the shared document video can view the second composite video having a higher visibility of the shared material video than the captured video. Therefore, the user who is provided with the shared material video can proceed with the conference while easily confirming the provided video. Thereby, the composite image suitable for each user's needs can be displayed on each display means.

また、テレビ会議システム100内の複数の端末のうちの1つが、システム全体の制御を司るホスト端末として動作する。ホスト端末は、第一合成映像及び第二合成映像のデータを生成し、生成した合成映像のデータを各端末に送信することで、合成映像を各表示装置34に出力する。従って、透過合成を行う装置を各拠点に配置する必要がない。さらに、システム全体の制御を司るサーバ等を端末とは別に設ける必要もない。よって、テレビ会議システム100全体の構成を簡素化することができる。   In addition, one of a plurality of terminals in the video conference system 100 operates as a host terminal that controls the entire system. The host terminal generates data of the first composite video and the second composite video, and transmits the generated composite video data to each terminal, thereby outputting the composite video to each display device 34. Therefore, it is not necessary to arrange an apparatus for performing transmission synthesis at each site. Furthermore, it is not necessary to provide a server or the like for controlling the entire system separately from the terminal. Therefore, the entire configuration of the video conference system 100 can be simplified.

また、共有資料映像を提供したユーザと、提供されたユーザとの間で会話が行われた場合には、ホスト端末は、共有資料映像を提供したユーザが見る第一合成映像の共有資料映像の視認度を増加させることができる。よって、共有資料映像についての議論があった場合には、共有資料映像を提供したユーザは、提供した共有資料映像を容易に認識しながら会議を進行させることができる。   In addition, when a conversation is performed between the user who provided the shared material video and the provided user, the host terminal displays the shared material video of the first composite video viewed by the user who provided the shared material video. Visibility can be increased. Therefore, when there is a discussion about the shared material video, the user who provided the shared material video can proceed with the conference while easily recognizing the provided shared material video.

また、共有資料映像を提供されたユーザが、提供された共有資料映像について発話を行うと、共有資料映像を提供したユーザが見る第一合成映像では、共有資料映像の視認度が増加する。従って、共有資料映像を提供したユーザは、他のユーザが共有資料映像について行った発話に対し、共有資料映像を容易に認識しながら返答を行うことができる。   Further, when the user who is provided with the shared material video speaks about the provided shared material video, the visibility of the shared material video increases in the first composite video viewed by the user who provided the shared material video. Therefore, the user who provided the shared material video can respond to an utterance made by another user about the shared material video while easily recognizing the shared material video.

尚、上記実施の形態において、カメラ33が本発明の「撮像手段」に相当し、表示装置34が「表示手段」に相当する。図8のS64,S66で第一表示装置を特定する処理を行うCPU10が「特定手段」として機能する。図8のS68,S69で、第一透過度を決定するためのα1、及び第二透過度を決定するためのα2を設定するCPU10が「透過度設定手段」として機能する。   In the above embodiment, the camera 33 corresponds to “imaging means” of the present invention, and the display device 34 corresponds to “display means”. The CPU 10 that performs the process of specifying the first display device in S64 and S66 of FIG. 8 functions as “specifying means”. In S68 and S69 of FIG. 8, the CPU 10 that sets α1 for determining the first transparency and α2 for determining the second transparency functions as “transparency setting means”.

図8のS63、S65で共有資料映像のデータを取得する処理を行うCPU10が「第一取得手段」として機能する。図7のS45で撮像映像のデータを取得する処理を行うCPU10が「第二取得手段」として機能する。図7のS48で第一合成映像を生成するCPU10が「第一生成手段」として機能する。図7のS51で第一合成映像を第一表示装置に出力するCPU10が「第一出力手段」として機能する。図7のS49で第二合成映像を生成するCPU10が「第二生成手段」として機能する。図7のS52で第二合成映像を第二表示装置に出力するCPU10が「第二出力手段」として機能する。   The CPU 10 that performs the process of acquiring the data of the shared material video in S63 and S65 of FIG. 8 functions as the “first acquisition unit”. The CPU 10 that performs processing for acquiring captured image data in S45 of FIG. 7 functions as a “second acquisition unit”. CPU10 which produces | generates a 1st synthetic | combination image | video by S48 of FIG. 7 functions as a "1st production | generation means." The CPU 10 that outputs the first composite video to the first display device in S51 of FIG. 7 functions as the “first output means”. The CPU 10 that generates the second composite video in S49 of FIG. 7 functions as a “second generation unit”. The CPU 10 that outputs the second composite video to the second display device in S52 of FIG. 7 functions as a “second output unit”.

図6のS21,S28、図11のS81で、各拠点のマイク31によって変換された音声データを取得するCPU10が「音声情報取得手段」として機能する。図11のS81〜S83で会話が行われたか否かを判断するCPU10が「会話判断手段」として機能する。図11のS84でα1を変更するCPU10が「第一変更手段」として機能する。図12のS91,S92で、第二表示装置を使用するユーザの発話が終了したことを検出するCPU10が「終了検出手段」として機能する。図12のS93でα1を変更するCPU10が「第二変更手段」として機能する。   In S21 and S28 in FIG. 6 and S81 in FIG. 11, the CPU 10 that acquires the audio data converted by the microphone 31 at each site functions as “audio information acquisition means”. The CPU 10 that determines whether or not a conversation has been performed in S81 to S83 in FIG. 11 functions as a “conversation determination unit”. The CPU 10 that changes α1 in S84 of FIG. 11 functions as a “first changing unit”. In S91 and S92 of FIG. 12, the CPU 10 that detects the end of the speech of the user who uses the second display device functions as “end detection means”. The CPU 10 that changes α1 in S93 in FIG. 12 functions as a “second changing unit”.

また、図8のS64,S66で第一表示装置を特定する処理が、本発明の「特定ステップ」に相当する。図8のS68,S69で、第一透過度を決定するためのα1、及び第二透過度を決定するためのα2を設定する処理が「透過度設定ステップ」に相当する   Moreover, the process which specifies a 1st display apparatus by S64 of FIG. 8, S66 corresponds to the "identification step" of this invention. The process of setting α1 for determining the first transparency and α2 for determining the second transparency in S68 and S69 of FIG. 8 corresponds to the “transparency setting step”.

尚、本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。以下、上記実施の形態の変形例について説明する。尚、以下の変形例のうち、上記実施の形態と同一の構成及び処理については、同一の番号を付して説明を省略又は簡略化する。   Needless to say, the present invention is not limited to the above embodiment, and various modifications are possible. Hereinafter, modifications of the above embodiment will be described. In the following modifications, the same configurations and processes as those in the above embodiment are denoted by the same reference numerals, and description thereof is omitted or simplified.

まず、上記実施の形態では、図5のクライアント処理において、共有資料映像の出力指示が行われた後にテレビ会議が開始される。しかし、テレビ会議の実行中に、端末が共有資料映像の出力指示を行うことができるように設定してもよいことは言うまでもない。この場合、処理を行うCPU10は、共有資料映像の出力指示があったことを契機として第一端末及び第一表示装置を特定し、α1及びα2の値を設定すればよい(図8参照)。   First, in the above embodiment, a video conference is started after an instruction to output a shared material video is issued in the client process of FIG. However, it goes without saying that it may be set so that the terminal can issue an instruction to output the shared material video during the video conference. In this case, the CPU 10 that performs the process may specify the first terminal and the first display device in response to the output instruction of the shared material video, and set the values of α1 and α2 (see FIG. 8).

次に、上記実施の形態の変形例の1つであるテレビ会議システム200について説明する。上記実施の形態では、テレビ会議システム100内の複数の端末のうちの1つがホスト端末として動作し、システム全体の制御を司る。しかし、以下説明するテレビ会議システム200のように、システム全体の制御を司るテレビ会議サーバ201を用いてもよい。   Next, a video conference system 200 that is one of modifications of the above embodiment will be described. In the above embodiment, one of a plurality of terminals in the video conference system 100 operates as a host terminal and controls the entire system. However, a video conference server 201 that controls the entire system may be used as in the video conference system 200 described below.

図13を参照して、テレビ会議システム100の変形例であるテレビ会議システム200のシステム構成について説明する。テレビ会議システム200は、拠点Dに配置されるPC202、拠点Eに配置されるテレビ会議端末203等の各端末に加え、システム全体の制御を司るテレビ会議サーバ201を備えている。テレビ会議サーバ201に必要な電気的構成は、上記実施の形態のテレビ会議端末1の電気的構成(図2参照)に含まれているので、この説明は省略する。テレビ会議サーバ201が行う処理は、上記実施の形態におけるホスト端末の処理(図7、図8、図11、図12参照)と同じである。しかし、テレビ会議サーバ201は、表示装置34等の制御を行わず、システム全体の制御のみを行ってもよいことは言うまでもない。また、各拠点の端末が行う処理は、上記実施の形態におけるクライアント端末の処理(図5及び図6参照)と同じである。   With reference to FIG. 13, the system configuration | structure of the video conference system 200 which is a modification of the video conference system 100 is demonstrated. The video conference system 200 includes a video conference server 201 that controls the entire system, in addition to the terminals such as the PC 202 arranged at the site D and the video conference terminal 203 arranged at the site E. The electrical configuration necessary for the video conference server 201 is included in the electrical configuration (see FIG. 2) of the video conference terminal 1 according to the above-described embodiment, and thus description thereof is omitted. The process performed by the video conference server 201 is the same as the process of the host terminal in the above embodiment (see FIGS. 7, 8, 11, and 12). However, it goes without saying that the video conference server 201 may control only the entire system without controlling the display device 34 and the like. Further, the processing performed by the terminal at each base is the same as the processing of the client terminal in the above embodiment (see FIGS. 5 and 6).

テレビ会議システム200では、システム全体の制御をテレビ会議サーバ201が実行するため、各拠点に配置される端末(PC202及びテレビ会議端末203)の構成及び処理を簡素化することができる。   In the video conference system 200, since the video conference server 201 executes control of the entire system, the configuration and processing of the terminals (PC 202 and video conference terminal 203) arranged at each site can be simplified.

また、上記実施の形態はその他の変更も可能である。上記実施の形態では、ユーザの発話が終了したか否かをクライアント端末が判断し、発話終了情報をホスト端末に送信することで(図6参照)、ホスト端末がユーザの発話終了を検出している(S91,S92、図12参照)。しかし、図6に示す発話終了検知処理をホスト端末で行ってもよい。また、上記実施の形態では、第一端末のユーザと第二端末のユーザとが会話を行ったか否かの判断を、ホスト端末が行っている(S81〜S83、図11参照)。しかし、この判断をクライアント端末で実行し、ホスト端末に通知してもよい。   Further, the above embodiment can be modified in other ways. In the above embodiment, the client terminal determines whether or not the user's utterance has ended, and transmits the utterance end information to the host terminal (see FIG. 6), so that the host terminal detects the end of the user's utterance. (See S91, S92, FIG. 12). However, the utterance end detection process shown in FIG. 6 may be performed by the host terminal. In the above embodiment, the host terminal determines whether or not the user of the first terminal and the user of the second terminal have a conversation (S81 to S83, see FIG. 11). However, this determination may be executed by the client terminal and notified to the host terminal.

また、上記実施の形態では、システム全体の制御を司るホスト端末が合成映像のデータを生成し、各拠点の端末に送信することで、各拠点の表示手段に合成映像を出力している。しかし、この処理も変更が可能である。例えば、ホスト端末は、共有資料映像のデータと撮像映像のデータとを端末に送信し、且つ、第一端末には第一透過度を、第二端末には第二透過度を通知する。そして、クライアント端末が、ホスト端末から通知された透過度を用いて合成映像を生成し、同一拠点内にある表示装置34に出力してもよい。この場合、ホスト端末の処理を低減させることができる。また、ホスト端末は、第一変更処理(図11参照)、及び第二変更処理(図12参照)のいずれか一方のみを実行することも可能である。   Further, in the above embodiment, the host terminal that controls the entire system generates composite video data and transmits it to the terminal at each base, thereby outputting the composite video to the display means at each base. However, this process can also be changed. For example, the host terminal transmits the shared material video data and the captured video data to the terminal, and notifies the first terminal of the first transparency and the second terminal of the second transparency. Then, the client terminal may generate a composite video using the transparency notified from the host terminal and output it to the display device 34 in the same base. In this case, the processing of the host terminal can be reduced. Further, the host terminal can execute only one of the first change process (see FIG. 11) and the second change process (see FIG. 12).

1,203 テレビ会議端末
2,202 PC
8 ネットワーク
10 CPU
13 HDD
24 映像出力処理部
26 通信装置
31 マイク
33 カメラ
34 表示装置
40 撮像映像
45 共有資料映像
100,200 テレビ会議システム
201 テレビ会議サーバ
1,203 TV conference terminal 2,202 PC
8 Network 10 CPU
13 HDD
24 Video output processing unit 26 Communication device 31 Microphone 33 Camera 34 Display device 40 Captured video 45 Shared material video 100, 200 Video conference system 201 Video conference server

Claims (7)

複数の拠点に各々配置された撮像手段及び表示手段が接続されている複数の端末とネットワークを介して接続され、前記複数の端末で共有される共有資料の映像である共有資料映像と、前記複数の拠点において複数の前記撮像手段によって撮像された前記複数の拠点の映像である複数の撮像映像と透過合成された合成映像を、前記複数の拠点に配置された複数の前記表示手段に出力するためのテレビ会議装置であって、
前記共有資料映像を前記複数の表示手段へ出力する指示が入力された前記端末および前記テレビ会議装置の少なくとも一方から、前記共有資料映像を取得する第一取得手段と、
前記第一取得手段が前記共有資料映像を取得することにより、前記共有資料映像の提供元を特定する特定手段と、
前記特定手段によって特定された前記提供元に接続する第一表示手段出力される第一合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第一透過度、及び、前記複数の表示手段のうちで前記第一表示手段以外の前記表示手段である第二表示手段出力される第二合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第二透過度を設定する透過度設定手段とを備え
前記透過度設定手段は、
前記第一合成映像に含まれる前記撮像映像の透過度よりも、前記第一合成映像に含まれる前記共有資料映像の透過度が高い前記第一透過度を設定し、
前記第二合成映像に含まれる前記撮像映像の透過度よりも、前記第二合成映像に含まれる前記共有資料映像の透過度が低い前記第二透過度を設定することを特徴とするテレビ会議装置。
Each arranged pickup means and display means are connected via a plurality of terminals and networks connected to a plurality of locations, and common document image is an image of a common document that will be shared by the plurality of terminals, said plurality outputs of the plurality of the combined image in which a plurality of captured image is an image of said plurality of locations that have been captured are transmitted synthesized by the imaging unit at the site, to a plurality of said display means arranged on said plurality of locations For video conferencing equipment,
First acquisition means for acquiring the shared material video from at least one of the terminal and the video conference device to which an instruction to output the shared material video to the plurality of display means is input;
Specifying means for specifying a source of the shared document video by the first acquisition unit acquiring the shared document video ;
First transmission defining the permeability of the common document image transparency and the plurality of captured image included in the first composite video output to the first display means connected to said provider identified by the identifying means degrees, and the sharing of documents video permeability and the plurality of contained in the second composite video output to the second display means is the display means other than the first display means among the plurality of display means A transparency setting means for setting a second transparency that defines the transparency of the captured image ;
The transparency setting means includes
Setting the first transparency, which is higher than the transparency of the shared material image included in the first composite image, than the transparency of the captured image included in the first composite image;
The video conferencing apparatus characterized in that the second transparency is set such that the transparency of the shared material video included in the second composite video is lower than the transparency of the captured video included in the second composite video. .
前記複数の端末から、前記複数の撮像手段によって撮像された前記複数の撮像映像を取得する第二取得手段と、
前記第一取得手段によって取得された前記共有資料映像と、前記第二取得手段によって取得された前記複数の撮像映像とを、前記透過度設定手段によって設定された前記第一透過度で透過合成して前記第一合成映像を生成する第一生成手段と、
前記第一生成手段によって生成された前記第一合成映像を前記第一表示手段に出力する第一出力手段と、
前記第一取得手段によって取得された前記共有資料映像と、前記第二取得手段によって取得された前記複数の撮像映像とを、前記透過度設定手段によって設定された前記第二透過度で透過合成して前記第二合成映像を生成する第二生成手段と、
前記第二生成手段によって生成された前記第二合成映像を前記第二表示手段に出力する第二出力手段と
を備えたことを特徴とする請求項に記載のテレビ会議装置。
Second acquisition means for acquiring the plurality of captured images imaged by the plurality of imaging means from the plurality of terminals ;
It said common document image acquired by the first acquisition unit, has been a plurality of captured image acquired by the second acquisition means, transmission combined with the first transmission rate set by the transparency setting means First generating means for generating the first composite video;
First output means for outputting the first composite video generated by the first generation means to the first display means;
It said common document image acquired by the first acquisition unit, has been a plurality of captured image acquired by the second acquisition means, transmission combined with the second transmission rate set by the transparency setting means Second generating means for generating the second composite video,
The video conference apparatus according to claim 1 , further comprising: a second output unit configured to output the second composite video generated by the second generation unit to the second display unit.
前記複数の端末は、前記複数の拠点に各々配置された集音手段を接続し、
前記複数の端末から、前記複数の拠点において複数の前記集音手段によって集音された前記複数の拠点の音声を示す複数の音声情報を取得する音声情報取得手段と、
前記音声情報取得手段によって前記複数の音声情報が取得された場合に、前記第一表示手段が接続されている前記端末を使用するユーザと、前記第二表示手段が接続されている前記端末を使用するユーザとの間で会話が行われたか否かを前記音声情報から判断する会話判断手段と、
前記会話判断手段によって前記会話が行われたことが判断された場合に、前記透過度設定手段によって設定された前記第一透過度における前記共有資料映像の透過度を減少させる第一変更手段と
を備えたことを特徴とする請求項1又は2に記載のテレビ会議装置。
The plurality of terminals connect sound collecting means respectively disposed at the plurality of bases,
Voice information acquisition means for acquiring , from the plurality of terminals, a plurality of voice information indicating voices of the plurality of bases collected by the plurality of sound collection means at the plurality of bases;
When the plurality of pieces of audio information are acquired by the audio information acquisition unit, the user using the terminal to which the first display unit is connected and the terminal to which the second display unit is connected are used. Conversation judging means for judging from the voice information whether or not a conversation has been performed with the user who
When said conversation by the conversation determination means is performed is determined, a first changing means for reducing the permeability of the common document image at said first transmission rate set by the previous SL permeability setting means The video conference apparatus according to claim 1, further comprising:
前記複数の端末は、前記複数の拠点に各々配置された集音手段を接続し、
前記複数の端末から、前記複数の拠点において複数の前記集音手段によって集音された前記複数の拠点の音声を示す複数の音声情報を取得する音声情報取得手段と、
前記音声情報取得手段によって取得された前記複数の音声情報によって、前記第二表示手段が接続されている前記端末を使用するユーザの発話が終了したことを検出する終了検出手段と、
前記終了検出手段によって前記発話が終了したことが検出された場合に、前記透過度設定手段によって設定された前記第一透過度における前記共有資料映像の透過度を減少させる第二変更手段と
を備えたことを特徴とする請求項1又は2に記載のテレビ会議装置。
The plurality of terminals connect sound collecting means respectively disposed at the plurality of bases,
Voice information acquisition means for acquiring, from the plurality of terminals, a plurality of voice information indicating voices of the plurality of bases collected by the plurality of sound collection means at the plurality of bases;
By the plurality of audio information acquired by the speech information acquisition unit, a completion detecting means for the user's utterance is detected the completion of the use of the terminal in which the second display means is connected,
Second changing means for reducing the transparency of the shared material image at the first transparency set by the transparency setting means when it is detected by the termination detection means that the utterance has ended. The video conference apparatus according to claim 1 , wherein the video conference apparatus is provided.
複数の拠点に各々配置された撮像手段及び表示手段が接続されている複数の端末と、
前記複数の端末とネットワークを介して接続され、前記複数の端末で共有される共有資料の映像である共有資料映像と、前記複数の拠点において複数の前記撮像手段によって撮像された前記複数の拠点の映像である複数の撮像映像と透過合成された合成映像を、前記複数の拠点に配置された複数の前記表示手段に出力するためのテレビ会議サーバと
を備えたテレビ会議システムであって、
前記複数の端末は、
前記共有資料映像を前記複数の表示手段へ出力する指示が入力される前記端末であって、接続されている前記表示手段である第一表示手段の表示を制御する第一端末と、
前記複数の端末のうちで前記第一端末以外の前記端末であって、接続されている前記表示手段である第二表示手段の表示を制御する第二端末とを含み、
前記テレビ会議サーバは、
前記第一端末から前記共有資料映像を取得する第一取得手段と、
前記第一取得手段が前記共有資料映像を取得することにより、前記第一端末を特定する特定手段と、
前記特定手段によって特定された前記第一端末に接続する前記第一表示手段出力される第一合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第一透過度、及び、前記第二表示手段出力される第二合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第二透過度を設定する透過度設定手段と
を備え、
前記第一端末は、
前記第一合成映像を前記第一表示手段に出力する第一出力手段を備え、
前記第二端末は、
前記第二合成映像を前記第二表示手段に出力する第二出力手段を備え
前記透過度設定手段は、
前記第一合成映像に含まれる前記撮像映像の透過度よりも、前記第一合成映像に含まれる前記共有資料映像の透過度が高い前記第一透過度を設定し、
前記第二合成映像に含まれる前記撮像映像の透過度よりも、前記第二合成映像に含まれる前記共有資料映像の透過度が低い前記第二透過度を設定することを特徴とするテレビ会議システム。
A plurality of terminals to which imaging means and display means respectively arranged at a plurality of bases are connected;
Are connected via the plurality of terminals and a network, a shared document image is an image of a common document that will be shared by the plurality of terminals, said plurality of locations that have been captured by a plurality of the imaging means at said plurality of locations a combined image in which a plurality of captured image is an image which is transmitted synthesized, and TV conference server for outputting a plurality of said display means arranged on said plurality of locations
A video conferencing system comprising:
The plurality of terminals are:
A first terminal that controls the display of the first display means that is the connected display means, the terminal being inputted with an instruction to output the shared document video to the plurality of display means ;
A second terminal that controls the display of the second display means, which is the terminal other than the first terminal among the plurality of terminals, and is connected to the display means;
The video conference server is
First acquisition means for acquiring the shared material video from the first terminal;
Specifying means for specifying the first terminal by the first acquisition means acquiring the shared material video ;
The defining and permeability of the common document image transparency and the plurality of captured image included in the first combined image to be output to the first display means connected to said first terminal identified by the identifying means one transparency, and, transparency setting the second permeability defining with said common document permeability of permeability and the plurality of captured image of the image contained in the second combined image to be output to the second display means A setting means, and
The first terminal is
Comprising first output means for outputting the first composite video to the first display means;
The second terminal is
A second output means for outputting the second composite video to the second display means ;
The transparency setting means includes
Setting the first transparency, which is higher than the transparency of the shared material image included in the first composite image, than the transparency of the captured image included in the first composite image;
The video conference system, wherein the second transparency is set such that the transparency of the shared material video included in the second composite video is lower than the transparency of the captured video included in the second composite video. .
複数の拠点に各々配置された撮像手段及び表示手段が接続されている複数の端末とネットワークを介して接続され、前記複数の端末で共有される共有資料の映像である共有資料映像と、前記複数の拠点において複数の前記撮像手段によって撮像された前記複数の拠点の映像である複数の撮像映像と透過合成された合成映像を、前記複数の拠点に配置された複数の前記表示手段に出力するためのテレビ会議方法であって、
前記共有資料映像を前記複数の表示手段へ出力する指示が入力された前記端末から、前記共有資料映像を取得する取得ステップと、
前記取得ステップが前記共有資料映像を取得することにより、前記共有資料映像の提供元を特定する特定ステップと、
前記特定ステップによって特定された前記提供元に接続する第一表示手段出力される第一合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第一透過度、及び、前記複数の表示手段のうちで前記第一表示手段以外の前記表示手段である第二表示手段出力される第二合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第二透過度を設定する透過度設定ステップと
を備え、
前記透過度設定ステップは、
前記第一合成映像に含まれる前記撮像映像の透過度よりも、前記第一合成映像に含まれる前記共有資料映像の透過度が高い前記第一透過度を設定し、
前記第二合成映像に含まれる前記撮像映像の透過度よりも、前記第二合成映像に含まれる前記共有資料映像の透過度が低い前記第二透過度を設定することを特徴とするテレビ会議方法。
Each arranged pickup means and display means are connected via a plurality of terminals and networks connected to a plurality of locations, and common document image is an image of a common document that will be shared by the plurality of terminals, said plurality outputs of the plurality of the combined image in which a plurality of captured image is an image of said plurality of locations that have been captured are transmitted synthesized by the imaging unit at the site, to a plurality of said display means arranged on said plurality of locations A video conferencing method for
An acquisition step of acquiring the shared document video from the terminal to which an instruction to output the shared document video to the plurality of display units is input;
A specifying step of specifying a provider of the shared document video by acquiring the shared document video in the acquiring step;
First transmission defining the permeability of the common document image transparency and the plurality of captured image included in the first composite video output to the first display means connected to said provider identified by the identifying step degrees, and the sharing of documents video permeability and the plurality of contained in the second composite video output to the second display means is the display means other than the first display means among the plurality of display means A transparency setting step for setting a second transparency that determines the transparency of the captured image , and
The transparency setting step includes:
Setting the first transparency, which is higher than the transparency of the shared material image included in the first composite image, than the transparency of the captured image included in the first composite image;
The video conference method, wherein the second transparency is set such that the transparency of the shared material video included in the second composite video is lower than the transparency of the captured video included in the second composite video. .
複数の拠点に各々配置された撮像手段及び表示手段が接続されている複数の端末とネットワークを介して接続され、前記複数の端末で共有される共有資料の映像である共有資料映像と、前記複数の拠点において複数の前記撮像手段によって撮像された前記複数の拠点の映像である複数の撮像映像とが透過合成された合成映像を、前記複数の拠点に配置された複数の前記表示手段に出力するためのコンピュータであるテレビ会議装置に、
前記共有資料映像を前記複数の表示手段へ出力する指示が入力された前記端末および前記テレビ会議装置の少なくとも一方から、前記共有資料映像を取得する取得ステップと、
前記取得ステップが前記共有資料映像を取得することにより、前記共有資料映像の提供元を特定する特定ステップと、
前記特定ステップによって特定された前記提供元に接続する第一表示手段に出力される第一合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第一透過度、及び、前記複数の表示手段のうちで前記第一表示手段以外の前記表示手段である第二表示手段に出力される第二合成映像に含まれる前記共有資料映像の透過度と前記複数の撮像映像の透過度とを定める第二透過度を設定する透過度設定ステップとを実行させ、
前記透過度設定ステップは、
前記第一合成映像に含まれる前記撮像映像の透過度よりも、前記第一合成映像に含まれる前記共有資料映像の透過度が高い前記第一透過度を設定し、
前記第二合成映像に含まれる前記撮像映像の透過度よりも、前記第二合成映像に含まれる前記共有資料映像の透過度が低い前記第二透過度を設定することを特徴とするテレビ会議プログラム。
A shared material video that is a video of a shared material that is connected via a network to a plurality of terminals to which imaging means and display means respectively disposed at a plurality of bases are connected, and the plurality of terminals A composite video obtained by transmitting and synthesizing a plurality of captured images that are images of the plurality of bases captured by the plurality of bases at a plurality of bases is output to the plurality of display units disposed at the plurality of bases. To the video conference device that is a computer for
An acquisition step of acquiring the shared document video from at least one of the terminal and the video conference apparatus to which an instruction to output the shared document video to the plurality of display units is input;
A specifying step of specifying a provider of the shared document video by acquiring the shared document video in the acquiring step;
A first transparency that determines the transparency of the shared material image and the transparency of the plurality of captured images included in the first composite image output to the first display means connected to the provider identified by the identifying step. And the transparency of the shared material video included in the second composite video output to the second display means that is the display means other than the first display means among the plurality of display means and the plurality of the display means A transparency setting step for setting a second transparency that determines the transparency of the captured image; and
The transparency setting step includes:
Setting the first transparency, which is higher than the transparency of the shared material image included in the first composite image, than the transparency of the captured image included in the first composite image;
The video conference program, wherein the second transparency is set such that the transparency of the shared material video included in the second composite video is lower than the transparency of the captured video included in the second composite video. .
JP2009061074A 2009-03-13 2009-03-13 Video conference apparatus, video conference system, video conference method, and video conference program Expired - Fee Related JP5272820B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009061074A JP5272820B2 (en) 2009-03-13 2009-03-13 Video conference apparatus, video conference system, video conference method, and video conference program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009061074A JP5272820B2 (en) 2009-03-13 2009-03-13 Video conference apparatus, video conference system, video conference method, and video conference program

Publications (2)

Publication Number Publication Date
JP2010219635A JP2010219635A (en) 2010-09-30
JP5272820B2 true JP5272820B2 (en) 2013-08-28

Family

ID=42978038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009061074A Expired - Fee Related JP5272820B2 (en) 2009-03-13 2009-03-13 Video conference apparatus, video conference system, video conference method, and video conference program

Country Status (1)

Country Link
JP (1) JP5272820B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214911A (en) * 2012-04-03 2013-10-17 Nakayo Telecommun Inc Telephone terminal and screen sharing method
JP2013243599A (en) * 2012-05-22 2013-12-05 Nec Corp Television conference system
JP2018041990A (en) * 2015-01-22 2018-03-15 株式会社リコー Communication terminal, communication system, display control method, and program
JP6365708B2 (en) * 2016-04-05 2018-08-01 キヤノンマーケティングジャパン株式会社 WEB CONFERENCE SYSTEM, WEB CONFERENCE SERVER, WEB CONFERENCE SERVER AND WEB CONFERENCE SYSTEM CONTROL METHOD, AND PROGRAM

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4054775B2 (en) * 2004-03-15 2008-03-05 エヌ・ティ・ティ・コミュニケーションズ株式会社 Video display method and video display control method in video conference system, user terminal and server computer used in video conference system, program for user terminal and server computer program used in video conference system

Also Published As

Publication number Publication date
JP2010219635A (en) 2010-09-30

Similar Documents

Publication Publication Date Title
JP7225631B2 (en) Image processing device, camera device, and image processing method
JP7230394B2 (en) Teleconferencing device and teleconferencing program
CN111243632B (en) Multimedia resource generation method, device, equipment and storage medium
CN111246300B (en) Method, device and equipment for generating clip template and storage medium
KR102193029B1 (en) Display apparatus and method for performing videotelephony using the same
JP7427408B2 (en) Information processing device, information processing method, and information processing program
JP2015195477A (en) Program, terminal device and method
JP5272820B2 (en) Video conference apparatus, video conference system, video conference method, and video conference program
JP7074056B2 (en) Image processing equipment, image processing systems, and image processing methods, and programs
CN113542624A (en) Method and device for generating commodity object explanation video
JP2015126524A (en) Remote conference program, terminal device, and remote conference method
KR100934471B1 (en) Image Production Apparatus and Method Using Chroma Key
US10468029B2 (en) Communication terminal, communication method, and computer program product
AU2013222959A1 (en) Method and apparatus for processing information of image including a face
JP5151131B2 (en) Video conferencing equipment
CN115865875A (en) Display method, display device and display system
CN111091807B (en) Speech synthesis method, device, computer equipment and storage medium
JP2011066745A (en) Terminal apparatus, communication method and communication system
JP2000083229A (en) Conference system, method for displaying talker and recording medium
WO2021029294A1 (en) Data creation method and data creation program
US20230238018A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory recording medium
JP6610572B2 (en) Editing device
JP2012182688A (en) Image processing apparatus, image processing method, and image processing program
JP2023121274A (en) Method for controlling conference system, terminal device, and program
KR20230014522A (en) Chroma Key Imaging Devices and Their Methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130429

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees