JP6521154B2 - Communication device, method and program - Google Patents
Communication device, method and program Download PDFInfo
- Publication number
- JP6521154B2 JP6521154B2 JP2018127436A JP2018127436A JP6521154B2 JP 6521154 B2 JP6521154 B2 JP 6521154B2 JP 2018127436 A JP2018127436 A JP 2018127436A JP 2018127436 A JP2018127436 A JP 2018127436A JP 6521154 B2 JP6521154 B2 JP 6521154B2
- Authority
- JP
- Japan
- Prior art keywords
- display device
- image
- display
- captured image
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像および音声の通信を行う通信システムに関し、より詳細には、複数の拠点間で映像および音声の相互通信を行う通信システム、通信装置およびプログラムに関する。 The present invention relates to a communication system for performing video and audio communication, and more particularly, to a communication system, a communication apparatus, and a program for performing video and audio intercommunication between a plurality of bases.
近年、インターネット等の高速データ通信が可能なネットワークの普及に伴い、遠隔地の複数の拠点間で映像や音声を相互に配信して会議等を行うビデオ会議が利用されるようになっている。 BACKGROUND In recent years, with the spread of networks capable of high-speed data communication such as the Internet, video conferencing has been used in which video and audio are mutually distributed among a plurality of remote locations to conduct meetings and the like.
このようなビデオ会議を実現する通信システムの一実施形態として、特許文献１は、他拠点の撮影画像を自拠点の表示装置に表示すると共に、会議等で使用される資料画像を当該表示装置に表示するコンテンツ配信装置を開示する。 As an embodiment of a communication system for realizing such a video conference, Patent Document 1 displays a photographed image of another site on a display device of the own site, and also uses a document image used in a meeting or the like on the display device. Disclosed is a content distribution device to be displayed.
しかしながら、特許文献１が開示するコンテンツ配信装置は、他拠点の撮影画像と資料画像とを同一の表示装置の画面上に表示するため、一方の画像の表示領域を拡大すると、他方の画像の表示領域が縮小されてしまい、これらの画像の視認性が低くなるという問題があった。 However, since the content distribution apparatus disclosed in Patent Document 1 displays the photographed image of another site and the document image on the screen of the same display device, when the display area of one image is enlarged, the other image is displayed. There is a problem that the area is reduced and the visibility of these images is lowered.
本発明は上述した課題を解決するものであり、表示装置に表示される画像の視認性を向上させる通信システム、通信装置およびプログラムを提供することを目的とする。 The present invention solves the above-mentioned problem, and an object of the present invention is to provide a communication system, a communication apparatus and a program that improve the visibility of an image displayed on a display device.
本発明の通信装置は、画像の表示方式を規定する配置情報を設定する配置情報設定手段と、配置情報を参照して複数の表示装置に画像を表示させる表示制御手段とを含み、表示制御手段は、自拠点および他拠点の撮影画像を第１の表示装置に表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第２の表示装置に表示させる。 A communication apparatus according to the present invention includes arrangement information setting means for setting arrangement information defining an image display method, and display control means for displaying images on a plurality of display devices with reference to the arrangement information, and a display control means In addition to displaying the photographed images of the own site and the other site on the first display device, the second display device displays an image provided by the image providing apparatus of the own site or the other site.
本発明の通信装置は、上記構成を採用することにより、表示装置に表示される画像の視認性を向上させることができる。 The communication device of the present invention can improve the visibility of the image displayed on the display device by adopting the above configuration.
以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。 Hereinafter, the present invention will be described by way of embodiments, but the present invention is not limited to the embodiments described later.
図１は、本発明の通信システムの一実施形態を示す図である。通信システム１００は、通信装置１０ａ〜１０ｈと、表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈと、画像提供装置３０ａ〜３０ｈと、通信管理装置４０とを含んで構成される。 FIG. 1 is a diagram showing an embodiment of a communication system of the present invention. The communication system 100 includes communication devices 10a to 10h, display devices 20a to 20h and 22a to 22h, image providing devices 30a to 30h, and a communication management device 40.
通信装置１０ａ〜１０ｈは、他拠点の通信装置１０ａ〜１０ｈとの間で画像および音声を相互に通信し、当該通信装置１０ａ〜１０ｈに接続された表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈに画像を表示すると共に音声を出力する装置である。通信装置１０ａ〜１０ｈは、ルータ５０およびネットワーク６０を介して通信管理装置４０に自拠点の画像および音声を送信する。また、通信装置１０ａ〜１０ｈは、通信管理装置４０から他拠点の画像を受信し、表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈに自拠点の画像および他拠点の画像を表示すると共に他拠点の音声を出力する。 The communication devices 10a to 10h mutually communicate images and sounds with the communication devices 10a to 10h at other sites, and display images on the display devices 20a to 20h and 22a to 22h connected to the communication devices 10a to 10h. It is a device that displays and outputs audio. The communication devices 10a to 10h transmit the image and the voice of the own site to the communication management device 40 via the router 50 and the network 60. In addition, the communication devices 10a to 10h receive images of other bases from the communication management device 40, display the images of the own base and the images of the other bases on the display devices 20a to 20h and 22a to 22h, and sound of the other bases. Output.
本実施形態では、通信装置１０ａ〜１０ｈは、有線通信によって表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈに画像を出力するが、他の実施形態では、無線通信によって当該表示装置に画像を出力してもよい。また、本実施形態では、１の通信装置に対して２の表示装置が接続されているが、他の実施形態では、１の通信装置に３以上の表示装置を接続してもよい。さらに他の実施形態では、通信装置に１以上の表示装置が内蔵されていて、デュアル・ディスプレイ対応とされていてもよい。 In the present embodiment, the communication devices 10a to 10h output images to the display devices 20a to 20h and 22a to 22h by wired communication, but in other embodiments, even if the images are output to the display devices by wireless communication. Good. Further, in the present embodiment, two display devices are connected to one communication device, but in another embodiment, three or more display devices may be connected to one communication device. In yet another embodiment, the communication device may include one or more display devices and be dual display enabled.
画像提供装置３０ａ〜３０ｈは、接続された通信装置１０ａ〜１０ｈに対して画像を提供する装置である。画像提供装置３０ａ〜３０ｈは、画像提供装置３０ａ〜３０ｈの表示装置に表示される画像を通信装置１０ａ〜１０ｈに提供する。画像提供装置３０ａ〜３０ｈが提供する画像には、例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて作成される資料画像や画像提供装置３０ａ〜３０ｈのデスクトップ画面、アプリケーションプログラムのＵＩ（User Interface）等の種々の画像が含まれる。なお、図１では、デスクトップ型のパーソナルコンピュータが画像提供装置３０ａ〜３０ｈとして通信装置１０ａ〜１０ｈと相互接続しているものとして説明するが、画像提供装置３０ａ〜３０ｈとして、デスクトップ型ＰＣの他、ノートブック型ＰＣ、ｉＰａｄ（登録商標）などのタブレット型ＰＣ、ｉＰｈｏｎｅ（登録商標）やアンドロイド（登録商標）などを搭載したスマートホンなども好ましく使用することができる。 The image providing devices 30a to 30h are devices that provide images to the connected communication devices 10a to 10h. The image providing devices 30a to 30h provide the communication devices 10a to 10h with images displayed on the display devices of the image providing devices 30a to 30h. Examples of images provided by the image providing devices 30a to 30h include document images created using document creation software, spreadsheet software, presentation software and the like, desktop screens of the image providing devices 30a to 30h, and UIs of application programs. Various images such as (User Interface) are included. In FIG. 1, the desktop personal computer is described as being interconnected with the communication devices 10a to 10h as the image providing devices 30a to 30h, but as the image providing devices 30a to 30h, in addition to the desktop PC, A notebook PC, a tablet PC such as iPad (registered trademark), a smartphone equipped with an iPhone (registered trademark), an Android (registered trademark), and the like can also be preferably used.
通信管理装置４０は、通信システム１００のデータ通信を管理する装置である。通信管理装置４０は、複数の拠点間の通信装置１０ａ〜１０ｈのセッションを確立し、各通信装置１０ａ〜１０ｈの画像および音声を中継する。 The communication management device 40 is a device that manages data communication of the communication system 100. The communication management device 40 establishes a session of the communication devices 10a to 10h between a plurality of bases, and relays the images and sounds of the communication devices 10a to 10h.
図２は、通信装置１０ａのハードウェア構成図の一実施形態を示す。以下、図２を参照して、通信装置１０ａのハードウェア構成について説明する。なお、他の通信装置１０ｂ〜１０ｈのハードウェア構成は、通信装置１０ａと同様であるため、説明を省略する。 FIG. 2 shows an embodiment of the hardware configuration of the communication device 10a. The hardware configuration of the communication device 10a will be described below with reference to FIG. The hardware configuration of the other communication devices 10b to 10h is the same as that of the communication device 10a, and thus the description thereof will be omitted.
通信装置１０ａは、ＣＰＵ(Central Processing Unit)２０１と、ＲＯＭ(Read Only Memory)２０２と、ＲＡＭ(Random Access Memory)２０３と、ＳＳＤ（Solid State Drive）２０４と、メディアドライブ２０６とを含んで構成される。これらの装置はデータバス２０９を介して接続されている。 The communication device 10 a includes a central processing unit (CPU) 201, a read only memory (ROM) 202, a random access memory (RAM) 203, a solid state drive (SSD) 204, and a media drive 206. Ru. These devices are connected via a data bus 209.
ＣＰＵ２０１は、通信装置１０ａ全体の動作を制御するプロセッサである。ＲＯＭ２０２は、本発明のプログラムが記憶される記憶装置である。ＲＡＭ２０３は、本発明のプログラムの実行空間を提供する記憶装置である。通信装置１０ａは、ＷＩＮＤＯＷＳ（登録商標）シリーズ、Ｍａｃ（登録商標）ＯＳ（Operating System）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを、ＲＡＭ２０３に展開して実行することにより、後述する各機能手段を通信装置１０ａ上に実現する。 The CPU 201 is a processor that controls the overall operation of the communication device 10a. The ROM 202 is a storage device in which the program of the present invention is stored. The RAM 203 is a storage device that provides an execution space of the program of the present invention. The communication device 10a is an assembler, C, C ++, Java (registered under the control of an operating system such as WINDOWS (registered trademark) series, Mac (registered trademark) OS (Operating System), UNIX (registered trademark), LINUX (registered trademark), etc. Each function means to be described later is realized on the communication device 10a by developing the program of the present invention described in a program language such as JavaScript (registered trademark), PERL, RUBY, PYTHON, etc. in the RAM 203 and executing it. Do.
ＳＳＤ２０４は、画像や音声等の各種データを記憶するフラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等の不揮発メモリ（図示せず）を備えており、フラッシュメモリに対する各種データの読み出しまたは書き込みを制御する。メディアドライブ２０６は、フラッシュメモリ等の記録メディア２０５を挿入可能な装置であり、記録メディア２０５に対するデータの読み出しまたは書き込みを制御する。 The SSD 204 includes a non-volatile memory (not shown) such as a flash memory or an EEPROM (Electrically Erasable and Programmable ROM) for storing various data such as images and audio, and controls reading or writing of various data to the flash memory. . The media drive 206 is a device into which a recording medium 205 such as a flash memory can be inserted, and controls reading or writing of data to the recording medium 205.
また、通信装置１０ａは、操作ボタン２０７と、電源スイッチ２０８と、ネットワークインタフェース（Ｉ／Ｆ）２１０と、撮像素子Ｉ／Ｆ２１２と、音声入出力Ｉ／Ｆ２１５と、表示装置Ｉ／Ｆ２１６と、表示装置Ｉ／Ｆ２１７と、外部装置Ｉ／Ｆ２１８とを含んで構成される。これらの装置はデータバス２０９を介して接続される。 In addition, the communication device 10 a includes an operation button 207, a power switch 208, a network interface (I / F) 210, an imaging device I / F 212, an audio input / output I / F 215, a display device I / F 216, and a display. The configuration includes the device I / F 217 and the external device I / F 218. These devices are connected via a data bus 209.
操作ボタン２０７は、セッションを確立する他拠点の通信装置の選択や種々の設定を行う入力装置である。電源スイッチ２０８は、通信装置１０ａの電源のＯＮ／ＯＦＦを切り換えるスイッチである。ネットワークＩ／Ｆ２１０は、ルータ５０との接続を提供するインタフェースであり、ネットワーク６０を介したデータ通信を行う。 The operation button 207 is an input device for selecting a communication device at another site for establishing a session and performing various settings. The power switch 208 is a switch that switches on / off of the power of the communication device 10a. The network I / F 210 is an interface that provides a connection with the router 50, and performs data communication via the network 60.
撮像素子Ｉ／Ｆ２１２は、被写体を撮像して画像を生成するＣＣＤ(Charge Coupled Device)２１１を接続するインタフェースであり、ＣＣＤ２１１を制御して画像を生成する。本実施形態では、撮像素子としてＣＣＤを採用するが、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の他の撮像素子を採用してもよい。 The imaging element I / F 212 is an interface that connects a charge coupled device (CCD) 211 that captures an object and generates an image, and controls the CCD 211 to generate an image. In the present embodiment, a CCD is employed as the imaging device, but another imaging device such as a complementary metal oxide semiconductor (CMOS) may be employed.
音声入出力Ｉ／Ｆ２１５は、マイク２１３およびスピーカ２１４を接続するインタフェースであり、マイク２１３およびスピーカ２１４との間で音声信号の入出力を行う。表示装置Ｉ／Ｆ２１６は、表示装置２０ａを接続するインタフェースであり、表示装置２０ａに画像を出力する。表示装置Ｉ／Ｆ２１７は、表示装置２２ａを接続するインタフェースであり、表示装置２２ａに画像を出力する。 The audio input / output I / F 215 is an interface that connects the microphone 213 and the speaker 214, and performs input / output of an audio signal with the microphone 213 and the speaker 214. The display device I / F 216 is an interface that connects the display device 20a, and outputs an image to the display device 20a. The display device I / F 217 is an interface that connects the display device 22a, and outputs an image to the display device 22a.
表示装置２０ａ，２２ａは、通信装置１０ａが出力する種々の画像を表示する表示装置である。外部装置Ｉ／Ｆ２１８は、画像提供装置３０ａを接続するインタフェースであり、画像提供装置３０ａから画像を受信する。 The display devices 20a and 22a are display devices that display various images output by the communication device 10a. The external device I / F 218 is an interface that connects the image providing device 30a, and receives an image from the image providing device 30a.
図３は、通信装置１０ａの機能構成の一実施形態を示す図である。以下、図３を参照して、通信装置１０ａの機能構成について説明する。なお、他の通信装置１０ｂ〜１０ｈの機能構成は、通信装置１０ａと同様であるため、説明を省略する。 FIG. 3 is a diagram showing an embodiment of a functional configuration of the communication device 10a. The functional configuration of the communication device 10a will be described below with reference to FIG. The functional configurations of the other communication devices 10b to 10h are the same as those of the communication device 10a, and thus the description thereof will be omitted.
通信装置１０ａは、制御部３００と、送受信部３０２と、操作受付部３０４と、撮像部３０６とを含んで構成される。 The communication device 10 a includes a control unit 300, a transmission / reception unit 302, an operation reception unit 304, and an imaging unit 306.
制御部３００は、通信装置１０ａが実行する処理の全体制御を行う機能手段である。制御部３００は、後述する機能手段を用いて種々の処理を実行する。 The control unit 300 is a functional unit that performs overall control of processing executed by the communication device 10a. The control unit 300 executes various processes using functional means described later.
送受信部３０２は、通信管理装置４０または画像提供装置３０ａとの通信を行う機能手段であり、ネットワークＩ／Ｆ２１０および外部装置Ｉ／Ｆ２１８によって実現される。 The transmission / reception unit 302 is a functional unit that performs communication with the communication management device 40 or the image providing device 30a, and is realized by the network I / F 210 and the external device I / F 218.
操作受付部３０４は、ユーザによる各種の操作指示を受け付ける機能手段である。例えば、ユーザが電源スイッチ２０８をＯＮにすると電源投入指示が発行される。操作受付部３０４は、当該指示を受け付けると、通信装置１０ａの電源をＯＮにする。また、ユーザが操作ボタン２０７によって表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈの表示方式を変更すると、表示方式の変更指示が発行される。操作受付部３０４は、当該指示を受けると、配置情報設定部３１４に対し、ユーザが指定した表示方式（「VIEW_MULTI」および「SHARED_MULTI」等）を、表示装置の表示方式を指定する設定情報（以下、「表示方式設定情報」とする。）として記憶部３１０に保存させる。なお、本実施形態の表示方式については、図５を参照して詳述する。 The operation receiving unit 304 is a functional unit that receives various operation instructions from the user. For example, when the user turns on the power switch 208, a power on instruction is issued. When the operation accepting unit 304 accepts the instruction, the operation accepting unit 304 powers on the communication device 10a. In addition, when the user changes the display method of the display devices 20a to 20h and 22a to 22h with the operation button 207, a change instruction of the display method is issued. When receiving the instruction, the operation reception unit 304 instructs the arrangement information setting unit 314 to set the display method (“VIEW_MULTI”, “SHARED_MULTI”, etc.) designated by the user and the display method of the display device (described below). , And stored in the storage unit 310 as “display method setting information”. The display method of the present embodiment will be described in detail with reference to FIG.
撮像部３０６は、被写体を撮像して画像を生成する機能手段であり、ＣＣＤ２１１および撮像素子Ｉ／Ｆ２１２によって実現される。撮像部３０６は、通信装置１０ａが起動すると撮影画像を生成する。 The imaging unit 306 is a functional unit that captures an object and generates an image, and is realized by the CCD 211 and the imaging element I / F 212. The imaging unit 306 generates a photographed image when the communication device 10 a is activated.
また、通信装置１０ａは、メモリ制御部３０８と、記憶部３１０と、配置情報設定部３１４と、表示制御部３１６と、表示装置検出部３１８と、音声入力部３２０と、音声出力部３２２とを含んで構成される。 The communication device 10 a further includes a memory control unit 308, a storage unit 310, an arrangement information setting unit 314, a display control unit 316, a display device detection unit 318, an audio input unit 320, and an audio output unit 322. It comprises.
メモリ制御部３０８は、記憶部３１０を制御する手段である。メモリ制御部３０８は、記憶部３１０に各種データを保存し、また、記憶部３１０に保存された各種データを読み出す。 The memory control unit 308 is means for controlling the storage unit 310. The memory control unit 308 stores various data in the storage unit 310, and reads out various data stored in the storage unit 310.
配置情報設定部３１４は、表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈに表示する画像の表示方式を規定する配置情報および表示方式設定情報を設定する機能手段である。配置情報設定部３１４は、記憶部３１０の配置情報テーブル３１２に配置情報を設定する。また、配置情報設定部３１４は、表示方式設定情報を記憶部３１０に保存する。 The arrangement information setting unit 314 is a functional unit that sets arrangement information and display method setting information that define the display method of the images to be displayed on the display devices 20a to 20h and 22a to 22h. The arrangement information setting unit 314 sets arrangement information in the arrangement information table 312 of the storage unit 310. Further, the arrangement information setting unit 314 stores the display method setting information in the storage unit 310.
表示制御部３１６は、表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈを制御する機能手段である。表示制御部３１６は、記憶部３１０に保存された表示方式設定情報と、配置情報テーブル３１２に登録された配置情報とを使用して、当該表示装置に表示すべき画像を特定し、所定の画面割りに従って、当該画像を表示装置２０ａ，２２ａに表示する。 The display control unit 316 is a functional unit that controls the display devices 20a to 20h and 22a to 22h. The display control unit 316 specifies the image to be displayed on the display device using the display method setting information stored in the storage unit 310 and the arrangement information registered in the arrangement information table 312, and a predetermined screen is displayed. The image is displayed on the display devices 20a and 22a according to the distribution.
表示装置２０ａ，２２ａに表示される画像には、自拠点または他拠点の通信装置１０ａ〜１０ｈの撮像部３０６が撮像した画像（以下、「撮影画像」とする。）と、自拠点または他拠点の画像提供装置３０ａ〜３０ｈが提供する画像とが含まれる。 The images displayed on the display devices 20a and 22a include an image captured by the imaging units 306 of the communication devices 10a to 10h at the own site or another site (hereinafter referred to as "captured image") and the own site or the other site And the images provided by the image providing devices 30a to 30h.
音声入力部３２０は、ユーザの発話等の音声を検出して音声信号を生成する機能手段である。また、音声入力部３２０は、ユーザの音声を音声信号に変換し、当該音声信号の強度を測定し、当該強度が所定の閾値以上である場合に、ユーザの発話を検出する。音声出力部３２２は、音声信号を音声に変換して出力する機能手段である。 The voice input unit 320 is a functional unit that detects a voice such as a user's speech and generates a voice signal. Further, the voice input unit 320 converts the voice of the user into a voice signal, measures the strength of the voice signal, and detects the user's speech when the strength is equal to or more than a predetermined threshold. The voice output unit 322 is a functional unit that converts a voice signal into voice and outputs the voice.
表示装置検出部３１８は、通信装置１０ａに接続されている通電状態の表示装置を検出する手段である。表示装置検出部３１８は、表示装置のデバイスドライバであるグラフィックドライバによって、表示装置Ｉ／Ｆ２１６，２１７に接続されている表示装置の通電状態を検出し、通電状態の表示装置の個数を計数する。本実施形態では、ＷＩＮＤＯＷＳ（登録商標）ＯＳが提供するＡＰＩ関数およびグラフィックドライバを用いて、通電状態の表示装置の個数を計数する。 The display device detection unit 318 is means for detecting a display device in an energized state connected to the communication device 10a. The display device detection unit 318 detects the energization state of the display devices connected to the display device I / F 216 and 217 by the graphic driver which is a device driver of the display device, and counts the number of display devices in the energization state. In the present embodiment, the number of display devices in an energized state is counted using an API function and a graphic driver provided by the WINDOWS (registered trademark) OS.
制御部３００は、通信装置１０ａの電源が投入されると、後述する表示装置の検出処理を実行し、撮像部３０６に撮影画像を生成させる。制御部３００は、通信装置１０ａ〜１０ｈに画像提供装置３０ａ〜３０ｈが接続されている場合、当該画像提供装置３０ａ〜３０ｈにメニュー画面を表示させ、画像提供を可能とさせている。 When the communication device 10a is powered on, the control unit 300 executes detection processing of a display device described later, and causes the imaging unit 306 to generate a photographed image. When the image providing devices 30a to 30h are connected to the communication devices 10a to 10h, the control unit 300 causes the image providing devices 30a to 30h to display a menu screen to enable image provision.
制御部３００は、ユーザの指示に従い、他拠点の通信装置とのセッションの確立を通信管理装置４０に要求する。セッションが確立すると、制御部３００は、撮像部３０６が生成した自拠点の撮影画像と、画像提供装置３０ａが提供する画像とを、通信管理装置４０を介して他拠点の通信装置に送信する。また、制御部３００は、他拠点の通信装置から画像を受信すると、当該画像を表示装置２０ａ，２２ａに表示する。また、通信装置１０ａ〜１０ｈに画像提供装置３０ａ〜３０ｈが接続されている場合、ユーザが当該画像提供装置に表示されたメニュー画面上の共有開始ボタンが選択されると、当該画像提供装置３０ａ〜３０ｈから画像を取得する。 The control unit 300 requests the communication management apparatus 40 to establish a session with a communication apparatus at another site according to a user's instruction. When the session is established, the control unit 300 transmits the photographed image of the own site generated by the imaging unit 306 and the image provided by the image providing device 30a to the communication device of the other site via the communication management device 40. In addition, when the control unit 300 receives an image from a communication device at another site, the control unit 300 displays the image on the display devices 20a and 22a. When the image providing devices 30a to 30h are connected to the communication devices 10a to 10h, when the user selects the sharing start button on the menu screen displayed on the image providing device, the image providing devices 30a to 30h Get an image from 30h.
制御部３００は、ユーザの発話を検出すると、ユーザが発話していることを示す情報（以下、「発話情報」とする。）を撮影画像に付加して通信管理装置４０に送信する。制御部３００は、他拠点から発話情報が付加された撮影画像を受信すると、当該撮影画像が表示装置２０ａ，２２ａの所定の表示領域に表示されるよう、配置情報テーブル３１２の配置情報を変更する。 When the control unit 300 detects an utterance of the user, the control unit 300 adds information (hereinafter referred to as "utterance information") indicating that the user is speaking to the captured image and transmits the information to the communication management apparatus 40. The control unit 300 changes the arrangement information of the arrangement information table 312 so that the photographed image is displayed in a predetermined display area of the display devices 20a and 22a when the photographed image to which the speech information is added is received from another site. .
図４は、本発明の通信装置が起動時に実行する表示装置の検出処理を示すフローチャートである。以下、図４を参照して、通信装置１０ａの電源が投入された際に実行される表示装置の検出処理について説明する。 FIG. 4 is a flowchart showing detection processing of a display device executed by the communication device of the present invention at startup. Hereinafter, with reference to FIG. 4, a detection process of the display device performed when the communication device 10 a is powered on will be described.
図４の処理は、ステップＳ４００で通信装置１０ａの電源が投入されることにより開始する。ステップＳ４０１では、表示装置検出部３１８が、ＲＡＭ２０３に確保される変数（ＡＣＴＩＶＥ）を０で初期化する。ステップＳ４０２では、表示装置検出部３１８は、通信装置１０ａに接続されている表示装置のうち通電状態の表示装置の個数を計数し、その個数を変数（ＡＣＴＩＶＥ）に設定する。ステップＳ４０３では、配置情報設定部３１４が、変数（ＡＣＴＩＶＥ）の値が０であるか否か判断する。変数（ＡＣＴＩＶＥ）の値が０のときには（ｙｅｓ）、処理をステップＳ４０２に戻す。一方、変数（ＡＣＴＩＶＥ）の値が０でないときには（ｎｏ）、処理がステップＳ４０４に分岐する。 The process of FIG. 4 starts when the communication device 10a is powered on in step S400. In step S401, the display device detection unit 318 initializes the variable (ACTIVE) secured in the RAM 203 to zero. In step S402, the display device detection unit 318 counts the number of display devices in the energized state among the display devices connected to the communication device 10a, and sets the number as a variable (ACTIVE). In step S403, the placement information setting unit 314 determines whether the value of the variable (ACTIVE) is zero. If the value of the variable (ACTIVE) is 0 (yes), the process returns to step S402. On the other hand, when the value of the variable (ACTIVE) is not 0 (no), the process branches to step S404.
ステップＳ４０４では、配置情報設定部３１４は、変数（ＡＣＴＩＶＥ）を判断し、変数（ＡＣＴＩＶＥ）の値が１のとき、すなわち、通電状態の１の表示装置が接続されているときは、処理をステップＳ４０５に分岐する。ステップＳ４０５では、配置情報設定部３１４は、図５に示すような１の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップＳ４０７で処理が終了する。 In step S404, the arrangement information setting unit 314 determines the variable (ACTIVE), and when the value of the variable (ACTIVE) is 1, that is, when the display device 1 in the energized state is connected, the process is performed. Branch to S405. In step S405, the arrangement information setting unit 314 sets arrangement information when one display device as shown in FIG. 5 is connected in the arrangement information table, and the process ends in step S407.
一方、変数（ＡＣＴＩＶＥ）の値が２のとき、すなわち、通電状態の２の表示装置が接続されているときは、処理をステップＳ４０６に分岐する。ステップＳ４０６では、配置情報設定部３１４は、図６および図８に示すような２の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップＳ４０７で処理が終了する。 On the other hand, when the value of the variable (ACTIVE) is 2, that is, when the 2 display devices in the energized state are connected, the process branches to step S406. In step S406, the layout information setting unit 314 sets layout information when two display devices as shown in FIGS. 6 and 8 are connected to the layout information table, and the process ends in step S407.
図５は、通電状態の１の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図である。以下、図５を参照して、通電状態の１の表示装置が通信装置１０ａに接続されているときの表示装置の画面割り５００および配置情報テーブル５０２について説明する。 FIG. 5 is a view showing an embodiment of a display method and a layout information table when one display device in the energized state is connected to the communication device 10a. Hereinafter, with reference to FIG. 5, the screen division 500 and the arrangement information table 502 of the display device when one display device in the energized state is connected to the communication device 10a will be described.
画面割り５００は、通信装置１０ａに接続された表示装置の画面割りを示す。図５に示す実施形態では、表示装置の表示領域が４分割されており、表示領域１の面積は、他の表示領域２〜４の面積よりも大きい。 The screen division 500 indicates the screen division of the display device connected to the communication device 10a. In the embodiment shown in FIG. 5, the display area of the display device is divided into four, and the area of the display area 1 is larger than the areas of the other display areas 2 to 4.
配置情報テーブル５０２には、通電状態の１の表示装置が通信装置１０ａに接続されているときの配置情報として、表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。 In the arrangement information table 502, the display method of the image displayed on the display device and the display area of the display device are displayed as arrangement information when one display device in the energized state is connected to the communication device 10a. Identification information of the image to be registered in association with each other.
本実施形態の表示方式には「VIEW_MULTI」および「SHARED_MULTI」がある。「VIEW_MULTI」は、通信装置１０ａ〜１０ｈが自拠点および他拠点の撮影画像を表示する方式を示す。「SHARED_MULTI」は、自拠点および他拠点の撮影画像に加えて、画像提供装置３０ａ〜３０ｈが提供する画像を表示する方式を示す。本実施形態では、これらの表示方式はユーザによって指定され、表示方式設定情報として記憶部３１０に保存される。 There are "VIEW_MULTI" and "SHARED_MULTI" in the display method of this embodiment. "VIEW_MULTI" indicates a method in which the communication devices 10a to 10h display photographed images of the own site and other sites. “SHARED_MULTI” indicates a method of displaying images provided by the image providing devices 30 a to 30 h in addition to the photographed images of the own base and other bases. In the present embodiment, these display methods are designated by the user and stored in the storage unit 310 as display method setting information.
図５に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、表示領域１に他拠点の撮影画像が表示され、表示領域２に自拠点の撮影画像が表示される。また、表示方式が「SHARED_MULTI」である場合には、表示領域１に資料画像が表示され、表示領域２に他拠点の撮影画像が表示され、表示領域３に自拠点の撮影画像が表示される。 In the embodiment shown in FIG. 5, when the display method is “VIEW_MULTI”, the photographed image of the other base is displayed in the display area 1 and the photographed image of the own base is displayed in the display area 2. When the display method is "SHARED_MULTI", the document image is displayed in the display area 1, the photographed image of the other base is displayed in the display area 2, and the photographed image of the own base is displayed in the display area 3. .
他の実施形態では、本実施形態のようにユーザ指令によって表示方式「VIEW_MULTI」および「SHARED_MULTI」を切り替えるのではなく、通信装置１０ａ〜１０ｈが、画像提供装置３０ａ〜３０ｈによる画像提供が開始されたことを検知し、表示方式を切り替えてもよい。 In another embodiment, instead of switching the display methods "VIEW_MULTI" and "SHARED_MULTI" according to a user command as in this embodiment, the communication devices 10a to 10h start providing images by the image providing devices 30a to 30h. May be detected, and the display method may be switched.
具体的には、通信装置１０ａ〜１０ｈが、例えば、特定のアプリケーションポートにおける通信開始や画像提供の開始を示す画像提供装置３０ａ〜３０ｈからの明示的な通知を検知し、表示方式を「VIEW_MULTI」から「SHARED_MULTI」に自動的に切り替える。画像提供装置３０ａ〜３０ｈからの画像提供が終了または中断すると、通信装置１０ａ〜１０ｈは、表示方式を「SHARED_MULTI」から「VIEW_MULTI」に切り替える。これにより、ユーザによる操作を省略することができると共に、提供画像のストリーム処理を効率化させることができる。 Specifically, the communication devices 10a to 10h detect an explicit notification from the image providing devices 30a to 30h indicating, for example, the start of communication or the start of image provision in a specific application port, and the display method is "VIEW_MULTI". Switch automatically from to "SHARED_MULTI". When the image provision from the image providing devices 30a to 30h ends or is interrupted, the communication devices 10a to 10h switch the display mode from "SHARED_MULTI" to "VIEW_MULTI". As a result, the user's operation can be omitted, and stream processing of the provided image can be streamlined.
より詳細には、通信装置１０ａ〜１０ｈの送受信部３０２が画像提供装置３０ａ〜３０ｈから画像を受信すると、制御部３００が、当該画像提供装置による画像提供が開始したこと通知する画像提供開始イベントを発行する。配置情報設定部３１４は、画像提供開始イベントを検知すると、表示方式設定情報を「SHARED_MULTI」に設定する。そして、表示制御部３１６は、配置情報テーブルを参照し、表示方式設定情報「SHARED_MULTI」に関連付けられている配置情報に従って資料画像および撮影画像を表示装置２０ａ，２０ｂに表示する。 More specifically, when the transmitting and receiving unit 302 of the communication devices 10a to 10h receives an image from the image providing devices 30a to 30h, the control unit 300 notifies an image providing start event to notify that the image providing device has started providing an image. Issue When detecting the image provision start event, the arrangement information setting unit 314 sets the display method setting information to “SHARED_MULTI”. Then, the display control unit 316 refers to the arrangement information table, and displays the data image and the photographed image on the display devices 20a and 20b according to the arrangement information associated with the display method setting information "SHARED_MULTI".
画像提供装置３０ａ〜３０ｈによる画像提供が停止すると、制御部３００は、当該画像提供装置による画像提供が停止したこと通知する画像提供停止イベントを発行する。配置情報設定部３１４は、画像提供停止イベントを検知すると、表示方式設定情報を「SHARED_MULTI」から「VIEW_MULTI」に変更する。そして、表示制御部３１６は、配置情報テーブルを参照し、表示方式設定情報「VIEW_MULTI」に関連付けられている配置情報に従って撮影画像を表示装置２０ａ，２０ｂに表示する。 When the image provision by the image provision devices 30a to 30h is stopped, the control unit 300 issues an image provision stop event to notify that the image provision by the image provision device is stopped. When the arrangement information setting unit 314 detects the image provision stop event, the display method setting information is changed from “SHARED_MULTI” to “VIEW_MULTI”. Then, the display control unit 316 refers to the arrangement information table and displays the photographed image on the display devices 20a and 20b according to the arrangement information associated with the display method setting information "VIEW_MULTI".
本実施形態では、表示装置の画面を４つの表示領域に分割するが、他の実施形態では、３または５以上の表示領域に分割してもよい。また、本実施形態の配置情報は、２拠点で画像を共有する場合の配置情報であるが、本発明は、３以上の拠点で画像を共有することもできる。 In the present embodiment, the screen of the display device is divided into four display areas, but in another embodiment, it may be divided into three or more display areas. Further, although the arrangement information of the present embodiment is arrangement information in the case of sharing an image at two bases, the present invention can also share an image at three or more bases.
３以上の拠点で画像を共有する場合、表示方式「VIEW_MULTI」が指定されるときは、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が表示領域１に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を表示領域１に表示することができる。 When three or more locations share an image, when the display method “VIEW_MULTI” is specified, the captured image of the other location to which the user should pay attention, ie, the captured image of the location where the speech was detected is displayed in display area 1 It is possible to change the arrangement information so that the photographed image of the base where the user speaks can be displayed on the display area 1.
図６は、通電状態の２の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図である。以下、図６を参照して、通電状態の２の表示装置が通信装置１０ａに接続されているときの表示装置の画面割り６００，６０２および配置情報テーブル６０４について説明する。 FIG. 6 is a view showing an embodiment of the display method and the arrangement information table when the two display devices in the energized state are connected to the communication device 10a. Hereinafter, the screen divisions 600 and 602 of the display device and the arrangement information table 604 when the two display devices in the energized state are connected to the communication device 10a will be described with reference to FIG.
画面割り６００は、通信装置１０ａに接続された第１の表示装置の画面割りである。図６に示す実施形態では、表示装置の表示領域が４分割されており、表示領域１の面積は、他の表示領域２〜４の面積よりも大きい。画面割り６０２は、通信装置１０ａに接続された第２の表示装置の画面割りであり、１の表示領域で構成される。 The screen division 600 is a screen division of the first display device connected to the communication device 10a. In the embodiment shown in FIG. 6, the display area of the display device is divided into four, and the area of the display area 1 is larger than the areas of the other display areas 2 to 4. The screen division 602 is a screen division of the second display device connected to the communication device 10a, and is configured by one display area.
配置情報テーブル６０４には、通電状態の２の表示装置が通信装置１０ａに接続されているときの配置情報として、第１の表示装置および第２の表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。 In the arrangement information table 604, a display method of an image displayed on the first display device and the second display device as arrangement information when the two display devices in the energized state are connected to the communication device 10a. The identification information of the image displayed in the display area of the display device is registered in association with each other.
図６に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、第１の表示装置の表示領域１に他拠点の撮影画像が表示され、第１の表示装置の表示領域２に自拠点の撮影画像が表示される。一方、第２の表示装置の表示領域１には画像が表示されない。 In the embodiment shown in FIG. 6, when the display method is "VIEW_MULTI", the photographed image of the other base is displayed in the display area 1 of the first display device, and in the display area 2 of the first display device The photographed image of the base is displayed. On the other hand, no image is displayed in the display area 1 of the second display device.
表示方式が「SHARED_MULTI」である場合には、第１の表示装置の表示領域１に他拠点の撮影画像が表示され、第１の表示装置の表示領域２に自拠点の撮影画像が表示される。一方、第２の表示装置の表示領域１に資料画像が表示される。 When the display method is "SHARED_MULTI", the photographed image of the other base is displayed in the display area 1 of the first display device, and the photographed image of the own base is displayed in the display area 2 of the first display device. . On the other hand, the document image is displayed in the display area 1 of the second display device.
本実施形態では、表示装置の画面を４つの表示領域に分割するが、他の実施形態では、３または５以上の表示領域に分割してもよい。また、本実施形態の配置情報は、２拠点で画像を共有する場合の配置情報であるが、本発明は、３以上の拠点で画像を共有することもできる。３以上の拠点で画像を共有する場合には、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が第１の表示装置の表示領域１に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を当該表示領域に表示することができる。 In the present embodiment, the screen of the display device is divided into four display areas, but in another embodiment, it may be divided into three or more display areas. Further, although the arrangement information of the present embodiment is arrangement information in the case of sharing an image at two bases, the present invention can also share an image at three or more bases. When three or more sites share an image, the captured image of the other site to which the user should pay attention, that is, the captured image of the site where the speech is detected is displayed in the display area 1 of the first display device. The arrangement information can be changed, and the photographed image of the base where the user speaks can be displayed in the display area.
本実施形態では、自拠点および他拠点の撮影画像を第１の表示装置に表示し、画像提供装置３０ａ〜３０ｈが提供する資料画像等の画像を第２の表示装置に表示するため、これらの画像の視認性を向上させることができる。 In this embodiment, since the photographed images of the own site and the other sites are displayed on the first display device, and the images such as the document image provided by the image providing devices 30a to 30h are displayed on the second display device. The visibility of the image can be improved.
図７は、図６に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図である。画面７００および画面７０６は、表示方式「VIEW_MULTI」が選択されたときの第１の表示装置の画面および第２の表示装置の画面である。画面７００の表示領域７０２には他拠点の撮影画像が表示され、表示領域７０４には自拠点の撮影画像が表示される。画面７０６には画像が表示されない。 FIG. 7 is a diagram showing an embodiment of a screen of the display device based on the screen division and arrangement information shown in FIG. Screen 700 and screen 706 are the screen of the first display and the screen of the second display when the display method “VIEW_MULTI” is selected. In the display area 702 of the screen 700, photographed images of other bases are displayed, and in the display area 704, photographed images of the own base are displayed. An image is not displayed on the screen 706.
画面７１０および画面７１６は、表示方式「SHARED_MULTI」が選択されたときの第１の表示装置の画面および第２の表示装置の画面である。画面７１０の表示領域７１２には他拠点の撮影画像が表示され、表示領域７１４には自拠点の撮影画像が表示される。画面７１６には資料画像が表示される。 Screen 710 and screen 716 are the screen of the first display and the screen of the second display when the display method “SHARED_MULTI” is selected. In the display area 712 of the screen 710, photographed images of other bases are displayed, and in the display area 714, photographed images of the own base are displayed. A document image is displayed on the screen 716.
図８は、通電状態の２の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの別の実施形態を示す図である。以下、図８を参照して、通電状態の２の表示装置が通信装置１０ａに接続されているときの表示装置の画面割り８００，８０２および配置情報テーブル８０４について説明する。 FIG. 8 is a view showing another embodiment of the display method and the arrangement information table when the two display devices in the energized state are connected to the communication device 10a. Hereinafter, the screen divisions 800 and 802 of the display device and the arrangement information table 804 when the two display devices in the energized state are connected to the communication device 10a will be described with reference to FIG.
画面割り８００は、通信装置１０ａに接続された第１の表示装置の画面割りである。図８に示す実施形態では、表示装置の表示領域が４つに等分されている。画面割り８０２は、通信装置１０ａに接続された第２の表示装置の画面割りであり、１の表示領域で構成される。本実施形態では、表示装置の画面を４つの表示領域に分割するが、他の実施形態では、３または５以上の表示領域に分割してもよい。 The screen division 800 is a screen division of the first display device connected to the communication device 10a. In the embodiment shown in FIG. 8, the display area of the display device is equally divided into four. The screen division 802 is a screen division of the second display device connected to the communication device 10a, and is configured by one display area. In the present embodiment, the screen of the display device is divided into four display areas, but in another embodiment, it may be divided into three or more display areas.
配置情報テーブル８０４には、通電状態の２の表示装置が通信装置１０ａに接続されているときの配置情報として、第１の表示装置および第２の表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。 In the arrangement information table 804, a display method of an image displayed on the first display device and the second display device as arrangement information when the two display devices in the energized state are connected to the communication device 10a. The identification information of the image displayed in the display area of the display device is registered in association with each other.
図８に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、第１の表示装置の表示領域１に自拠点の撮影画像が表示され、第２の表示装置の表示領域１に他拠点の撮影画像が表示される。 In the embodiment shown in FIG. 8, when the display method is “VIEW_MULTI”, the photographed image of the own base is displayed in the display area 1 of the first display device, and the other is displayed in the display area 1 of the second display device. The photographed image of the base is displayed.
表示方式が「SHARED_MULTI」である場合には、第１の表示装置の表示領域１に他拠点の撮影画像が表示され、第１の表示装置の表示領域２に自拠点の撮影画像が表示される。一方、第２の表示装置の表示領域２に資料画像が表示される。 When the display method is "SHARED_MULTI", the photographed image of the other base is displayed in the display area 1 of the first display device, and the photographed image of the own base is displayed in the display area 2 of the first display device. . On the other hand, the document image is displayed in the display area 2 of the second display device.
本実施形態の配置情報は、２拠点で画像を共有する場合の配置情報であるが、本発明は、３以上の拠点で画像を共有することもできる。この場合、表示方式「VIEW_MULTI」が指定されているときには、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が第２の表示装置に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を第２の表示装置に表示し、それ以外の拠点の撮影画像を第１の表示装置に表示することができる。 The arrangement information of the present embodiment is arrangement information in the case of sharing an image between two bases, but according to the present invention, an image can be shared among three or more bases. In this case, when the display method “VIEW_MULTI” is designated, the arrangement information is displayed so that the photographed image of the other base to which the user should pay attention, ie, the photographed image of the base where the speech is detected is displayed on the second display device. Can be displayed on the second display device, and the captured images of other locations can be displayed on the first display device.
本実施形態では、撮影画像を第１の表示装置に表示し、画像提供装置が提供する資料画像等の画像を第２の表示装置に表示するため、画像の視認性を向上させることができる。また、注目すべき他拠点の撮影画像を、１の表示領域で構成される表示装置に表示するため、画像の視認性を向上させることができる。 In the present embodiment, since the photographed image is displayed on the first display device and an image such as a document image provided by the image providing device is displayed on the second display device, the visibility of the image can be improved. In addition, since the captured image of the other site to be focused on is displayed on the display device configured with one display area, the visibility of the image can be improved.
図９は、図８に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図である。画面９００および画面９０６は、表示方式「VIEW_MULTI」が選択されたときの第１の表示装置の画面および第２の表示装置の画面である。画面９００の表示領域９０２には自拠点の撮影画像が表示され、画面９０６には他拠点の撮影画像が表示される。 FIG. 9 is a diagram showing an embodiment of a screen of the display device based on the screen division and arrangement information shown in FIG. The screen 900 and the screen 906 are the screen of the first display and the screen of the second display when the display method “VIEW_MULTI” is selected. In the display area 902 of the screen 900, a photographed image of the own base is displayed, and in the screen 906, a photographed image of another base is displayed.
画面９１０および画面９１６は、表示方式「SHARED_MULTI」が選択されたときの第１の表示装置の画面および第２の表示装置の画面である。画面９１０の表示領域９１２には他拠点の撮影画像が表示され、表示領域９１４には自拠点の撮影画像が表示される。画面９１６には資料画像が表示される。 Screen 910 and screen 916 are the screen of the first display and the screen of the second display when the display method “SHARED_MULTI” is selected. In the display area 912 of the screen 910, the photographed image of the other base is displayed, and in the display area 914, the photographed image of the own base is displayed. A document image is displayed on the screen 916.
図１０は、本発明の通信装置が起動後に実行する表示装置の検出処理を示すフローチャートである。以下、図１０を参照して、通信装置１０ａの起動後に実行される表示装置の検出処理について説明する。 FIG. 10 is a flowchart showing detection processing of the display device executed after the communication device of the present invention is started. Hereinafter, with reference to FIG. 10, a detection process of the display device performed after activation of the communication device 10a will be described.
図１０の処理は、ステップＳ１０００から開始し、ステップＳ１００１で表示装置検出部３１８が、通信装置１０ａのＯＳが表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈの通電状態を検知して発行する通電変化イベントを受信したか否か判断する。通電変化イベントを受信していない場合には（ｎｏ）、ステップＳ１００１の処理を反復する。一方、通電変化イベントを受信した場合には（ｙｅｓ）、処理がステップＳ１００２に分岐する。 The process in FIG. 10 starts from step S1000, and in step S1001, the display detection unit 318 detects a power change state of the display of the display device 20a to 20h and 22a to 22h by the OS of the communication device 10a. It is determined whether or not it has been received. If the power-on change event has not been received (no), the process of step S1001 is repeated. On the other hand, if the power-on change event has been received (yes), the process branches to step S1002.
ステップＳ１００２では、表示装置検出部３１８は、ＲＡＭ２０３に確保される変数（ＡＣＴＩＶＥ）を０で初期化する。ステップＳ１００３では、表示装置検出部３１８が、通信装置１０ａに接続されている表示装置のうち通電状態の表示装置の個数を計数し、その個数を変数（ＡＣＴＩＶＥ）に設定する。ステップＳ１００４では、配置情報設定部３１４が、変数（ＡＣＴＩＶＥ）の値が０であるか否か判断する。変数（ＡＣＴＩＶＥ）の値が０のときには（ｙｅｓ）、処理をステップＳ１００３に戻す。一方、変数（ＡＣＴＩＶＥ）の値が０でないときには（ｎｏ）、処理がステップＳ１００５に分岐する。 In step S1002, the display device detection unit 318 initializes the variable (ACTIVE) secured in the RAM 203 to zero. In step S1003, the display device detection unit 318 counts the number of display devices in the energized state among the display devices connected to the communication device 10a, and sets the number as a variable (ACTIVE). In step S1004, the placement information setting unit 314 determines whether the value of the variable (ACTIVE) is zero. If the value of the variable (ACTIVE) is 0 (yes), the process returns to step S1003. On the other hand, when the value of the variable (ACTIVE) is not 0 (no), the process branches to step S1005.
ステップＳ１００５では、配置情報設定部３１４は、変数（ＡＣＴＩＶＥ）の値を判断し、変数（ＡＣＴＩＶＥ）の値が１のとき、すなわち、通電状態の１の表示装置が接続されているときは、処理をステップＳ１００６に分岐する。ステップＳ１００６では、配置情報設定部３１４は、図５に示すような１の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップＳ１００８で処理が終了する。 In step S1005, arrangement information setting unit 314 determines the value of variable (ACTIVE), and processing is performed when the value of variable (ACTIVE) is 1, that is, when the display device 1 in the energized state is connected. Is branched to step S1006. In step S1006, the arrangement information setting unit 314 sets arrangement information when one display device as shown in FIG. 5 is connected in the arrangement information table, and the process ends in step S1008.
一方、変数（ＡＣＴＩＶＥ）の値が２のとき、すなわち、通電状態の２の表示装置が接続されているときは、処理をステップＳ１００７に分岐する。ステップＳ１００７では、配置情報設定部３１４は、図６および図８に示すような２の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップＳ１００８で処理が終了する。 On the other hand, when the value of the variable (ACTIVE) is 2, that is, when the 2 display devices in the energized state are connected, the process branches to step S1007. In step S1007, the arrangement information setting unit 314 sets arrangement information when two display devices as shown in FIGS. 6 and 8 are connected to the arrangement information table, and the process ends in step S1008.
上述した処理により、通信装置１０ａが、起動後に表示装置を通信装置１０ａに接続し、または表示装置の電源を投入して通電状態となった表示装置を検知することができ、これらの表示装置に画像を表示させることができる。 According to the process described above, the communication device 10a can connect the display device to the communication device 10a after activation or turn on the power of the display device to detect the display devices in the energized state, and these display devices can be used. Images can be displayed.
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。 Although the present embodiment has been described above, the present invention is not limited to the above-described embodiment, and the components of the present embodiment may be changed or deleted, or the components of the present embodiment may be otherwise configured. The addition of elements and the like can be modified within the scope that can be conceived by those skilled in the art, and any modifications are possible within the scope of the present invention as long as the effects of the present invention are exhibited.
上述した機能手段を実現する本発明のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。 The program of the present invention for realizing the functional means described above can be stored and distributed in a device readable recording medium such as a hard disk drive, CD-ROM, MO, flexible disk, EEPROM, EPROM, etc., and other devices are possible. Can be transmitted via the network in any format.
１０ａ〜１０ｈ…通信装置、２０ａ〜２０ｈ…表示装置、２２ａ〜２２ｈ…表示装置、３０ａ〜３０ｈ…画像提供装置、４０…通信管理装置、５０…ルータ、６０…ネットワーク、１００…通信システム 10a to 10h: communication device, 20a to 20h: display device, 22a to 22h: display device, 30a to 30h: image providing device, 40: communication management device, 50: router, 60: network, 100: communication system
Claims (7)
前記撮像手段により撮影される第１の撮影画像のデータを他の装置に送信し、前記他の装置から送信される第２の撮影画像のデータを受信し、前記他の装置から提供される資料画像のデータを受信する送受信部と、
前記通信装置に前記第１の表示装置および前記第２の表示装置のいずれか一方のみが接続されている場合、
前記第１の撮影画像と前記第２の撮影画像と前記資料画像とを前記通信装置に接続されている前記第１の表示装置又は前記第２の表示装置に表示し、
前記通信装置に前記第１の表示装置と前記第２の表示装置とが接続されている場合、
前記第１の撮影画像と前記第２の撮影画像とを前記第１の表示装置に表示すると共に、前記資料画像を前記第２の表示装置に表示する、表示制御部と、
を備える通信装置。 A communication device comprising: a first interface connected to a first display device; a second interface connected to a second display device; and a third interface connected to an imaging unit,
The data of the first captured image captured by the imaging means is transmitted to the other device, the data of the second captured image transmitted from the other device is received, and the material provided from the other device A transmitting / receiving unit for receiving image data ;
When only one of the first display device and the second display device is connected to the communication device,
Displaying the first captured image, the second captured image, and the material image on the first display device or the second display device connected to the communication device;
When the first display device and the second display device are connected to the communication device,
A display control unit that displays the first captured image and the second captured image on the first display device, and displays the data image on the second display device ;
A communication device comprising
請求項１に記載の通信装置。The communication device according to claim 1.
前記撮像手段により撮影される第１の撮影画像のデータを他の装置に送信し、前記他の装置から送信される第２の撮影画像のデータを受信し、前記他の装置から提供される資料画像のデータを受信するステップと、
前記通信装置に前記第１の表示装置および前記第２の表示装置のいずれか一方のみが接続されている場合、
前記第１の撮影画像と前記第２の撮影画像と前記資料画像とを前記通信装置に接続されている前記第１の表示装置又は前記第２の表示装置に表示し、
前記通信装置に前記第１の表示装置と前記第２の表示装置とが接続されている場合、
前記第１の撮影画像と前記第２の撮影画像とを前記第１の表示装置に表示すると共に、前記資料画像を前記第２の表示装置に表示する、ステップと
を含む方法。 Method for controlling a first interface connected to the first display device, a second interface connected to the second display device, and a third interface connected to the imaging unit, a communication device having And
The data of the first captured image captured by the imaging means is transmitted to the other device, the data of the second captured image transmitted from the other device is received, and the material provided from the other device Receiving image data ;
When only one of the first display device and the second display device is connected to the communication device,
Displaying the first captured image, the second captured image, and the material image on the first display device or the second display device connected to the communication device;
When the first display device and the second display device are connected to the communication device,
Displaying the first captured image and the second captured image on the first display device, and displaying the material image on the second display device .
前記撮像手段により撮影される第１の撮影画像のデータを他の装置に送信し、前記他の装置から送信される第２の撮影画像のデータを受信し、前記他の装置から提供される資料画像のデータを受信する送受信手段、
前記通信装置に前記第１の表示装置および前記第２の表示装置のいずれか一方のみが接続されている場合、
前記第１の撮影画像と前記第２の撮影画像と前記資料画像とを前記通信装置に接続されている前記第１の表示装置又は前記第２の表示装置に表示し、
前記通信装置に前記第１の表示装置と前記第２の表示装置とが接続されている場合、
前記第１の撮影画像と前記第２の撮影画像とを前記第１の表示装置に表示すると共に、前記資料画像を前記第２の表示装置に表示する、表示制御手段、
として機能させるためのプログラム。 Computer for controlling a first interface connected to the first display device, a second interface connected to the second display device, and a third interface connected to the imaging unit, a communication device having ,
The data of the first captured image captured by the imaging means is transmitted to the other device, the data of the second captured image transmitted from the other device is received, and the material provided from the other device Transmission / reception means for receiving image data ,
When only one of the first display device and the second display device is connected to the communication device,
Displaying the first captured image, the second captured image, and the material image on the first display device or the second display device connected to the communication device;
When the first display device and the second display device are connected to the communication device,
Display control means for displaying the first captured image and the second captured image on the first display device and displaying the material image on the second display device .
Program to function as.
前記撮像手段により撮影される第１の撮影画像のデータを他の装置に送信し、前記他の装置から送信される第２の撮影画像のデータを受信し、前記他の装置から提供される資料画像のデータを受信するステップと、The data of the first captured image captured by the imaging means is transmitted to the other device, the data of the second captured image transmitted from the other device is received, and the material provided from the other device Receiving image data;
前記通信装置に前記表示装置が接続されているか否かを該表示装置の通電状態により判断するステップと、Determining whether or not the display device is connected to the communication device based on the power supply state of the display device;
前記通信装置に前記第１の表示装置および前記第２の表示装置のいずれか一方のみが接続されている場合、When only one of the first display device and the second display device is connected to the communication device,
前記第１の撮影画像と前記第２の撮影画像と前記資料画像とを前記通信装置に接続されている前記第１の表示装置又は前記第２の表示装置に表示し、Displaying the first captured image, the second captured image, and the material image on the first display device or the second display device connected to the communication device;
前記通信装置に前記第１の表示装置と前記第２の表示装置とが接続されている場合、When the first display device and the second display device are connected to the communication device,
前記第１の撮影画像と前記第２の撮影画像とを前記第１の表示装置に表示すると共に、前記資料画像を前記第２の表示装置に表示する、ステップとDisplaying the first captured image and the second captured image on the first display device, and displaying the document image on the second display device;
を含む方法。Method including.
前記撮像手段により撮影される第１の撮影画像のデータを他の装置に送信し、前記他の装置から送信される第２の撮影画像のデータを受信し、前記他の装置から提供される資料画像のデータを受信する送受信手段、The data of the first captured image captured by the imaging means is transmitted to the other device, the data of the second captured image transmitted from the other device is received, and the material provided from the other device Transmission / reception means for receiving image data,
前記通信装置に前記表示装置が接続されているか否かを該表示装置の通電状態により判断する手段、A unit that determines whether the display device is connected to the communication device based on the power supply state of the display device;
前記通信装置に前記第１の表示装置および前記第２の表示装置のいずれか一方のみが接続されている場合、When only one of the first display device and the second display device is connected to the communication device,
前記第１の撮影画像と前記第２の撮影画像と前記資料画像とを前記通信装置に接続されている前記第１の表示装置又は前記第２の表示装置に表示し、Displaying the first captured image, the second captured image, and the material image on the first display device or the second display device connected to the communication device;
前記通信装置に前記第１の表示装置と前記第２の表示装置とが接続されている場合、When the first display device and the second display device are connected to the communication device,
前記第１の撮影画像と前記第２の撮影画像とを前記第１の表示装置に表示すると共に、前記資料画像を前記第２の表示装置に表示する、表示制御手段、Display control means for displaying the first captured image and the second captured image on the first display device and displaying the material image on the second display device.
として機能させるためのプログラム。Program to function as.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012065917 | 2012-03-22 | ||
| JP2012065917 | 2012-03-22 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017147784A Division JP6394761B2 (en) | 2012-03-22 | 2017-07-31 | Communication apparatus, method and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019084993A Division JP6729756B2 (en) | 2012-03-22 | 2019-04-26 | Communication system, communication device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018186539A JP2018186539A (en) | 2018-11-22 |
| JP6521154B2 true JP6521154B2 (en) | 2019-05-29 |
Family
ID=60687209
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017147784A Active JP6394761B2 (en) | 2012-03-22 | 2017-07-31 | Communication apparatus, method and program |
| JP2017206026A Active JP6493483B2 (en) | 2012-03-22 | 2017-10-25 | Communication apparatus, method and program |
| JP2018127436A Active JP6521154B2 (en) | 2012-03-22 | 2018-07-04 | Communication device, method and program |
| JP2019084993A Active JP6729756B2 (en) | 2012-03-22 | 2019-04-26 | Communication system, communication device and program |
| JP2020114699A Active JP7414360B2 (en) | 2012-03-22 | 2020-07-02 | Communication devices, methods and programs |
| JP2022185837A Active JP7540476B2 (en) | 2012-03-22 | 2022-11-21 | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017147784A Active JP6394761B2 (en) | 2012-03-22 | 2017-07-31 | Communication apparatus, method and program |
| JP2017206026A Active JP6493483B2 (en) | 2012-03-22 | 2017-10-25 | Communication apparatus, method and program |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019084993A Active JP6729756B2 (en) | 2012-03-22 | 2019-04-26 | Communication system, communication device and program |
| JP2020114699A Active JP7414360B2 (en) | 2012-03-22 | 2020-07-02 | Communication devices, methods and programs |
| JP2022185837A Active JP7540476B2 (en) | 2012-03-22 | 2022-11-21 | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (6) | JP6394761B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111031375B (en) * | 2019-11-19 | 2022-06-14 | 海信视像科技股份有限公司 | Method for skipping detailed page of boot animation and display equipment |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5625410A (en) * | 1993-04-21 | 1997-04-29 | Kinywa Washino | Video monitoring and conferencing system |
| US6025871A (en) * | 1998-12-31 | 2000-02-15 | Intel Corporation | User interface for a video conferencing system |
| JP2004048551A (en) * | 2002-07-15 | 2004-02-12 | Cs Plan:Kk | Tv conference system using two-screen monitor |
| JP4062029B2 (en) * | 2002-09-19 | 2008-03-19 | 富士ゼロックス株式会社 | Display control system and information terminal |
| WO2006043977A1 (en) * | 2004-10-19 | 2006-04-27 | Sony Ericsson Mobile Communications Ab | Handheld wireless communication device for displaying information on multiple display screens, method of operating the device, and computer program product for operating the device |
| JP5334687B2 (en) * | 2009-05-29 | 2013-11-06 | 株式会社イトーキ | Remote conference system |
| KR20110062099A (en) * | 2009-12-02 | 2011-06-10 | 엘지전자 주식회사 | Video conference system and method thereof |
| US20110239142A1 (en) * | 2010-03-25 | 2011-09-29 | Nokia Corporation | Method and apparatus for providing content over multiple displays |
| JP2011254442A (en) * | 2010-05-06 | 2011-12-15 | Ricoh Co Ltd | Remote communication terminal, remote communication method, and program for remote communication |
| JP2012004756A (en) * | 2010-06-15 | 2012-01-05 | Brother Ind Ltd | Terminal device, conference system, and processing program |
-
2017
- 2017-07-31 JP JP2017147784A patent/JP6394761B2/en active Active
- 2017-10-25 JP JP2017206026A patent/JP6493483B2/en active Active
-
2018
- 2018-07-04 JP JP2018127436A patent/JP6521154B2/en active Active
-
2019
- 2019-04-26 JP JP2019084993A patent/JP6729756B2/en active Active
-
2020
- 2020-07-02 JP JP2020114699A patent/JP7414360B2/en active Active
-
2022
- 2022-11-21 JP JP2022185837A patent/JP7540476B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP6493483B2 (en) | 2019-04-03 |
| JP6394761B2 (en) | 2018-09-26 |
| JP7540476B2 (en) | 2024-08-27 |
| JP2019161659A (en) | 2019-09-19 |
| JP2020174375A (en) | 2020-10-22 |
| JP2018186539A (en) | 2018-11-22 |
| JP2018042268A (en) | 2018-03-15 |
| JP6729756B2 (en) | 2020-07-22 |
| JP2017225149A (en) | 2017-12-21 |
| JP7414360B2 (en) | 2024-01-16 |
| JP2023016858A (en) | 2023-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112230758B (en) | Frame rate adjustment method, device, equipment and computer readable storage medium | |
| JP6285615B2 (en) | Remote assistance method, client, program, and recording medium | |
| US12067211B2 (en) | Multi-window display interface with historical task bar | |
| US9870754B2 (en) | Computer program product, information processing method, and information processing apparatus | |
| US9078111B2 (en) | Method for providing voice call using text data and electronic device thereof | |
| US10148242B2 (en) | Method for reproducing contents and electronic device thereof | |
| WO2017050006A1 (en) | Remote live broadcast method and system | |
| EP4099690A1 (en) | Enhanced video call method and system, and electronic device | |
| CN113794928B (en) | Audio playing method and display device | |
| US11256464B2 (en) | Communication system, communication device, and computer program | |
| JP7540476B2 (en) | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM | |
| US20150286361A1 (en) | Single gesture video capture and share | |
| CN114599020A (en) | Bluetooth connection method, Bluetooth connection device, electronic device and readable storage medium | |
| KR20180099765A (en) | Information input method, apparatus, program, and storage medium | |
| JP2016019204A (en) | Conference system, information processing apparatus, arrangement adjustment method, and program | |
| US20230187065A1 (en) | Information processing apparatus and control method | |
| US20230113867A1 (en) | Media distribution system, communication system, distribution control apparatus, and distribution control method | |
| EP3038320A1 (en) | Management system, communication terminal, communication system, call control method, and computer program product | |
| US20240089231A1 (en) | Chat interface creation method and electronic device | |
| JP6645129B2 (en) | Communication device, control method, and control program | |
| KR20240016784A (en) | Electronic device capable of providing video call service and method for controlling the same | |
| CN115955551A (en) | Control method and control device | |
| CN117836754A (en) | Audio control method and display device | |
| CN115442477A (en) | Control method and device and electronic equipment | |
| JP5962333B2 (en) | Data sharing program, information processing apparatus, and data sharing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6521154 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |