JP5310427B2 - Communication terminal device, communication control method, and communication control program, - Google Patents
Communication terminal device, communication control method, and communication control program, Download PDFInfo
- Publication number
- JP5310427B2 JP5310427B2 JP2009214079A JP2009214079A JP5310427B2 JP 5310427 B2 JP5310427 B2 JP 5310427B2 JP 2009214079 A JP2009214079 A JP 2009214079A JP 2009214079 A JP2009214079 A JP 2009214079A JP 5310427 B2 JP5310427 B2 JP 5310427B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- communication terminal
- terminal device
- resolution
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
Description
本発明は、通信端末装置、通信制御方法、及び通信制御プログラムに関し、詳細には、複数の拠点に設置され、ネットワークを介して接続可能な通信端末装置、通信制御方法、通信制御プログラムに関する。 The present invention relates to a communication terminal device, a communication control method, and a communication control program. More specifically, the present invention relates to a communication terminal device, a communication control method, and a communication control program that are installed at a plurality of bases and connectable via a network.
従来、複数の拠点でネットワークを介して接続し、各拠点で取得された撮影画像と音声情報を双方向に送受信することにより、遠隔の地にある者同士の会議を実現するテレビ会議システムが知られている。前記テレビ会議システムで各拠点に設置されている通信端末装置には、カメラ等の撮影手段から取得した撮影画像をアナログ変調、又はデジタル符号化して他の拠点に設置されている通信端末装置へ送信する機能や、他の拠点から受信した符号化されたデータを復号化して撮影画像を再生し、ディスプレイ等の表示手段へ出力する機能が備えられている。 2. Description of the Related Art Conventionally, there has been known a video conference system that realizes a conference between persons at remote locations by connecting via a network at multiple sites and bidirectionally transmitting and receiving captured images and audio information acquired at each site. It has been. In the communication terminal device installed at each site in the video conference system, the captured image acquired from the imaging means such as a camera is analog-modulated or digitally encoded and transmitted to the communication terminal device installed at another site. And a function of decoding encoded data received from another base, reproducing a photographed image, and outputting it to display means such as a display.
さらに、撮影画像を各拠点へ送信する際に、各拠点からの画像品質に関する要求を受信して、各々の要求を総合して最適な画像品質を選択して各拠点へ送信する技術が提案されている。（特許文献１） Furthermore, when sending captured images to each site, a technology has been proposed that receives a request for image quality from each site, selects the optimum image quality based on each request, and sends it to each site. ing. (Patent Document 1)
しかしながら、従来では、各拠点にて最適な画像品質で撮影画像を表示するためには、各拠点の表示手段の表示性能に合わせた画像品質の撮影画像を、それぞれの拠点毎に作成して送信する必要があり、装置の処理負担が大きくなってしまうという問題がある。また、特許文献１に記載の通信端末装置では、各拠点へ送信する撮影画像の画像品質を、各拠点から送信された画像品質に関する要求を総合して１つの画像品質に選択しているので、各拠点のそれぞれの要求に対して最適な画像品質で撮影画像を送信することができない。特に各拠点の通信端末装置に備えられている表示手段の表示性能がそれぞれ異なる場合は、最適な条件で撮影画像を表示することができないという課題もある。 However, conventionally, in order to display captured images with optimal image quality at each site, a captured image with image quality that matches the display performance of the display means at each site is created and transmitted for each site. There is a problem that the processing load of the apparatus becomes large. Further, in the communication terminal device described in Patent Document 1, the image quality of the captured image transmitted to each base is selected as one image quality by combining the requests regarding the image quality transmitted from each base. The captured image cannot be transmitted with the optimum image quality for each request of each site. In particular, when the display performance of the display means provided in the communication terminal device at each site is different, there is also a problem that a photographed image cannot be displayed under optimum conditions.
上記課題を解決するために、請求項１に係る発明の通信端末装置は、複数の拠点に設置された通信端末装置間でネットワークを介して接続され、取得した画像情報の送受信を行う通信端末装置において、他拠点の前記通信端末装置から、表示手段へ表示するための画素数の情報である解像度情報を、前記通信端末装置を識別する情報である識別情報と対応付けして取得する解像度情報取得手段と、前記解像度情報取得手段により取得した前記解像度情報に基づいて、前記画像情報を複数に分割した情報である分割画像情報を生成する画像分割手段と、前記画像分割手段により生成された前記分割画像情報を符号化処理して分割符号化情報を生成する符号化手段と、前記符号化手段により生成された複数の前記分割符号化情報の中から、前記解像度情報と前記識別情報とに基づいて、他拠点の前記通信端末装置に対応する前記分割符号化情報を選択する選択手段と、前記選択手段により選択された前記分割符号化情報を、前記識別情報に対応した他拠点の前記通信端末装置へ送信する送信手段とを備えている。 In order to solve the above problem, a communication terminal device according to claim 1 is connected via a network between communication terminal devices installed at a plurality of bases, and transmits and receives acquired image information. Resolution information that is obtained by associating resolution information that is information on the number of pixels to be displayed on the display unit with identification information that is information for identifying the communication terminal device, from the communication terminal device at another base Means, image dividing means for generating divided image information which is information obtained by dividing the image information based on the resolution information acquired by the resolution information acquiring means, and the division generated by the image dividing means An encoding unit that encodes image information to generate divided encoded information; and a plurality of the divided encoded information generated by the encoding unit. Selection means for selecting the divided encoded information corresponding to the communication terminal device at another base based on the degree information and the identification information, and the divided encoded information selected by the selection means, the identification information Transmitting means for transmitting to the communication terminal device at another base corresponding to the above.
請求項２に係る発明の通信端末装置では、請求項１に記載の発明の構成に加え、前記解像度情報は、前記画素数をｍ×ｎの外辺で示した領域情報であり、前記画像分割手段は、前記解像度情報毎の画素数を所定の基準点からｍ×ｎの外辺で示した領域情報で重層した時、前記外辺にて分割される領域を前記分割画像情報として生成する。 In the communication terminal device according to a second aspect of the invention, in addition to the configuration of the first aspect of the invention, the resolution information is region information indicating the number of pixels by an outer side of m × n, and the image division The means generates, as the divided image information, a region divided by the outer side when the number of pixels for each resolution information is overlaid with region information indicated by m × n outer sides from a predetermined reference point.
請求項３に係る発明の通信端末装置では、請求項１乃至２のいずれかに記載の発明の構成に加え、自拠点及び他拠点の前記通信端末装置は、前記解像度情報を前記識別情報と対応付けて他拠点の前記通信端末装置へ送信する解像度情報送信手段を備える。 In the communication terminal device according to a third aspect of the invention, in addition to the configuration of the invention according to any one of the first and second aspects, the communication terminal device at its own base and another base corresponds the resolution information to the identification information. In addition, a resolution information transmitting means for transmitting to the communication terminal device at another base is provided.
請求項４に係る発明の通信端末装置では、請求項２乃至３のいずれかに記載の発明の構成に加え、前記通信端末装置は、前記解像度情報の前記所定の基準点を示す情報である基準位置情報を取得する基準位置情報取得手段と、前記基準位置情報取得手段により取得した前記基準位置情報を他拠点の前記通信端末装置へ送信する基準位置情報送信手段と、 他拠点の前記通信端末装置の前記基準位置情報送信手段により送信された前記基準位置情報を受信する基準位置情報受信手段を備え、前記画像分割手段は、前記基準位置情報受信手段により受信した前記基準位置情報を基準点として、前記画像分割情報を生成する。 In the communication terminal device according to a fourth aspect of the invention, in addition to the configuration of the invention according to any one of the second to third aspects, the communication terminal device is a reference that is information indicating the predetermined reference point of the resolution information. Reference position information acquisition means for acquiring position information, reference position information transmission means for transmitting the reference position information acquired by the reference position information acquisition means to the communication terminal apparatus at another base, and the communication terminal apparatus at another base Reference position information receiving means for receiving the reference position information transmitted by the reference position information transmitting means, wherein the image dividing means uses the reference position information received by the reference position information receiving means as a reference point. The image division information is generated.
請求項５に係る発明においては、複数の拠点に設置された通信端末装置間でネットワークを介して接続され、取得した画像情報の送受信を行う通信端末装置にて処理する通信制御方法であって、他拠点の前記通信端末装置から、表示手段へ表示するための画素数の情報である解像度情報を、前記通信端末装置を識別する情報である識別情報と対応付けして取得する解像度情報取得ステップと、前記解像度情報取得ステップにより取得した前記解像度情報に基づいて、前記画像情報を複数に分割した情報である分割画像情報を生成する画像分割ステップと、前記画像分割ステップにより生成された前記分割画像情報を符号化処理して分割符号化情報を生成する符号化ステップと、前記符号化ステップにより生成された複数の前記分割符号化情報の中から、前記解像度情報と前記識別情報とに基づいて、他拠点の前記通信端末装置に対応する前記分割符号化情報を選択する選択ステップと、前記選択ステップにより選択された前記分割符号化情報を、前記識別情報に対応した他拠点の前記通信端末装置へ送信する送信ステップとを処理する。 The invention according to claim 5 is a communication control method for processing in a communication terminal device that is connected via a network between communication terminal devices installed at a plurality of bases and performs transmission / reception of acquired image information, A resolution information acquisition step of acquiring resolution information, which is information on the number of pixels to be displayed on the display means, in association with identification information, which is information for identifying the communication terminal device, from the communication terminal device at another base; An image dividing step for generating divided image information which is information obtained by dividing the image information into a plurality of pieces based on the resolution information acquired by the resolution information acquiring step; and the divided image information generated by the image dividing step A coding step for generating divided coding information by encoding, and a plurality of the divided coding information generated by the coding step Based on the resolution information and the identification information, a selection step for selecting the division coding information corresponding to the communication terminal device at another base, and the division coding information selected by the selection step And a transmission step of transmitting to the communication terminal device at another base corresponding to the identification information.
請求項６に係る発明においては、複数の拠点に設置された通信端末装置間でネットワークを介して接続され、取得された画像情報の送受信を行う通信端末装置を実行させる通信制御プログラムであって、他拠点の前記通信端末装置から、表示手段へ表示するための画素数の情報である解像度情報を、前記通信端末装置を識別する情報である識別情報と対応付けして取得する解像度情報取得ステップと、前記解像度情報取得ステップにより取得した前記解像度情報に基づいて、前記画像情報を複数に分割した情報である分割画像情報を生成する画像分割ステップと、前記画像分割ステップにより分割された前記分割画像情報を符号化処理して分割符号化情報を生成する符号化ステップと、前記符号化ステップにより生成された複数の前記分割符号化情報の中から、前記解像度情報と前記識別情報とに基づいて、他拠点の前記通信端末装置に対応する前記分割符号化情報を選択する選択ステップと、前記選択ステップにより選択された前記分割符号化情報を、前記識別情報に対応した他拠点の前記通信端末装置へ送信する送信ステップとを前記通信端末装置で実行させる。 The invention according to claim 6 is a communication control program for executing a communication terminal device that is connected via a network between communication terminal devices installed at a plurality of bases and performs transmission and reception of acquired image information. A resolution information acquisition step of acquiring resolution information, which is information on the number of pixels to be displayed on the display means, in association with identification information, which is information for identifying the communication terminal device, from the communication terminal device at another base; An image division step for generating divided image information, which is information obtained by dividing the image information into a plurality of pieces, based on the resolution information acquired in the resolution information acquisition step; and the divided image information divided by the image division step A coding step for coding and generating divided coding information, and a plurality of the division codes generated by the coding step. A selection step of selecting the division encoding information corresponding to the communication terminal device at another base, based on the resolution information and the identification information, and the division code selected by the selection step The communication terminal device causes the communication terminal device to perform a transmission step of transmitting the activation information to the communication terminal device at another base corresponding to the identification information.
請求項１に係る発明の通信端末装置では、他拠点の通信端末装置から、表示手段へ表示するための画素数の情報である解像度情報を、通信端末装置を識別する情報である識別情報と対応付けして取得する。そして取得した解像度情報に基づいて、画像情報を複数に分割した情報である分割画像情報を生成する。さらに生成された分割画像情報を符号化処理して分割符号化情報を生成し、複数の分割符号化情報の中から、解像度情報と識別情報とに基づいて、他拠点の通信端末装置に対応する分割符号化情報を選択する。そして選択された分割符号化情報を、識別情報に対応した他拠点の通信端末装置へ送信する。よって、各拠点の表示手段の表示性能に適した解像度になるように、分割して符号化された複数の符号化情報の中から対応する符号化情報を選択して送信することができるので、通信端末装置の処理負荷を無駄に増加させることなく、ユーザは各拠点の表示手段で最適な条件で画像情報を見ながら会議を行うことができる。 In the communication terminal device according to the first aspect of the invention, the resolution information, which is information on the number of pixels to be displayed on the display means, corresponds to the identification information, which is information for identifying the communication terminal device, from the communication terminal device at another base. Acquire it. Then, based on the acquired resolution information, divided image information that is information obtained by dividing the image information into a plurality of pieces is generated. Further, the generated divided image information is encoded to generate divided encoded information, and corresponds to the communication terminal device at another site based on the resolution information and the identification information from among the plurality of divided encoded information. Select division coding information. And the selected division | segmentation encoding information is transmitted to the communication terminal device of the other base corresponding to identification information. Therefore, it is possible to select and transmit the corresponding encoded information from a plurality of encoded information divided and encoded so as to have a resolution suitable for the display performance of the display means of each base, Without unnecessarily increasing the processing load on the communication terminal device, the user can hold a conference while viewing the image information under optimum conditions on the display means at each site.
請求項２に係る発明の通信端末装置では、請求項１に記載の発明の効果に加え、解像度情報は、画素数をｍ×ｎの外辺で示した領域情報であり、解像度情報毎の画素数を所定の基準点からｍ×ｎの外辺で示した領域情報で重層した時、外辺にて分割される領域を分割画像情報として生成する。よって、各拠点から取得した解像度情報に基づいて、画像情報を最適な条件で分割した分割画像情報を生成することができる。 In the communication terminal device of the invention according to claim 2, in addition to the effect of the invention of claim 1, the resolution information is area information in which the number of pixels is indicated by an outer side of m × n, and the pixels for each resolution information When the number is overlaid with area information indicated by m × n outer sides from a predetermined reference point, an area divided on the outer side is generated as divided image information. Therefore, it is possible to generate divided image information obtained by dividing the image information under optimum conditions based on the resolution information acquired from each base.
請求項３に係る発明の通信端末装置では、請求項１乃至２のいずれかに記載の発明の効果に加え、自拠点及び他拠点の通信端末装置は、解像度情報を識別情報と対応付けて他拠点の通信端末装置へ送信する。よって、各拠点に対応した解像度情報を的確に他拠点に送信することができる。 In the communication terminal device according to the third aspect of the invention, in addition to the effect of the invention according to any one of the first and second aspects, the communication terminal device at the local site and the other site associates the resolution information with the identification information and others. It is transmitted to the communication terminal device at the base. Therefore, the resolution information corresponding to each base can be accurately transmitted to another base.
請求項４に係る発明の通信端末装置では、請求項２乃至３のいずれかに記載の発明の効果に加え、通信端末装置は、解像度情報の所定の基準点を示す情報である基準位置情報を取得し、他拠点の通信端末装置へ送信する。また、他拠点の通信端末装置の基準位置情報送信手段により送信された基準位置情報を受信する。そして受信した基準位置情報を基準点として、画像分割情報を生成する。よって、各拠点の解像度情報の基準位置が異なる場合でも、最適な条件で画像分割情報が生成できる。 In the communication terminal device of the invention according to claim 4, in addition to the effect of the invention according to any one of claims 2 to 3, the communication terminal device stores reference position information which is information indicating a predetermined reference point of resolution information. Acquired and transmitted to the communication terminal device at another site. Also, the reference position information transmitted by the reference position information transmitting means of the communication terminal device at another base is received. Then, image division information is generated using the received reference position information as a reference point. Therefore, even when the reference position of the resolution information at each site is different, the image division information can be generated under optimum conditions.
請求項５、および請求項６に係る発明においては、他拠点の通信端末装置から、表示手段へ表示するための画素数の情報である解像度情報を、通信端末装置を識別する情報である識別情報と対応付けして取得する。そして取得した解像度情報に基づいて、画像情報を複数に分割した情報である分割画像情報を生成する。さらに生成された分割画像情報を符号化処理して分割符号化情報を生成し、複数の分割符号化情報の中から、解像度情報と識別情報とに基づいて、他拠点の通信端末装置に対応する分割符号化情報を選択する。そして選択された分割符号化情報を、識別情報に対応した他拠点の通信端末装置へ送信する。よって、各拠点の表示手段の表示性能に適した解像度になるように、分割して符号化された複数の符号化情報の中から対応する符号化情報を選択して送信することができるので、通信端末装置の処理負荷を無駄に増加させることなく、ユーザは各拠点の表示手段で最適な条件で画像情報を見ながら会議を行うことができる。 In the inventions according to claims 5 and 6, the resolution information, which is information on the number of pixels to be displayed on the display means, from the communication terminal device at another base, is the identification information that is information for identifying the communication terminal device. Acquired in association with. Then, based on the acquired resolution information, divided image information that is information obtained by dividing the image information into a plurality of pieces is generated. Further, the generated divided image information is encoded to generate divided encoded information, and corresponds to the communication terminal device at another site based on the resolution information and the identification information from among the plurality of divided encoded information. Select division coding information. And the selected division | segmentation encoding information is transmitted to the communication terminal device of the other base corresponding to identification information. Therefore, it is possible to select and transmit the corresponding encoded information from a plurality of encoded information divided and encoded so as to have a resolution suitable for the display performance of the display means of each base, Without unnecessarily increasing the processing load on the communication terminal device, the user can hold a conference while viewing the image information under optimum conditions on the display means at each site.
以下、本発明を具体化した通信端末装置の実施の形態について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。 Embodiments of a communication terminal device embodying the present invention will be described below with reference to the drawings. These drawings are used for explaining the technical features that can be adopted by the present invention, and the configuration of the apparatus and the flowcharts of various processes described are not intended to be limited to the drawings. This is just an illustrative example.
まず、図１〜図２を参照して、本実施形態の概略構成１００、及び構成要素である通信端末装置１０の電気的構成について、順に説明する。図１に示すように、テレビ会議システム１００は、各拠点（以後、１０Ａ、１０Ｂ、１０Ｃとする。）に設けられた通信端末装置１０を含み、これらはすべてネットワーク２００に接続されている。ネットワーク２００としては、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）やＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）等のネットワークを採用することができる。図１では、拠点は３拠点しか図示されていないが、実際には複数が存在してもよい。また各拠点は、例えば、ある企業の同一サイト内に複数存在してもよいし、異なる事業所内や、異なる地域や国に点在して存在していてもよい。 First, with reference to FIGS. 1-2, the schematic structure 100 of this embodiment and the electrical structure of the communication terminal device 10 which is a component are demonstrated in order. As shown in FIG. 1, the video conference system 100 includes a communication terminal device 10 provided at each site (hereinafter referred to as 10A, 10B, and 10C), all of which are connected to a network 200. As the network 200, for example, a network such as IP (Internet Protocol) or ISDN (Integrated Services Digital Network) can be employed. In FIG. 1, only three bases are shown, but a plurality of bases may actually exist. Further, for example, a plurality of bases may exist in the same site of a certain company, or may exist in different offices or in different regions or countries.
通信端末装置１０は、例えば、周知のパーソナルコンピュータであり、汎用型の装置である。通信端末装置１０は、ネットワーク２００を介して接続された複数の拠点間で行われるＴＶ会議に関する各種の処理を行う。通信端末装置１０の構成、および通信端末装置１０で行われる各種処理の詳細については後述する。 The communication terminal device 10 is a known personal computer, for example, and is a general-purpose device. The communication terminal apparatus 10 performs various processes related to a TV conference that is performed between a plurality of bases connected via the network 200. Details of the configuration of the communication terminal device 10 and various processes performed by the communication terminal device 10 will be described later.
さらに、テレビ会議への参加を希望するユーザは、通信端末装置１０のうちいずれかを操作し、ユーザはＩＤ情報等を登録することによってテレビ会議にログインする。テレビ会議に参加した状態では、例えば通信端末装置１０に接続されたカメラ１７１（図２参照）によって会議に参加しているユーザが撮影される。撮影された画像（以下「画像情報」という。）は、通信端末装置１０から他の通信端末装置１０に対して送信される。画像情報を受信した他の通信端末装置１０では、受信した画像情報を自拠点で撮影した画像情報と共に表示装置１６１に表示させる。画像情報が複数存在する場合、個別のウィンドウ内に其々表示させる。これによってテレビ会議に参加するユーザは、各拠点で会議に参加するユーザの画像情報を共有して視認することが可能となる。 Furthermore, a user who wishes to participate in the video conference operates one of the communication terminal devices 10, and the user logs in to the video conference by registering ID information and the like. In the state of participating in the video conference, for example, the user participating in the conference is photographed by the camera 171 (see FIG. 2) connected to the communication terminal device 10. The captured image (hereinafter referred to as “image information”) is transmitted from the communication terminal device 10 to another communication terminal device 10. In the other communication terminal device 10 that has received the image information, the received image information is displayed on the display device 161 together with the image information captured at the local site. When there are a plurality of pieces of image information, they are displayed in individual windows. As a result, a user who participates in the video conference can view and share the image information of the user who participates in the conference at each site.
次に、図２を参照して、通信端末装置１０の電気的構成について説明する。通信端末装置１０としては、画像情報および音声情報を圧縮符号化して送信するとともに、受信した圧縮符号化された画像および音声情報を復号化して出力することが可能なコーデックを内蔵した、公知の端末装置を採用することができる。また、通信端末装置１０は、ＣＰＵ１１と、ＣＰＵ１１に各々接続されたＲＯＭ１２およびＲＡＭ１３を備えている。ＣＰＵ１１には、その他、入出力（Ｉ／Ｏ）インタフェイス１４が接続されている。Ｉ／Ｏインタフェイス１４には、記録装置（ハードディスク装置（ＨＤＤ）など、以下「ＨＤＤ」と称す）１５、画像出力処理部１６、画像入力処理部１７、音声入力処理部１８、音声出力処理部１９、ＣＤ−ＲＯＭドライブ２０、通信装置３０、表示装置１６１、カメラ１７１、マイク１８１、スピーカ１９１が接続されている。 Next, the electrical configuration of the communication terminal apparatus 10 will be described with reference to FIG. The communication terminal apparatus 10 is a known terminal having a built-in codec capable of compressing and transmitting image information and audio information and decoding and outputting the received compressed and encoded image and audio information. A device can be employed. The communication terminal device 10 includes a CPU 11 and a ROM 12 and a RAM 13 connected to the CPU 11. In addition, an input / output (I / O) interface 14 is connected to the CPU 11. The I / O interface 14 includes a recording device (hereinafter referred to as “HDD”, such as a hard disk device (HDD)) 15, an image output processing unit 16, an image input processing unit 17, an audio input processing unit 18, and an audio output processing unit. 19, a CD-ROM drive 20, a communication device 30, a display device 161, a camera 171, a microphone 181, and a speaker 191 are connected.
ＣＰＵ１１は、通信端末装置１０の全体の制御を司る。ＲＯＭ１２は、ＢＩＯＳを含む、通信端末装置１０を動作させるための各種のプログラムや、そのための設定値を記憶している。ＣＰＵ１１は、ＲＯＭ１２や、後述するＨＤＤ１５に記憶されたプログラムに従って、通信端末装置１０の動作を制御する。ＲＡＭ１３は、各種データを一時的に記憶するための記憶装置である。 The CPU 11 governs overall control of the communication terminal device 10. The ROM 12 stores various programs including the BIOS for operating the communication terminal apparatus 10 and setting values for the programs. CPU11 controls operation | movement of the communication terminal device 10 according to the program memorize | stored in ROM12 and HDD15 mentioned later. The RAM 13 is a storage device for temporarily storing various data.
画像出力処理部１６、画像入力処理部１７、音声入力処理部１８、音声出力処理部１９には、それぞれ表示装置１６１、カメラ１７１、マイク１８１、スピーカ１９１が接続されている。表示装置１６１は、他拠点から取得した画像情報や、自拠点で撮影された画像情報等を表示する機器であり、画像出力処理部１６は、表示装置１６１への画像情報の出力を処理する機器である。カメラ１７１は、通信端末装置１０が設置されている拠点を撮影する撮影機器であり、画像入力処理部１７は、カメラ１７１からの画像情報の入力を処理する機器である。マイク１８１は、通信端末装置１０が設置されている拠点の音声情報を取得する機器であり、音声入力処理部１８は、マイク１８１から入力された音声情報を処理する機器である。スピーカ１９１は、他拠点の通信端末装置から送信された他拠点の音声情報を出力する機器であり、音声出力処理部１９は、スピーカ１９１へ音声情報の出力を処理する機器である。 A display device 161, a camera 171, a microphone 181, and a speaker 191 are connected to the image output processing unit 16, the image input processing unit 17, the audio input processing unit 18, and the audio output processing unit 19, respectively. The display device 161 is a device that displays image information acquired from another site, image information captured at the site, and the like. The image output processing unit 16 is a device that processes the output of image information to the display device 161. It is. The camera 171 is a photographing device that captures a location where the communication terminal device 10 is installed, and the image input processing unit 17 is a device that processes input of image information from the camera 171. The microphone 181 is a device that acquires voice information of a site where the communication terminal apparatus 10 is installed, and the voice input processing unit 18 is a device that processes voice information input from the microphone 181. The speaker 191 is a device that outputs audio information of another site transmitted from the communication terminal device of another site, and the audio output processing unit 19 is a device that processes output of the audio information to the speaker 191.
ＣＤ−ＲＯＭドライブ２０は、ＣＤ−ＲＯＭ２０１に記録されているデータを読み込む機器である。また、ＣＤ−ＲＯＭ２０１は、通信端末装置１０のメインプログラムや、本発明の通信制御プログラム等が記憶されている。ＣＤ−ＲＯＭ２０１の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ２０１からＨＤＤ１５にセットアップされて、後述するプログラム記憶エリア１５２に記憶される。通信装置３０は、ネットワーク２００に接続し、他の通信端末装置１０との間でデータの送受信を行うための機器である。 The CD-ROM drive 20 is a device that reads data recorded on the CD-ROM 201. The CD-ROM 201 stores a main program of the communication terminal device 10, a communication control program of the present invention, and the like. When the CD-ROM 201 is introduced, these various programs are set up from the CD-ROM 201 to the HDD 15 and stored in a program storage area 152 described later. The communication device 30 is a device that is connected to the network 200 and transmits / receives data to / from other communication terminal devices 10.
ここで、ＨＤＤ１５の詳細について図２、図３を参照しながら説明する。図２に示すように、ＨＤＤ１５は、解像度情報記憶エリア１５１、プログラム記憶エリア１５２、を含む複数の記憶エリアを備えている。解像度情報記憶エリア１５１には、図３に示すように、解像度情報データベース１５１１が記憶されている。解像度情報データベース１５１１には、他拠点の通信端末装置１０から取得した解像度情報を格納する。解像度情報データベース１５１１は、図３に示すように端末ＩＤ、解像度、基準位置の項目の情報が対応付けられて記憶されている。端末ＩＤの項目には、他拠点の通信端末装置１０を識別する為の識別情報が記憶されている。解像度の項目には、通信端末装置１０に備えられている表示装置１６１に対応した解像度の情報が記憶されている。本実施形態での解像度とは、表示装置１６１に画像情報を表示するための表示条件である画素数を示す情報であり、ｍ×ｎの形式で記憶されている。図３を参照して具体的に説明すると、端末ＩＤがＹ１の通信端末装置１０に備えられている表示装置１６１では、解像度が１０２４×７６８と記憶されているので、７８６４３２個の画素数で画像情報を表示できることを示している。また、端末ＩＤがＹ２の場合では、８００×６００と記憶されているので、４８００００個の画素数で画像情報を表示できる。また、画素数が多い程、つまり解像度が大きい程、表示装置１６１にて表示する画像情報を高画質で表示できる。 Details of the HDD 15 will be described with reference to FIGS. As shown in FIG. 2, the HDD 15 includes a plurality of storage areas including a resolution information storage area 151 and a program storage area 152. In the resolution information storage area 151, as shown in FIG. 3, a resolution information database 1511 is stored. The resolution information database 1511 stores resolution information acquired from the communication terminal device 10 at another base. As shown in FIG. 3, the resolution information database 1511 stores information on terminal ID, resolution, and reference position items in association with each other. In the terminal ID item, identification information for identifying the communication terminal device 10 at another base is stored. In the resolution item, resolution information corresponding to the display device 161 provided in the communication terminal device 10 is stored. The resolution in the present embodiment is information indicating the number of pixels, which is a display condition for displaying image information on the display device 161, and is stored in an m × n format. Specifically, with reference to FIG. 3, in the display device 161 provided in the communication terminal device 10 with the terminal ID Y1, the resolution is stored as 1024 × 768, so that the image has the number of pixels of 786432. Indicates that information can be displayed. In the case where the terminal ID is Y2, 800 × 600 is stored, so that image information can be displayed with 480000 pixels. In addition, as the number of pixels increases, that is, as the resolution increases, the image information displayed on the display device 161 can be displayed with high image quality.
基準位置の項目では、上述した解像度の情報の基準位置を示す情報が記憶されている。詳細の説明は後述するが、本実施形態では表示装置１６１の表示画面領域の左上角を基準位置としており、詳細な説明は後述するがＸ座標とＹ座標の数値で示す座標情報（０，０）として記憶されている。また、本実施形態では基準位置を表示装置１６１の左上角としたが、これに限るものではなく、例えば、右上角、左下角、右下角、中心等にしても良い。また、基準位置は、予め初期設定されているものとするが、ユーザが各拠点の通信端末装置１０を操作することで適宜設定変更ができるようになっている。なお、説明の便宜上、図３では３拠点分しか記憶されていないが、拠点の数はこれに限るものではない。 In the item of reference position, information indicating the reference position of the resolution information described above is stored. Although details will be described later, in this embodiment, the upper left corner of the display screen area of the display device 161 is used as a reference position. Although detailed explanation will be given later, coordinate information (0, 0) indicated by numerical values of the X coordinate and the Y coordinate is described later. ). In the present embodiment, the reference position is the upper left corner of the display device 161, but the present invention is not limited to this, and may be, for example, the upper right corner, the lower left corner, the lower right corner, or the center. The reference position is initially set in advance, but can be appropriately changed by the user operating the communication terminal device 10 at each site. For convenience of explanation, only three sites are stored in FIG. 3, but the number of sites is not limited to this.
図２に示すプログラム記憶エリア１５２には、詳細は図示しないが各種処理を通信端末装置１０に実行させるための各種プログラムが記憶されている。なお、これらのプログラムは、例えばＣＤ−ＲＯＭ２０１に記憶されたものがＣＤ−ＲＯＭドライブ２０を介してインストールされ、プログラム記憶エリア１５２に記憶される。または、ネットワーク２００を介してダウンロードされたプログラムが、プログラム記憶エリア１５２に記憶されてもよい。ＨＤＤ１５には、その他、各種処理で使用される設定値等も記憶されている。 The program storage area 152 shown in FIG. 2 stores various programs for causing the communication terminal apparatus 10 to execute various processes, although not shown in detail. For example, those programs stored in the CD-ROM 201 are installed via the CD-ROM drive 20 and stored in the program storage area 152. Alternatively, a program downloaded via the network 200 may be stored in the program storage area 152. In addition, the HDD 15 stores setting values used in various processes.
次に、図４〜図７を参照して通信端末装置１０のＣＰＵ１１により行われるメイン処理について説明をする。図４はメイン処理のフローチャートであり、通信端末装置１０の電源がＯＮされると開始される。 Next, main processing performed by the CPU 11 of the communication terminal device 10 will be described with reference to FIGS. FIG. 4 is a flowchart of the main process, which starts when the communication terminal device 10 is powered on.
まず、通信端末装置１０のＣＰＵ１１は、会議開始指示があったかどうかを判断する（Ｓ４０１）。具体的には、自拠点のユーザが通信端末装置１０を操作して、他拠点の通信端末装置１０へ接続開始要求の指示情報を送信したり、または、他拠点から接続開始要求の指示情報を受信したかどうかを会議開始指示として判断する。ステップＳ４０１の処理で、ＣＰＵ１１は会議開始指示が無いと判断した場合（Ｓ４０１：ＮＯ）、繰り返しステップＳ４０１を処理しながら待機する。そして、ステップＳ４０２の処理で会議開始指示があったと判断した場合（Ｓ４０１：ＹＥＳ）、他拠点の通信端末装置１０と通信を接続状態にして、ＣＰＵ１１は解像度情報を取得する処理を実行する（Ｓ４０２）。具体的には、まず、ＣＰＵ１１がＨＤＤ１５の解像度情報記憶エリア１５１に記憶されている解像度情報データベース１５１１を参照し、ステップＳ４０１の処理で通信接続状態となっている他拠点の通信端末装置１０の端末ＩＤに対応する解像度情報を取得する処理を実行する。 First, the CPU 11 of the communication terminal apparatus 10 determines whether or not there is a conference start instruction (S401). Specifically, the user at the local site operates the communication terminal device 10 to transmit the connection start request instruction information to the communication terminal device 10 at another site, or the connection start request instruction information from another site. It is determined as a meeting start instruction whether or not it has been received. If the CPU 11 determines in the process of step S401 that there is no conference start instruction (S401: NO), it waits while repeatedly processing step S401. If it is determined in the process of step S402 that a conference start instruction has been received (S401: YES), the communication with the communication terminal device 10 at the other site is connected, and the CPU 11 executes a process of acquiring resolution information (S402). ). Specifically, first, the CPU 11 refers to the resolution information database 1511 stored in the resolution information storage area 151 of the HDD 15, and the terminal of the communication terminal device 10 at another base that is in the communication connection state in the process of step S 401. A process of acquiring resolution information corresponding to the ID is executed.
続いて、ＣＰＵ１１は自拠点のカメラ１７１にて撮影された画像情報を、画像入力処理部を介して取得する（Ｓ４０３）。次に、ＣＰＵ１１は解像度情報の変更指示を自拠点、または他拠点の通信端末装置１０から受信したかどうかを判断する（Ｓ４０４）。解像度情報の変更指示については後述するが、ステップＳ４０４の処理で、ＣＰＵ１１が解像度情報の変更指示を受信していないと判断した場合（Ｓ４０４：ＮＯ）、画像情報分割処理を実行する（Ｓ４０６）。 Subsequently, the CPU 11 acquires image information captured by the camera 171 at the local site via the image input processing unit (S403). Next, the CPU 11 determines whether or not a resolution information change instruction has been received from the communication terminal device 10 at its own base or at another base (S404). The resolution information change instruction will be described later, but if the CPU 11 determines in step S404 that the resolution information change instruction has not been received (S404: NO), an image information division process is executed (S406).
ここで、ステップＳ４０６で処理される画像情報分割処理について、図５~７を参照しながら詳細に説明する。図５は画像情報分割処理のフローチャート図である。まず、ＣＰＵ１１が基準位置情報に基づき解像度情報の重層処理を実行する（Ｓ５０１）。具体的には、図４のステップＳ４０１の処理で通信接続状態となっている自拠点、及び他拠点の通信端末装置１０に対応する解像度情報と基準位置情報を、解像度情報データベース１５１１から取得し、図６に示すように領域情報として重層する処理を実行する。図６は、本実施形態の基準位置を左上角のＰ１とし、各拠点の通信端末装置１０に対応する解像度をｍ×ｎの四角形状の領域情報として重層した図である。例えば、図３に示す解像度情報データベース１５１１より、自拠点の通信端末装置１０の端末ＩＤをＹ１とした場合の解像度情報１０２４×７６８と、他拠点の端末ＩＤであるＹ２、Ｙ３に対応するそれぞれの解像度情報８００×６００、４８０×３６０に基づいて、図６に示すように３拠点分の領域情報をＰ１を基準位置として重層する。 Here, the image information division processing processed in step S406 will be described in detail with reference to FIGS. FIG. 5 is a flowchart of the image information dividing process. First, the CPU 11 executes resolution information overlay processing based on the reference position information (S501). Specifically, from the resolution information database 1511, the resolution information and the reference position information corresponding to the communication terminal device 10 at the local site and the other site in the communication connection state in the process of step S401 in FIG. As shown in FIG. 6, a process of layering as area information is executed. FIG. 6 is a diagram in which the reference position of the present embodiment is P1 in the upper left corner, and the resolution corresponding to the communication terminal device 10 at each base is overlaid as m × n square area information. For example, from the resolution information database 1511 shown in FIG. 3, the resolution information 1024 × 768 when the terminal ID of the communication terminal device 10 at the local site is Y1, and the terminal IDs Y2 and Y3 corresponding to the terminal IDs at other sites Based on the resolution information 800 × 600, 480 × 360, as shown in FIG. 6, the region information for the three bases is overlaid with P1 as the reference position.
続いて、ステップＳ５０１の処理の後、ＣＰＵ１１は、各拠点に対応した解像度情報を領域情報として重層したときの外辺で画像情報を分割する処理を実行する（Ｓ５０２）。図６を参照して具体的に説明すると、各拠点の端末ＩＤの対応した解像度の情報を、ｍ×ｎの四角形状の領域情報で重層し、各領域情報の四角形状の外辺で区切られる領域を分割領域として分割する。図６では、端末ＩＤがＹ１、Ｙ２、Ｙ３の解像度情報に基づく領域情報で重層し、分割領域Ａ５２０と、分割領域Ｂ５２１と分割領域Ｃ５２２に分割されていることを示している。 Subsequently, after the process of step S501, the CPU 11 executes a process of dividing the image information on the outer side when the resolution information corresponding to each base is overlaid as the area information (S502). More specifically, with reference to FIG. 6, resolution information corresponding to the terminal ID of each base is overlaid with square area information of m × n, and is divided by the square outer side of each area information. Divide the area as a divided area. FIG. 6 shows that the terminal IDs are overlapped with area information based on the resolution information of Y1, Y2, and Y3, and are divided into a divided area A520, a divided area B521, and a divided area C522.
そして次に、ＣＰＵ１１は分割処理対象外の拠点があるかどうかを判断する（Ｓ５０４）。ここでいう分割処理対象外とは、自拠点の通信端末装置１０と接続状態にありながら、解像度情報データベース１５１１に対応する端末ＩＤ、解像度、基準位置の情報が記憶されていない他の通信端末装置が存在するかどうかを判断する。ステップＳ５０３の処理にて、分割処理対象外の拠点は無いと判断した場合（Ｓ５０３：ＮＯ）、画像情報の送信先である各端末ＩＤに対応した分割領域を選択し、図７に示すような解像度情報データベース１５１２をＲＡＭ１３に一時記憶する処理を実行し（Ｓ５０４）、本処理を終了する。 Next, the CPU 11 determines whether there is a base that is not subject to division processing (S504). The term “not subject to division processing” as used herein refers to another communication terminal device that is connected to the communication terminal device 10 at its own site but does not store terminal ID, resolution, and reference position information corresponding to the resolution information database 1511. Determine whether exists. If it is determined in step S503 that there is no base that is not subject to division processing (S503: NO), a division region corresponding to each terminal ID that is a transmission destination of image information is selected, as shown in FIG. A process of temporarily storing the resolution information database 1512 in the RAM 13 is executed (S504), and this process ends.
ここで、図７に示す解像度情報データベース１５１２について説明する。解像度情報データベース１５１２は、ＨＤＤ１５に記憶されていた解像度情報データベース１５１１に対して、分割領域の項目を追加して記憶されている。分割領域の項目では、端末ＩＤに対応付けられた解像度に対応する分割領域が選択されて、選択された分割領域の識別記号で記憶されている。例えば、端末ＩＤがＹ１に対応する分割領域は、Ａ，Ｂ，Ｃが選択して記憶され、端末ＩＤがＹ２には、分割領域Ａ，Ｂが選択され、端末ＩＤがＹ３には、分割領域Ａが選択されて記憶されている。また、各分割領域の情報には、基準位置に対する分割領域の占める位置情報が含まれているものとし、例えば、分割領域として特定された領域に対応するピクセルの表示位置を示す識別情報を、分割領域情報と対応付けて記憶するなどの方法を用いればよい。よって、各端末ＩＤ毎に選択された分割領域を、基準位置Ｐ１を基準として重層すると、各端末ＩＤに対応する解像度情報をｍ×ｎの領域情報で示す四角形状になるようになっている。 Here, the resolution information database 1512 shown in FIG. 7 will be described. The resolution information database 1512 is stored by adding the item of the divided area to the resolution information database 1511 stored in the HDD 15. In the divided area item, a divided area corresponding to the resolution associated with the terminal ID is selected and stored with the identification symbol of the selected divided area. For example, for the divided area corresponding to the terminal ID Y1, A, B, and C are selected and stored, the divided areas A and B are selected for the terminal ID Y2, and the divided area for the terminal ID Y3. A is selected and stored. Further, it is assumed that the information of each divided area includes position information occupied by the divided area with respect to the reference position. For example, the identification information indicating the display position of the pixel corresponding to the area specified as the divided area is divided. A method of storing in association with the area information may be used. Therefore, when the divided areas selected for each terminal ID are layered on the basis of the reference position P1, the resolution information corresponding to each terminal ID becomes a quadrangular shape indicated by the m × n area information.
また、ステップＳ５０３の処理に戻り、ＣＰＵ１１が分割領域対象外の拠点が有ると判断した場合（Ｓ５０３：ＹＥＳ）、全ての分割領域を選択して解像度情報データベース１５１２に記憶する処理を実行し（Ｓ５０５）、処理を終了する。本実施形態では分割領域対象外の拠点の端末ＩＤに対応する通信端末装置１０は含まれていないが、分割領域対象外の拠点が存在する場合は、端末ＩＤの識別情報や解像度、基準位置の情報が、ＨＤＤ１５の解像度情報データベース１５１１に記憶されていないので、ステップＳ５０２で分割された分割領域を全て選択するように設定されているものとする。 Returning to the process of step S503, if the CPU 11 determines that there is a base that is not a divided area target (S503: YES), a process of selecting all the divided areas and storing them in the resolution information database 1512 is executed (S505). ), The process is terminated. In the present embodiment, the communication terminal device 10 corresponding to the terminal ID of the base not subject to the divided area is not included, but when there is a base that is not the subject of the divided area, the identification information, resolution, and reference position of the terminal ID are included. Since the information is not stored in the resolution information database 1511 of the HDD 15, it is assumed that the setting is made so as to select all the divided areas divided in step S502.
そして図４のメイン処理に戻り、ステップＳ４０６の画像情報分割処理が実行された後、ＣＰＵ１１は、画像情報を符号化処理を実行する（Ｓ４０７）。ここでの符号化処理では、ステップＳ４０７の処理で分割された分割領域毎に対して、それぞれ符号化処理を実行する。 Returning to the main process of FIG. 4, after the image information dividing process of step S406 is executed, the CPU 11 executes an encoding process of the image information (S407). In the encoding process here, the encoding process is executed for each of the divided regions divided in the process of step S407.
続いて、ＣＰＵ１１は、画像情報の送信先の通信端末装置１０毎に、符号化された分割領域の画像情報を選択する処理を実行する（Ｓ４０８）。具体的には、図７の解像度情報データベース１５１２を参照しながら、端末ＩＤ毎に対応付けて記憶されている分割領域の符号化処理された画像情報を選択する。例えば、端末ＩＤがＹ１には、対応する分割領域の情報であるＡ，Ｂ，Ｃが選択され、分割領域Ａ，Ｂ，Ｃが各々符号化された画像情報が選択される。また、同様に端末ＩＤがＹ２には、対応する分割領域Ａ，Ｂ、端末ＩＤがＹ３には、対応する分割領域Ａが選択され、それぞれに対応した符号化された画像情報が選択される。 Subsequently, the CPU 11 executes a process of selecting the encoded image information of the divided region for each communication terminal device 10 that is the transmission destination of the image information (S408). Specifically, while referring to the resolution information database 1512 in FIG. 7, the image information subjected to the encoding process of the divided areas stored in association with each terminal ID is selected. For example, when the terminal ID is Y1, A, B, and C, which are information on the corresponding divided areas, are selected, and image information obtained by encoding the divided areas A, B, and C is selected. Similarly, when the terminal ID is Y2, the corresponding divided areas A and B are selected, and when the terminal ID is Y3, the corresponding divided area A is selected, and the encoded image information corresponding to each is selected.
そして、ステップＳ４０８の処理にて選択した符号化処理された画像情報を基準位置情報と併せて、対応する端末ＩＤの通信端末装置１０へ送信する処理を実行する（Ｓ４０９）。つづいて、ＣＰＵ１１は、会議終了指示があったかどうかを判断する（Ｓ４１０）。会議終了指示とは、自拠点、または通信を接続中の他拠点の通信端末装置１０をユーザが操作することにより、通信の接続を切断する指示が出されたかどうかを判断する。会議終了指示が無いと判断した場合（Ｓ４１０：ＮＯ）、ステップＳ４０３の処理へ戻り、繰り返しステップＳ４０３〜Ｓ４１０の処理が実行される。また、ステップＳ４１０の処理にて、会議終了指示があったと判断した場合（Ｓ４１０：ＹＥＳ）、他拠点の通信端末装置１０との通信の接続を遮断する処理を実行し、本処理を終了する。 And the process which transmits the image information by which the encoding process selected by the process of step S408 was combined with reference | standard position information to the communication terminal device 10 of corresponding terminal ID is performed (S409). Subsequently, the CPU 11 determines whether or not there is a conference end instruction (S410). The conference end instruction determines whether or not an instruction to disconnect the communication is issued by the user operating the communication terminal device 10 at the local site or at another site where the communication is connected. If it is determined that there is no conference termination instruction (S410: NO), the process returns to step S403, and the processes of steps S403 to S410 are repeated. If it is determined in step S410 that there is an instruction to end the conference (S410: YES), a process for cutting off the communication connection with the communication terminal device 10 at another site is executed, and this process ends.
また、本実施形態では詳細な説明は省略するが、図８のメイン処理にて送信した符号化された画像情報を受信する側である他拠点の通信端末装置１０では、対応付けて送信された基準位置情報に基づいて、分割して符号化された画像情報が各々復号化され、表示装置１６１へ出力できるようになる。 Further, although detailed description is omitted in the present embodiment, the communication terminal device 10 at the other site on the side that receives the encoded image information transmitted in the main process of FIG. Based on the reference position information, the divided and encoded image information is decoded and can be output to the display device 161.
次に、ステップＳ４０４の処理にて、解像度情報の変更指示を受信した場合について説明をする。ステップＳ４０４の処理にて、ＣＰＵ１１が解像度情報変更指示を受信したと判断した場合（Ｓ４０４：ＹＥＳ）、解像度情報更新処理を実行する（Ｓ４０５）。 Next, a case where a resolution information change instruction is received in step S404 will be described. If the CPU 11 determines in step S404 that the resolution information change instruction has been received (S404: YES), resolution information update processing is executed (S405).
そこで、ステップＳ４０４にて受信した解像度情報変更指示が、他拠点の通信端末装置１０から送信される場合に実行される解像度情報送信処理について、図８~１０を参照しながら説明する。図８は、解像度情報送信処理のフローチャート図である。まず、初めにＣＰＵ１１は、自拠点の解像度情報と基準位置情報をＨＤＤ１５に記憶されている解像度情報データベース１５１１から取得する（Ｓ６０１）。そして次に、ＣＰＵ１１は、解像度情報変更指示があったかどうかを判断する（Ｓ６０２）。ここで言う解像度情報変更指示とは、ユーザが通信端末装置１０を操作し、設定されている解像度情報を変更する指示を入力したかどうかを判断する。たとえば、通信端末装置１０に備えられている表示装置１６１を表示性能の異なる表示装置に交換した場合や、ユーザの意志で解像度情報を変更する場合等に変更指示が入力される。 Accordingly, resolution information transmission processing executed when the resolution information change instruction received in step S404 is transmitted from the communication terminal device 10 at another base will be described with reference to FIGS. FIG. 8 is a flowchart of resolution information transmission processing. First, the CPU 11 acquires the resolution information and reference position information of its own base from the resolution information database 1511 stored in the HDD 15 (S601). Next, the CPU 11 determines whether or not there is a resolution information change instruction (S602). The resolution information change instruction here refers to whether or not the user has operated the communication terminal device 10 and has input an instruction to change the set resolution information. For example, a change instruction is input when the display device 161 provided in the communication terminal device 10 is replaced with a display device having a different display performance or when the resolution information is changed at the user's will.
そしてステップＳ６０２の処理で、ＣＰＵ１１が解像度情報の変更指示があったと判断した場合（Ｓ６０２：ＹＥＳ）、変更後の解像度を取得する（Ｓ６０３）。続いて、ＣＰＵ１１は、基準位置の変更指示があったかどうかを判断する（Ｓ６０４）。また、ステップＳ６０２の処理にて、ＣＰＵ１１が解像度情報の変更指示が無いと判断した場合も（Ｓ６０２：ＮＯ）、ステップＳ６０４へ移行する。そして、ステップＳ６０４の処理にて、基準位置の変更指示があったと判断した場合（Ｓ６０４：ＹＥＳ）、変更後の基準位置の情報を取得する処理を実行する（Ｓ６０５）。続いて、ＣＰＵ１１は解像度情報と基準位置情報を他拠点の通信端末装置１０へ送信する処理を実行し（Ｓ６０６）、本処理を終了する。また、ステップＳ６０４の処理にて基準位置の変更指示が無いと判断された場合も（Ｓ６０４：ＮＯ）、ステップＳ６０６の処理へ移行し、本処理を終了する。 If the CPU 11 determines in the process of step S602 that there has been an instruction to change the resolution information (S602: YES), the resolution after the change is acquired (S603). Subsequently, the CPU 11 determines whether or not there is an instruction to change the reference position (S604). Also, when the CPU 11 determines in the process of step S602 that there is no resolution information change instruction (S602: NO), the process proceeds to step S604. If it is determined in the process of step S604 that a reference position change instruction has been issued (S604: YES), a process of acquiring information on the changed reference position is executed (S605). Subsequently, the CPU 11 executes a process of transmitting the resolution information and the reference position information to the communication terminal device 10 at another base (S606), and ends this process. Also, if it is determined in the process of step S604 that there is no instruction to change the reference position (S604: NO), the process proceeds to step S606, and this process ends.
ここで、図９を参照しながら具体的に説明すると、図９は、端末ＩＤがＹ３に対応する通信端末装置１０にて、解像度情報と基準位置情報が変更された後の状態を示す分割領域情報の説明図である。ステップＳ６０２の処理にて、端末ＩＤがＹ３に対応する解像度情報が解像度２５０×２００に変更され、さらにステップＳ６０４の処理にて、基準位置をＰ１からＰ２に変更した場合の分割領域情報を示している。そして、ステップＳ６０６の処理では、端末ＩＤがＹ３の通信端末装置１０から他拠点の通信端末装置１０へ、変更された解像度情報と基準位置情報を送信する処理が実行される。 Here, specifically, referring to FIG. 9, FIG. 9 is a divided region showing a state after the resolution information and the reference position information are changed in the communication terminal device 10 whose terminal ID corresponds to Y3. It is explanatory drawing of information. In the process of step S602, the resolution information corresponding to the terminal ID Y3 is changed to the resolution of 250 × 200, and the divided area information when the reference position is changed from P1 to P2 in the process of step S604 is shown. Yes. In the process of step S606, a process of transmitting the changed resolution information and reference position information from the communication terminal apparatus 10 having the terminal ID Y3 to the communication terminal apparatus 10 at another base is executed.
さらに図４のメイン処理に戻り、ステップＳ４０５の処理では、解像度情報送信処理のステップＳ６０６で送信処理された解像度情報と基準位置情報を、図１０の解像度情報データベース１５１３に示すように更新記憶する。具体的には、端末ＩＤがＹ３に対応する解像度が２５０×２００に変更され、基準位置の座標情報が７００、５００に変更されている。ここで言う座標情報とは、図９のＰ１を基準座標（０、０）とし、Ｐ１から右へ向かう方向をＸ座標とし、Ｐ１から下へ向かう方向をＹ座標としている。よって、端末ＩＤがＹ３の基準位置の座標情報は、Ｘ座標７００、Ｙ座標５００の位置になったことを示している。 Further, returning to the main process of FIG. 4, in the process of step S405, the resolution information and the reference position information transmitted in step S606 of the resolution information transmission process are updated and stored as shown in the resolution information database 1513 of FIG. Specifically, the resolution corresponding to the terminal ID Y3 is changed to 250 × 200, and the coordinate information of the reference position is changed to 700 and 500. The coordinate information here refers to P1 in FIG. 9 as reference coordinates (0, 0), a direction from P1 to the right as an X coordinate, and a direction from P1 to the down as a Y coordinate. Therefore, the coordinate information of the reference position with the terminal ID Y3 indicates that the position is the X coordinate 700 and the Y coordinate 500.
続いて、ステップＳ４０５の処理で解像度情報が更新された後、ステップＳ４０６の画像情報分割処理にて、更新された解像度と基準位置の情報に基づいて、図９に示すような分割領域情報が生成される。具体的に説明すると、上述したように端末ＩＤがＹ３の解像度と基準位置が変更されたことにより、各端末ＩＤに対応する分割領域の情報が変更されている。例えば、端末ＩＤがＹ１に対応する分割領域には、Ｄ，Ｅ，Ｆ，Ｇが選択され、端末ＩＤがＹ２に対応する分割領域には、Ｄ、Ｅが選択され、端末ＩＤがＹ３に対応する分割領域には、Ｅ、Ｆが選択されている。そして、ステップＳ４０６の処理以降のステップＳ４０７〜Ｓ４１０は、上述した処理と同じ処理が実行されるので、各拠点から解像度や基準位置の情報の変更指示があった場合でも、各拠点の解像度情報に対応した符号化された画像情報を送信することができる。 Subsequently, after the resolution information is updated in the process of step S405, the divided area information as shown in FIG. 9 is generated in the image information dividing process of step S406 based on the updated resolution and reference position information. Is done. Specifically, as described above, the information of the divided areas corresponding to each terminal ID is changed by changing the resolution and the reference position of the terminal ID Y3. For example, D, E, F, and G are selected for the divided area corresponding to the terminal ID Y1, D and E are selected for the divided area corresponding to the terminal ID Y2, and the terminal ID corresponds to Y3. E and F are selected as the divided areas to be performed. In steps S407 to S410 after the processing in step S406, the same processing as described above is executed. Therefore, even if there is an instruction to change the resolution or reference position information from each base, the resolution information of each base is included. Corresponding encoded image information can be transmitted.
したがって、上述したメイン処理を実行することにより、各拠点の表示装置１６１の表示性能に適した解像度になるように、分割して符号化された複数の符号化情報の中から選択して送信することができるので、通信端末装置１０の処理負荷を無駄に増加させることなく、ユーザは各拠点の表示手段１６１で最適な条件で画像情報を見ながら会議を行うことができる。 Therefore, by executing the above-described main processing, a plurality of pieces of encoded information divided and encoded are selected and transmitted so as to have a resolution suitable for the display performance of the display device 161 at each site. Therefore, the user can hold a conference while viewing the image information under the optimum conditions on the display means 161 at each site without unnecessarily increasing the processing load of the communication terminal device 10.
１０ 通信端末装置
１００ テレビ会議システム
２００ ネットワーク
５２０ 分割領域Ａ
５２１ 分割領域Ｂ
５２２ 分割領域Ｃ
６２０ 分割領域Ｄ
６２１ 分割領域Ｅ
６２２ 分割領域Ｆ
６２３ 分割領域Ｇ
１５１１ 解像度情報データベース
10 Communication terminal device 100 Video conference system 200 Network 520 Division area A
521 Division area B
522 Division area C
620 Divided area D
621 Division area E
622 Division area F
623 divided region G
1511 Resolution information database
Claims (6)
他拠点の前記通信端末装置から、表示手段へ表示するための画素数の情報である解像度情報を、前記通信端末装置を識別する情報である識別情報と対応付けして取得する解像度情報取得手段と、
前記解像度情報取得手段により取得した前記解像度情報に基づいて、前記画像情報を複数に分割した情報である分割画像情報を生成する画像分割手段と、
前記画像分割手段により生成された前記分割画像情報を符号化処理して分割符号化情報を生成する符号化手段と、
前記符号化手段により生成された複数の前記分割符号化情報の中から、前記解像度情報と前記識別情報とに基づいて、他拠点の前記通信端末装置に対応する前記分割符号化情報を選択する選択手段と、
前記選択手段により選択された前記分割符号化情報を、前記識別情報に対応した他拠点の前記通信端末装置へ送信する送信手段と
を備えることを特徴とする通信端末装置。 In communication terminal devices that are connected via a network between communication terminal devices installed at a plurality of bases and perform transmission and reception of acquired image information.
Resolution information acquisition means for acquiring resolution information, which is information on the number of pixels to be displayed on the display means, in association with identification information, which is information for identifying the communication terminal apparatus, from the communication terminal apparatus at another base; ,
Image dividing means for generating divided image information, which is information obtained by dividing the image information into a plurality of pieces, based on the resolution information acquired by the resolution information acquiring means;
Encoding means for encoding the divided image information generated by the image dividing means to generate divided encoded information;
Selection for selecting the divided coding information corresponding to the communication terminal device at another base, based on the resolution information and the identification information, from among the plurality of divided coding information generated by the coding unit Means,
A communication terminal device comprising: a transmission unit configured to transmit the divided coding information selected by the selection unit to the communication terminal device at another base corresponding to the identification information.
前記画像分割手段は、前記解像度情報毎の画素数を所定の基準点からｍ×ｎの外辺で示した領域情報で重層した時、前記外辺にて分割される領域を前記分割画像情報として生成することを特徴とする請求項１に記載の通信端末装置。 The resolution information is area information indicating the number of pixels by an outer side of m × n,
When the image dividing unit overlaps the number of pixels for each resolution information with area information indicated by m × n outer sides from a predetermined reference point, an area divided by the outer sides is used as the divided image information. The communication terminal device according to claim 1, wherein the communication terminal device is generated.
前記基準位置情報取得手段により取得した前記基準位置情報を他拠点の前記通信端末装置へ送信する基準位置情報送信手段と、
他拠点の前記通信端末装置の前記基準位置情報送信手段により送信された前記基準位置情報を受信する基準位置情報受信手段を備え、
前記画像分割手段は、前記基準位置情報受信手段により受信した前記基準位置情報を基準点として、前記画像分割情報を生成することを特徴とする請求項２乃至３のいずれかに記載の通信端末装置。 The communication terminal device includes reference position information acquisition means for acquiring reference position information which is information indicating the predetermined reference point of the resolution information;
Reference position information transmitting means for transmitting the reference position information acquired by the reference position information acquiring means to the communication terminal device at another base;
Reference position information receiving means for receiving the reference position information transmitted by the reference position information transmitting means of the communication terminal device of another base,
4. The communication terminal apparatus according to claim 2, wherein the image dividing unit generates the image division information using the reference position information received by the reference position information receiving unit as a reference point. .
他拠点の前記通信端末装置から、表示手段へ表示するための画素数の情報である解像度情報を、前記通信端末装置を識別する情報である識別情報と対応付けして取得する解像度情報取得ステップと、
前記解像度情報取得ステップにより取得した前記解像度情報に基づいて、前記画像情報を複数に分割した情報である分割画像情報を生成する画像分割ステップと、
前記画像分割ステップにより生成された前記分割画像情報を符号化処理して分割符号化情報を生成する符号化ステップと、
前記符号化ステップにより生成された複数の前記分割符号化情報の中から、前記解像度情報と前記識別情報とに基づいて、他拠点の前記通信端末装置に対応する前記分割符号化情報を選択する選択ステップと、
前記選択ステップにより選択された前記分割符号化情報を、前記識別情報に対応した他拠点の前記通信端末装置へ送信する送信ステップと
を処理することを特徴とする通信制御方法。 In a communication control method of processing in a communication terminal device that is connected via a network between communication terminal devices installed in a plurality of bases and performs transmission / reception of acquired image information,
A resolution information acquisition step of acquiring resolution information, which is information on the number of pixels to be displayed on the display means, in association with identification information, which is information for identifying the communication terminal device, from the communication terminal device at another base; ,
An image dividing step for generating divided image information, which is information obtained by dividing the image information into a plurality, based on the resolution information acquired by the resolution information acquiring step;
An encoding step of encoding the divided image information generated by the image dividing step to generate divided encoded information;
Selection for selecting the divided coding information corresponding to the communication terminal device at another base, based on the resolution information and the identification information, from among the plurality of divided coding information generated by the coding step Steps,
A communication control method comprising: processing the transmission step of transmitting the divided coding information selected in the selection step to the communication terminal device at another base corresponding to the identification information.
他拠点の前記通信端末装置から、表示手段へ表示するための画素数の情報である解像度情報を、前記通信端末装置を識別する情報である識別情報と対応付けして取得する解像度情報取得ステップと、
前記解像度情報取得ステップにより取得した前記解像度情報に基づいて、前記画像情報を複数に分割した情報である分割画像情報を生成する画像分割ステップと、
前記画像分割ステップにより分割された前記分割画像情報を符号化処理して分割符号化情報を生成する符号化ステップと、
前記符号化ステップにより生成された複数の前記分割符号化情報の中から、前記解像度情報と前記識別情報とに基づいて、他拠点の前記通信端末装置に対応する前記分割符号化情報を選択する選択ステップと、
前記選択ステップにより選択された前記分割符号化情報を、前記識別情報に対応した他拠点の前記通信端末装置へ送信する送信ステップと
を前記通信端末装置で実行させるための通信制御プログラム。 In a communication control program for executing a communication terminal device that is connected via a network between communication terminal devices installed at a plurality of bases and transmits / receives acquired image information,
A resolution information acquisition step of acquiring resolution information, which is information on the number of pixels to be displayed on the display means, in association with identification information, which is information for identifying the communication terminal device, from the communication terminal device at another base; ,
An image dividing step for generating divided image information, which is information obtained by dividing the image information into a plurality, based on the resolution information acquired by the resolution information acquiring step;
An encoding step of encoding the divided image information divided by the image dividing step to generate divided encoded information;
Selection for selecting the divided coding information corresponding to the communication terminal device at another base, based on the resolution information and the identification information, from among the plurality of divided coding information generated by the coding step Steps,
A communication control program for causing the communication terminal apparatus to execute a transmission step of transmitting the divided coding information selected in the selection step to the communication terminal apparatus at another base corresponding to the identification information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009214079A JP5310427B2 (en) | 2009-09-16 | 2009-09-16 | Communication terminal device, communication control method, and communication control program, |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009214079A JP5310427B2 (en) | 2009-09-16 | 2009-09-16 | Communication terminal device, communication control method, and communication control program, |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011066585A JP2011066585A (en) | 2011-03-31 |
| JP5310427B2 true JP5310427B2 (en) | 2013-10-09 |
Family
ID=43952370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009214079A Expired - Fee Related JP5310427B2 (en) | 2009-09-16 | 2009-09-16 | Communication terminal device, communication control method, and communication control program, |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5310427B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014003448A (en) | 2012-06-18 | 2014-01-09 | Ricoh Co Ltd | Transmission system, external input device, and program for display resolution conversion |
| WO2015146222A1 (en) * | 2014-03-25 | 2015-10-01 | 日本電気株式会社 | Portable terminal |
| JP6269781B2 (en) * | 2016-11-02 | 2018-01-31 | 株式会社リコー | Transmission system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06189303A (en) * | 1992-12-15 | 1994-07-08 | Casio Comput Co Ltd | Video telephone system |
| JPH08274961A (en) * | 1995-04-04 | 1996-10-18 | Canon Inc | Method and device for image transmission and resolution controller |
| JP2003283673A (en) * | 2002-03-26 | 2003-10-03 | Fuji Photo Film Co Ltd | Conference call system |
-
2009
- 2009-09-16 JP JP2009214079A patent/JP5310427B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011066585A (en) | 2011-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016511603A (en) | System and method for media streaming for multi-user control and shared display | |
| JP2017085372A (en) | Communication system, communication device, communication method and program | |
| EP2572504A1 (en) | Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium | |
| JP6582874B2 (en) | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM | |
| CN109547724B (en) | Video stream data processing method, electronic equipment and storage device | |
| JP6241802B1 (en) | Video distribution system, user terminal device, and video distribution method | |
| JP2007173952A (en) | Content reproduction system, reproducing unit and method, providing device and providing method, program, and recording medium | |
| JP2008092228A (en) | Video conference system and video conference method | |
| JP5310427B2 (en) | Communication terminal device, communication control method, and communication control program, | |
| JP2006235159A (en) | Image display device and program for operating the same | |
| US10771747B2 (en) | Imaging apparatus and imaging system | |
| US20070050830A1 (en) | Image data transmission apparatus and method, remote display control apparatus and control method thereof, program, and storage medium | |
| JP2008306355A (en) | Image reproduction processing device, image reproduction processing method, program, and recording medium | |
| JP6204655B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
| JP2017028660A (en) | Information processing device, image display method, communication system and program | |
| JP2011066745A (en) | Terminal apparatus, communication method and communication system | |
| JP5603840B2 (en) | Video tile size determination method | |
| JP2004021542A (en) | Image processing device, photographing terminal, and image processing system | |
| JP2021052325A (en) | Image capture device, system, method for controlling image capture device, and program | |
| JP6343377B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, IMAGING SYSTEM CONTROL METHOD, AND PROGRAM | |
| JP6444036B2 (en) | Imaging apparatus and imaging system | |
| JP2010141662A (en) | Image display apparatus, video conferencing device, and image display method | |
| JP5451852B2 (en) | VIDEO PROCESSING DEVICE AND ITS CONTROL METHOD, VIDEO OUTPUT DEVICE AND ITS CONTROL METHOD | |
| JP6214221B2 (en) | IMAGING DEVICE, CLIENT DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, CLIENT DEVICE CONTROL METHOD, AND IMAGING SYSTEM CONTROL METHOD | |
| JP2009171272A (en) | Video telephone terminal device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130617 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5310427 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |