JP6774057B2

JP6774057B2 - Image generation and transmission device, image generation and transmission method and program

Info

Publication number: JP6774057B2
Application number: JP2017014804A
Authority: JP
Inventors: 佳弘小澤; 啓二奥間; 善隆福永; 暢一片桐
Original assignee: Silex Technology Inc
Current assignee: Silex Technology Inc
Priority date: 2017-01-30
Filing date: 2017-01-30
Publication date: 2020-10-21
Anticipated expiration: 2037-01-30
Also published as: JP2018124684A

Description

本発明は、画像生成送信装置、画像生成送信方法およびプログラムに関する。 The present invention relates to an image generation and transmission device, an image generation and transmission method, and a program.

サーバ装置とクライアント装置とを備え、サーバ装置が、２つの画像データを生成し一方の画像データに対応する画像を自装置のディスプレイに表示させ他方の画像データを圧縮してクライアント装置へ送信するクライアントサーバシステムが提案されている（例えば特許文献１参照）。このクライアントサーバシステムでは、サーバ装置とクライアント装置が接続しているか否かの接続判断と２つの装置の距離が離れているか否かの判断を行うことで、クライアント装置は、サーバ装置から圧縮された画像データを受信すると、受信した画像データを展開しその画像データに対応する画像を自装置のディスプレイに表示させる。 A client that includes a server device and a client device, and the server device generates two image data, displays an image corresponding to one image data on the display of the own device, compresses the other image data, and transmits the other image data to the client device. A server system has been proposed (see, for example, Patent Document 1). In this client-server system, the client device is compressed from the server device by determining whether the server device and the client device are connected or not and whether the two devices are separated from each other. When the image data is received, the received image data is expanded and the image corresponding to the image data is displayed on the display of the own device.

特開２０１１−１９７８８７号公報Japanese Unexamined Patent Publication No. 2011-197887

しかしながら、特許文献１に記載のクライアントサーバシステムでは、サーバ装置がクライアント装置から接続要求を受け、サーバ装置とクライアント装置との接続が確立したときに接続したとの判断がなされることから、クライアント装置から接続要求が送信されない場合は、運用できない。例えば、クライアント装置が、ユーザの操作で接続要求ができない装置（つまり、接続要求を自律的に送信できない装置）では、サーバ装置とクライアント装置との接続が確立できず、システムの運用ができないという問題がある。 However, in the client-server system described in Patent Document 1, since the server device receives a connection request from the client device and is determined to be connected when the connection between the server device and the client device is established, the client device is determined. If the connection request is not sent from, it cannot be operated. For example, if the client device cannot make a connection request by user operation (that is, a device that cannot autonomously send a connection request), the connection between the server device and the client device cannot be established, and the system cannot be operated. There is.

また、サーバ装置とクライアント装置との距離を種々の方法（ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ（登録商標）による電波強度など）を用いて判断することで、クライアント装置は、サーバ装置から圧縮された画像データを受信している。しかし、その分、表示システム全体のコストが増大してしまう。 Further, by determining the distance between the server device and the client device using various methods (GPS, Bluetooth intensity by Bluetooth®, etc.), the client device receives the compressed image data from the server device. ing. However, the cost of the entire display system increases accordingly.

さらに、クライアント装置のディスプレイに画像を表示させる場合、それに応じて、表示システムの運用にあたり、ユーザによるクライアント装置の操作や設定などが必要となり、運用が煩雑になる虞がある。 Further, when displaying an image on the display of the client device, the operation of the display system requires the user to operate and set the client device, which may complicate the operation.

本発明は、上記事由に鑑みてなされたものであり、表示システムの構成の簡略化とユーザの利便性を向上させる画像生成送信装置、画像生成送信方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above reasons, and an object of the present invention is to provide an image generation / transmission device, an image generation / transmission method, and a program that simplify the configuration of a display system and improve user convenience.

上記目的を達成するために、本発明に係る画像生成送信装置は、
画像データを生成し、ネットワークを経由して、ディスプレイに接続された受信装置へ送信する画像生成送信装置であって、
画像データを特定する画像特定情報を生成する画像生成部を有する主処理ユニットと、
前記画像特定情報に基づいて第１画像データおよび第２画像データを生成するグラフィックプロセッサと、前記第１画像データを記憶する第１記憶部と、前記第２画像データを記憶する第２記憶部と、を有するグラフィック処理ユニットと、を備え、
前記グラフィック処理ユニットは、更に、
前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートと、
前記第２記憶部が記憶する前記第２画像データを出力する第２画像出力ポートと、
前記第１画像出力ポートおよび前記第２画像出力ポートの接続状態を判定する接続判定回路と、を有し、
前記主処理ユニットは、更に、
第３記憶部と、
前記第１画像データを前記第３記憶部に転送する転送部と、
前記第３記憶部が記憶する第１画像データを圧縮する画像圧縮部と、
前記画像圧縮部により圧縮された第１画像データを前記受信装置へ送信する画像送信部と、
前記接続判定回路により、前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィックプロセッサに、前記第１画像データおよび前記第２画像データの両方を生成させる生成指令部と、を有する。
In order to achieve the above object, the image generation and transmission device according to the present invention
An image generation / transmission device that generates image data and transmits it to a receiving device connected to a display via a network.
A main processing unit having an image generation unit that generates image specific information that specifies image data,
A graphic processor that generates first image data and second image data based on the image specific information, a first storage unit that stores the first image data, and a second storage unit that stores the second image data. With a graphic processing unit, which has,
The graphic processing unit further
A first image output port that pseudo-outputs the first image data stored in the first storage unit, and
A second image output port that outputs the second image data stored in the second storage unit, and
It has a connection determination circuit for determining the connection state of the first image output port and the second image output port.
The main processing unit further
With the third memory
A transfer unit that transfers the first image data to the third storage unit, and
An image compression unit that compresses the first image data stored in the third storage unit, and
An image transmission unit that transmits the first image data compressed by the image compression unit to the reception device, and an image transmission unit.
When it is determined by the connection determination circuit that the termination device is connected to the first image output port and nothing is connected to the second image output port, only the first image data is transmitted to the graphic processor. When it is determined that the display is connected to the second image output port and nothing is connected to the first image output port, the graphic processor is made to generate only the second image data. When it is determined that a display or a terminal device is connected to each of the first image output port and the second image output port, the graphic processor is made to generate both the first image data and the second image data. It has a generation command unit.

他の観点から見た本発明に係る画像生成送信方法は、
グラフィック処理ユニットが画像データを生成し、主処理ユニットが、ネットワークを経由して、ディスプレイに接続された受信装置へ前記画像データを送信する画像生成送信方法であって、
前記主処理ユニットが、画像データを特定する画像特定情報を生成し前記グラフィック処理ユニットへ出力するステップと、
前記グラフィック処理ユニットが、前記画像特定情報に基づいて第１画像データを生成して第１記憶部に記憶させるステップと、
前記グラフィック処理ユニットが、前記画像特定情報に基づいて第２画像データを生成して第２記憶部に記憶させるステップと、
前記主処理ユニットが、前記第１画像データを第３記憶部に転送するステップと、
前記主処理ユニットが、前記第３記憶部が記憶する第１画像データを圧縮するステップと、
前記主処理ユニットが、圧縮された第１画像データを前記受信装置へ送信するステップと、
前記グラフィック処理ユニットが、前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートおよび前記第２記憶部が記憶する前記第２画像データを出力する第２画像出力ポートそれぞれの接続状態を判定するステップと、
前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィック処理ユニットに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィック処理ユニットに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィック処理ユニットに、前記第１画像データおよび前記第２画像データの両方を生成させるステップと、を含む。
The image generation and transmission method according to the present invention from another viewpoint is
An image generation transmission method in which a graphic processing unit generates image data, and a main processing unit transmits the image data to a receiving device connected to a display via a network.
A step in which the main processing unit generates image identification information for specifying image data and outputs it to the graphic processing unit.
A step in which the graphic processing unit generates first image data based on the image identification information and stores it in the first storage unit.
A step in which the graphic processing unit generates second image data based on the image identification information and stores it in the second storage unit.
A step in which the main processing unit transfers the first image data to the third storage unit,
A step in which the main processing unit compresses the first image data stored in the third storage unit,
A step in which the main processing unit transmits the compressed first image data to the receiving device, and
The graphic processing unit has a first image output port that pseudo-outputs the first image data stored in the first storage unit, and a second image that outputs the second image data stored in the second storage unit. Steps to determine the connection status of each output port and
When it is determined that the termination device is connected to the first image output port and nothing is connected to the second image output port, the graphic processing unit is made to generate only the first image data, and the first image data is generated. When it is determined that the display is connected to the two image output ports and nothing is connected to the first image output port, the graphic processing unit is made to generate only the second image data, and the first image output is performed. When it is determined that a display or a terminal device is connected to each of the port and the second image output port, a step of causing the graphic processing unit to generate both the first image data and the second image data, and including.

他の観点から見た本発明に係るプログラムは、
コンピュータを、
画像データを特定する画像特定情報を生成する画像生成部、
グラフィックプロセッサが前記画像特定情報に基づいて第１画像データおよび第２画像データを生成して第１画像データを第１記憶部に記憶させ、第２画像データを第２記憶部に記憶させた場合、前記第１画像データを第３記憶部へ転送する転送部、
前記第３記憶部が記憶する第１画像データを圧縮する画像圧縮部、
前記画像圧縮部により圧縮された第１画像データをディスプレイに接続された受信装置へ送信する画像送信部、
前記第１記憶部が記憶する前記第１画像データを疑似的に出力する第１画像出力ポートと、前記第２記憶部に記憶する前記第２画像データを出力する第２画像出力ポートと、の接続状態を判定する接続判定回路により、前記第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第１画像データのみを生成させ、前記第２画像出力ポートにディスプレイが接続され且つ前記第１画像出力ポートに何も接続されていないと判定されると、前記グラフィックプロセッサに、前記第２画像データのみを生成させ、前記第１画像出力ポートおよび前記第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、前記グラフィックプロセッサに、前記第１画像データおよび前記第２画像データの両方を生成させる生成指令部、として機能させる。
The program according to the present invention from another point of view
Computer,
Image generator that generates image specific information that identifies image data,
When the graphic processor generates the first image data and the second image data based on the image specific information, stores the first image data in the first storage unit, and stores the second image data in the second storage unit. , A transfer unit that transfers the first image data to the third storage unit,
An image compression unit that compresses the first image data stored in the third storage unit,
An image transmission unit that transmits the first image data compressed by the image compression unit to a receiving device connected to a display.
A first image output port that pseudo-outputs the first image data stored in the first storage unit, and a second image output port that outputs the second image data stored in the second storage unit. When the connection determination circuit for determining the connection state determines that the termination device is connected to the first image output port and nothing is connected to the second image output port, the first image processor is connected to the first image processor. When it is determined that only the image data is generated and the display is connected to the second image output port and nothing is connected to the first image output port, only the second image data is transmitted to the graphic processor. When it is determined that the display or the termination device is connected to the first image output port and the second image output port, respectively, the graphic processor is informed of the first image data and the second image data. It functions as a generation command unit that generates both.

本発明によれば、グラフィックプロセッサが、画像特定情報に基づいて画像データを生成して第１記憶部に記憶し、転送部が、第１記憶部が記憶する画像データを第３記憶部へ転送する。そして、グラフィック処理ユニットが、第１画像出力ポートおよび第２画像出力ポートの接続状態を判定する接続判定回路を有し、グラフィックプロセッサが、接続判定回路により、第１画像出力ポートに終端装置が接続され且つ前記第２画像出力ポートに何も接続されていないと判定されると、第１画像データのみを生成し、第２画像出力ポートにディスプレイが接続され且つ第１画像出力ポートに何も接続されていないと判定されると、第２画像データのみを生成し、第１画像出力ポートおよび第２画像出力ポートそれぞれにディスプレイまたは終端装置が接続されていると判定されると、第１画像データおよび第２画像データの両方を生成する。これにより、例えば画像生成送信装置に接続される機器からの接続要求を受けなくても第１画像データおよび第２画像データの出力制御が可能となるので、表示システムの構成の簡略化とユーザの利便性を向上させる。 According to the present invention, the graphic processor generates image data based on the image specific information and stores it in the first storage unit, and the transfer unit transfers the image data stored in the first storage unit to the third storage unit. To do. Then, the graphic processing unit has a connection determination circuit for determining the connection state of the first image output port and the second image output port, the graphic processor connects the termination device to the first image output port by the connection determination circuit. If it is determined that nothing is connected to the second image output port, only the first image data is generated, the display is connected to the second image output port, and nothing is connected to the first image output port. If it is determined that this is not the case, only the second image data is generated, and if it is determined that a display or a terminal device is connected to each of the first image output port and the second image output port, the first image data is generated. And generate both the second image data. As a result, for example, output control of the first image data and the second image data can be performed without receiving a connection request from a device connected to the image generation / transmission device, so that the configuration of the display system can be simplified and the user can control the output. Improve convenience.

本発明の実施の形態に係る表示システムの構成を示す図である。It is a figure which shows the structure of the display system which concerns on embodiment of this invention. 実施の形態に係る画像生成送信装置のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the image generation transmission apparatus which concerns on embodiment. 実施の形態に係る画像生成送信装置の機能構成を示す図である。It is a figure which shows the functional structure of the image generation transmission apparatus which concerns on embodiment. 実施の形態に係る画像生成送信装置が実行する画像生成送信処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the image generation transmission processing executed by the image generation transmission apparatus which concerns on embodiment. （Ａ）は実施の形態に係る一方のディスプレイに表示される表示画像の一例を示す図であり、（Ｂ）は実施の形態に係る他方のディスプレイに表示される表示画像の一例を示す図である。(A) is a diagram showing an example of a display image displayed on one display according to the embodiment, and (B) is a diagram showing an example of a display image displayed on the other display according to the embodiment. is there. （Ａ）は比較例に係る画像生成送信装置の機能構成の一部を示す図であり、（Ｂ）は実施の形態に係る画像生成送信装置の機能構成の一部を示す図である。(A) is a diagram showing a part of the functional configuration of the image generation transmission device according to the comparative example, and (B) is a diagram showing a part of the functional configuration of the image generation transmission device according to the embodiment. （Ａ）は比較例に係るディスプレイ２、３の画像更新タイミングを示すタイムチャートであり、（Ｂ）は実施の形態に係るディスプレイ２、３の画像更新タイミングを示すタイムチャートである。(A) is a time chart showing the image update timings of the displays 2 and 3 according to the comparative example, and (B) is a time chart showing the image update timings of the displays 2 and 3 according to the embodiment.

以下、本発明の一実施の形態に係る通信制御システムについて、図面を参照しながら説明する。 Hereinafter, the communication control system according to the embodiment of the present invention will be described with reference to the drawings.

本実施の形態に係る表示システムは、グラフィックボードを搭載した画像生成送信装置と、画像生成送信装置から離れて設置され画像生成送信装置とネットワークを介して接続された受信装置と、受信装置に接続されたディスプレイと、を備える。画像生成送信装置は、画像データを生成し圧縮してから、ネットワークを介して受信装置へ送信する。一方、受信装置は、画像生成送信装置から受信した画像データを展開してディスプレイへ出力する。 The display system according to the present embodiment is connected to an image generation / transmission device equipped with a graphic board, a reception device installed away from the image generation / transmission device and connected to the image generation / transmission device via a network, and a reception device. It is equipped with a display. The image generation transmission device generates image data, compresses it, and then transmits it to the reception device via a network. On the other hand, the receiving device expands the image data received from the image generating / transmitting device and outputs the image data to the display.

本実施の形態に係る表示システムは、図１に示すように、画像生成送信装置１と、ディスプレイ２、３と、受信装置４と、を備える。画像生成送信装置１は、第１画像データと第２画像データとを生成する。そして、画像生成送信装置１は、生成した第１画像データに対応する画像を、画像生成送信装置１との間で無線通信可能な受信装置４に接続されたディスプレイ２に表示させる。一方、画像生成送信装置１は、生成した第２画像データに対応する画像を、画像生成送信装置１にケーブルＬ１を介して接続されたディスプレイ３に表示させる。ディスプレイ２、３は、例えば液晶ディスプレイから構成され、画像生成送信装置１にケーブルＬ１を介して接続されると、ディスプレイ２、３の仕様を示す仕様情報（接続判定用情報）を画像生成送信装置１へ出力する機能を有する。 As shown in FIG. 1, the display system according to the present embodiment includes an image generation / transmission device 1, displays 2 and 3, and a reception device 4. The image generation transmission device 1 generates the first image data and the second image data. Then, the image generation / transmission device 1 displays the image corresponding to the generated first image data on the display 2 connected to the reception device 4 capable of wireless communication with the image generation / transmission device 1. On the other hand, the image generation / transmission device 1 displays an image corresponding to the generated second image data on the display 3 connected to the image generation / transmission device 1 via the cable L1. The displays 2 and 3 are composed of, for example, a liquid crystal display, and when connected to the image generation and transmission device 1 via a cable L1, the image generation and transmission device provides specification information (connection determination information) indicating the specifications of the displays 2 and 3. It has a function to output to 1.

受信装置４は、画像生成送信装置１から圧縮された第１画像データを受信する受信回路と、受信回路で受信した画像データを展開する展開回路と、を有する。展開回路は、例えばＪＰＥＧ（Joint Photographic Picture Experts Group）規格に基づく圧縮方式で圧縮された第１画像データを復号化する復号化器から構成される。展開回路は、ハフマン符号化テーブルに基づいて第１画像データをハフマン復号化した後、量子化テーブルに基づいて第１画像データに逆量子化を施す。その後、展開回路は、第１画像データについて逆離散コサイン変換（以下、「ＤＣＴ」と称する。）を施すことにより展開した第１画像データを出力する。 The receiving device 4 includes a receiving circuit that receives the first image data compressed from the image generating and transmitting device 1, and a developing circuit that develops the image data received by the receiving circuit. The decompression circuit is composed of, for example, a decoder that decodes the first image data compressed by a compression method based on the JPEG (Joint Photographic Picture Experts Group) standard. The expansion circuit Huffman-decodes the first image data based on the Huffman coding table, and then dequantizes the first image data based on the quantization table. After that, the expansion circuit outputs the expanded first image data by performing an inverse discrete cosine transform (hereinafter, referred to as “DCT”) on the first image data.

画像生成送信装置１は、汎用のパーソナルコンピュータ（以下、「ＰＣ」と称する。）から構成され、主処理ユニット１１と、グラフィックボード（グラフィック処理ユニット）１２と、無線モジュール１３と、を有する。また、画像生成送信装置１は、第１画像出力ポート１４１、第２画像出力ポート１４２を有する。第１画像出力ポート１４１には、ダミープラグ５が接続されている。第２画像出力ポート１４２は、ケーブルＬ１を介してディスプレイ３に接続されている。第１画像出力ポート１４１および第２画像出力ポート１４２は、画像生成送信装置１とディスプレイ２、３との間で画像表示のための信号を入出力を行うことができるポートであればよい。例えばＤＶＩ−Ｄ、ＤＶＩ−Ａ、ＤＶＩ−Ｉ、ＤＶＩ／ＨＤＣＰ、Ｍｉｎｉ−ＤＶＩ等のＤＶＩコネクタや、ＨＤＭＩ（登録商標）から構成されている。 The image generation / transmission device 1 is composed of a general-purpose personal computer (hereinafter, referred to as “PC”), and includes a main processing unit 11, a graphic board (graphic processing unit) 12, and a wireless module 13. Further, the image generation / transmission device 1 has a first image output port 141 and a second image output port 142. A dummy plug 5 is connected to the first image output port 141. The second image output port 142 is connected to the display 3 via the cable L1. The first image output port 141 and the second image output port 142 may be any ports capable of inputting and outputting signals for image display between the image generation and transmission device 1 and the displays 2 and 3. For example, it is composed of a DVI connector such as DVI-D, DVI-A, DVI-I, DVI / HDCP, Mini-DVI, and HDMI (registered trademark).

図２は、実施の形態に係る画像生成送信装置のハードウェア構成を示す図である。ダミープラグ５（終端装置ともいう）は、図２に示すように、予めディスプレイ２の仕様を示す仕様情報を記憶するメモリ５１を有する。メモリ５１は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）から構成される。ダミープラグ５は、第１画像出力ポート１４１に接続されると、第１画像出力ポート１４１を介して画像生成送信装置１へディスプレイ２の仕様情報（例えば、解像度、周波数、オーディオ情報、３Ｄ対応可否など）を出力する機能を有する。なお、ダミープラグ５は、第１画像出力ポート１４１の種類に応じてカスタマイズされてもよい。 FIG. 2 is a diagram showing a hardware configuration of an image generation / transmission device according to an embodiment. As shown in FIG. 2, the dummy plug 5 (also referred to as a terminal device) has a memory 51 that stores specification information indicating the specifications of the display 2 in advance. The memory 51 is composed of, for example, an EEPROM (Electrically Erasable Programmable Read-Only Memory). When the dummy plug 5 is connected to the first image output port 141, the specification information of the display 2 (for example, resolution, frequency, audio information, 3D compatibility) is sent to the image generation / transmission device 1 via the first image output port 141. Etc.) It has a function to output. The dummy plug 5 may be customized according to the type of the first image output port 141.

主処理ユニット１１は、ＣＰＵ（Central Processing Unit）１１１と補助記憶部１１２と主記憶部１１３とＤＭＡコントローラ１１４とユーザインタフェース（以下、「Ｉ／Ｆ」と称する。）１１５とネットワーク通信Ｉ／Ｆ１１６とバス１１７とを有する。主記憶部１１３は、揮発性メモリから構成され、ＣＰＵ１１１の作業領域として使用される。補助記憶部１１２は、不揮発性のメモリから構成され、各種プログラムを記憶する。ＤＭＡコントローラ１１４は、後述のグラフィックボード１２のＶＲＡＭ（Video Random Access Memory）１２２から主処理ユニット１１の主記憶部１１３へのデータ転送を制御する。ユーザＩ／Ｆ１１５は、例えばユーザに操作画面を提供する表示部と、ユーザからの入力を受け付ける入力部と、を有する。ネットワーク通信Ｉ／Ｆ１１６は、無線ＬＡＮコントローラを含んで構成され、無線モジュール１３が接続されている。 The main processing unit 11 includes a CPU (Central Processing Unit) 111, an auxiliary storage unit 112, a main storage unit 113, a DMA controller 114, a user interface (hereinafter referred to as "I / F") 115, and a network communication I / F 116. It has a bus 117 and. The main storage unit 113 is composed of a volatile memory and is used as a work area of the CPU 111. The auxiliary storage unit 112 is composed of a non-volatile memory and stores various programs. The DMA controller 114 controls data transfer from the VRAM (Video Random Access Memory) 122 of the graphic board 12, which will be described later, to the main storage unit 113 of the main processing unit 11. The user I / F 115 has, for example, a display unit that provides an operation screen to the user and an input unit that accepts input from the user. The network communication I / F 116 includes a wireless LAN controller, and the wireless module 13 is connected to the network communication I / F 116.

グラフィックボード１２は、グラフィックプロセッサ１２１とＶＲＡＭ１２２、１２３と接続判定回路１２４とバス１２５とを有する。グラフィックプロセッサ１２１は、例えば複数のプロセッサコアを搭載したマルチコアプロセッサから構成される。グラフィックプロセッサ１２１は、主処理ユニット１１から入力される後述の画像特定情報に基づいて、レンダリングを実行して第１画像データおよび第２画像データを生成する。グラフィックプロセッサ１２１は、生成した第１画像データ、第２画像データをそれぞれＶＲＡＭ１２２、１２３に記憶させる。 The graphic board 12 has a graphic processor 121, VRAMs 122 and 123, a connection determination circuit 124, and a bus 125. The graphic processor 121 is composed of, for example, a multi-core processor having a plurality of processor cores. The graphic processor 121 executes rendering to generate first image data and second image data based on the image identification information described later input from the main processing unit 11. The graphic processor 121 stores the generated first image data and the second image data in the VRAMs 122 and 123, respectively.

接続判定回路１２４は、第１画像出力ポート１４１にダミープラグ５が接続されているか否か、第２画像出力ポート１４２にケーブルＬ１が接続されているか否かを判定する。接続判定回路１２４は、第１画像出力ポート１４１、第２画像出力ポート１４２を介して仕様情報が入力されているか否かに基づいて、第１画像出力ポート１４１、第２画像出力ポート１４２の接続状態を判定する。接続判定回路１２４は、第１画像出力ポート１４１へ仕様情報が入力されている場合、ダミープラグ５が第１画像出力ポート１４１に接続されていると判定する。また、接続判定回路１２４は、第２画像出力ポート１４２へ仕様情報が入力されている場合、ケーブルＬ１が第２画像出力ポート１４２に接続されていると判定する。接続判定回路１２４は、第１画像出力ポート１４１、第２画像出力ポート１４２それぞれについての接続状態の判定結果を示す接続判定通知信号を主処理ユニット１１へ出力する。 The connection determination circuit 124 determines whether or not the dummy plug 5 is connected to the first image output port 141 and whether or not the cable L1 is connected to the second image output port 142. The connection determination circuit 124 connects the first image output port 141 and the second image output port 142 based on whether or not the specification information is input via the first image output port 141 and the second image output port 142. Determine the state. When the specification information is input to the first image output port 141, the connection determination circuit 124 determines that the dummy plug 5 is connected to the first image output port 141. Further, the connection determination circuit 124 determines that the cable L1 is connected to the second image output port 142 when the specification information is input to the second image output port 142. The connection determination circuit 124 outputs a connection determination notification signal indicating the determination result of the connection state for each of the first image output port 141 and the second image output port 142 to the main processing unit 11.

無線モジュール１３は、受信装置４との間で通信リンクを確立し、無線通信を行う。無線モジュール１３は、無線信号を生成する信号生成回路とアンテナとを有する。無線モジュール１３は、例えばＩＥＥＥ８０２．１１ａ，ｂ，ｇ，ｎ等の無線ＬＡＮ規格に適合する通信方式で通信する。 The wireless module 13 establishes a communication link with the receiving device 4 and performs wireless communication. The wireless module 13 has a signal generation circuit for generating a wireless signal and an antenna. The wireless module 13 communicates by a communication method conforming to a wireless LAN standard such as IEEE802.11a, b, g, n.

ハードウェア構成は、一例であって、例えば、グラフィックボード１２は、主処理ユニット１１と一体に構成されても良いし、または、グラフィックプロセッサ１２１はＣＰＵ１１１と一体に構成されていても良い。 The hardware configuration is an example, and for example, the graphic board 12 may be integrally configured with the main processing unit 11, or the graphic processor 121 may be integrally configured with the CPU 111.

図３は、実施の形態に係る画像生成送信装置の機能構成を示す図である。図２における主処理ユニット１１のＣＰＵ１１１は、補助記憶部１１２が記憶する後述の画像生成送信処理用のプログラムを主記憶部１１３に読み込んで実行することにより、図３に示すように、画像生成部１１１１、グラフィックドライバ１１１２、画像圧縮部１１１３、画像送信部１１１４、プレビュー画像生成部１１１５、合成部１１１６、選択部（生成指令部）１１１７および表示モード設定部１１１８、として機能する。また、グラフィックプロセッサ１２１は、レンダリングエンジン１２１１として機能する。ＶＲＡＭ１２２は、レンダリングエンジン１２１１により生成される第１画像データを記憶する第１画像バッファ（第１記憶部）１２２１と、画像出力部１２２２と、を有する。ＶＲＡＭ１２３は、レンダリングエンジン１２１１により生成される第２画像データを記憶する第２画像バッファ（第２記憶部）１２３１と、画像出力部１２３２と、を有する。また、主記憶部１１３は、フレームバッファ（第３記憶部）１１３１と、プレビュー画像を示すプレビュー画像データ（縮小画像データ）を記憶するプレビュー画像バッファ１１３２と、を有する。 FIG. 3 is a diagram showing a functional configuration of the image generation / transmission device according to the embodiment. As shown in FIG. 3, the CPU 111 of the main processing unit 11 in FIG. 2 reads and executes a program for image generation transmission processing described later, which is stored in the auxiliary storage unit 112, into the main storage unit 113, and as shown in FIG. It functions as 1111, a graphic driver 1112, an image compression unit 1113, an image transmission unit 1114, a preview image generation unit 1115, a composition unit 1116, a selection unit (generation command unit) 1117, and a display mode setting unit 1118. The graphic processor 121 also functions as a rendering engine 1211. The VRAM 122 has a first image buffer (first storage unit) 1221 for storing the first image data generated by the rendering engine 1211 and an image output unit 1222. The VRAM 123 has a second image buffer (second storage unit) 1231 for storing the second image data generated by the rendering engine 1211, and an image output unit 1232. Further, the main storage unit 113 has a frame buffer (third storage unit) 1131 and a preview image buffer 1132 for storing preview image data (reduced image data) indicating a preview image.

画像生成部１１１１は、グラフィックプロセッサ１２１が生成する画像データを特定する画像特定情報を生成し、グラフィックボード１２へ出力する。画像特定情報には、例えば物体の形状を示す情報や物体を捉える視点を示す情報、テクスチャマッピングに関する情報、光源に関する情報、シェーディングに関する情報等が含まれる。 The image generation unit 1111 generates image identification information that specifies the image data generated by the graphic processor 121, and outputs the image identification information to the graphic board 12. The image specific information includes, for example, information indicating the shape of an object, information indicating a viewpoint for capturing an object, information on texture mapping, information on a light source, information on shading, and the like.

グラフィックドライバ１１１２は、画像生成部１１１１が利用するオペレーティングシステムにより使用され、グラフィックプロセッサ１２１と通信する機能を有する。画像生成部１１１１は、このグラフィックドライバ１１１２を介して、生成した画像特定情報をレンダリングエンジン１２１１へ出力する。 The graphic driver 1112 is used by the operating system used by the image generator 1111 and has a function of communicating with the graphic processor 121. The image generation unit 1111 outputs the generated image identification information to the rendering engine 1211 via the graphic driver 1112.

レンダリングエンジン１２１１は、グラフィックドライバ１１１２から入力される画像特定情報に基づいて、レンダリングを実行することにより第１画像データ、第２画像データを生成する。 The rendering engine 1211 generates the first image data and the second image data by executing rendering based on the image identification information input from the graphic driver 1112.

画像出力部１２２２は、第１画像バッファ１２２１が記憶する第１画像データを、図２の第１画像出力ポート１４１へ疑似的に出力する。疑似的とは、第１画像出力ポート１４１にダミープラグ５が接続されているので、画像の表示は行われない事を意味している。第１画像データは後述のとおり、転送部１１４１からネットワークを経由して受信装置４に送信される。画像出力部１２３２は、第２画像バッファ１２３１が記憶する第２画像データを、図２の第２画像出力ポート１４２へ出力する。 The image output unit 1222 pseudo-outputs the first image data stored in the first image buffer 1221 to the first image output port 141 of FIG. Pseudo means that the image is not displayed because the dummy plug 5 is connected to the first image output port 141. As will be described later, the first image data is transmitted from the transfer unit 1141 to the receiving device 4 via the network. The image output unit 1232 outputs the second image data stored in the second image buffer 1231 to the second image output port 142 of FIG.

転送部１１４１は、第１画像バッファ１２２１が記憶する第１画像データを、主記憶部１１３のフレームバッファ１１３１へ転送する。 The transfer unit 1141 transfers the first image data stored in the first image buffer 1221 to the frame buffer 1131 of the main storage unit 113.

画像圧縮部１１１３は、フレームバッファ１１３１が記憶する第１画像データを圧縮して画像送信部１１１４へ出力する。画像圧縮部１１１３は、例えばＪＰＥＧ規格に基づく圧縮方式で第１画像データを圧縮する。画像圧縮部１１１３は、第１画像データについてＤＣＴを施した後、量子化テーブルに基づいて第１画像データを量子化する。その後、画像圧縮部１１１３は、ハフマン符号化テーブルに基づいて第１画像データについてハフマン符号化を施す。 The image compression unit 1113 compresses the first image data stored in the frame buffer 1131 and outputs it to the image transmission unit 1114. The image compression unit 1113 compresses the first image data by, for example, a compression method based on the JPEG standard. The image compression unit 1113 performs DCT on the first image data, and then quantizes the first image data based on the quantization table. After that, the image compression unit 1113 applies Huffman coding to the first image data based on the Huffman coding table.

画像送信部１１１４は、画像圧縮部１１１３から入力される圧縮された第１画像データを、ネットワーク通信Ｉ／Ｆ１１６および無線モジュール１３を介して受信装置４へ送信する。 The image transmission unit 1114 transmits the compressed first image data input from the image compression unit 1113 to the receiving device 4 via the network communication I / F 116 and the wireless module 13.

プレビュー画像生成部（縮小画像データ生成部）１１１５は、フレームバッファ１１３１から第１画像データを取得して、第１画像データが示す画像の縮小画像を示すプレビュー画像データを生成する。ここで、プレビュー画像生成部１１１５は、例えばダウンサンプリング法や平均操作法を利用してプレビュー画像データを生成する。この場合、プレビュー画像は、フレームバッファ１１３１が記憶する画像データに対応する画像よりも低い解像度の画像となる。プレビュー画像生成部１１１５は、生成したプレビュー画像データをプレビュー画像バッファ１１３２に記憶させる。 The preview image generation unit (reduced image data generation unit) 1115 acquires the first image data from the frame buffer 1131 and generates preview image data indicating the reduced image of the image indicated by the first image data. Here, the preview image generation unit 1115 generates preview image data by using, for example, a downsampling method or an average operation method. In this case, the preview image is an image having a lower resolution than the image corresponding to the image data stored in the frame buffer 1131. The preview image generation unit 1115 stores the generated preview image data in the preview image buffer 1132.

合成部１１１６は、プレビュー画像バッファ１１３２からプレビュー画像データを取得し、取得したプレビュー画像データを、第２画像バッファ１２３１が記憶する第２画像データと合成する。 The synthesis unit 1116 acquires the preview image data from the preview image buffer 1132, and synthesizes the acquired preview image data with the second image data stored in the second image buffer 1231.

選択部１１１７は、図２の接続判定回路１２４による判定結果に応じて、レンダリングエンジン１２１１に、第１画像データと第２画像データとの少なくとも一方を生成させる。選択部１１１７は、図２の接続判定回路１２４から入力される接続判定通知信号を介して、接続判定回路１２４による判定結果を取得する。例えば接続判定通知信号が、図２の第１画像出力ポート１４１が開放され第２画像出力ポート１４２にディスプレイ３が接続されていることを示している場合、選択部１１１７は、レンダリングエンジン１２１１に第２画像データのみを生成させる。一方、接続判定通知信号が、例えば図２の第１画像出力ポート１４１にダミープラグ５、即ち、ディスプレイ２が接続され、且つ第２画像出力ポート１４２にディスプレイ３が接続されていることを示している場合、選択部１１１７は、レンダリングエンジン１２１１に第１画像データおよび第２画像データの両方を生成させる。 The selection unit 1117 causes the rendering engine 1211 to generate at least one of the first image data and the second image data according to the determination result by the connection determination circuit 124 of FIG. The selection unit 1117 acquires the determination result by the connection determination circuit 124 via the connection determination notification signal input from the connection determination circuit 124 of FIG. For example, when the connection determination notification signal indicates that the first image output port 141 of FIG. 2 is opened and the display 3 is connected to the second image output port 142, the selection unit 1117 is connected to the rendering engine 1211. 2 Generate only image data. On the other hand, the connection determination notification signal indicates, for example, that the dummy plug 5, that is, the display 2 is connected to the first image output port 141 of FIG. 2, and the display 3 is connected to the second image output port 142. If so, the selection unit 1117 causes the rendering engine 1211 to generate both the first image data and the second image data.

表示モード設定部１１１８は、画像生成送信装置１の表示モードをプレビュー画像表示モードまたはプレビュー画像非表示モードのいずれかに設定する。表示モード設定部１１１８は、ユーザが図２のユーザＩ／Ｆ１１５を介して行う表示モード設定操作に応じて、表示モードの設定を実行する。画像生成送信装置１の表示モードがプレビュー画像表示モードに設定されている場合、第１画像データに対応するプレビュー画像データが、第２画像バッファ１２３１が記憶する第２画像データに合成される。そして、プレビュー画像データが合成された第２画像データが、第２画像出力ポート１４２へ出力される。一方、画像生成送信装置１の表示モードがプレビュー画像非表示モードに設定されている場合、レンダリングエンジン１２１１により生成された第２画像データがそのまま第２画像出力ポート１４２へ出力される。 The display mode setting unit 1118 sets the display mode of the image generation transmission device 1 to either the preview image display mode or the preview image non-display mode. The display mode setting unit 1118 executes the display mode setting according to the display mode setting operation performed by the user via the user I / F 115 of FIG. When the display mode of the image generation transmission device 1 is set to the preview image display mode, the preview image data corresponding to the first image data is combined with the second image data stored in the second image buffer 1231. Then, the second image data in which the preview image data is combined is output to the second image output port 142. On the other hand, when the display mode of the image generation transmission device 1 is set to the preview image non-display mode, the second image data generated by the rendering engine 1211 is output to the second image output port 142 as it is.

次に、本実施の形態に係る画像生成送信装置１が実行する画像生成送信処理について図４、図５（Ａ）および図５（Ｂ）を参照しながら説明する。この画像生成送信処理は、画像生成送信装置１へ電源が投入されたことを契機として開始される。まず、主処理ユニット１１が、グラフィックプロセッサ１２１を起動するよう指令する起動指令情報をグラフィックボード１２へ入力することにより、グラフィックプロセッサ１２１が起動する（ステップＳ１０１）。 Next, the image generation / transmission process executed by the image generation / transmission device 1 according to the present embodiment will be described with reference to FIGS. 4, 5 (A) and 5 (B). This image generation / transmission process is started when the power is turned on to the image generation / transmission device 1. First, the graphic processor 121 is activated by the main processing unit 11 inputting activation command information for instructing the graphic processor 121 to be activated to the graphic board 12 (step S101).

次に、画像生成部１１１１は、ディスプレイ２、３に表示する１つの画像に相当する画像データを特定する画像特定情報を生成する（ステップＳ１０２）。 Next, the image generation unit 1111 generates image identification information that specifies image data corresponding to one image displayed on the displays 2 and 3 (step S102).

続いて、選択部１１１７は、接続判定回路１２４から出力される接続判定通知信号に応じて、レンダリングエンジン１２１１に生成させる画像データを選択する（ステップＳ１０３）。 Subsequently, the selection unit 1117 selects the image data to be generated by the rendering engine 1211 according to the connection determination notification signal output from the connection determination circuit 124 (step S103).

その後、レンダリングエンジン１２１１は、画像特定情報に基づいてレンダリングを実行することにより第１画像データもしくは第２画像データ（またはその両方の画像データ）を生成する（ステップＳ１０４）。ここで、レンダリングエンジン１２１１は、選択部１１１７により選択された画像出力ポート１４１、１４２に対応する第１画像バッファ１２２１、第２画像バッファ１２３１に画像データを記憶させる。 After that, the rendering engine 1211 generates the first image data and / or the second image data (or both image data) by executing rendering based on the image specific information (step S104). Here, the rendering engine 1211 stores the image data in the first image buffer 1221 and the second image buffer 1231 corresponding to the image output ports 141 and 142 selected by the selection unit 1117.

次に、選択部１１１７は、レンダリングエンジン１２１１に生成させる画像データとして第１画像データを選択したか否かを判定する（ステップＳ１０５）。選択部１１１７により第１画像データが選択されていないと判定されると（ステップＳ１０５：Ｎｏ）、そのまま後述のステップＳ１１２の処理が実行される。なお、図４では、選択部１１１７により第１画像データが選択されていないと判定されるとステップＳ１１２の処理が実行される（ステップＳ１０５：Ｎｏ）としたが、例えば、表示モード設定部１１１８などで第１画像データが選択されていない場合に、第２画像データをディスプレイ２に表示する（複製して表示する）ように設定されていれば、第２画像データをディスプレイ２に表示するようにしてもよい（図示しない）。 Next, the selection unit 1117 determines whether or not the first image data has been selected as the image data to be generated by the rendering engine 1211 (step S105). If the selection unit 1117 determines that the first image data has not been selected (step S105: No), the process of step S112 described later is executed as it is. In FIG. 4, when it is determined by the selection unit 1117 that the first image data is not selected, the process of step S112 is executed (step S105: No). However, for example, the display mode setting unit 1118 and the like are used. If the first image data is not selected in and the second image data is set to be displayed on the display 2 (duplicated and displayed), the second image data is displayed on the display 2. May (not shown).

一方、選択部１１１７により第１画像データが選択されたと判定されると（ステップＳ１０５：Ｙｅｓ）、転送部１１４１は、第１画像バッファ１２２１が記憶する第１画像データを、フレームバッファ１１３１に転送する（ステップＳ１０６）。 On the other hand, when it is determined by the selection unit 1117 that the first image data has been selected (step S105: Yes), the transfer unit 1141 transfers the first image data stored in the first image buffer 1221 to the frame buffer 1131. (Step S106).

続いて、画像圧縮部１１１３は、例えばＪＰＥＧ方式で第１画像データを圧縮する（ステップＳ１０７）。 Subsequently, the image compression unit 1113 compresses the first image data by, for example, a JPEG method (step S107).

その後、画像送信部１１１４は、画像圧縮部１１１３により圧縮された第１画像データを、ネットワーク通信Ｉ／Ｆ１１６および無線モジュール１３を介して受信装置４へ送信する（ステップＳ１０８）。 After that, the image transmission unit 1114 transmits the first image data compressed by the image compression unit 1113 to the receiving device 4 via the network communication I / F 116 and the wireless module 13 (step S108).

次に、プレビュー画像生成部１１１５は、画像生成送信装置１の表示モード設定部１１１８がプレビュー画像表示モードに設定されているか否かを判定する（ステップＳ１０９）。プレビュー画像生成部１１１５により画像生成送信装置１の表示モードがプレビュー画像非表示モードに設定されていると判定されると（ステップＳ１０９：Ｎｏ）、後述のステップＳ１１２の処理が実行される。 Next, the preview image generation unit 1115 determines whether or not the display mode setting unit 1118 of the image generation transmission device 1 is set to the preview image display mode (step S109). When the preview image generation unit 1115 determines that the display mode of the image generation transmission device 1 is set to the preview image non-display mode (step S109: No), the process of step S112 described later is executed.

一方、プレビュー画像生成部１１１５が、画像生成送信装置１の表示モードがプレビュー画像表示モードに設定されていると判定したとする（ステップＳ１０９：Ｙｅｓ）。この場合、プレビュー画像生成部１１１５は、フレームバッファ１１３１が記憶する第１画像データを用いてプレビュー画像を示すプレビュー画像データを生成する（ステップＳ１１０）。そして、プレビュー画像生成部１１１５は、生成したプレビュー画像データをプレビュー画像バッファ１１３２に記憶させる。 On the other hand, it is assumed that the preview image generation unit 1115 determines that the display mode of the image generation transmission device 1 is set to the preview image display mode (step S109: Yes). In this case, the preview image generation unit 1115 generates preview image data indicating the preview image using the first image data stored in the frame buffer 1131 (step S110). Then, the preview image generation unit 1115 stores the generated preview image data in the preview image buffer 1132.

続いて、合成部１１１６は、プレビュー画像バッファ１１３２からプレビュー画像データを取得し、取得したプレビュー画像データを、第２画像バッファ１２３１が記憶する第２画像データに合成する（ステップＳ１１１）。これにより、プレビュー画像データが合成された第２画像データが、第２画像出力ポート１４２から出力される。つまり、例えば図５（Ａ）に示すように、ディスプレイ３には、図５（Ｂ）に示すようなディスプレイ２に表示される画像のプレビュー画像が第２画像データとともに表示される。 Subsequently, the synthesizing unit 1116 acquires the preview image data from the preview image buffer 1132, and synthesizes the acquired preview image data with the second image data stored in the second image buffer 1231 (step S111). As a result, the second image data in which the preview image data is combined is output from the second image output port 142. That is, for example, as shown in FIG. 5A, a preview image of the image displayed on the display 2 as shown in FIG. 5B is displayed on the display 3 together with the second image data.

その後、画像生成部１１１１は、ユーザがユーザＩ／Ｆ１１５を介して画像生成送信処理を終了させるよう指令する終了指令が有ったか否かを判定する（ステップＳ１１２）。画像生成部１１１１により終了指令が有ったと判定されると（ステップＳ１１２：Ｙｅｓ）、画像生成送信処理が終了する。一方、画像生成部１１１１は、終了指令が無いと判定すると（ステップＳ１１２：Ｎｏ）、再びステップＳ１０２の処理を実行する。 After that, the image generation unit 1111 determines whether or not there is an end command instructing the user to end the image generation transmission process via the user I / F 115 (step S112). When the image generation unit 1111 determines that the end command has been issued (step S112: Yes), the image generation transmission process ends. On the other hand, when the image generation unit 1111 determines that there is no end command (step S112: No), the image generation unit 1111 executes the process of step S102 again.

ところで、この種の画像生成送信装置を実現する一つの具体例として、グラフィックプロセッサと、サーバ装置のオペレーティングシステム上で動作する仮想レンダリングエンジンと、を備える構成が考案されている。ここにおいて、グラフィックプロセッサは、自装置のディスプレイに表示する画像データを生成し、仮想レンダリングエンジンは、クライアント装置へ送信する画像データを生成する。そして、サーバ装置は、自装置のディスプレイとクライアント装置のディスプレイとのそれぞれに表示される静止画像を所定のフレームレートで連続的に更新していくことにより各ディスプレイに動画像を表示させる。 By the way, as one specific example of realizing this kind of image generation / transmission device, a configuration including a graphic processor and a virtual rendering engine running on the operating system of the server device has been devised. Here, the graphic processor generates image data to be displayed on the display of its own device, and the virtual rendering engine generates image data to be transmitted to the client device. Then, the server device continuously updates the still images displayed on the display of the own device and the display of the client device at a predetermined frame rate to display the moving image on each display.

その一方で、上述した仮想レンダリングエンジンが画像データの生成に要する時間は、グラフィックプロセッサが画像データの生成に要する時間に比べて長い。従って、前述の仮想レンダリングエンジンを用いた構成では、クライアント装置において、ディスプレイのフレームレートが低下してしまい、視認者に違和感を与える虞がある。 On the other hand, the time required for the virtual rendering engine described above to generate image data is longer than the time required for the graphic processor to generate image data. Therefore, in the configuration using the virtual rendering engine described above, the frame rate of the display on the client device may decrease, which may give the viewer a sense of discomfort.

この点について、次に、本実施の形態に係る画像生成送信装置１の性能について、比較例に係る画像生成送信装置と比較しながら説明する。比較例に係る画像生成送信装置では、図６（Ａ）に示すように、主処理ユニット９０１１のＣＰＵ９１１１が、画像生成部１１１１により生成される画像特定情報に基づいてレンダリングを実行する仮想レンダリングエンジン９１１５として機能する。なお、図６（Ａ）において実施の形態に係る画像生成送信装置１と同様の構成については図３と同一の符号を付している。フレームバッファ１１３１は、仮想レンダリングエンジン９１１５により生成される画像データを記憶する。この比較例に係る画像生成送信装置の場合、仮想レンダリングエンジン９１１５が１つの表示画面に対応する画像データを生成するのに要する時間は、グラフィックボード１２のレンダリングエンジン１２１１が同画像データを生成するのに要する時間よりも長い。そうすると、図７（Ａ）に示すように、ディスプレイ２のフレーム更新タイミングの時間間隔△Ｔ２が、ディスプレイ３のフレーム更新タイミングの時間間隔△Ｔ１に比べて長くなる。つまり、ディスプレイ２に表示される動画像のフレームレートがディスプレイ３に表示される動画像のフレームレートよりも低くなり、ディスプレイ２、３に表示される動画像の滑らかさにずれが生じてしまう。 Next, the performance of the image generation / transmission device 1 according to the present embodiment will be described with reference to the image generation / transmission device 1 according to the comparative example. In the image generation transmission device according to the comparative example, as shown in FIG. 6A, the CPU 9111 of the main processing unit 9011 executes rendering based on the image identification information generated by the image generation unit 1111. Virtual rendering engine 9115 Functions as. Note that the same components as those of the image generation / transmission device 1 according to the embodiment in FIG. 6A are designated by the same reference numerals as those in FIG. The frame buffer 1131 stores the image data generated by the virtual rendering engine 9115. In the case of the image generation transmission device according to this comparative example, the rendering engine 1211 of the graphic board 12 generates the image data for the time required for the virtual rendering engine 9115 to generate the image data corresponding to one display screen. Longer than the time required for. Then, as shown in FIG. 7A, the time interval ΔT2 of the frame update timing of the display 2 becomes longer than the time interval ΔT1 of the frame update timing of the display 3. That is, the frame rate of the moving image displayed on the display 2 becomes lower than the frame rate of the moving image displayed on the display 3, and the smoothness of the moving image displayed on the displays 2 and 3 is deviated.

これに対して、本実施の形態に係る画像生成送信装置１では、図６（Ｂ）に示すように、転送部１１４１が、グラフィックボード１２のレンダリングエンジン１２１１が生成し第２画像バッファ１２３１に記憶された画像データをフレームバッファ１１３１に転送する。ここで、転送部１１４１により第２画像バッファ１２３１からフレームバッファ１１３１への画像データの転送時間は、レンダリングエンジン１２１１による画像データの生成に要する時間に比べて十分短い。従って、図７（Ｂ）に示すように、ディスプレイ２、３に表示される動画像のフレームレートが略等しくなり、ディスプレイ２、３の両方で滑らかな動画像が表示される。 On the other hand, in the image generation / transmission device 1 according to the present embodiment, as shown in FIG. 6B, the transfer unit 1141 is generated by the rendering engine 1211 of the graphic board 12 and stored in the second image buffer 1231. The image data is transferred to the frame buffer 1131. Here, the transfer time of the image data from the second image buffer 1231 to the frame buffer 1131 by the transfer unit 1141 is sufficiently shorter than the time required to generate the image data by the rendering engine 1211. Therefore, as shown in FIG. 7B, the frame rates of the moving images displayed on the displays 2 and 3 are substantially equal, and smooth moving images are displayed on both the displays 2 and 3.

以上説明したように、本実施の形態に係る画像生成送信装置１によれば、グラフィックプロセッサ１２１が、画像特定情報に基づいて第１画像データを生成して第１画像バッファ１２２１に記憶し、転送部１１４１が、第１画像バッファ１２２１が記憶する第１画像データをフレームバッファ１１３１に転送する。また、グラフィックボード１２が、第１画像出力ポート１４１および第２画像出力ポート１４２の接続状態を判定する接続判定回路１２４を有する。そして、グラフィックプロセッサ１２１が、接続判定回路１２４による判定結果に応じて、第１画像データと第２画像データとの少なくとも一方を生成する。これにより、例えば画像生成送信装置に接続される機器からの接続要求を受けなくても第１画像データおよび第２画像データの出力制御が可能となるので、表示システムの構成の簡略化とユーザの利便性を向上させる。 As described above, according to the image generation transmission device 1 according to the present embodiment, the graphic processor 121 generates the first image data based on the image identification information, stores the first image data in the first image buffer 1221, and transfers the data. The unit 1141 transfers the first image data stored in the first image buffer 1221 to the frame buffer 1131. Further, the graphic board 12 has a connection determination circuit 124 for determining the connection state of the first image output port 141 and the second image output port 142. Then, the graphic processor 121 generates at least one of the first image data and the second image data according to the determination result by the connection determination circuit 124. As a result, for example, output control of the first image data and the second image data can be performed without receiving a connection request from a device connected to the image generation / transmission device, so that the configuration of the display system can be simplified and the user can control the output. Improve convenience.

また、本実施の形態に係る画像生成送信装置１によれば、図７を用いて説明したように、例えば主処理ユニット１１が、画像特定情報から第１画像データを生成してフレームバッファ１１３１に直接記憶させる仮想レンダリングエンジンを有する構成に比べて、第１画像データの生成に要する時間を短縮できる。すなわち、図６の（Ａ）比較例で示した仮想レンダリングエンジン９１１５のようにソフトウェアで第１画像データを生成する方が、複数のプロセッサコアを搭載したマルチコアプロセッサから構成されるハードウェアであるグラフィックプロセッサ１２１を介して、第１画像データを生成するよりも、処理に時間がかかるのである。従って、画像生成送信装置１が、例えばディスプレイ２に動画像を表示する場合、ディスプレイ２に表示される動画像のフレームレートを高めることができるので、その分、ディスプレイ３に動画像を滑らかに表示することができる。 Further, according to the image generation transmission device 1 according to the present embodiment, as described with reference to FIG. 7, for example, the main processing unit 11 generates the first image data from the image identification information and uses the frame buffer 1131. The time required to generate the first image data can be shortened as compared with the configuration having the virtual rendering engine that directly stores the data. That is, it is more hardware to generate the first image data by software like the virtual rendering engine 9115 shown in the comparative example (A) of FIG. 6, which is hardware composed of a multi-core processor equipped with a plurality of processor cores. It takes more time to process than to generate the first image data via the processor 121. Therefore, when the image generation / transmission device 1 displays a moving image on the display 2, for example, the frame rate of the moving image displayed on the display 2 can be increased, so that the moving image is smoothly displayed on the display 3. can do.

ところで、ディスプレイ２、３に画像を表示させる方法の別形態として、第１画像出力ポート１４１に受信装置４と通信可能な送信装置（図示せず）を接続するとともに、第２画像出力ポート１４２にケーブルＬ１を介してディスプレイ３を接続する方法も考えられる。ここにおいて、送信装置が、例えばＪＰＥＧ方式で画像圧縮を行う画像圧縮回路を有し、主処理ユニット１１から出力される画像データを圧縮して送信するのが一般的である。但し、この方法の場合、送信装置が必要となり、その分、表示システムを構成する要素が増加し表示システム全体のコストが増大してしまう虞がある。これに対して、本実施の形態に係る画像生成送信装置１では、ＣＰＵ１１１が画像生成送信処理用のプログラムを実行することにより画像圧縮部１１１３等が実現されている。即ち、画像圧縮部１１１３がソフトウェアにより実現されている。これにより、前述の送信装置が不要になるため、その分、表示システム全体のコストが削減される。また、送信装置が不要な構成であるため、その分、送信装置と画像生成送信装置とを接続するケーブルを省略することができる。従って、本発明によれば、表示システムの導入時において、送信装置の設置や送信装置と画像生成送信装置とケーブル接続に要する施工コストを低減できるとともに、表示システム全体の保守が容易になる。更に、本実施の形態に係る画像生成送信装置１は、画像圧縮部１１１３がソフトウェアにより実現されているため、画像圧縮部１１１３の構成の変更を比較的短時間且つ容易に行うことができる。従って、画像圧縮部１１１３の開発は、例えば送信装置の画像圧縮回路の開発に比べて容易であり、ひいては開発コストを低減できるという利点がある。 By the way, as another form of the method of displaying an image on the displays 2 and 3, a transmission device (not shown) capable of communicating with the receiving device 4 is connected to the first image output port 141, and the second image output port 142 is connected. A method of connecting the display 3 via the cable L1 is also conceivable. Here, it is general that the transmission device has an image compression circuit that compresses an image by, for example, a JPEG method, and compresses and transmits the image data output from the main processing unit 11. However, in the case of this method, a transmission device is required, and there is a risk that the elements constituting the display system will increase and the cost of the entire display system will increase accordingly. On the other hand, in the image generation transmission device 1 according to the present embodiment, the image compression unit 1113 and the like are realized by the CPU 111 executing the program for the image generation transmission processing. That is, the image compression unit 1113 is realized by software. As a result, the above-mentioned transmission device becomes unnecessary, and the cost of the entire display system can be reduced accordingly. Further, since the configuration does not require a transmission device, the cable connecting the transmission device and the image generation transmission device can be omitted accordingly. Therefore, according to the present invention, when the display system is introduced, the construction cost required for installing the transmission device and connecting the transmission device, the image generation transmission device, and the cable can be reduced, and the maintenance of the entire display system becomes easy. Further, in the image generation transmission device 1 according to the present embodiment, since the image compression unit 1113 is realized by software, the configuration of the image compression unit 1113 can be changed easily in a relatively short time. Therefore, the development of the image compression unit 1113 is easier than the development of the image compression circuit of the transmission device, for example, and has the advantage that the development cost can be reduced.

ところで、例えばディスプレイ３が接続されたＶＮＣ（Virtual Network Computing）クライアントとして動作するクライアントＰＣと、グラフィックボードを搭載しＶＮＣサーバとして動作するサーバＰＣと、がネットワークを介して接続された表示システムが提供されている。ここにおいて、サーバＰＣは、グラフィックボードで生成された画像データを随時キャプチャして圧縮する。そして、サーバＰＣは、クライアントＰＣから受信する表示要求に応じてクライアントＰＣへ圧縮した画像データを送信する。しかしながら、この表示システムでは、サーバＰＣへ表示要求を生成して送信する機能を有するクライアントＰＣが必要となり、その分、表示システム全体のコストが増大してしまう。また、ディスプレイ３に画像を表示させる場合、それに応じて、クライアントＰＣの操作や設定が必要となり、運用が煩雑になる虞がある。これに対して、本実施の形態に係る表示システムでは、クライアントＰＣに比べて機能が少なく安価な受信装置を備える。これにより、前述のクライアントＰＣを備える表示システムに比べてコストを低減できる。また、本実施の形態に係る表示システムでは、ユーザが受信装置４に対して操作や設定を行う必要がないので、ユーザが簡単に運用できるという利点もある。 By the way, for example, a display system is provided in which a client PC that operates as a VNC (Virtual Network Computing) client to which a display 3 is connected and a server PC that is equipped with a graphic board and operates as a VNC server are connected via a network. ing. Here, the server PC captures and compresses the image data generated by the graphic board at any time. Then, the server PC transmits the compressed image data to the client PC in response to the display request received from the client PC. However, this display system requires a client PC having a function of generating and transmitting a display request to the server PC, and the cost of the entire display system increases accordingly. Further, when displaying an image on the display 3, it is necessary to operate and set the client PC accordingly, which may complicate the operation. On the other hand, the display system according to the present embodiment includes a receiving device having fewer functions and being inexpensive than the client PC. As a result, the cost can be reduced as compared with the display system including the above-mentioned client PC. Further, the display system according to the present embodiment has an advantage that the user can easily operate the receiving device 4 because the user does not need to operate or set the receiving device 4.

また、本実施の形態では、プレビュー画像生成部１１１５がフレームバッファ１１３１から第１画像データを取得してプレビュー画像データを生成し、合成部１１１６がプレビュー画像データを、第２画像バッファ１２３１が記憶する第２画像データに合成する。これにより、ユーザは、例えば図５（Ａ）に示すように、画像生成送信装置１にケーブルＬ１を介して接続されたディスプレイ３において、ディスプレイ２に表示される画像を確認することができる。従って、ユーザがディスプレイ２に表示される画像の管理を行い易くなるという利点がある。また、ユーザは、例えばディスプレイ２、３に表示される画像を同時に見ながら作業を行うことも可能となる。 Further, in the present embodiment, the preview image generation unit 1115 acquires the first image data from the frame buffer 1131 to generate the preview image data, the synthesis unit 1116 stores the preview image data, and the second image buffer 1231 stores the preview image data. Combine with the second image data. As a result, the user can confirm the image displayed on the display 2 on the display 3 connected to the image generation and transmission device 1 via the cable L1, for example, as shown in FIG. 5 (A). Therefore, there is an advantage that the user can easily manage the image displayed on the display 2. The user can also work while simultaneously viewing the images displayed on the displays 2 and 3, for example.

更に、本実施の形態に係るグラフィックボード１２は、第１画像バッファ１２２１と第２画像バッファ１２３１と、第１画像出力ポート１４１、第２画像出力ポート１４２と、接続判定回路１２４と、を有する。そして、選択部１１１７は、接続判定回路１２４による判定結果に応じて、レンダリングエンジン１２１１に生成させる画像データを選択する。これにより、レンダリングエンジン１２１１が無駄にレンダリングを実行することを防止できるとともに第１画像バッファ１２２１または第２画像バッファ１２３１が無駄に使用されることが防止される。従って、グラフィックボード１２における消費電力が低減される。 Further, the graphic board 12 according to the present embodiment has a first image buffer 1221, a second image buffer 1231, a first image output port 141, a second image output port 142, and a connection determination circuit 124. Then, the selection unit 1117 selects the image data to be generated by the rendering engine 1211 according to the determination result by the connection determination circuit 124. As a result, it is possible to prevent the rendering engine 1211 from performing rendering unnecessarily, and it is possible to prevent the first image buffer 1221 or the second image buffer 1231 from being unnecessarily used. Therefore, the power consumption of the graphic board 12 is reduced.

また、本実施の形態では、第１画像出力ポート１４１は、ディスプレイ２の仕様情報を出力するダミープラグ５に接続され、第２画像出力ポート１４２が、自装置の仕様情報を出力する機能を有するディスプレイ２に接続されている。これにより、選択部１１１７に、第１画像出力ポート１４１にディスプレイ２が接続され、第２画像出力ポート１４２にディスプレイ３が接続されているように認識させることができる。従って、グラフィックドライバ１１１２およびグラフィックボード１２の仕様変更を行うことなく、第１画像出力ポート１４１にディスプレイ２が接続されていない状態でも、第１画像バッファ１２２１に第１画像データを記憶させることができる。 Further, in the present embodiment, the first image output port 141 is connected to a dummy plug 5 that outputs the specification information of the display 2, and the second image output port 142 has a function of outputting the specification information of the own device. It is connected to the display 2. As a result, the selection unit 1117 can be made to recognize that the display 2 is connected to the first image output port 141 and the display 3 is connected to the second image output port 142. Therefore, the first image data can be stored in the first image buffer 1221 even when the display 2 is not connected to the first image output port 141 without changing the specifications of the graphic driver 1112 and the graphic board 12. ..

（変形例）
以上、本発明の実施の形態について説明したが、本発明は実施の形態の構成に限定されるものではない。例えば、画像圧縮部１１１３が、ＪＰＥＧ規格に基づく圧縮方式以外の圧縮方法で第１画像データを圧縮する構成であってもよい。具体的には、画像圧縮部１１１３が、第１画像データについてＤＣＴの代わりにアダマール変換を施す構成であってもよい。或いは、画像圧縮部１１１３が、サブバンド符号化を利用した圧縮方法で第１画像データを圧縮する構成であってもよい。具体的には、画像圧縮部１１１３は、ＱＭＦ（Quadrature Mirror Filter）バンクやＣＱＦ（Conjugate Quadrature Filter）バンク、ＳＳＫＦ（Symmetric Short Kernel Filter）バンク等の帯域分割フィルタバンクを有する構成であってもよい。この場合、受信装置４は、帯域合成フィルタバンクを有する構成とすればよい。或いは、画像圧縮部１１１３が、離散ウェーブレット変換を利用した圧縮方法で第１画像データを圧縮する構成であってもよい。この場合、受信装置４は、逆離散ウェーブレット変換器を有する構成とすればよい。 (Modification example)
Although the embodiments of the present invention have been described above, the present invention is not limited to the configuration of the embodiments. For example, the image compression unit 1113 may be configured to compress the first image data by a compression method other than the compression method based on the JPEG standard. Specifically, the image compression unit 1113 may be configured to perform the Hadamard transform on the first image data instead of the DCT. Alternatively, the image compression unit 1113 may be configured to compress the first image data by a compression method using subband coding. Specifically, the image compression unit 1113 may have a configuration having a band division filter bank such as a QMF (Quadrature Mirror Filter) bank, a CQF (Conjugate Quadrature Filter) bank, and an SSKF (Symmetric Short Kernel Filter) bank. In this case, the receiving device 4 may be configured to have a band synthesis filter bank. Alternatively, the image compression unit 1113 may be configured to compress the first image data by a compression method using the discrete wavelet transform. In this case, the receiving device 4 may be configured to have an inverse discrete wavelet transform.

実施の形態では、グラフィックプロセッサ１２１が、静止画像を示す第１画像データを生成する構成について説明したが、これに限定されず、例えば、動画像を示す第１画像データを生成する構成であってもよい。この場合、画像圧縮部１１１３は、例えばＭＰＥＧ（Moving Picture Expert Group）規格に基づく圧縮方式で第１画像データを圧縮する構成とすればよい。この場合、受信装置４は、ＭＰＥＧ規格に基づいて第１画像データを展開する構成とすればよい。 In the embodiment, the configuration in which the graphic processor 121 generates the first image data indicating a still image has been described, but the present invention is not limited to this, and for example, the configuration is such that the graphic processor 121 generates the first image data indicating a moving image. May be good. In this case, the image compression unit 1113 may be configured to compress the first image data by, for example, a compression method based on the MPEG (Moving Picture Expert Group) standard. In this case, the receiving device 4 may be configured to develop the first image data based on the MPEG standard.

実施の形態では、第１画像出力ポート１４１にダミープラグ５が接続される例について説明したが、これに限らず、ダミープラグ５に代えて、自装置の仕様情報を画像生成送信装置１へ出力する機能を有するディスプレイ（図示せず）が接続される構成であってもよい。 In the embodiment, an example in which the dummy plug 5 is connected to the first image output port 141 has been described, but the present invention is not limited to this, and the specification information of the own device is output to the image generation transmission device 1 instead of the dummy plug 5. A display (not shown) having a function of performing the function may be connected.

実施の形態では、接続判定回路１２４がダミープラグ５の接続を判定した場合、転送部１１４１は第１画像バッファ１２２１が記憶する第１画像データを主記憶部１１３のフレームバッファ１１３１へ転送する構成について説明した。これとは別に、ダミープラグ５の接続がされていない場合、転送部１１４１は第２画像バッファ１２３１が記憶する第２画像データを主記憶部１１３のフレームバッファ１１３１に転送する構成を選択できてもよい。 In the embodiment, when the connection determination circuit 124 determines the connection of the dummy plug 5, the transfer unit 1141 transfers the first image data stored in the first image buffer 1221 to the frame buffer 1131 of the main storage unit 113. explained. Apart from this, when the dummy plug 5 is not connected, the transfer unit 1141 can select a configuration for transferring the second image data stored in the second image buffer 1231 to the frame buffer 1131 of the main storage unit 113. Good.

なお、本発明に係る画像生成送信装置１の各種機能は、専用のシステムによらず、コンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な非一時的な記録媒体（ＣＤ−ＲＯＭ等）に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、前述の画像生成送信処理を実行する画像生成送信装置１を構成してもよい。また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線のサーバにアップロードされ、通信回線を介してコンピュータに配信されてもよい。 The various functions of the image generation / transmission device 1 according to the present invention can be realized by using a computer system without using a dedicated system. For example, a program for executing the above operation is stored in a non-temporary recording medium (CD-ROM, etc.) readable by the computer system and distributed to a computer connected to the network, and the program is distributed to the computer. By installing it in the system, the image generation transmission device 1 that executes the above-mentioned image generation transmission processing may be configured. Also, the method of providing the program to the computer is arbitrary. For example, the program may be uploaded to the server of the communication line and distributed to the computer via the communication line.

以上、本発明の実施の形態および変形例（なお書きに記載したものを含む。以下、同様。）について説明したが、本発明はこれらに限定されるものではない。本発明は、実施の形態および変形例が適宜組み合わされたもの、それに適宜変更が加えられたものを含む。 Although embodiments and modifications of the present invention (including those described in the notes; the same shall apply hereinafter) have been described above, the present invention is not limited thereto. The present invention includes an appropriate combination of embodiments and modifications, and an appropriate modification.

本発明は、商業施設または工場におけるデジタルサイネージ向け画像生成送信装置として好適である。 The present invention is suitable as an image generation / transmission device for digital signage in a commercial facility or factory.

１：画像生成送信装置、２，３：ディスプレイ、４：受信装置、５：ダミープラグ、１１：主処理ユニット、１２：グラフィックボード、１３：無線モジュール、５１：メモリ、１１１：ＣＰＵ、１１２：主記憶部、１１３：補助記憶部、１１４：ＤＭＡコントローラ、１１５：ユーザＩ／Ｆ、１１６：ネットワーク通信Ｉ／Ｆ、１１７，１２５：バス、１２１：グラフィックプロセッサ、１２２，１２３：ＶＲＡＭ、１２４：接続判定回路、１４１：第１画像出力ポート、１４２：第２画像出力ポート、１１１１：画像生成部、１１１２：グラフィックドライバ、１１１３：画像圧縮部、１１１４：画像送信部、１１１５：プレビュー画像生成部、１１１６：合成部、１１１７：選択部、１１１８：表示モード設定部、１１３１：フレームバッファ、１１３２：プレビュー画像バッファ、１１４１：転送部、１２１１：レンダリングエンジン、１２２１：第１画像バッファ、１２２２，１２３２：画像出力部、１２３１：第２画像バッファ 1: Image generation and transmission device, 2, 3: Display, 4: Receiver device, 5: Dummy plug, 11: Main processing unit, 12: Graphic board, 13: Wireless module, 51: Memory, 111: CPU, 112: Main Storage unit, 113: Auxiliary storage unit, 114: DMA controller, 115: User I / F, 116: Network communication I / F, 117, 125: Bus, 121: Graphic processor, 122, 123: VRAM, 124: Connection determination Circuit, 141: 1st image output port, 142: 2nd image output port, 1111: Image generation unit, 1112: Graphic driver, 1113: Image compression unit, 1114: Image transmission unit, 1115: Preview image generation unit, 1116: Synthesis unit, 1117: Selection unit, 1118: Display mode setting unit, 1131: Frame buffer, 1132: Preview image buffer, 1141: Transfer unit, 1211: Rendering engine, 1221: First image buffer, 1222, 1232: Image output unit , 1231: Second image buffer

Claims

An image generation / transmission device that generates image data and transmits it to a receiving device connected to a display via a network.
A main processing unit having an image generation unit that generates image specific information that specifies image data,
A graphic processor that generates first image data and second image data based on the image specific information, a first storage unit that stores the first image data, and a second storage unit that stores the second image data. With a graphic processing unit, which has,
The graphic processing unit further
A first image output port that pseudo-outputs the first image data stored in the first storage unit, and
A second image output port that outputs the second image data stored in the second storage unit, and
It has a connection determination circuit for determining the connection state of the first image output port and the second image output port.
The main processing unit further
With the third memory
A transfer unit that transfers the first image data to the third storage unit, and
An image compression unit that compresses the first image data stored in the third storage unit, and
An image transmission unit that transmits the first image data compressed by the image compression unit to the reception device, and an image transmission unit.
When it is determined by the connection determination circuit that the termination device is connected to the first image output port and nothing is connected to the second image output port, only the first image data is transmitted to the graphic processor. When it is determined that the display is connected to the second image output port and nothing is connected to the first image output port, the graphic processor is made to generate only the second image data. When it is determined that a display or a terminal device is connected to each of the first image output port and the second image output port, the graphic processor is made to generate both the first image data and the second image data. Has a generation command unit,
Image generation and transmission device.

The main processing unit is
A reduced image data generation unit that acquires the first image data from the third storage unit and generates reduced image data indicating a reduced image of the image corresponding to the first image data.
It further includes a compositing unit that synthesizes the reduced image data with the second image data stored by the second storage unit.
The image generation / transmission device according to claim 1.

The first image output port is connected to a termination device that outputs connection determination information for the connection determination circuit to determine the connection state.
The second image output port is connected to a display having a function of outputting the connection determination information.
The image generation / transmission device according to claim 1 or 2.

An image generation transmission method in which a graphic processing unit generates image data, and a main processing unit transmits the image data to a receiving device connected to a display via a network.
A step in which the main processing unit generates image identification information for specifying image data and outputs it to the graphic processing unit.
A step in which the graphic processing unit generates first image data based on the image identification information and stores it in the first storage unit.
A step in which the graphic processing unit generates second image data based on the image identification information and stores it in the second storage unit.
A step in which the main processing unit transfers the first image data to the third storage unit,
A step in which the main processing unit compresses the first image data stored in the third storage unit,
A step in which the main processing unit transmits the compressed first image data to the receiving device, and
The graphic processing unit has a first image output port that pseudo-outputs the first image data stored in the first storage unit, and a second image that outputs the second image data stored in the second storage unit. Steps to determine the connection status of each output port and
When it is determined that the termination device is connected to the first image output port and nothing is connected to the second image output port, the graphic processing unit is made to generate only the first image data, and the first image data is generated. When it is determined that the display is connected to the two image output ports and nothing is connected to the first image output port, the graphic processing unit is made to generate only the second image data, and the first image output is performed. When it is determined that a display or a terminal device is connected to each of the port and the second image output port, a step of causing the graphic processing unit to generate both the first image data and the second image data, and including,
Image generation and transmission method.

Computer,
Image generator that generates image specific information that identifies image data,
When the graphic processor generates the first image data and the second image data based on the image specific information, stores the first image data in the first storage unit, and stores the second image data in the second storage unit. , A transfer unit that transfers the first image data to the third storage unit,
An image compression unit that compresses the first image data stored in the third storage unit,
An image transmission unit that transmits the first image data compressed by the image compression unit to a receiving device connected to a display.
A first image output port that pseudo-outputs the first image data stored in the first storage unit, and a second image output port that outputs the second image data stored in the second storage unit. When the connection determination circuit for determining the connection state determines that the termination device is connected to the first image output port and nothing is connected to the second image output port, the first image processor is connected to the first image processor. When it is determined that only the image data is generated and the display is connected to the second image output port and nothing is connected to the first image output port, only the second image data is transmitted to the graphic processor. When it is determined that the display or the termination device is connected to the first image output port and the second image output port, respectively, the graphic processor is informed of the first image data and the second image data. It functions as a generation command unit that generates both,
program.