WO2014049761A1 - システム、情報処理装置および画像処理方法 - Google Patents

システム、情報処理装置および画像処理方法 Download PDF

Info

Publication number
WO2014049761A1
WO2014049761A1 PCT/JP2012/074808 JP2012074808W WO2014049761A1 WO 2014049761 A1 WO2014049761 A1 WO 2014049761A1 JP 2012074808 W JP2012074808 W JP 2012074808W WO 2014049761 A1 WO2014049761 A1 WO 2014049761A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
image data
terminal device
divided
Prior art date
Application number
PCT/JP2012/074808
Other languages
English (en)
French (fr)
Inventor
松井　一樹
健一 堀尾
智大 今井
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2012/074808 priority Critical patent/WO2014049761A1/ja
Priority to JP2014537936A priority patent/JPWO2014049761A1/ja
Publication of WO2014049761A1 publication Critical patent/WO2014049761A1/ja
Priority to US14/663,191 priority patent/US9584752B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32358—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N1/32363—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter at the transmitter or at the receiver
    • H04N1/32368—Functions of a still picture terminal memory associated with transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32358—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N1/32443—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter with asynchronous operation of the image input and output devices connected to the memory
    • H04N1/32454—Controlling data flow to or from the memory in relation to the amount of data, e.g. file size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus

Definitions

  • the present invention relates to a system, an information processing apparatus, and an image processing method.
  • the thin client system is a system in which a client has a minimum function and manages applications and data on a server.
  • a client has a minimum function and manages applications and data on a server.
  • terminal devices such as tablet terminals and smartphones
  • mobile thin client systems that securely use in-house applications and data in a mobile environment.
  • an object of the present invention is to provide a system, an information processing apparatus, and an image processing method that prevent deterioration of user operability.
  • the image information displayed on the display screen of the terminal device by the information processing device, and the image A data transfer amount to be transmitted to the terminal device is calculated based on a data compression rate, and the image is divided based on the calculated data transfer amount and a data transfer speed between the terminal device and the data transfer rate.
  • a system, an information processing apparatus, and an image processing method for determining a division unit are proposed.
  • FIG. 1 is an explanatory diagram of an example of the image processing method according to the embodiment.
  • FIG. 2 is an explanatory diagram illustrating a system configuration example of the thin client system 200.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the server 201.
  • FIG. 4 is a block diagram illustrating a hardware configuration example of the client device 202.
  • FIG. 5 is a block diagram illustrating a functional configuration example of the server 201.
  • FIG. 6 is a block diagram illustrating a functional configuration example of the client device 202.
  • FIG. 7 is an explanatory diagram (part 1) illustrating a first display example of the desktop screen.
  • FIG. 8 is an explanatory diagram (part 2) of the first display example of the desktop screen.
  • FIG. 1 is an explanatory diagram of an example of the image processing method according to the embodiment.
  • FIG. 2 is an explanatory diagram illustrating a system configuration example of the thin client system 200.
  • FIG. 3 is a block diagram illustrating a
  • FIG. 9 is an explanatory diagram illustrating a second display example of the desktop screen.
  • FIG. 10 is an explanatory diagram illustrating a third display example of the desktop screen.
  • FIG. 11 is a flowchart illustrating an example of the display control processing procedure of the client device 202.
  • FIG. 12 is a flowchart illustrating an example of an image processing procedure of the server 201.
  • FIG. 13 is a flowchart illustrating an example of a specific processing procedure of divided area image processing.
  • FIG. 1 is an explanatory diagram of an example of the image processing method according to the embodiment.
  • a system 100 includes an information processing device 101 and a terminal device 102.
  • the system 100 is, for example, a thin client system in which the terminal device 102 has a minimum function and the information processing apparatus 101 manages applications and data.
  • the information processing apparatus 101 is a computer that can communicate with the terminal apparatus 102 via a network.
  • the information processing apparatus 101 has a function of generating image data of an image to be displayed on the display screen 110 of the terminal apparatus 102 and transmitting the image data of the image to the terminal apparatus 102.
  • the information processing apparatus 101 is a server, for example.
  • the image is, for example, a screen image that displays an execution result of an application executed by the information processing apparatus 101 in response to a request from the terminal apparatus 102.
  • the application is, for example, a design support tool, presentation software, spreadsheet software, e-mail software, or the like.
  • the image data is, for example, CAD (Computer Aided Design) data, product catalog data, or the like used for drafting.
  • the terminal device 102 is a computer that can communicate with the information processing apparatus 101 via a network. Further, the terminal device 102 has a display screen 110 and has a function of displaying an image on the display screen 110 based on the image data received from the information processing device 101.
  • the terminal device 102 is, for example, a tablet terminal, a notebook PC (Personal Computer), a smartphone, a mobile phone, or the like.
  • the network bandwidth is small and the communication state with the server tends to become unstable, so the user operability on the tablet terminal or notebook PC is reduced. May end up. For example, data transfer from the server to the tablet terminal takes time, and the response to the operation on the tablet terminal may deteriorate.
  • the information processing apparatus 101 divides an image in units of division based on the data transfer amount and the data transfer speed transmitted to the display screen 110 when the screen is updated in response to a user operation performed on the terminal apparatus 102. Then, the data are sequentially transmitted to the terminal device 102. Thereby, according to a network environment, the response time which does not give a user discomfort is ensured, and operativity is improved.
  • the information processing apparatus 101 transmits the data transfer amount T to be transmitted to the terminal apparatus 102 based on the image data of the image 120 displayed on the display screen 110 of the terminal apparatus 102 and the compression rate c of the image data of the image 120. Is calculated.
  • the compression rate c represents, for example, the ratio of the data amount before and after the image data is compressed.
  • the information processing apparatus 101 calculates the data transfer amount T to be transmitted to the terminal apparatus 102 by multiplying the data amount of the image data of the image 120 by the compression rate c.
  • the data transfer amount T transmitted to the terminal apparatus 102 is “375 [Kbyte]”.
  • the information processing apparatus 101 calculates the transfer time t of the image data of the image 120 based on the data transfer amount T and the data transfer speed K.
  • the data transfer rate K is, for example, an average amount of data that can be transmitted from the information processing apparatus 101 to the terminal apparatus 102 per unit time.
  • the data transfer rate K may be an initial value set in advance, or may be measured by the information processing apparatus 101 communicating with the terminal apparatus 102.
  • the information processing apparatus 101 can calculate the transfer time t by dividing the data transfer amount T by the data transfer rate K. As an example, if the data transfer rate K is “10 [Mbps]”, the amount of data that can be sent at 100 [msec] is 125 [Kbyte], and the transfer time t is “300 [msec]”.
  • the information processing apparatus 101 determines a division unit for dividing the image 120 based on the transfer time t of the image data of the image 120.
  • the division unit is a unit for dividing the image 120, and is represented by, for example, the area (number of pixels) of the divided region image divided from the image 120 or the data amount.
  • the information processing apparatus 101 determines that the image data transfer time t of the divided region image obtained by dividing the image 120 is equal to or less than the threshold value X.
  • the division unit is determined so that
  • the threshold value X is, for example, a value representing a response time required for a response to the operation input after the operation input by the user is performed.
  • the threshold value X for example, a value (for example, several hundred milliseconds) that the user feels uncomfortable when the response time exceeds the threshold value X is set.
  • the information processing apparatus 101 sets the division unit for dividing the image 120 to “125 [Kbyte]” so that the transfer time t of the image data of the divided region image obtained by dividing the image 120 is equal to or less than the threshold value X. decide.
  • the information processing apparatus 101 sequentially transmits to the terminal apparatus 102 the image data of the divided area image obtained by dividing the image 120 by the determined division unit.
  • the information processing apparatus 101 sequentially transmits image data d1, d2, d3 of divided area images 121, 122, 123 obtained by dividing the image 120 in units of 125 [Kbytes] to the terminal apparatus 102.
  • the information processing apparatus 101 transmits the image data d1 of the divided region image 121 to the terminal apparatus 102.
  • the information processing apparatus 101 sends the image data d2 of the divided region image 122 to the terminal apparatus 102 at a timing when the image data d1 arrives at the terminal apparatus 102, for example, 100 [msec] after transmitting the image data d1.
  • Send is a timing when the image data d1 arrives at the terminal apparatus 102, for example, 100 [msec] after transmitting the image data d1.
  • the information processing apparatus 101 transmits the image data d3 of the divided region image 123 to the terminal apparatus 102 at the timing when the image data d2 arrives at the terminal apparatus 102.
  • the divided area images 121, 122, 123 divided from the image 120 are sequentially displayed on the display screen 110.
  • the division unit for dividing the image 120 is determined so that the transfer time t of the image data of the divided region image obtained by dividing the image 120 does not exceed the threshold value X. Can do.
  • the terminal device 102 sequentially displays the image data d1 to d3 of the divided region images 121 to 123 on the display screen 110 so that the update interval at which the display content of the display screen 110 is updated does not exceed the threshold value X. Can do. As a result, it is possible to accelerate the response to the user's operation input and prevent the user's operability from deteriorating.
  • FIG. 2 is an explanatory diagram showing a system configuration example of the thin client system 200.
  • the thin client system 200 includes a server 201 and a plurality of client devices 202 (three in the example of FIG. 2).
  • the server 201 and the client device 202 are connected via a network 210 so as to communicate with each other.
  • the network 210 is, for example, a mobile communication network (mobile phone network) or the Internet.
  • the thin client system 200 causes the server 201 to remotely control the screen displayed by the client device 202. According to the thin client system 200, the processing result executed by the server 201 and the data to be held are actually displayed on the client device 202, while the client device 202 performs the processing as a main component or holds the data. Can behave as if
  • the server 201 is a computer that provides a remote screen control service for remotely controlling the screen displayed on the client device 202.
  • the server 201 corresponds to the information processing apparatus 101 illustrated in FIG.
  • the client device 202 is a computer that receives a remote screen control service from the server 201.
  • the client device 202 corresponds to the terminal device 102 shown in FIG.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the server 201.
  • the server 201 includes a CPU (Central Processing Unit) 301, a memory 302, an I / F (Interface) 303, a magnetic disk drive 304, and a magnetic disk 305. Each component is connected by a bus 300.
  • CPU Central Processing Unit
  • I / F Interface
  • the CPU 301 governs overall control of the server 201.
  • the memory 302 includes, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), a flash ROM, and the like. Specifically, for example, a flash ROM or ROM stores various programs, and a RAM is used as a work area for the CPU 301. The program stored in the memory 302 is loaded into the CPU 301, thereby causing the CPU 301 to execute the coded process.
  • the I / F 303 is connected to the network 210 via a communication line, and is connected to another computer (for example, the client device 202) via the network 210.
  • the I / F 303 controls an internal interface with the network 210 and controls input / output of data from other computers.
  • a modem or a LAN adapter may be employed as the I / F 303.
  • the magnetic disk drive 304 controls the reading / writing of the data with respect to the magnetic disk 305 according to control of CPU301.
  • the magnetic disk 305 stores data written under the control of the magnetic disk drive 304.
  • the server 201 may include, for example, an SSD (Solid State Drive), a keyboard, and a display in addition to the above-described components.
  • FIG. 4 is a block diagram illustrating a hardware configuration example of the client device 202.
  • the client device 202 includes a CPU 401, a ROM 402, a RAM 403, a magnetic disk drive 404, a magnetic disk 405, an I / F 406, a display 407, a keyboard 408, and a mouse 409. Yes.
  • Each component is connected by a bus 400.
  • the CPU 401 governs overall control of the client device 202.
  • the ROM 402 stores programs such as a boot program.
  • the RAM 403 is used as a work area for the CPU 401.
  • the magnetic disk drive 404 controls the reading / writing of the data with respect to the magnetic disk 405 according to control of CPU401.
  • the magnetic disk 405 stores data written under the control of the magnetic disk drive 404.
  • the I / F 406 is connected to the network 210 through a communication line, and is connected to another computer (for example, the server 201) through the network 210.
  • the I / F 406 serves as an internal interface with the network 210 and controls input / output of data from other computers.
  • the display 407 displays data such as a document, an image, and function information as well as a cursor, an icon, or a tool box.
  • a TFT (Thin Film Transistor) liquid crystal display, a plasma display, or the like can be adopted.
  • the keyboard 408 includes keys for inputting characters, numbers, various instructions, etc., and inputs data.
  • the keyboard 408 may be a touch panel type input pad or a numeric keypad.
  • the mouse 409 performs cursor movement, range selection, window movement, size change, and the like.
  • FIG. 5 is a block diagram illustrating a functional configuration example of the server 201.
  • the server 201 includes a reception unit 501, an acquisition unit 502, a generation unit 503, a transfer amount calculation unit 504, a transfer rate calculation unit 505, a transfer time calculation unit 506, a division unit 507, and a transmission. Part 508.
  • the receiving unit 501 to the transmitting unit 508 are functions serving as control units. Specifically, for example, by causing the CPU 301 to execute a program stored in a storage device such as the memory 302 and the magnetic disk 305 illustrated in FIG. Alternatively, the function is realized by the I / F 303.
  • the processing result of each functional unit is stored in a storage device such as the memory 302 and the magnetic disk 305, for example.
  • the receiving unit 501 has a function of receiving operation information from the client device 202.
  • the operation information is information representing a user operation input using the keyboard 408 (see FIG. 4) or the mouse 409 (see FIG. 4) of the client device 202.
  • the operation information includes, for example, information indicating the type of operation input such as click, double click, drag and drop using the keyboard 408 and mouse 409, and the position of the mouse pointer where the operation input is performed. . Further, the operation information may include information indicating that the operation input has been completed, information indicating the amount of rotation of the mouse 409 wheel, and the key pressed on the keyboard 408.
  • the acquiring unit 502 has a function of acquiring image data of the image P displayed on the display screen S of the client device 202 based on the operation information received by the receiving unit 501.
  • the display screen S may be, for example, the entire desktop screen displayed on the display 407 of the client device 202, or may be a window in the desktop screen.
  • the acquisition unit 502 acquires the image data of the image P stored in the frame buffer by notifying operation information to the application being executed in response to a request from the client device 202.
  • the frame buffer is a storage area for temporarily storing image data for one frame to be displayed on the display screen S, and is, for example, a VRAM (Video RAM).
  • the frame buffer is realized by a storage device such as the memory 302 and the magnetic disk 305, for example.
  • the generation unit 503 has a function of determining whether the display content of the display screen S has been updated based on the image data of the image P and the image data of the image Ppre .
  • the image P pre is an image one frame before the image P displayed on the display screen S.
  • the generation unit 503 determines that the display content of the display screen S has been updated when there is a difference between the image data of the image P and the image data of the image Ppre .
  • the image data of the image Ppre is stored in the save buffer.
  • the image data of the image Ppre is saved from the frame buffer to the save buffer when the image data of the image P is stored in the frame buffer.
  • the save buffer is realized by a storage device such as the memory 302 and the magnetic disk 305, for example.
  • the generation unit 503 when the display content of the display screen S is updated, the generation unit 503 generates image data of the update region image R of the image P.
  • the update region image is an image representing the update region in the image P.
  • the generation unit 503 generates image data of the update region image R by using, as the update region image R, a rectangular region including a difference region image from the image Ppre in the image P.
  • the transfer amount calculation unit 504 has a function of calculating the data transfer amount T to be transmitted to the client device 202 based on the image data of the update region image R and the compression rate c of the image data of the update region image R. Specifically, for example, first, the transfer amount calculation unit 504 selects a compression method for compressing the image data of the update region image R.
  • compression methods include JPEG (Joint Photographic Experts Group), GIF (Graphic Interchange Format), and PNG (Portable Network Graphics) when the image data is a still image. Also, when the image data is a moving image, there is MPEG (Moving Picture Experts Group).
  • the transfer amount calculation unit 504 selects a compression method having the highest compression efficiency from among a plurality of compression methods based on the pixel value of each pixel of the image data of the update region image R.
  • the pixel value is, for example, the luminance of each pixel red, green, and blue.
  • the transfer amount calculation unit 504 calculates the data transfer amount T, for example, by multiplying the data amount of the image data of the update region image R by the compression rate c of the selected compression method.
  • the transfer rate calculation unit 505 has a function of calculating a data transfer rate K between the server 201 and the client device 202. Specifically, for example, the transfer rate calculation unit 505, based on the transmission time of the predetermined data transmitted to the client device 202, the reception time when the client device 202 received the predetermined data, and the data amount of the predetermined data, Data transfer rate K is calculated.
  • the transfer rate calculation unit 505 can transmit the data amount of the predetermined data to the client device 202 per unit time by dividing the data amount by the time interval between the transmission time and the reception time of the predetermined data.
  • the correct data transfer rate K is calculated.
  • the predetermined data may be dedicated data for measuring the data transfer rate K, or may be image data of the image P or the update area image R displayed on the display screen S.
  • the transfer time calculation unit 506 has a function of calculating the transfer time t of the image data of the update region image R.
  • the transfer time t of the image data of the update region image R is the time taken to transfer the image data from the server 201 to the client device 202.
  • the transfer time calculation unit 506 calculates the transfer time t of the image data of the update region image R by dividing the data transfer amount T by the data transfer speed K.
  • the dividing unit 507 has a function of determining a division unit for dividing the update region image R based on the transfer time t of the image data of the update region image R. Specifically, for example, when the transfer time t of the image data of the update region image R is larger than the threshold value X, the dividing unit 507 determines that the transfer time t of the image data of the divided region image r divided from the update region image R is The division unit is determined so as to be equal to or less than the threshold value X.
  • the threshold value X is a value representing a response time taken from when an operation input by the user is performed until a response to the operation input is returned. For example, when the response time exceeds the threshold value X, a value that makes the user feel uncomfortable is set as the threshold value X.
  • the threshold value X is stored in a storage device such as the memory 302 and the magnetic disk 305, for example.
  • the dividing unit 507 has a function of generating image data for each divided region image r divided from the updated region image R by dividing the updated region image R in the determined division unit. Specifically, for example, the dividing unit 507 generates image data for each divided region image r by dividing the update region image R by dividing the update region image R in the vertical direction or the horizontal direction.
  • the transmitting unit 508 has a function of sequentially transmitting the image data for each divided region image r divided from the update region image R to the client device 202 in a predetermined order. Specifically, for example, the transmission unit 508 compresses (encodes) the image data of the divided region image r with the selected compression method, so that the client device uses the compressed image data of the divided region image r as still image data. 202.
  • the transmission unit 508 transmits the image data of the division area image r to the client device 202 in order from the left of the update area image R. It may be.
  • the transmission unit 508 may transmit the image data of the division area image r to the client device 202 in order from the top of the update area image R. .
  • the transmission unit 508 may first transmit the image data of the divided region image r including the mouse pointer among the plurality of divided region images divided from the update region image R to the client device 202.
  • the divided region image r can be specified from information indicating the position of the mouse pointer included in the operation information, for example.
  • the transmission unit 508 first transmits the image data of the divided region image r including the center point of the display screen S among the plurality of divided region images divided from the update region image R to the client device 202. Also good.
  • the transmission unit 508 transmits the image data of the update region image R to the client device 202 when the update region image R is not divided. Specifically, for example, the transmission unit 508 compresses (encodes) the image data of the update region image R with the selected compression method, thereby converting the image data of the update region image R after compression into still image data or moving image data. To the client device 202.
  • the transmission unit 508 may transmit the image data of the divided region image r divided from the update region image R to the client device 202 instead of the image data of the untransmitted divided region image r pre. .
  • the generation unit 503 may determine whether or not the image data of the update region image R is still image data. Specifically, for example, the generation unit 503 determines whether the image data of the update region image R is still image data based on identification information for identifying whether the image data of the image P is still image data or moving image data. You may decide to do it.
  • the transmission unit 508 may transmit the image data of the update region image R to the client device 202.
  • the transfer amount calculation unit 504 calculates the data transfer amount T based on the image data of the update region image R and the compression rate c only when the image data of the update region image R is still image data.
  • the server 201 may have a function of compressing data with a large motion between frames into data of a compression method for moving images and transmitting the data to the client device 202. Specifically, for example, the server 201 divides an image obtained by notifying operation information to an application into a plurality of areas, and monitors the frequency of change for each of the divided areas. Then, the server 201 may treat an area where the frequency of change exceeds a threshold as an animation area.
  • the generation unit 503 may determine whether or not the image data of the update region image R is still image data, for example, depending on whether or not the update region image R includes a moving image region. More specifically, for example, when the update area image R includes a moving image area, the generation unit 503 determines that the image data of the update area image R is moving image data, for example.
  • Japanese Patent Application Laid-Open No. 2011-238014 can be referred to for a technique for compressing data with a large motion between frames into data of a compression method for moving images and transmitting the data to the client device 202.
  • FIG. 6 is a block diagram illustrating a functional configuration example of the client device 202.
  • the client device 202 is configured to include an acquisition unit 601, a transmission unit 602, a reception unit 603, and a display control unit 604.
  • the acquisition unit 601 to the display control unit 604 are functions as control units.
  • the CPU 401 executes a program stored in a storage device such as the ROM 402, the RAM 403, and the magnetic disk 405 shown in FIG. Or the I / F 406 realizes the function.
  • the processing result of each functional unit is stored in a storage device such as the RAM 403 and the magnetic disk 405, for example.
  • the acquisition unit 601 has a function of acquiring operation information representing a user operation input. Specifically, for example, the acquisition unit 601 receives the user's operation input using the keyboard 408 (see FIG. 4) or the mouse 409 (see FIG. 4) on the display screen S, thereby receiving the user's operation input. Get the operation information to represent.
  • the operation information includes, for example, the type of operation input such as click, double click, drag and drop, the position of the mouse pointer where the operation input has been performed, and information indicating that the operation input has ended. include. Note that when the operation input is continuously performed as in the case of drag and drop, the acquisition unit 601 may acquire operation information representing the user's operation input at regular time intervals.
  • operation input such as tap, drag, flick, pinch out, and pinch in may be performed using the touch panel type keyboard 408.
  • the acquisition unit 601 acquires operation information obtained by converting an operation input using the touch panel keyboard 408 into an operation input using a mouse 409 that can be interpreted by an application being executed on the server 201, for example. May be.
  • the operation information conversion process may be performed on the server 201 side.
  • the transmission unit 602 has a function of transmitting the operation information acquired by the acquisition unit 601 to the server 201. Specifically, for example, when the acquisition unit 601 acquires operation information, the transmission unit 602 transmits the acquired operation information to the server 201 each time.
  • the receiving unit 603 has a function of receiving image data from the server 201. Specifically, for example, the receiving unit 603 receives the image data of the image P, the update region image R included in the image P, and the divided region image r divided from the update region image R from the server 201.
  • the display control unit 604 has a function of controlling the display 407 and displaying the image data SD received by the receiving unit 603. Specifically, for example, the display control unit 604 displays the received image data of the image P, the update region image R, and the divided region image r as a decode at a corresponding position on the display screen S.
  • the transmission unit 602 may transmit the reception time of the predetermined data received by the reception unit 603 to the server 201.
  • the predetermined data is data for measuring the data transfer rate K in the server 201 as described above.
  • First display example> 7 and 8 are explanatory diagrams illustrating a first display example of the desktop screen.
  • a desktop screen 701 is displayed on the display 407 of the client device 202.
  • a window 702 is displayed on the desktop screen 701, and an image 710 is displayed in the window 702.
  • the window 702 is displayed in the server 201.
  • the next image 720 to be displayed is acquired (see (7-2) in FIG. 7).
  • the update area image R of the image 720 is the entire area of the image 720 and the update area image R is divided into divided area images 721 to 723 (see (7-3) in FIG. 7).
  • the server 201 transmits the image data of the divided area image 721 among the divided area images 721 to 723 to the client device 202. Then, the client device 202 displays the divided region image 721 at a corresponding position in the window 702 based on the image data of the divided region image 721 (see (7-4) in FIG. 7).
  • the server As a result of the operation input for rotating the partially updated image 710 displayed in the window 702 as indicated by the arrow 704 (see (7-5) in FIG. 7), the server Assume that the image 730 to be displayed next in the window 702 is acquired in 201 (see (7-6) in FIG. 7). Further, it is assumed that the update area image R of the image 730 is the entire area of the image 730 and the update area image R is divided into divided area images 731 to 733 (see (7-7) in FIG. 8).
  • the server 201 transmits the image data of the divided region image 732 to the client device 202 instead of the divided region image 722.
  • the client device 202 displays the divided region image 732 at a corresponding position in the window 702 based on the image data of the divided region image 732 (see (7-8) in FIG. 8).
  • the server 201 transmits image data of an untransmitted divided area image 733 among the divided area images 731 to 733 to the client device 202 (see (7-9) in FIG. 8).
  • the client device 202 displays the divided region image 733 at a corresponding position in the window 702 based on the image data of the divided region image 733 (see (7-10) in FIG. 8).
  • the server 201 transmits image data of an untransmitted divided region image 731 among the divided region images 731 to 733 to the client device 202 (see (7-11) in FIG. 8).
  • the client device 202 displays the divided region image 731 at a corresponding position in the window 702 based on the image data of the divided region image 731 (see (7-12) in FIG. 8).
  • all the screens in the window 702 are updated, and the image 730 is displayed in the window 702.
  • the display content of the window 702 can be partially updated at an earlier timing than the display content is updated in units of windows.
  • the user can predict how the display content of the window 702 changes in response to the operation input performed by the user, and determines whether or not a new operation input should be performed. It becomes easy.
  • the image data of the divided region image r divided from the update region image R can be transmitted to the client device 202 in a predetermined order.
  • the user can easily grasp the portion to be updated next on the window 702.
  • the server 201 when the next operation input is performed in a state where image data of an untransmitted divided region image exists, the image is divided from the next update region image R instead of the untransmitted image data.
  • the image data of the divided region image r thus made can be transmitted to the client device 202.
  • the update area image R is divided in the horizontal direction, and among the divided area images r divided from the update area image R, image data of the divided area image r including the mouse pointer is first transmitted to the client device 202. Will be described.
  • FIG. 9 is an explanatory diagram showing a second display example of the desktop screen.
  • a desktop screen 901 is displayed on the display 407 of the client device 202.
  • a window 902 is displayed on the desktop screen 901, and an image 910 and a mouse cursor 903 are displayed in the window 902.
  • the window 201 in the server 201 is displayed.
  • an image 920 to be displayed next is acquired (see (9-2) in FIG. 9).
  • the update area image R of the image 920 is the entire area of the image 920 and the update area image R is divided into divided area images 921 to 923 (see (9-3) in FIG. 9).
  • the server 201 specifies a divided region image 923 including the mouse cursor 903 (mouse pointer) among the divided region images 921 to 923. Then, the server 201 transmits image data of the divided area image 923 including the mouse cursor 903 (mouse pointer) to the client device 202. Then, the client device 202 displays the divided area image 923 at a corresponding position in the window 902 based on the image data of the divided area image 923 (see (9-4) in FIG. 9).
  • the server 201 transmits image data of an untransmitted divided area image 921 among the divided area images 921 to 923 to the client device 202 (see (9-5) in FIG. 9).
  • the client device 202 displays the divided region image 921 at a corresponding position in the window 902 based on the image data of the divided region image 921 (see (9-6) in FIG. 9).
  • the server 201 transmits image data of an untransmitted divided area image 922 among the divided area images 921 to 923 to the client device 202 (see (9-7) in FIG. 9).
  • the client device 202 displays the divided region image 922 at a corresponding position in the window 902 based on the image data of the divided region image 922 (see (9-8) in FIG. 9).
  • the image data of the divided region image 923 including the mouse cursor 903 among the divided region images 921 to 923 divided from the update region image R can be transmitted to the client device 202 first. . Thereby, since the part including the mouse cursor 903 in the window 902 is updated first, the user can easily grasp the part to be updated next on the window 902.
  • the update area image R is divided in the horizontal direction, and among the divided area images r divided from the update area image R, the image data of the divided area image r including the center point of the update area image R is first set as the client device. A case of transmitting to 202 will be described.
  • FIG. 10 is an explanatory diagram showing a third display example of the desktop screen.
  • a desktop screen 1001 is displayed on the display 407 of the client device 202.
  • a window 1002 is displayed on the desktop screen 1001, and an image 1010 is displayed in the window 1002.
  • the window 1002 in the server 201 is displayed.
  • an image 1020 to be displayed next is acquired (see (10-2) in FIG. 10).
  • the update area image R of the image 1020 is the entire area of the image 1020 and the update area image R is divided into divided area images 1021 to 1023 (see (10-3) in FIG. 10).
  • the server 201 specifies a divided region image 1022 including the center point 1004 of the window 1002 among the divided region images 1021 to 1023. Then, the server 201 transmits the image data of the divided region image 1022 including the center point 1004 to the client device 202. Then, the client device 202 displays the divided area image 1022 at a corresponding position in the window 1002 based on the image data of the divided area image 1022 (see (10-4) in FIG. 10).
  • the server 201 transmits the image data of the untransmitted divided area image 1021 among the divided area images 1021 to 1023 to the client device 202 (see (10-5) in FIG. 10).
  • the client device 202 displays the divided area image 1021 at a corresponding position in the window 1002 based on the image data of the divided area image 1021 (see (10-6) in FIG. 10).
  • the server 201 transmits image data of an untransmitted divided area image 1023 among the divided area images 1021 to 1023 to the client device 202 (see (10-7) in FIG. 10).
  • the client device 202 displays the divided region image 1023 at a corresponding position in the window 1002 based on the image data of the divided region image 1023 (see (10-8) in FIG. 10).
  • the image data of the divided region image 1022 including the center point 1004 of the window 1002 among the divided region images 1021 to 1023 divided from the update region image R is first transmitted to the client device 202. be able to. Thereby, since the part including the center point 1004 is updated first in the window 1002, the user can easily grasp the part to be updated next on the window 1002.
  • FIG. 11 is a flowchart illustrating an example of a display control processing procedure of the client device 202.
  • the client apparatus 202 determines whether or not a user operation input has been accepted (step S1101).
  • the client device 202 waits to accept a user operation input (step S1101: No).
  • the client apparatus 202 acquires the operation information showing a user's operation input, when a user's operation input is received (step S1101: Yes) (step S1102). Next, the client device 202 transmits the acquired operation information to the server 201 (step S1103).
  • the client device 202 determines whether image data has been received from the server 201 (step S1104).
  • the client device 202 ends the series of processes according to this flowchart.
  • step S1104 when image data is received from the server 201 (step S1104: Yes), the client device 202 determines whether the received image data is still image data (step S1105).
  • step S1105 Yes
  • the client device 202 displays still image data obtained by decoding the received image data using a still image restoration method on the display screen S (step S1106). ), A series of processes according to this flowchart is terminated.
  • step S1105 the client device 202 displays the moving image data obtained by decoding the received image data using the moving image restoration method on the display screen S (step S1107), and this flowchart. The series of processes by is terminated. Thereby, the display content of the display screen S can be updated according to a user's operation input.
  • FIG. 12 is a flowchart illustrating an example of an image processing procedure of the server 201.
  • the server 201 determines whether or not operation information has been received from the client device 202 (step S1201).
  • step S1201 when the server 201 receives the operation information from the client device 202 (step S1201: Yes), the server 201 notifies the application being executed in response to the request from the client device 202, and thereby the image from the frame buffer. P image data is acquired (step S1202).
  • step S1203 the server 201, based on the image data of the image data and the image P pre image P, and determines whether the display contents of the display screen S is updated (step S1203).
  • step S1203 the server 201 proceeds to step S1210.
  • step S1203 when the display content of the display screen S has been updated (step S1203: Yes), the server 201 generates image data of the update region image R of the image P (step S1204). Then, the server 201 determines whether or not the image data of the generated update area image R is still image data (step S1205).
  • step S1205 when the image data of the update region image R is still image data (step S1205: Yes), the server 201 is based on the image data of the update region image R and the compression rate c of the image data of the update region image R. Then, the data transfer amount T to be transmitted to the client device 202 is calculated (step S1206).
  • the server 201 calculates the transfer time t of the image data of the update area image R by dividing the calculated data transfer amount T by the data transfer speed K (step S1207). Then, the server 201 determines whether or not the calculated transfer time t of the image data of the update region image R is longer than the threshold value X (step S1208).
  • step S1208 when the transfer time t of the image data of the update region image R is larger than the threshold value X (step S1208: Yes), the server 201 executes the divided region image processing (step S1209). A specific processing procedure of the divided area image processing will be described later with reference to FIG. Then, the server 201 waits for a predetermined time (for example, 30 [msec]) (step S1210) and returns to step S1201.
  • a predetermined time for example, 30 [msec]
  • step S1205 when the image data of the update region image R is moving image data (step S1205: No), the server 201 transmits the image data of the update region image R to the client device 202 as moving image data (step S1213). ), The process proceeds to step S1210.
  • step S1201 if the server 201 has not received operation information from the client device 202 (step S1201: No), there is image data of a divided area image whose division number n is “n> 0” and has not been transmitted yet. It is determined whether or not (step S1214).
  • FIG. 13 is a flowchart showing an example of a specific processing procedure of divided area image processing.
  • the server 201 determines a division unit so that the transfer time t of the image data of the divided region image r divided from the update region image R is equal to or less than the threshold value X (step S1301).
  • the server 201 divides the update region image R by the determined division unit, thereby generating image data for each divided region image divided from the update region image R (step S1302). Then, the server 201 sets the division number n obtained by dividing the update area image R (step S1303).
  • the server 201 selects image data of an unselected divided region image that has not been selected from the divided region images divided from the updated region image R (step S1304). Then, the server 201 determines whether there is an update location in the divided area image based on the image data of the selected divided area image (step S1305).
  • step S1305: No when there is no update location in the divided region image (step S1305: No), the server 201 proceeds to step S1210 shown in FIG.
  • step S1305: Yes when there is an update location in the divided region image (step S1305: Yes), the server 201 transmits the image data of the selected divided region image to the client device 202 as still image data (step S1306), and the divided region image. Return to the step that called the process.
  • the client device 202 transmits the image data of the divided region image r obtained by dividing the update region image R to the client device 202 so that the update interval at which the display content of the display screen S is updated does not exceed the threshold value X. be able to.
  • data transfer is performed based on the image data of the update region image R displayed on the display screen S of the client device 202 and the compression rate c of the image data.
  • the quantity T can be calculated.
  • the transfer time t of the image data of the update region image R can be calculated based on the data transfer amount T and the data transfer speed K.
  • the division unit for dividing the update area image R can be determined based on the calculated transfer time t of the image data of the update area image R.
  • the division unit of the update area image R displayed on the display screen 110 of the terminal device 102 is dynamically changed according to the data transfer rate K representing the network performance and the data transfer amount T transmitted to the terminal device 102. Can be changed.
  • the server 201 when the transfer time t of the image data of the update region image R is larger than the threshold value X, the transfer time t of the image data of the divided region image r obtained by dividing the update region image R is equal to or less than the threshold value X.
  • the division unit can be determined as follows. Further, the server 201 can sequentially transmit the image data of the divided region image r obtained by dividing the update region image R in the determined division unit to the client device 202 in a predetermined order.
  • the image data of the divided region image r can be sequentially displayed on the display screen S so that the update interval at which the display content of the display screen S is updated does not exceed the threshold value X.
  • the response time with respect to a user's operation input can be adjusted by changing the threshold value X.
  • the server 201 based on the transmission time of the predetermined data transmitted to the client device 202, the reception time when the predetermined data is received by the client device 202, and the data amount of the predetermined data, the data transfer rate K Can be calculated. Thereby, it is possible to measure the performance of the network 210 according to the amount of traffic that changes every moment.
  • the server 201 if the untransmitted divided area image r new screen update in the presence of image data of the pre is performed, instead of the image data of the divided area images r pre unsent, divided areas
  • the image data of the image r can be transmitted to the client device 202.
  • transmission of image data for screen update in response to past operation inputs can be stopped, and an increase in the traffic volume of the network 210 can be prevented.
  • the display content of the display screen S can be partially updated at an update interval that does not make the user feel uncomfortable.
  • the response time to the user's operation input is accelerated to improve the operational feeling, and the user can predict how the display content of the display screen S changes in response to the operation input, thereby improving the operability. Can be made.
  • the client device 202 when an application is operated using the client device 202 in a mobile environment where the communication state is unstable, it is possible to reduce the amount of data transfer that occurs every time the object is rotated repeatedly. Further, even if communication is temporarily disconnected, the instability of communication can be hidden from the user by partially updating the display content of the display screen S.
  • the image processing method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • the image processing program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer.
  • the image processing program may be distributed via a network such as the Internet.

Abstract

　情報処理装置（１０１）は、端末装置（１０２）の表示画面（１１０）に表示する画像（１２０）の画像データと、画像（１２０）の画像データの圧縮率（ｃ）とに基づいて、端末装置（１０２）に送信するデータ転送量（Ｔ）を算出する。情報処理装置（１０１）は、データ転送量（Ｔ）とデータ転送速度（Ｋ）とに基づいて、画像（１２０）の画像データの転送時間（ｔ）を算出する。情報処理装置（１０１）は、画像（１２０）の画像データの転送時間（ｔ）に基づいて、画像（１２０）を分割する分割単位を決定する。

Description

システム、情報処理装置および画像処理方法
　本発明は、システム、情報処理装置および画像処理方法に関する。
　シンクライアントシステムは、クライアントに最低限の機能しか持たせず、サーバでアプリケーションやデータを管理するシステムである。また、タブレット端末やスマートフォンなどの端末装置の普及にともなって、モバイル環境で社内のアプリケーションやデータをセキュアに利用する、いわゆるモバイルシンクライアントシステムのニーズが拡大している。
　関連する先行技術としては、例えば、第１のコンピュータシステムで表示されるウェブページを第２のコンピュータシステムと共有するための技術がある。また、複数の端末からの同じデータ要求に対して、サーバ・端末間のネットワーク性能の良否に応じて配信するデータ量を端末ごとに異ならせる技術がある。
特開２０１１－１８３１４号公報 特開２００２－２６８９９８号公報
　しかしながら、従来技術によれば、タブレット端末などの端末装置でシンクライアントシステムを利用する場合、ネットワークの帯域幅が狭くサーバとの通信状態が不安定になりやすいため、端末装置におけるユーザの操作性が低下してしまうという問題がある。
　１つの側面では、本発明は、ユーザの操作性の低下を防ぐシステム、情報処理装置および画像処理方法を提供することを目的とする。
　本発明の一側面によれば、ネットワークを介して情報処理装置と端末装置とが接続されるシステムにおいて、前記情報処理装置が、前記端末装置の表示画面に表示する画像の画像データと、前記画像データの圧縮率とに基づいて、前記端末装置に送信するデータ転送量を算出し、算出した前記データ転送量と、前記端末装置との間のデータ転送速度とに基づいて、前記画像を分割する分割単位を決定するシステム、情報処理装置および画像処理方法が提案される。
　本発明の一態様によれば、ユーザの操作性の低下を防ぐことができるという効果を奏する。
図１は、実施の形態にかかる画像処理方法の一実施例を示す説明図である。 図２は、シンクライアントシステム２００のシステム構成例を示す説明図である。 図３は、サーバ２０１のハードウェア構成例を示すブロック図である。 図４は、クライアント装置２０２のハードウェア構成例を示すブロック図である。 図５は、サーバ２０１の機能的構成例を示すブロック図である。 図６は、クライアント装置２０２の機能的構成例を示すブロック図である。 図７は、デスクトップ画面の第１の表示例を示す説明図（その１）である。 図８は、デスクトップ画面の第１の表示例を示す説明図（その２）である。 図９は、デスクトップ画面の第２の表示例を示す説明図である。 図１０は、デスクトップ画面の第３の表示例を示す説明図である。 図１１は、クライアント装置２０２の表示制御処理手順の一例を示すフローチャートである。 図１２は、サーバ２０１の画像処理手順の一例を示すフローチャートである。 図１３は、分割領域画像処理の具体的処理手順の一例を示すフローチャートである。
　以下に添付図面を参照して、本発明にかかるシステム、情報処理装置および画像処理方法の実施の形態を詳細に説明する。
（画像処理方法の一実施例）
　図１は、実施の形態にかかる画像処理方法の一実施例を示す説明図である。図１において、システム１００は、情報処理装置１０１と、端末装置１０２と、を含む。システム１００は、例えば、端末装置１０２に最低限の機能しか持たせず、情報処理装置１０１でアプリケーションやデータを管理するシンクライアントシステムである。
　情報処理装置１０１は、ネットワークを介して端末装置１０２と通信可能なコンピュータである。また、情報処理装置１０１は、端末装置１０２の表示画面１１０に表示する画像の画像データを生成して、端末装置１０２に画像の画像データを送信する機能を有する。情報処理装置１０１は、例えば、サーバである。
　画像は、例えば、端末装置１０２の要求に応じて情報処理装置１０１で実行されるアプリケーションの実行結果を表示する画面の画像である。アプリケーションは、例えば、設計支援ツール、プレゼンテーションソフト、表計算ソフト、電子メールソフトなどである。画像データは、例えば、製図などに利用されるＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ）データや商品のカタログデータなどである。
　端末装置１０２は、ネットワークを介して情報処理装置１０１と通信可能なコンピュータである。また、端末装置１０２は、表示画面１１０を有し、情報処理装置１０１から受信した画像データに基づいて、表示画面１１０に画像を表示する機能を有する。端末装置１０２は、例えば、タブレット端末、ノートＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、携帯電話機などである。
　ここで、タブレット端末やノートＰＣなどでシンクライアントシステムを利用する場合、ネットワークの帯域幅が狭くサーバとの通信状態が不安定になりやすいため、タブレット端末やノートＰＣにおけるユーザの操作性が低下してしまう場合がある。例えば、サーバからタブレット端末へのデータ転送に時間がかかり、タブレット端末における操作に対するレスポンスが悪化してしまう場合がある。
　また、画像の画質を落としてデータ量を減らし、画像データの転送時間を短縮化することも考えられるが、例えば、設計、製図などに利用されるＣＡＤデータなどの精細な画像を扱う場合、画質を落とすと設計や製図に支障をきたす恐れがある。このため、画質を落として画像データの転送時間を調整することが難しい。
　また、サーバとの通信が一時的に切断された場合でも、端末側での操作の続行を可能にするために、端末側にデータやアプリケーションをサーバからダウンロードして実行した後、端末側のデータやアプリケーションを消去することも考えられる。しかし、データやアプリケーションのデータサイズが大きい場合にはダウンロード時間が増大するとともに、一時的にも端末側にデータやアプリケーションが残ることはセキュリティ上好ましくない。
　そこで、本実施の形態では、情報処理装置１０１は、端末装置１０２で行われたユーザ操作に対する画面更新時に、表示画面１１０に送信するデータ転送量とデータ転送速度とに基づく分割単位で画像を分割して端末装置１０２に順次送信する。これにより、ネットワーク環境に合わせて、ユーザに不快感を与えない程度の応答時間を確保して操作性を向上させる。
　以下、端末装置１０２で行われたユーザの操作入力に応じて端末装置１０２の表示画面１１０に画像１２０を表示する場合を例に挙げて、情報処理装置１０１の画像処理例について説明する。
　（１）情報処理装置１０１は、端末装置１０２の表示画面１１０に表示する画像１２０の画像データと、画像１２０の画像データの圧縮率ｃとに基づいて、端末装置１０２に送信するデータ転送量Ｔを算出する。ここで、圧縮率ｃは、例えば、画像データを圧縮した前後のデータ量の比率を表す。
　具体的には、例えば、情報処理装置１０１は、画像１２０の画像データのデータ量と圧縮率ｃとを乗算することにより、端末装置１０２に送信するデータ転送量Ｔを算出する。一例として、画像１２０の画像データのデータ量を「３７５［Ｍｂｙｔｅ］」とし、圧縮率ｃを「０．１（＝１０［％］）」とすると、端末装置１０２に送信するデータ転送量Ｔは「３７５［Ｋｂｙｔｅ］」となる。
　（２）情報処理装置１０１は、データ転送量Ｔとデータ転送速度Ｋとに基づいて、画像１２０の画像データの転送時間ｔを算出する。ここで、データ転送速度Ｋは、例えば、単位時間当たりに情報処理装置１０１から端末装置１０２に送信可能な平均データ量である。データ転送速度Ｋは、予め設定されている初期値を用いることにしてもよく、また、情報処理装置１０１が端末装置１０２と通信することにより測定することにしてもよい。
　具体的には、例えば、情報処理装置１０１は、データ転送量Ｔをデータ転送速度Ｋで除算することにより、転送時間ｔを算出することができる。一例として、データ転送速度Ｋを「１０［Ｍｂｐｓ］」とすると、１００［ｍｓｅｃ］で送れるデータ量は１２５［Ｋｂｙｔｅ］となり、転送時間ｔは「３００［ｍｓｅｃ］」となる。
　（３）情報処理装置１０１は、画像１２０の画像データの転送時間ｔに基づいて、画像１２０を分割する分割単位を決定する。ここで、分割単位は、画像１２０を分割する単位であり、例えば、画像１２０から分割される分割領域画像の面積（画素数）やデータ量によって表される。
　具体的には、例えば、情報処理装置１０１は、画像１２０の画像データの転送時間ｔが閾値Ｘより大きい場合に、画像１２０を分割した分割領域画像の画像データの転送時間ｔが閾値Ｘ以下となるように分割単位を決定する。
　ここで、閾値Ｘは、例えば、ユーザによる操作入力が行われてから、その操作入力に対するレスポンスが返ってくるまでにかかる応答時間を表す値である。閾値Ｘには、例えば、応答時間が閾値Ｘを超えると、ユーザが不快に感じる程度の値（例えば、数百ミリ秒）が設定される。
　一例として、閾値Ｘを「１００［ｍｓｅｃ］」とすると、画像１２０の画像データの転送時間ｔ（３００［ｍｓｅｃ］）は閾値Ｘを超えている。この場合、情報処理装置１０１は、例えば、画像１２０を分割した分割領域画像の画像データの転送時間ｔが閾値Ｘ以下となるように、画像１２０を分割する分割単位を「１２５［Ｋｂｙｔｅ］」に決定する。
　（４）情報処理装置１０１は、決定した分割単位で画像１２０を分割した分割領域画像の画像データを、端末装置１０２に順次送信する。図１の例では、情報処理装置１０１は、画像１２０を１２５［Ｋｂｙｔｅ］単位で分割した分割領域画像１２１，１２２，１２３の画像データｄ１，ｄ２，ｄ３を端末装置１０２に順次送信する。
　より具体的には、例えば、まず、情報処理装置１０１は、分割領域画像１２１の画像データｄ１を端末装置１０２に送信する。次に、情報処理装置１０１は、画像データｄ１が端末装置１０２に到着したタイミング、例えば、画像データｄ１を送信してから１００［ｍｓｅｃ］後に、分割領域画像１２２の画像データｄ２を端末装置１０２に送信する。
　同様に、情報処理装置１０１は、画像データｄ２が端末装置１０２に到着したタイミングに、分割領域画像１２３の画像データｄ３を端末装置１０２に送信する。この結果、端末装置１０２において、画像１２０から分割された分割領域画像１２１，１２２，１２３が表示画面１１０に順次表示される。
　このように、情報処理装置１０１によれば、ネットワークの性能を表すデータ転送速度Ｋと、端末装置１０２に送信するデータ転送量Ｔとに基づいて、端末装置１０２の表示画面１１０に表示する画像１２０の分割単位を動的に変更することができる。具体的には、例えば、情報処理装置１０１によれば、画像１２０を分割した分割領域画像の画像データの転送時間ｔが閾値Ｘを超えないように、画像１２０を分割する分割単位を決定することができる。
　これにより、端末装置１０２は、表示画面１１０の表示内容が更新される更新間隔が閾値Ｘを超えないように、分割領域画像１２１～１２３の画像データｄ１～ｄ３を表示画面１１０に順次表示することができる。この結果、ユーザの操作入力に対するレスポンスを早めて、ユーザの操作性の低下を防ぐことができる。
（シンクライアントシステムのシステム構成例）
　次に、図１に示したシステム１００をシンクライアントシステムに適用した場合について説明する。
　図２は、シンクライアントシステム２００のシステム構成例を示す説明図である。図２において、シンクライアントシステム２００は、サーバ２０１と、複数のクライアント装置２０２（図２の例では、３台）とを含む。シンクライアントシステム２００において、サーバ２０１およびクライアント装置２０２は、ネットワーク２１０を介して通信可能に接続されている。ネットワーク２１０は、例えば、移動体通信網（携帯電話網）やインターネットなどである。
　シンクライアントシステム２００は、クライアント装置２０２が表示する画面をリモートでサーバ２０１に制御させる。シンクライアントシステム２００によれば、実際にはサーバ２０１が実行した処理結果や保持するデータをクライアント装置２０２に表示させつつ、あたかもクライアント装置２０２が主体となって処理を実行したり、データを保持しているかのように振る舞うことができる。
　サーバ２０１は、クライアント装置２０２に表示する画面をリモートで制御するリモート画面制御サービスを提供するコンピュータである。サーバ２０１は、図１に示した情報処理装置１０１に相当する。クライアント装置２０２は、サーバ２０１からリモート画面制御サービスの提供を受けるコンピュータである。クライアント装置２０２は、図１に示した端末装置１０２に相当する。
（サーバ２０１のハードウェア構成例）
　図３は、サーバ２０１のハードウェア構成例を示すブロック図である。図３において、サーバ２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１と、メモリ３０２と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、磁気ディスクドライブ３０４と、磁気ディスク３０５と、を有している。また、各構成部はバス３００によってそれぞれ接続されている。
　ここで、ＣＰＵ３０１は、サーバ２０１の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有している。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されているプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させることになる。
　Ｉ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータ（例えば、クライアント装置２０２）に接続される。そして、Ｉ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。Ｉ／Ｆ３０３には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
　磁気ディスクドライブ３０４は、ＣＰＵ３０１の制御にしたがって磁気ディスク３０５に対するデータのリード／ライトを制御する。磁気ディスク３０５は、磁気ディスクドライブ３０４の制御で書き込まれたデータを記憶する。なお、サーバ２０１は、上述した構成部のほか、例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、キーボード、ディスプレイなどを有することにしてもよい。
（クライアント装置２０２のハードウェア構成例）
　図４は、クライアント装置２０２のハードウェア構成例を示すブロック図である。図４において、クライアント装置２０２は、ＣＰＵ４０１と、ＲＯＭ４０２と、ＲＡＭ４０３と、磁気ディスクドライブ４０４と、磁気ディスク４０５と、Ｉ／Ｆ４０６と、ディスプレイ４０７と、キーボード４０８と、マウス４０９と、を有している。また、各構成部はバス４００によってそれぞれ接続されている。
　ここで、ＣＰＵ４０１は、クライアント装置２０２の全体の制御を司る。ＲＯＭ４０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。磁気ディスクドライブ４０４は、ＣＰＵ４０１の制御にしたがって磁気ディスク４０５に対するデータのリード／ライトを制御する。磁気ディスク４０５は、磁気ディスクドライブ４０４の制御で書き込まれたデータを記憶する。
　Ｉ／Ｆ４０６は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータ（例えば、サーバ２０１）に接続される。そして、Ｉ／Ｆ４０６は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。
　ディスプレイ４０７は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ４０７は、例えば、ＴＦＴ（Ｔｈｉｎ　Ｆｉｌｍ　Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
　キーボード４０８は、文字、数字、各種指示などの入力のためのキーを備え、データの入力を行う。また、キーボード４０８は、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス４０９は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。
（サーバ２０１の機能的構成例）
　図５は、サーバ２０１の機能的構成例を示すブロック図である。図５において、サーバ２０１は、受信部５０１と、取得部５０２と、生成部５０３と、転送量算出部５０４と、転送速度算出部５０５と、転送時間算出部５０６と、分割部５０７と、送信部５０８と、を含む構成である。受信部５０１～送信部５０８は制御部となる機能であり、具体的には、例えば、図３に示したメモリ３０２、磁気ディスク３０５などの記憶装置に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、Ｉ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、メモリ３０２、磁気ディスク３０５などの記憶装置に記憶される。
　受信部５０１は、クライアント装置２０２から操作情報を受信する機能を有する。ここで、操作情報は、クライアント装置２０２のキーボード４０８（図４参照）やマウス４０９（図４参照）を用いたユーザの操作入力を表す情報である。
　操作情報には、例えば、キーボード４０８やマウス４０９を用いたクリック、ダブルクリック、ドラッグ＆ドロップ等の操作入力の種別と、その操作入力が行われたマウスポインタの位置を表す情報が含まれている。また、操作情報には、操作入力が終了したことを示す情報や、マウス４０９のホイールの回転量、キーボード４０８の押下されたキーを表す情報が含まれていてもよい。
　取得部５０２は、受信部５０１によって受信された操作情報に基づいて、クライアント装置２０２の表示画面Ｓに表示する画像Ｐの画像データを取得する機能を有する。ここで、表示画面Ｓは、例えば、クライアント装置２０２のディスプレイ４０７に表示されるデスクトップ画面全体であってもよく、また、デスクトップ画面内のウィンドウであってもよい。
　具体的には、例えば、取得部５０２は、クライアント装置２０２からの要求に応じて実行中のアプリケーションに操作情報を通知することにより、フレームバッファに格納される画像Ｐの画像データを取得する。なお、フレームバッファは、表示画面Ｓに表示する１フレーム分の画像データを一時的に保存する記憶領域であり、例えば、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）である。フレームバッファは、例えば、メモリ３０２、磁気ディスク３０５などの記憶装置により実現される。
　生成部５０３は、画像Ｐの画像データと画像Ｐpreの画像データとに基づいて、表示画面Ｓの表示内容が更新されているか否かを判断する機能を有する。ここで、画像Ｐpreは、表示画面Ｓに表示する画像Ｐの１フレーム前の画像である。具体的には、例えば、生成部５０３は、画像Ｐの画像データと画像Ｐpreの画像データとの間に差分が存在する場合に、表示画面Ｓの表示内容が更新されていると判断する。
　なお、画像Ｐpreの画像データは、退避用バッファに格納されている。例えば、画像Ｐpreの画像データは、フレームバッファに画像Ｐの画像データが格納される際に、フレームバッファから退避用バッファに退避される。退避用バッファは、例えば、メモリ３０２、磁気ディスク３０５などの記憶装置により実現される。
　また、生成部５０３は、表示画面Ｓの表示内容が更新されている場合、画像Ｐの更新領域画像Ｒの画像データを生成する。ここで、更新領域画像は、画像Ｐのうちの更新領域を表す画像である。具体的には、例えば、生成部５０３は、画像Ｐのうち画像Ｐpreとの差分領域画像を含む矩形領域を更新領域画像Ｒとして、更新領域画像Ｒの画像データを生成する。
　転送量算出部５０４は、更新領域画像Ｒの画像データと、更新領域画像Ｒの画像データの圧縮率ｃとに基づいて、クライアント装置２０２に送信するデータ転送量Ｔを算出する機能を有する。具体的には、例えば、まず、転送量算出部５０４は、更新領域画像Ｒの画像データを圧縮する圧縮方式を選択する。
　圧縮方式としては、例えば、画像データが静止画の場合は、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）、ＧＩＦ（Ｇｒａｐｈｉｃ　Ｉｎｔｅｒｃｈａｎｇｅ　Ｆｏｒｍａｔ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ　Ｎｅｔｗｏｒｋ　Ｇｒａｐｈｉｃｓ）などがある。また、画像データが動画の場合は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）がある。
　より具体的には、例えば、転送量算出部５０４は、更新領域画像Ｒの画像データの各画素の画素値に基づいて、複数の圧縮方式の中から圧縮効率が最も高い圧縮方式を選択する。なお、画素値とは、例えば、画素の赤色、緑色、青色ごとの輝度である。そして、転送量算出部５０４は、例えば、更新領域画像Ｒの画像データのデータ量と、選択した圧縮方式の圧縮率ｃとを乗算することにより、データ転送量Ｔを算出する。
　転送速度算出部５０５は、サーバ２０１とクライアント装置２０２との間のデータ転送速度Ｋを算出する機能を有する。具体的には、例えば、転送速度算出部５０５は、クライアント装置２０２に送信した所定データの送信時刻と、所定データをクライアント装置２０２が受信した受信時刻と、所定データのデータ量とに基づいて、データ転送速度Ｋを算出する。
　より具体的には、例えば、転送速度算出部５０５は、所定データのデータ量を、所定データの送信時刻と受信時刻との時間間隔で除算することにより、単位時間当たりにクライアント装置２０２に送信可能なデータ転送速度Ｋを算出する。なお、所定データは、データ転送速度Ｋを測定する専用のデータであってもよく、また、表示画面Ｓに表示する画像Ｐや更新領域画像Ｒの画像データであってもよい。
　転送時間算出部５０６は、更新領域画像Ｒの画像データの転送時間ｔを算出する機能を有する。ここで、更新領域画像Ｒの画像データの転送時間ｔは、サーバ２０１からクライアント装置２０２に画像データを転送するのにかかる時間である。具体的には、例えば、転送時間算出部５０６は、データ転送量Ｔをデータ転送速度Ｋで除算することにより、更新領域画像Ｒの画像データの転送時間ｔを算出する。
　分割部５０７は、更新領域画像Ｒの画像データの転送時間ｔに基づいて、更新領域画像Ｒを分割する分割単位を決定する機能を有する。具体的には、例えば、分割部５０７は、更新領域画像Ｒの画像データの転送時間ｔが閾値Ｘより大きい場合に、更新領域画像Ｒから分割した分割領域画像ｒの画像データの転送時間ｔが閾値Ｘ以下となるように分割単位を決定する。
　上述したように、閾値Ｘは、ユーザによる操作入力が行われてから、その操作入力に対するレスポンスが返ってくるまでにかかる応答時間を表す値である。閾値Ｘには、例えば、応答時間が閾値Ｘを超えると、ユーザが不快に感じる程度の値が設定される。閾値Ｘは、例えば、メモリ３０２、磁気ディスク３０５などの記憶装置に記憶されている。
　また、分割部５０７は、決定した分割単位で更新領域画像Ｒを分割することにより、更新領域画像Ｒから分割した分割領域画像ｒごとの画像データを生成する機能を有する。具体的には、例えば、分割部５０７は、決定した分割単位で更新領域画像Ｒを縦方向または横方向に区切って分割することにより、分割領域画像ｒごとの画像データを生成する。
　送信部５０８は、更新領域画像Ｒから分割された分割領域画像ｒごとの画像データを、所定の順序でクライアント装置２０２に順次送信する機能を有する。具体的には、例えば、送信部５０８は、選択した圧縮方式で分割領域画像ｒの画像データを圧縮（エンコード）することにより、圧縮後の分割領域画像ｒの画像データを静止画データとしてクライアント装置２０２に送信する。
　より具体的には、例えば、更新領域画像Ｒを縦方向に区切って分割した場合、送信部５０８は、更新領域画像Ｒの左から順に分割領域画像ｒの画像データをクライアント装置２０２に送信することにしてもよい。また、例えば、更新領域画像Ｒを横方向に区切って分割した場合、送信部５０８は、更新領域画像Ｒの上から順に分割領域画像ｒの画像データをクライアント装置２０２に送信することにしてもよい。
　また、送信部５０８は、更新領域画像Ｒから分割された複数の分割領域画像のうち、マウスポインタを含む分割領域画像ｒの画像データを最初にクライアント装置２０２に送信することにしてもよい。分割領域画像ｒは、例えば、操作情報に含まれるマウスポインタの位置を表す情報から特定することができる。
　また、送信部５０８は、更新領域画像Ｒから分割された複数の分割領域画像のうち、表示画面Ｓの中心点を含む分割領域画像ｒの画像データを最初にクライアント装置２０２に送信することにしてもよい。
　なお、更新領域画像Ｒから分割された分割領域画像ｒの画像データの送信順序例については、図７～図１０を用いて後述する。
　また、送信部５０８は、更新領域画像Ｒが分割されていない場合は、更新領域画像Ｒの画像データをクライアント装置２０２に送信する。具体的には、例えば、送信部５０８は、選択した圧縮方式で更新領域画像Ｒの画像データを圧縮（エンコード）することにより、圧縮後の更新領域画像Ｒの画像データを静止画データまたは動画データとしてクライアント装置２０２に送信する。
　また、画像Ｐpreの更新領域画像Ｒpreから分割された分割領域画像ｒpreの画像データのうち、クライアント装置２０２に送信されていない未送信の分割領域画像ｒpreの画像データが存在する場合がある。この場合、送信部５０８は、未送信の分割領域画像ｒpreの画像データの代わりに、更新領域画像Ｒから分割された分割領域画像ｒの画像データをクライアント装置２０２に送信することにしてもよい。
　また、生成部５０３は、更新領域画像Ｒの画像データが静止画データか否かを判定することにしてもよい。具体的には、例えば、生成部５０３は、画像Ｐの画像データが静止画データか動画データかを識別する識別情報に基づいて、更新領域画像Ｒの画像データが静止画データか否かを判定することにしてもよい。
　そして、送信部５０８は、更新領域画像Ｒの画像データが動画データの場合は、更新領域画像Ｒの画像データをクライアント装置２０２に送信することにしてもよい。これにより、画像Ｐが頻繁に更新されて分割にかかるオーバーヘッドが大きくなる動画データの場合は、画像Ｐの更新領域画像Ｒを分割することなくクライアント装置２０２に送信することができる。すなわち、転送量算出部５０４は、更新領域画像Ｒの画像データが静止画データの場合にのみ、更新領域画像Ｒの画像データと圧縮率ｃとに基づいて、データ転送量Ｔを算出する。
　なお、サーバ２０１は、フレーム間で動きが大きい部分のデータを動画向けの圧縮方式のデータに圧縮してクライアント装置２０２に送信する機能を有することにしてもよい。具体的には、例えば、サーバ２０１は、アプリケーションに操作情報を通知して得られる画像を複数の領域に分割し、分割した領域ごとに変更の頻度を監視する。そして、サーバ２０１は、変更の頻度が閾値を超えた領域を動画化領域として扱うことにしてもよい。
　この場合、生成部５０３は、例えば、更新領域画像Ｒが動画化領域を含むか否かによって、更新領域画像Ｒの画像データが静止画データか否かを判定することにしてもよい。より具体的には、例えば、生成部５０３は、例えば、更新領域画像Ｒが動画化領域を含む場合は、更新領域画像Ｒの画像データが動画データであると判定する。なお、フレーム間で動きが大きい部分のデータを動画向けの圧縮方式のデータに圧縮してクライアント装置２０２に送信する技術については、例えば、特開２０１１－２３８０１４を参照することができる。
（クライアント装置２０２の機能的構成例）
　図６は、クライアント装置２０２の機能的構成例を示すブロック図である。図６において、クライアント装置２０２は、取得部６０１と、送信部６０２と、受信部６０３と、表示制御部６０４と、を含む構成である。取得部６０１～表示制御部６０４は制御部となる機能であり、具体的には、例えば、図４に示したＲＯＭ４０２、ＲＡＭ４０３、磁気ディスク４０５などの記憶装置に記憶されたプログラムをＣＰＵ４０１に実行させることにより、または、Ｉ／Ｆ４０６により、その機能を実現する。各機能部の処理結果は、例えば、ＲＡＭ４０３、磁気ディスク４０５などの記憶装置に記憶される。
　取得部６０１は、ユーザの操作入力を表す操作情報を取得する機能を有する。具体的には、例えば、取得部６０１は、表示画面Ｓ上でのキーボード４０８（図４参照）やマウス４０９（図４参照）を用いたユーザの操作入力を受け付けることにより、ユーザの操作入力を表す操作情報を取得する。
　上述したように、操作情報には、例えば、クリック、ダブルクリック、ドラッグ＆ドロップ等の操作入力の種別、その操作入力が行われたマウスポインタの位置、その操作入力が終了したことを示す情報が含まれている。なお、ドラッグ＆ドロップのように操作入力が継続して行われる場合には、取得部６０１は、ユーザの操作入力を表す操作情報を一定時間間隔ごとに取得することにしてもよい。
　また、タッチパネル式のキーボード４０８を用いて、タップ、ドラッグ、フリック、ピンチアウト、ピンチイン等の操作入力が行われる場合がある。この場合、取得部６０１は、タッチパネル式のキーボード４０８を用いた操作入力を、例えば、サーバ２０１で実行中のアプリケーションが解釈可能なマウス４０９を用いた操作入力に変換した操作情報を取得することにしてもよい。ただし、操作情報の変換処理は、サーバ２０１側で行われることにしてもよい。
　送信部６０２は、取得部６０１によって取得された操作情報をサーバ２０１に送信する機能を有する。具体的には、例えば、送信部６０２は、取得部６０１によって操作情報が取得されると、その都度、取得された操作情報をサーバ２０１に送信する。
　受信部６０３は、サーバ２０１から画像データを受信する機能を有する。具体的には、例えば、受信部６０３は、画像Ｐ、画像Ｐに含まれる更新領域画像Ｒ、更新領域画像Ｒから分割された分割領域画像ｒの画像データをサーバ２０１から受信する。
　表示制御部６０４は、ディスプレイ４０７を制御して、受信部６０３によって受信された画像データＳＤを表示する機能を有する。具体的には、例えば、表示制御部６０４は、受信された画像Ｐ、更新領域画像Ｒ、分割領域画像ｒの画像データをデコードとして、表示画面Ｓの対応する位置に表示する。
　また、送信部６０２は、受信部６０３によって受信された所定データの受信時刻をサーバ２０１に送信することにしてもよい。所定データは、上述したように、サーバ２０１においてデータ転送速度Ｋを測定するためのデータである。
（デスクトップ画面の表示例）
　次に、クライアント装置２０２のディスプレイ４０７に表示されるデスクトップ画面の表示例について説明する。ここでは、まず、更新領域画像Ｒを横方向に分割し、更新領域画像Ｒから分割された分割領域画像ｒの画像データを配置位置が上のものから順にクライアント装置２０２に送信する場合について説明する。
＜第１の表示例＞
　図７および図８は、デスクトップ画面の第１の表示例を示す説明図である。図７において、クライアント装置２０２のディスプレイ４０７にデスクトップ画面７０１が表示されている。また、デスクトップ画面７０１にはウィンドウ７０２が表示されており、ウィンドウ７０２には画像７１０が表示されている。
　ここで、クライアント装置２０２において、ウィンドウ７０２に表示されている画像７１０を矢印７０３のように回転させる操作入力が行われた結果（図７中（７－１）参照）、サーバ２０１において、ウィンドウ７０２に次に表示する画像７２０が取得された場合を想定する（図７中（７－２）参照）。また、画像７２０の更新領域画像Ｒを画像７２０の全領域とし、更新領域画像Ｒが分割領域画像７２１～７２３に分割された場合を想定する（図７中（７－３）参照）。
　この場合、まず、サーバ２０１は、分割領域画像７２１～７２３のうち分割領域画像７２１の画像データをクライアント装置２０２に送信する。そして、クライアント装置２０２は、分割領域画像７２１の画像データに基づいて、ウィンドウ７０２の対応する位置に分割領域画像７２１を表示する（図７中（７－４）参照）。
　ここで、クライアント装置２０２において、ウィンドウ７０２に表示されている一部更新済みの画像７１０を矢印７０４のように回転させる操作入力が行われた結果（図７中（７－５）参照）、サーバ２０１において、ウィンドウ７０２に次に表示する画像７３０が取得された場合を想定する（図７中（７－６）参照）。また、画像７３０の更新領域画像Ｒを画像７３０の全領域とし、更新領域画像Ｒが分割領域画像７３１～７３３に分割された場合を想定する（図８中（７－７）参照）。
　この場合、サーバ２０１は、分割領域画像７２２の代わりに、分割領域画像７３２の画像データをクライアント装置２０２に送信する。この結果、クライアント装置２０２は、分割領域画像７３２の画像データに基づいて、ウィンドウ７０２内の対応する位置に分割領域画像７３２を表示する（図８中（７－８）参照）。
　次に、サーバ２０１は、分割領域画像７３１～７３３のうち未送信の分割領域画像７３３の画像データをクライアント装置２０２に送信する（図８中（７－９）参照）。この結果、クライアント装置２０２は、分割領域画像７３３の画像データに基づいて、ウィンドウ７０２内の対応する位置に分割領域画像７３３を表示する（図８中（７－１０）参照）。
　次に、サーバ２０１は、分割領域画像７３１～７３３のうち未送信の分割領域画像７３１の画像データをクライアント装置２０２に送信する（図８中（７－１１）参照）。この結果、クライアント装置２０２は、分割領域画像７３１の画像データに基づいて、ウィンドウ７０２内の対応する位置に分割領域画像７３１を表示する（図８中（７－１２）参照）。この結果、ウィンドウ７０２のすべての画面更新が行われて画像７３０がウィンドウ７０２に表示される。
　このように、サーバ２０１によれば、ウィンドウ単位で表示内容を更新するよりも早いタイミングでウィンドウ７０２の表示内容を部分的に更新することができる。この結果、ユーザは、自身が行った操作入力に対してウィンドウ７０２の表示内容がどのように変化するのかを予測することができるようになり、新たな操作入力を行うべきか否かを判断し易くなる。
　また、サーバ２０１によれば、更新領域画像Ｒから分割された分割領域画像ｒの画像データを予め決められた順序でクライアント装置２０２に送信することができる。これにより、ユーザは、ウィンドウ７０２上で次に更新される部分を把握し易くなる。また、サーバ２０１によれば、未送信の分割領域画像の画像データが存在する状態で、次の操作入力が行われた場合、未送信の画像データの代わりに、次の更新領域画像Ｒから分割された分割領域画像ｒの画像データをクライアント装置２０２に送信することができる。
＜第２の表示例＞
　次に、更新領域画像Ｒを横方向に分割し、更新領域画像Ｒから分割された分割領域画像ｒのうち、マウスポインタを含む分割領域画像ｒの画像データを最初にクライアント装置２０２に送信する場合について説明する。
　図９は、デスクトップ画面の第２の表示例を示す説明図である。図９において、クライアント装置２０２のディスプレイ４０７にデスクトップ画面９０１が表示されている。また、デスクトップ画面９０１にはウィンドウ９０２が表示されており、ウィンドウ９０２には画像９１０とマウスカーソル９０３が表示されている。
　ここで、クライアント装置２０２において、ウィンドウ９０２に表示されている画像９１０を矢印９０４のように回転させる操作入力が行われた結果（図９中（９－１）参照）、サーバ２０１において、ウィンドウ９０２に次に表示する画像９２０が取得された場合を想定する（図９中（９－２）参照）。また、画像９２０の更新領域画像Ｒを画像９２０の全領域とし、更新領域画像Ｒが分割領域画像９２１～９２３に分割された場合を想定する（図９中（９－３）参照）。
　この場合、まず、サーバ２０１は、分割領域画像９２１～９２３のうちマウスカーソル９０３（マウスポインタ）を含む分割領域画像９２３を特定する。そして、サーバ２０１は、マウスカーソル９０３（マウスポインタ）を含む分割領域画像９２３の画像データをクライアント装置２０２に送信する。そして、クライアント装置２０２は、分割領域画像９２３の画像データに基づいて、ウィンドウ９０２の対応する位置に分割領域画像９２３を表示する（図９中（９－４）参照）。
　次に、サーバ２０１は、分割領域画像９２１～９２３のうち未送信の分割領域画像９２１の画像データをクライアント装置２０２に送信する（図９中（９－５）参照）。この結果、クライアント装置２０２は、分割領域画像９２１の画像データに基づいて、ウィンドウ９０２内の対応する位置に分割領域画像９２１を表示する（図９中（９－６）参照）。
　次に、サーバ２０１は、分割領域画像９２１～９２３のうち未送信の分割領域画像９２２の画像データをクライアント装置２０２に送信する（図９中（９－７）参照）。この結果、クライアント装置２０２は、分割領域画像９２２の画像データに基づいて、ウィンドウ９０２内の対応する位置に分割領域画像９２２を表示する（図９中（９－８）参照）。
　このように、サーバ２０１によれば、更新領域画像Ｒから分割された分割領域画像９２１～９２３のうちマウスカーソル９０３を含む分割領域画像９２３の画像データを最初にクライアント装置２０２に送信することができる。これにより、ウィンドウ９０２においてマウスカーソル９０３を含む部分が最初に更新されるため、ユーザは、ウィンドウ９０２上で次に更新される部分を把握し易くなる。
＜第３の表示例＞
　次に、更新領域画像Ｒを横方向に分割し、更新領域画像Ｒから分割された分割領域画像ｒのうち、更新領域画像Ｒの中心点を含む分割領域画像ｒの画像データを最初にクライアント装置２０２に送信する場合について説明する。
　図１０は、デスクトップ画面の第３の表示例を示す説明図である。図１０において、クライアント装置２０２のディスプレイ４０７にデスクトップ画面１００１が表示されている。また、デスクトップ画面１００１にはウィンドウ１００２が表示されており、ウィンドウ１００２には画像１０１０が表示されている。
　ここで、クライアント装置２０２において、ウィンドウ１００２に表示されている画像１０１０を矢印１００３のように回転させる操作入力が行われた結果（図１０中（１０－１）参照）、サーバ２０１において、ウィンドウ１００２に次に表示する画像１０２０が取得された場合を想定する（図１０中（１０－２）参照）。また、画像１０２０の更新領域画像Ｒを画像１０２０の全領域とし、更新領域画像Ｒが分割領域画像１０２１～１０２３に分割された場合を想定する（図１０中（１０－３）参照）。
　この場合、まず、サーバ２０１は、分割領域画像１０２１～１０２３のうちウィンドウ１００２の中心点１００４を含む分割領域画像１０２２を特定する。そして、サーバ２０１は、中心点１００４を含む分割領域画像１０２２の画像データをクライアント装置２０２に送信する。そして、クライアント装置２０２は、分割領域画像１０２２の画像データに基づいて、ウィンドウ１００２の対応する位置に分割領域画像１０２２を表示する（図１０中（１０－４）参照）。
　次に、サーバ２０１は、分割領域画像１０２１～１０２３のうち未送信の分割領域画像１０２１の画像データをクライアント装置２０２に送信する（図１０中（１０－５）参照）。この結果、クライアント装置２０２は、分割領域画像１０２１の画像データに基づいて、ウィンドウ１００２内の対応する位置に分割領域画像１０２１を表示する（図１０中（１０－６）参照）。
　次に、サーバ２０１は、分割領域画像１０２１～１０２３のうち未送信の分割領域画像１０２３の画像データをクライアント装置２０２に送信する（図１０中（１０－７）参照）。この結果、クライアント装置２０２は、分割領域画像１０２３の画像データに基づいて、ウィンドウ１００２内の対応する位置に分割領域画像１０２３を表示する（図１０中（１０－８）参照）。
　このように、サーバ２０１によれば、更新領域画像Ｒから分割された分割領域画像１０２１～１０２３のうちウィンドウ１００２の中心点１００４を含む分割領域画像１０２２の画像データを最初にクライアント装置２０２に送信することができる。これにより、ウィンドウ１００２において中心点１００４を含む部分が最初に更新されるため、ユーザは、ウィンドウ１００２上で次に更新される部分を把握し易くなる。
（クライアント装置２０２の表示制御処理手順）
　次に、クライアント装置２０２の表示制御処理手順について説明する。
　図１１は、クライアント装置２０２の表示制御処理手順の一例を示すフローチャートである。図１１のフローチャートにおいて、まず、クライアント装置２０２は、ユーザの操作入力を受け付けたか否かを判断する（ステップＳ１１０１）。ここで、クライアント装置２０２は、ユーザの操作入力を受け付けるのを待つ（ステップＳ１１０１：Ｎｏ）。
　そして、クライアント装置２０２は、ユーザの操作入力を受け付けた場合（ステップＳ１１０１：Ｙｅｓ）、ユーザの操作入力を表す操作情報を取得する（ステップＳ１１０２）。次に、クライアント装置２０２は、取得した操作情報をサーバ２０１に送信する（ステップＳ１１０３）。
　そして、クライアント装置２０２は、サーバ２０１から画像データを受信したか否かを判断する（ステップＳ１１０４）。ここで、サーバ２０１から画像データを受信しなかった場合（ステップＳ１１０４：Ｎｏ）、クライアント装置２０２は、本フローチャートによる一連の処理を終了する。
　一方、サーバ２０１から画像データを受信した場合（ステップＳ１１０４：Ｙｅｓ）、クライアント装置２０２は、受信した画像データが静止画データか否かを判断する（ステップＳ１１０５）。
　ここで、静止画データの場合（ステップＳ１１０５：Ｙｅｓ）、クライアント装置２０２は、受信した画像データを静止画用の復元方式を用いてデコードした静止画データを表示画面Ｓに表示して（ステップＳ１１０６）、本フローチャートによる一連の処理を終了する。
　一方、動画データの場合（ステップＳ１１０５：Ｎｏ）、クライアント装置２０２は、受信した画像データを動画用の復元方式を用いてデコードした動画データを表示画面Ｓに表示して（ステップＳ１１０７）、本フローチャートによる一連の処理を終了する。これにより、ユーザの操作入力に応じて表示画面Ｓの表示内容を更新することができる。
（サーバ２０１の画像処理手順）
　次に、サーバ２０１の画像処理手順について説明する。
　図１２は、サーバ２０１の画像処理手順の一例を示すフローチャートである。図１２のフローチャートにおいて、まず、サーバ２０１は、クライアント装置２０２から操作情報を受信したか否かを判断する（ステップＳ１２０１）。
　ここで、サーバ２０１は、クライアント装置２０２から操作情報を受信した場合（ステップＳ１２０１：Ｙｅｓ）、クライアント装置２０２からの要求に応じて実行中のアプリケーションに操作情報を通知することにより、フレームバッファから画像Ｐの画像データを取得する（ステップＳ１２０２）。
　次に、サーバ２０１は、画像Ｐの画像データと画像Ｐpreの画像データとに基づいて、表示画面Ｓの表示内容が更新されているか否かを判断する（ステップＳ１２０３）。ここで、表示画面Ｓの表示内容が更新されていない場合（ステップＳ１２０３：Ｎｏ）、サーバ２０１は、ステップＳ１２１０に移行する。
　一方、表示画面Ｓの表示内容が更新されている場合（ステップＳ１２０３：Ｙｅｓ）、サーバ２０１は、画像Ｐの更新領域画像Ｒの画像データを生成する（ステップＳ１２０４）。そして、サーバ２０１は、生成した更新領域画像Ｒの画像データが静止画データか否かを判断する（ステップＳ１２０５）。
　ここで、更新領域画像Ｒの画像データが静止画データの場合（ステップＳ１２０５：Ｙｅｓ）、サーバ２０１は、更新領域画像Ｒの画像データと、更新領域画像Ｒの画像データの圧縮率ｃとに基づいて、クライアント装置２０２に送信するデータ転送量Ｔを算出する（ステップＳ１２０６）。
　次に、サーバ２０１は、算出したデータ転送量Ｔをデータ転送速度Ｋで除算することにより、更新領域画像Ｒの画像データの転送時間ｔを算出する（ステップＳ１２０７）。そして、サーバ２０１は、算出した更新領域画像Ｒの画像データの転送時間ｔが閾値Ｘより大きいか否かを判断する（ステップＳ１２０８）。
　ここで、更新領域画像Ｒの画像データの転送時間ｔが閾値Ｘより大きい場合（ステップＳ１２０８：Ｙｅｓ）、サーバ２０１は、分割領域画像処理を実行する（ステップＳ１２０９）。なお、分割領域画像処理の具体的な処理手順については、図１３を用いて後述する。そして、サーバ２０１は、所定時間（例えば、３０［ｍｓｅｃ］）待機して（ステップＳ１２１０）、ステップＳ１２０１に戻る。
　また、ステップＳ１２０８において、更新領域画像Ｒの画像データの転送時間ｔが閾値Ｘ以下の場合（ステップＳ１２０８：Ｎｏ）、サーバ２０１は、分割数ｎを「ｎ＝０」で初期化する（ステップＳ１２１１）。そして、サーバ２０１は、更新領域画像Ｒの画像データを静止画データとしてクライアント装置２０２に送信して（ステップＳ１２１２）、ステップＳ１２１０に移行する。
　また、ステップＳ１２０５において、更新領域画像Ｒの画像データが動画データの場合（ステップＳ１２０５：Ｎｏ）、サーバ２０１は、更新領域画像Ｒの画像データを動画データとしてクライアント装置２０２に送信して（ステップＳ１２１３）、ステップＳ１２１０に移行する。
　また、ステップＳ１２０１において、サーバ２０１は、クライアント装置２０２から操作情報を受信していない場合（ステップＳ１２０１：Ｎｏ）、分割数ｎが「ｎ＞０」かつ未送信の分割領域画像の画像データがあるか否かを判断する（ステップＳ１２１４）。
　ここで、「ｎ＞０」かつ未送信の分割領域画像の画像データがある場合（ステップＳ１２１４：Ｙｅｓ）、サーバ２０１は、図１３に示すステップＳ１３０４に移行する。一方、「ｎ＝０」または未送信の分割領域画像の画像データがない場合（ステップＳ１２１４：Ｎｏ）、サーバ２０１は、ステップＳ１２１０に移行する。
　ここで、図１２に示したステップＳ１２０９の分割領域画像処理の具体的な処理手順について説明する。
　図１３は、分割領域画像処理の具体的処理手順の一例を示すフローチャートである。図１３のフローチャートにおいて、まず、サーバ２０１は、更新領域画像Ｒから分割した分割領域画像ｒの画像データの転送時間ｔが閾値Ｘ以下となるように分割単位を決定する（ステップＳ１３０１）。
　次に、サーバ２０１は、決定した分割単位で更新領域画像Ｒを分割することにより、更新領域画像Ｒから分割した分割領域画像ごとの画像データを生成する（ステップＳ１３０２）。そして、サーバ２０１は、更新領域画像Ｒを分割した分割数ｎを設定する（ステップＳ１３０３）。
　次に、サーバ２０１は、更新領域画像Ｒから分割された分割領域画像から選択されていない未選択の分割領域画像の画像データを選択する（ステップＳ１３０４）。そして、サーバ２０１は、選択した分割領域画像の画像データに基づいて、分割領域画像に更新箇所があるか否かを判断する（ステップＳ１３０５）。
　ここで、分割領域画像に更新箇所がない場合（ステップＳ１３０５：Ｎｏ）、サーバ２０１は、図１２に示したステップＳ１２１０に移行する。一方、分割領域画像に更新箇所がある場合（ステップＳ１３０５：Ｙｅｓ）、サーバ２０１は、選択した分割領域画像の画像データを静止画データとしてクライアント装置２０２に送信して（ステップＳ１３０６）、分割領域画像処理を呼び出したステップに戻る。
　これにより、クライアント装置２０２において、表示画面Ｓの表示内容が更新される更新間隔が閾値Ｘを超えないように、更新領域画像Ｒを分割した分割領域画像ｒの画像データをクライアント装置２０２に送信することができる。
　以上説明したように、実施の形態にかかるサーバ２０１によれば、クライアント装置２０２の表示画面Ｓに表示する更新領域画像Ｒの画像データと、当該画像データの圧縮率ｃとに基づいて、データ転送量Ｔを算出することができる。また、サーバ２０１によれば、データ転送量Ｔとデータ転送速度Ｋとに基づいて、更新領域画像Ｒの画像データの転送時間ｔを算出することができる。また、サーバ２０１によれば、算出した更新領域画像Ｒの画像データの転送時間ｔに基づいて、更新領域画像Ｒを分割する分割単位を決定することができる。
　これにより、ネットワークの性能を表すデータ転送速度Ｋと、端末装置１０２に送信するデータ転送量Ｔとに応じて、端末装置１０２の表示画面１１０に表示する更新領域画像Ｒの分割単位を動的に変更することができる。
　また、サーバ２０１によれば、更新領域画像Ｒの画像データの転送時間ｔが閾値Ｘより大きい場合に、更新領域画像Ｒを分割した分割領域画像ｒの画像データの転送時間ｔが閾値Ｘ以下となるように分割単位を決定することができる。また、サーバ２０１によれば、決定した分割単位で更新領域画像Ｒを分割した分割領域画像ｒの画像データを、所定の順序でクライアント装置２０２に順次送信することができる。
　これにより、クライアント装置２０２において、表示画面Ｓの表示内容が更新される更新間隔が閾値Ｘを超えないように、分割領域画像ｒの画像データを表示画面Ｓに順次表示させることができる。この結果、ユーザの操作入力に対するレスポンスを早めて、ユーザの操作性の低下を防ぐことができる。また、サーバ２０１によれば、閾値Ｘを変更することにより、ユーザの操作入力に対する応答時間を調整することができる。
　また、サーバ２０１によれば、クライアント装置２０２に送信された所定データの送信時刻と、クライアント装置２０２によって所定データが受信された受信時刻と、所定データのデータ量とに基づいて、データ転送速度Ｋを算出することができる。これにより、時々刻々と変化するトラフィック量に応じたネットワーク２１０の性能を測定することができる。
　また、サーバ２０１によれば、未送信の分割領域画像ｒpreの画像データがある状態で新たな画面更新が行われる場合は、未送信の分割領域画像ｒpreの画像データの代わりに、分割領域画像ｒの画像データをクライアント装置２０２に送信することができる。これにより、過去の操作入力に対する画面更新のための画像データの送信を止めて、ネットワーク２１０のトラフィック量の増大化を防ぐことができる。
　これらのことから実施の形態にかかるシンクライアントシステム２００によれば、ユーザが不快に感じない程度の更新間隔で表示画面Ｓの表示内容を部分的に更新することができる。これにより、ユーザの操作入力に対する応答時間を早めて操作感を向上させるとともに、操作入力に対して表示画面Ｓの表示内容がどのように変化するのかをユーザが予測できるようになり操作性を向上させることができる。
　例えば、通信状態が不安定なモバイル環境でクライアント装置２０２を用いてアプリケーションを操作する場合に、オブジェクトの回転などを繰り返し操作するたびに発生するデータ転送のデータ量を削減することができる。また、通信が一時的に切断されても、表示画面Ｓの表示内容を部分的に更新することにより、通信の不安定さをユーザに対して隠蔽することができる。
　なお、本実施の形態で説明した画像処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本画像処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本画像処理プログラムは、インターネット等のネットワークを介して配布してもよい。
　１００　システム
　１０１　情報処理装置
　１０２　端末装置
　２００　シンクライアントシステム
　２０１　サーバ
　２０２　クライアント装置
　５０１，６０３　受信部
　５０２，６０１　取得部
　５０３　生成部
　５０４　転送量算出部
　５０５　転送速度算出部
　５０６　転送時間算出部
　５０７　分割部
　５０８，６０２　送信部
　６０４　表示制御部

Claims (11)

  1. 　ネットワークを介して情報処理装置と端末装置とが接続されるシステムにおいて、
    　前記情報処理装置は、
    　前記端末装置の表示画面に表示する画像の画像データと、前記画像データの圧縮率とに基づいて、前記端末装置に送信するデータ転送量を算出する転送量算出部と、
    　前記転送量算出部によって算出された前記データ転送量と、前記端末装置との間のデータ転送速度とに基づいて、前記画像を分割する分割単位を決定する決定部と、
    　を有することを特徴とするシステム。
  2. 　前記情報処理装置は、
    　前記データ転送量と前記データ転送速度とに基づいて、前記画像データの転送時間を算出する転送時間算出部を有し、
    　前記決定部は、
    　前記転送時間算出部によって算出された前記画像データの転送時間が閾値より大きい場合に、前記画像を分割した分割領域の画像データの転送時間が前記閾値以下となるように前記分割単位を決定することを特徴とする請求項１に記載のシステム。
  3. 　前記情報処理装置は、
    　前記決定部によって決定された前記分割単位で前記画像を分割した分割領域画像の画像データを、所定の順序で前記端末装置に順次送信する送信部を有することを特徴とする請求項２に記載のシステム。
  4. 　前記情報処理装置は、
    　前記端末装置で行われた操作入力を表す操作情報を前記端末装置から受信する受信部と、前記受信部によって受信された前記操作情報を前記端末装置からの要求に応じて実行中のアプリケーションに通知することにより、前記画像の画像データを取得する取得部と、を有し、
    　前記転送量算出部は、
    　前記取得部によって取得された前記画像の画像データと、当該画像データの圧縮率とに基づいて、前記データ転送量を算出することを特徴とする請求項３に記載のシステム。
  5. 　前記情報処理装置は、
    　前記操作情報を前記アプリケーションに通知して得られる第１の画像の画像データと、前記操作情報の直前に前記端末装置から受信された操作情報を前記アプリケーションに通知して得られる第２の画像の画像データとに基づいて、前記第１の画像のうちの更新領域を表す画像の画像データを生成する生成部を有し、
    　前記転送量算出部は、
    　前記生成部によって生成された前記画像の画像データと当該画像データの圧縮率とに基づいて、前記データ転送量を算出することを特徴とする請求項４に記載のシステム。
  6. 　前記情報処理装置は、
    　前記端末装置に送信されたデータの送信時刻と、前記端末装置によって前記データが受信された受信時刻と、前記データのデータ量とに基づいて、前記データ転送速度を算出する転送速度算出部を有し、
    　前記転送時間算出部は、
    　前記転送量算出部によって算出された前記データ転送量と前記転送速度算出部によって算出された前記データ転送速度とに基づいて、前記画像の画像データの転送時間を算出することを特徴とする請求項５に記載のシステム。
  7. 　前記情報処理装置は、
    　前記第２の画像のうちの更新領域を表す画像から分割された分割領域画像の画像データのうち、前記端末装置に送信されていない未送信の分割領域画像の画像データがある場合、前記未送信の分割領域画像の画像データの代わりに、前記画像から分割された分割領域画像の画像データを前記端末装置に送信することを特徴とする請求項６に記載のシステム。
  8. 　前記転送量算出部は、
    　前記画像の画像データが静止画データの場合に、前記画像の画像データと当該画像データの圧縮率とに基づいて、前記データ転送量を算出することを特徴とする請求項７に記載のシステム。
  9. 　前記送信部は、
    　前記画像の画像データが静止画データではない場合、前記画像の画像データを前記端末装置に送信することを特徴とする請求項８に記載のシステム。
  10. 　ネットワークを介して端末装置と接続される情報処理装置において、
    　前記端末装置の表示画面に表示する画像の画像データと、前記画像データの圧縮率とに基づいて、前記端末装置に送信するデータ転送量を算出する転送量算出部と、
    　前記転送量算出部によって算出された前記データ転送量と、前記端末装置との間のデータ転送速度とに基づいて、前記画像を分割する分割単位を決定する決定部と、
    　を有することを特徴とする情報処理装置。
  11. 　ネットワークを介して端末装置と接続される情報処理装置が、
    　前記端末装置の表示画面に表示する画像の画像データと、前記画像データの圧縮率とに基づいて、前記端末装置に送信するデータ転送量を算出し、
    　算出した前記データ転送量と、前記端末装置との間のデータ転送速度とに基づいて、前記画像を分割する分割単位を決定する、
    　処理を実行することを特徴とする画像処理方法。
PCT/JP2012/074808 2012-09-26 2012-09-26 システム、情報処理装置および画像処理方法 WO2014049761A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2012/074808 WO2014049761A1 (ja) 2012-09-26 2012-09-26 システム、情報処理装置および画像処理方法
JP2014537936A JPWO2014049761A1 (ja) 2012-09-26 2012-09-26 システム、情報処理装置および画像処理方法
US14/663,191 US9584752B2 (en) 2012-09-26 2015-03-19 System, information processing apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/074808 WO2014049761A1 (ja) 2012-09-26 2012-09-26 システム、情報処理装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/663,191 Continuation US9584752B2 (en) 2012-09-26 2015-03-19 System, information processing apparatus, and image processing method

Publications (1)

Publication Number Publication Date
WO2014049761A1 true WO2014049761A1 (ja) 2014-04-03

Family

ID=50387226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/074808 WO2014049761A1 (ja) 2012-09-26 2012-09-26 システム、情報処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US9584752B2 (ja)
JP (1) JPWO2014049761A1 (ja)
WO (1) WO2014049761A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047461A (ja) * 2017-09-07 2019-03-22 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03282745A (ja) * 1990-03-30 1991-12-12 Nec Corp ファイル配布方式
JP2008139981A (ja) * 2006-11-30 2008-06-19 Sharp Corp 制御装置、端末装置、表示システム、表示方法、プログラムおよびその記録媒体
WO2009004996A1 (ja) * 2007-06-29 2009-01-08 Nec Corporation 画面伝送システム、画面送信サーバ、画面伝送方法およびプログラム記録媒体
JP2010004353A (ja) * 2008-06-20 2010-01-07 Canon Inc 映像処理装置およびその制御方法
JP2010257228A (ja) * 2009-04-24 2010-11-11 Nec Corp サーバ端末、画像処理システム、画像処理方法およびプログラム
JP2011238014A (ja) * 2010-05-10 2011-11-24 Fujitsu Ltd 情報処理装置、画像送信プログラム、画像表示プログラム及び画像表示方法
JP2012065314A (ja) * 2010-09-20 2012-03-29 Hitachi Ltd データ配送装置及びデータ配送システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002017043A2 (en) * 2000-08-23 2002-02-28 Novatel Wireless, Inc. Method and apparatus for a distributed data transfer over multiple independent wireless networks
JP2002268998A (ja) 2001-03-09 2002-09-20 Toshiba Corp データ配信方法、端末、サーバ、データ受信プログラム及びデータ配信プログラム
KR101026593B1 (ko) * 2002-10-11 2011-04-04 소니 주식회사 네트워크 제어 확인 시스템, 제어 통신 단말, 서버 장치및 네트워크 제어 확인 방법
US8176197B2 (en) * 2006-03-30 2012-05-08 Pioneer Corporation Server device in contents transmitting system and contents transmitting method
JP2009181460A (ja) 2008-01-31 2009-08-13 Nec Corp シンクライアントシステム
JP5161966B2 (ja) * 2008-09-18 2013-03-13 パイオニア株式会社 画像共有制御装置、画像共有システム、画像共有制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
US20100268694A1 (en) 2009-04-17 2010-10-21 Laurent Denoue System and method for sharing web applications
US9510048B2 (en) * 2009-05-26 2016-11-29 Red Hat Israel, Ltd. Dynamically changing streaming video quality
JP2011066577A (ja) * 2009-09-16 2011-03-31 Fujitsu Broad Solution & Consulting Inc 画像処理プログラム、表示システム、画像処理装置および画像処理方法
US20120218292A1 (en) * 2011-02-10 2012-08-30 Ncomputing Inc. System and method for multistage optimized jpeg output
CN103733679A (zh) * 2011-05-26 2014-04-16 三星电子株式会社 用于图像数据发送和接收的方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03282745A (ja) * 1990-03-30 1991-12-12 Nec Corp ファイル配布方式
JP2008139981A (ja) * 2006-11-30 2008-06-19 Sharp Corp 制御装置、端末装置、表示システム、表示方法、プログラムおよびその記録媒体
WO2009004996A1 (ja) * 2007-06-29 2009-01-08 Nec Corporation 画面伝送システム、画面送信サーバ、画面伝送方法およびプログラム記録媒体
JP2010004353A (ja) * 2008-06-20 2010-01-07 Canon Inc 映像処理装置およびその制御方法
JP2010257228A (ja) * 2009-04-24 2010-11-11 Nec Corp サーバ端末、画像処理システム、画像処理方法およびプログラム
JP2011238014A (ja) * 2010-05-10 2011-11-24 Fujitsu Ltd 情報処理装置、画像送信プログラム、画像表示プログラム及び画像表示方法
JP2012065314A (ja) * 2010-09-20 2012-03-29 Hitachi Ltd データ配送装置及びデータ配送システム

Also Published As

Publication number Publication date
JPWO2014049761A1 (ja) 2016-08-22
US20150195475A1 (en) 2015-07-09
US9584752B2 (en) 2017-02-28

Similar Documents

Publication Publication Date Title
US11625136B2 (en) Systems, methods, and computer-readable media for managing collaboration on a virtual work of art
US7730157B2 (en) Methods, media, and systems for displaying information on a thin-client in communication with a network
Baratto et al. Thinc: A virtual display architecture for thin-client computing
US8102400B1 (en) Method and apparatus for providing enhanced resolution display for display telephones and PDAs
US9131021B2 (en) Dynamic screen sharing for optimal performance
EP2678771B1 (en) Gesture visualization and sharing between electronic devices and remote displays
US5913920A (en) Indicating updates from a remote display
US9485290B1 (en) Method and system for controlling local display and remote virtual desktop from a mobile device
US20070234229A1 (en) Server apparatus of computer system
US8564501B2 (en) Image display system
US20110265009A1 (en) Terminal services view toolbox
US10432681B1 (en) Method and system for controlling local display and remote virtual desktop from a mobile device
JP6221214B2 (ja) システム、端末装置および画像処理方法
US20160306599A1 (en) Computer product, image processing method, and image processing apparatus
GB2528870A (en) Managing display data for display
KR101247770B1 (ko) 가상 화이트보드 데이터 처리 장치와 그 방법
WO2014049761A1 (ja) システム、情報処理装置および画像処理方法
WO1996018943A1 (en) Method for the indication of updating process for a remote display
JP5842804B2 (ja) 表示端末装置及びプログラム
Sun et al. Redi: an interactive virtual display system for ubiquitous devices
JP6146440B2 (ja) 表示端末装置及びプログラム
JP5177034B2 (ja) クライアント装置、サーバベース・コンピューティング・システム、およびクライアント制御プログラム
CN111506374A (zh) 基于不同对象的云应用ui交互方法及装置
JP2016192006A (ja) 端末装置、表示制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12885827

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014537936

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12885827

Country of ref document: EP

Kind code of ref document: A1