WO2015107672A1 - 画像処理プログラム、画像処理方法、および画像処理装置 - Google Patents

画像処理プログラム、画像処理方法、および画像処理装置 Download PDF

Info

Publication number
WO2015107672A1
WO2015107672A1 PCT/JP2014/050765 JP2014050765W WO2015107672A1 WO 2015107672 A1 WO2015107672 A1 WO 2015107672A1 JP 2014050765 W JP2014050765 W JP 2014050765W WO 2015107672 A1 WO2015107672 A1 WO 2015107672A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
processing apparatus
image information
transmit
Prior art date
Application number
PCT/JP2014/050765
Other languages
English (en)
French (fr)
Inventor
大地 島田
正芳 橋間
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP14878825.0A priority Critical patent/EP3096231A4/en
Priority to JP2015557650A priority patent/JPWO2015107672A1/ja
Priority to PCT/JP2014/050765 priority patent/WO2015107672A1/ja
Priority to CN201480072756.5A priority patent/CN105900071A/zh
Publication of WO2015107672A1 publication Critical patent/WO2015107672A1/ja
Priority to US15/193,657 priority patent/US20160306599A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416—Multi-level menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/00973—Input arrangements for operating instructions or parameters, e.g. updating internal software from a remote device, e.g. receiving via the internet instructions input to a computer terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/025—LAN communication management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0013—Arrangements for the control of the connected apparatus by the still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0015—Control of image communication with the connected apparatus, e.g. signalling capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0015—Control of image communication with the connected apparatus, e.g. signalling capability
    • H04N2201/0029—Avoiding duplicate transfer of image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034—Details of the connection, e.g. connector, interface
    • H04N2201/0037—Topological details of the connection
    • H04N2201/0039—Connection via a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034—Details of the connection, e.g. connector, interface
    • H04N2201/0046—Software interface details, e.g. interaction of operating systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074—Arrangements for the control of a still picture apparatus by the connected apparatus

Definitions

  • the present invention relates to an image processing program, an image processing method, and an image processing apparatus.
  • a server creates an image to be displayed on a client screen in response to an operation input from a client user connected via a network, and sends the image information of the created image to the client for display on the client screen. Is done.
  • the entire window displays image data of a window having a non-displayed area by superimposing and displaying it on the screen among a plurality of windows to be displayed on the client terminal by the server.
  • the server device determines the command transmission order so that the most recent user operation is preferentially executed, and the client device saves the image specified by the screen save command and the image specified by the screen restore command.
  • processing such as redisplay.
  • an object of the present invention is to provide an image processing program, an image processing method, and an image processing apparatus that can reduce a load on a network.
  • the two images are displayed. Determining whether or not to transmit the image information of the preceding image to the information processing apparatus, and in response to determining to transmit the image information of the preceding image, An image processing program, an image processing method, and an image processing device to be transmitted to a processing device are proposed.
  • FIG. 1 is an explanatory diagram showing an example of the image processing apparatus 101 according to the present embodiment.
  • FIG. 2 is a block diagram illustrating a hardware configuration example of the computer 200.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the image processing apparatus 101.
  • FIG. 4 is an explanatory diagram illustrating an example of a series of images to be displayed on the screen of the information processing apparatus 102.
  • FIG. 5 is an explanatory diagram illustrating an example in which the image processing apparatus 101 transmits image information.
  • FIG. 6 is a flowchart illustrating an example of an image processing procedure.
  • FIG. 7 is a flowchart illustrating an example of the determination processing procedure.
  • FIG. 8 is a flowchart illustrating an example of the display processing procedure.
  • FIG. 1 is an explanatory diagram showing an example of the image processing apparatus 101 according to the present embodiment.
  • the image processing apparatus 101 transmits the image information of the image to be displayed on the screen of the information processing apparatus 102 to the information processing apparatus 102 by executing the image processing program according to the present embodiment.
  • a computer that determines whether or not.
  • the image processing apparatus 101 and the information processing apparatus 102 are connected via a network 110.
  • the image information is information for causing the information processing apparatus 102 to display an image.
  • the image information is information indicating pixel values of pixels included in the image, for example.
  • the image information may be, for example, information indicating pixel values of pixels included in the entire image, or an area in which display content is updated by displaying an image on the screen of the information processing apparatus 102. It may be information indicating the pixel value of the pixel included in.
  • the image processing apparatus 101 is, for example, a computer that serves as a server that implements a thin client technology.
  • Thin client technology means that software and data are stored in a server, and image information of an image to be displayed on the client screen is generated and transmitted to the client in response to receiving a client user operation input from the client.
  • the thin client technology is specifically a remote desktop technology.
  • the image processing apparatus 101 is based on an operation input of the user of the information processing apparatus 102 received from the information processing apparatus 102, and an OS (Operating System) or CAD (Computer Aided Design) software included in the image processing apparatus 101. And so on. Then, the image processing apparatus 101 updates the image information of the image to be displayed on the screen of the information processing apparatus 102 to the image information of the image corresponding to the content of the operation input. Further, the image processing apparatus 101 periodically captures and transmits to the information processing apparatus 102 image information of an image to be displayed on the screen of the information processing apparatus 102 that is updated according to the contents of the operation input.
  • a notebook personal computer, a desktop personal computer, a server, or the like can be employed.
  • the information processing apparatus 102 is a computer that receives image information of an image from the information processing apparatus 102 and displays the image on a screen included in the information processing apparatus 102.
  • the information processing apparatus 102 is, for example, a computer that becomes a client using a thin client technique.
  • the information processing apparatus 102 transmits an operation input of the user of the information processing apparatus 102 to the information processing apparatus 102, receives image information of an image corresponding to the content of the operation input, and the information processing apparatus 102 The image is displayed on the screen having the same.
  • a notebook personal computer a desktop personal computer, a mobile phone, a smartphone, a PHS (Personal Handyphone System), a tablet terminal, or the like can be employed.
  • the information processing apparatus 102 displays a browser image for browsing a web page on the screen of the information processing apparatus 102.
  • the information processing apparatus 102 receives an operation input from the user of the information processing apparatus 102 that selects the item of the file (F) in the menu bar representing the menu in the browser image, and transmits it to the image processing apparatus 101 .
  • the image processing apparatus 101 updates the image to be displayed on the screen of the information processing apparatus 102 in the order of image # 1 ⁇ image # 2 ⁇ image # 3.
  • the image # 1 is a browser image in which the item of the file (F) on the menu bar is displayed with black and white reversed.
  • Image # 2 is a browser image in which a pop-up representing a submenu related to the item of file (F) is displayed in a translucent manner.
  • Image # 3 is a browser image displaying a pop-up representing a submenu related to the item of file (F).
  • the image processing apparatus 101 periodically acquires image information of an image to be displayed on the screen of the information processing apparatus 102 that is updated in the order of image # 1 ⁇ image # 2 ⁇ image # 3. Decide whether to send information.
  • the image processing apparatus 101 acquires image information of the image # 1 of the browser. At this time, the image processing apparatus 101 transmits the image information of the browser image # 1 to the information processing apparatus 102 until the image information of the browser image # 2 to be displayed next to the browser image # 1 is acquired. Do not wait.
  • the image processing apparatus 101 acquires image information of the image # 2 of the browser. Next, the image processing apparatus 101 determines whether or not to transmit the browser image # 1 based on the browser image # 1 and the browser image # 2.
  • the image processing apparatus 101 determines not to transmit the image information of the browser image # 1 when the browser image # 1 and the browser image # 2 are similar. Further, the image processing apparatus 101 determines to transmit the image information of the browser image # 1 when the browser image # 1 and the browser image # 2 are not similar.
  • the image processing apparatus 101 determines to transmit the image information of the browser image # 1, and the image information of the browser image # 1 is obtained. Assume that the data is transmitted to the information processing apparatus 102.
  • the image processing apparatus 101 transmits the image information of the browser image # 2 to the information processing apparatus 102 until the image information of the browser image # 3 to be displayed next to the browser image # 2 is acquired. Do not wait.
  • the image processing apparatus 101 acquires image information of the image # 3 of the browser. Next, the image processing apparatus 101 determines whether or not to transmit the image information of the browser image # 2 based on the browser image # 2 and the browser image # 3.
  • the image processing apparatus 101 determines not to transmit the image information of the browser image # 2, and the image information of the browser image # 2 Discard without sending.
  • the image processing apparatus 101 processes the image information of the browser image # 3 until the image information of the browser image # 4 (not shown) to be displayed next to the browser image # 3 is acquired. It does not transmit to the apparatus 102 and waits.
  • the image processing apparatus 101 can reduce the amount of data transmitted to the information processing apparatus 102, and can suppress congestion of the network 110 between the image processing apparatus 101 and the information processing apparatus 102.
  • the image processing apparatus 101 omits transmission of image information of a preceding image that is overwritten by a similar subsequent image, the user of the information processing apparatus 102 feels uncomfortable when updating the screen of the information processing apparatus 102. be able to.
  • the image processing apparatus 101 even when the image processing apparatus 101 is connected to the information processing apparatus 102 via the low-quality network 110, the image information of the image is discarded due to packet loss, and the screen of the information processing apparatus 102 is displayed. It is possible to suppress the update from being interrupted. Further, even when the image processing apparatus 101 is connected to the information processing apparatus 102 via the low-quality network 110, the image processing apparatus 101 suppresses the generation of a packet waiting to be transmitted and responds to the information processing apparatus 102. A decrease in performance can be suppressed.
  • FIG. 2 is a block diagram illustrating a hardware configuration example of the computer 200.
  • the computer 200 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, and a RAM (Random Access Memory) 203.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the computer 200 includes a magnetic disk drive 204, a magnetic disk 205, an optical disk drive 206, and an optical disk 207.
  • the computer 200 also includes a display 208, an interface (I / F: Interface) 209, a keyboard 210, a mouse 211, a scanner 212, and a printer 213. Each component is connected by a bus 220.
  • the CPU 201 governs overall control of the computer 200.
  • the ROM 202 stores a program such as a boot program.
  • the ROM 202 stores at least the image processing program according to the present embodiment when the computer 200 implements the image processing apparatus 101.
  • the RAM 203 is used as a work area for the CPU 201.
  • the RAM 203 may include a VRAM (Video RAM).
  • the RAM 203 stores, for example, image information of an image to be displayed on the screen of the information processing apparatus 102 that is updated according to the content of the operation input.
  • the magnetic disk drive 204 controls reading / writing of data with respect to the magnetic disk 205 according to the control of the CPU 201.
  • the magnetic disk 205 stores data written under the control of the magnetic disk drive 204.
  • the optical disc drive 206 controls reading / writing of data with respect to the optical disc 207 according to the control of the CPU 201.
  • the optical disk 207 stores data written under the control of the optical disk drive 206, and causes the computer 200 to read data stored on the optical disk 207.
  • the display 208 displays data such as a document, an image, and function information as well as a cursor, an icon, or a tool box.
  • this display 208 for example, a liquid crystal display, a plasma display, or the like can be adopted.
  • the I / F 209 is connected to a network 214 such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet through a communication line, and is connected to another device via the network 214.
  • the I / F 209 controls an internal interface with the network 214 and controls data input / output from an external device.
  • a modem or a LAN adapter may be employed as the I / F 209.
  • the keyboard 210 has keys for inputting characters, numbers, various instructions, etc., and inputs data. Moreover, a touch panel type input pad or a numeric keypad may be used.
  • the mouse 211 performs cursor movement, range selection, window movement, size change, and the like.
  • a trackball or a joystick may be used as long as they have the same function as a pointing device.
  • the scanner 212 optically reads an image and takes in the image data into the computer 200.
  • the scanner 212 may have an OCR (Optical Character Reader) function.
  • the printer 213 prints image data and document data.
  • a laser printer or an ink jet printer can be adopted.
  • at least one of the optical disk drive 206, the optical disk 207, the display 208, the keyboard 210, the mouse 211, the scanner 212, and the printer 213 may be omitted.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the image processing apparatus 101.
  • the image processing apparatus 101 includes an acquisition unit 301, a determination unit 302, and a transmission unit 303 as functions serving as a control unit.
  • the acquisition unit 301 periodically acquires image information of an image indicating a screen of the information processing apparatus 102 whose display content is updated in response to an operation input from the information processing apparatus 102 connected via the network 110.
  • the operation input is information input by the user of the information processing apparatus 102 using the mouse or keyboard of the information processing apparatus 102.
  • the operation input is, for example, a web page display request.
  • the operation input is a command for software such as CAD software.
  • the operation input is, for example, a video playback request.
  • the screen is a display area on the display of the information processing apparatus 102.
  • the display area on the display may be the whole on the display or a part on the display.
  • the image showing the screen of the information processing apparatus 102 is an image to be displayed on the screen of the information processing apparatus 102.
  • the image information is information for causing the information processing apparatus 102 to display an image.
  • the image information is information indicating pixel values of pixels included in the image, for example. Further, the image information may be, for example, information indicating pixel values of pixels included in the entire image, or an area in which display content is updated by displaying an image on the screen of the information processing apparatus 102. It may be information indicating the pixel value of the pixel included in.
  • Obtaining regularly is obtaining every predetermined time. For example, the predetermined time may be a fixed time calculated based on the frame rate, or may be a variable time calculated based on the frame rate.
  • the acquisition unit 301 waits for the same interval as the frame rate and moves to acquisition of the next image information if there is no change from the image information acquired immediately before. In addition, for example, when the image information is acquired, the acquisition unit 301 waits for an interval shorter than the frame rate and shifts to acquisition of the next image information if it has changed from the image information acquired immediately before. To do.
  • the acquisition unit 301 periodically accesses and acquires image information of an image that is stored in a storage area such as the RAM 203, the magnetic disk 205, and the optical disk 207, and whose contents are updated according to an operation input. Thereby, the acquisition unit 301 can acquire image information of an image to be displayed on the screen of the information processing apparatus 102.
  • the acquired data is stored in a storage area such as the RAM 203, the magnetic disk 205, and the optical disk 207, for example.
  • the acquisition unit 301 realizes its function by causing the CPU 201 to execute a program stored in a storage device such as the ROM 202, the RAM 203, the magnetic disk 205, and the optical disk 207 shown in FIG.
  • the determination unit 302 is a display target of the screen of the information processing apparatus 102, and performs information processing on the image information of the preceding image of the two images based on the image information of each of the two images in which the display order is continuous. Determine whether to send to device 102.
  • the display order is an order for determining whether or not to transmit image information.
  • the display order is, for example, the order acquired by the acquisition unit 301.
  • the preceding image is an image in which the display order of the two images is preceded.
  • the preceding image is, for example, an image acquired first among two images.
  • the determination unit 302 transmits image information of a preceding image of the two images based on the image information of each of the two images, for example, for each of the two images for which image information has been acquired successively. To decide. For example, when the acquisition unit 301 acquires a preceding image, the determination unit 302 waits until the acquisition unit 301 acquires a subsequent image that follows the preceding image, and then determines two of the preceding image and the subsequent image. Whether to transmit the image information of the preceding image is determined based on the image information of each image.
  • the determination unit 302 calculates the similarity between two images based on the respective image information, and transmits the image information of the preceding image to the information processing apparatus 102 based on the calculated similarity. Determine whether or not.
  • the similarity is, for example, an L1 norm or an L2 norm.
  • the similarity may be, for example, PSNR (Peak Signal to Noise Ratio), SSIM (Structural SIMlarity), or the like.
  • L1 norm and L2 norm indicate that the smaller the value, the more similar the two images are.
  • PSNR and SSIM indicate that the larger the value, the more similar the two images.
  • the L1 norm, L2 norm, and PSNR take values from 0 to ⁇ .
  • SSIM takes a value between 0 and 1.
  • the determination unit 302 calculates an L1 norm based on each piece of image information, and if the calculated L1 norm is less than a predetermined value, the two images are similar and the image of the preceding image is similar. Decide not to send information. In addition, when the calculated L1 norm is equal to or greater than a predetermined value, the determination unit 302 determines that the image information of the preceding image is transmitted because the two images are not similar. In other words, the determination unit 302 determines not to transmit the image information of the preceding image when a similar subsequent image becomes a display target immediately after the preceding image becomes a display target. Accordingly, the determination unit 302 may determine not to transmit the image information of the preceding image when the user of the information processing apparatus 102 has little discomfort even if the information processing apparatus 102 omits the display of the preceding image. it can.
  • the determination unit 302 specifies a first area in which the display content is changed by displaying a preceding image on the screen of the information processing apparatus 102 among the screens of the information processing apparatus 102. In addition, the determination unit 302 specifies a second region in which the display content is changed by displaying a subsequent image of the two images on the screen of the information processing device 102 among the screens of the information processing device 102. . Next, the determination unit 302 determines not to transmit the image information of the preceding image in response to the first region being included in the second region.
  • the determination unit 302 determines the preceding image in the screen of the information processing apparatus 102 based on the image information of the last transmitted image and the image information of the preceding image acquired by the acquiring unit 301. Is displayed on the screen to identify the first region in which the display content is updated. In addition, the determination unit 302 displays the subsequent image on the screen of the information processing apparatus 102 based on the image information of the last transmitted image and the image information of the subsequent image acquired by the acquisition unit 301. By doing so, the second area in which the display content is updated is specified. Next, the determination unit 302 determines not to transmit the image information of the preceding image in response to the first region being included in the second region.
  • the determination unit 302 determines to transmit the image information of the preceding image in response to the first region not being included in the second region. In other words, the determination unit 302 determines not to transmit the image information of the preceding image when the preceding image is overwritten by the subsequent image. Accordingly, the determination unit 302 may determine not to transmit the image information of the preceding image when the user of the information processing apparatus 102 has little discomfort even if the information processing apparatus 102 omits the display of the preceding image. it can.
  • the determination unit 302 transmits the image information of the preceding image based on the similarity between the two images and whether or not the first region is included in the second region. Determine whether or not. More specifically, the determination unit 302 does not transmit the image information of the preceding image when the L1 norm is less than a predetermined value and the first region is included in the second region. And decide. Further, the determination unit 302 determines to transmit the image information of the preceding image in response to the L1 norm being equal to or greater than a predetermined value or the first region not being included in the second region. In other words, the determination unit 302 determines not to transmit the image information of the preceding image when the preceding image is overwritten with a similar subsequent image. Accordingly, the determination unit 302 may determine not to transmit the image information of the preceding image when the user of the information processing apparatus 102 has little discomfort even if the information processing apparatus 102 omits the display of the preceding image. it can.
  • the determination unit 302 measures the elapsed time since the last operation input was received, and transmits image information of the preceding image to the information processing apparatus 102 in response to the measured elapsed time being a predetermined time or more. Then decide. For example, if the elapsed time is equal to or longer than a predetermined time regardless of the similarity between two images and whether or not the first region is included in the second region, the determination unit 302 determines that the image of the preceding image is Decide to send information. Accordingly, the determination unit 302 displays image information of an image when a series of similar images are displayed or when an operation input such as a playback request for a moving image in which only the same area of the screen is continuously updated is received. Can be sent.
  • the determination unit 302 counts the number of times it is determined not to transmit image information continuously. Next, the determination unit 302 determines to transmit the image information of the preceding image to the information processing apparatus 102 in response to the counted number being equal to or greater than the predetermined number.
  • the predetermined number of times may be, for example, a fixed number of times or a variable number of times.
  • the counted number may be referred to as “transmission cancel count”.
  • the predetermined number may be referred to as “maximum number of transmission cancellations”.
  • the determination unit 302 determines the image information of the preceding image if the number of times is equal to or greater than a predetermined number regardless of the similarity between the two images and whether or not the first region is included in the second region. Is determined to be sent. Accordingly, the determination unit 302 displays image information of an image when a series of similar images are displayed or when an operation input such as a playback request for a moving image in which only the same area of the screen is continuously updated is received. Can be sent.
  • the determination result is stored in a storage area such as the RAM 203, the magnetic disk 205, and the optical disk 207, for example.
  • the determining unit 302 realizes its function by causing the CPU 201 to execute a program stored in a storage device such as the ROM 202, the RAM 203, the magnetic disk 205, and the optical disk 207 illustrated in FIG.
  • the transmission unit 303 transmits the image information of the preceding image to the information processing apparatus 102 in response to the decision to transmit the image information of the preceding image.
  • the image information to be transmitted is information indicating pixel values of pixels included in the entire image acquired by the acquisition unit 301, for example.
  • the image information to be transmitted is, for example, an area in which the display content is updated by displaying the image on the screen of the information processing apparatus 102 created from information indicating the pixel value of the pixel included in the entire image. It may be information indicating the pixel value of the included pixel.
  • the transmission unit 303 can display the preceding image on the screen of the information processing apparatus 102. Moreover, since the transmission unit 303 does not transmit image information of the preceding image to the information processing apparatus 102 in response to determining not to transmit, the amount of data transmitted to the information processing apparatus 102 can be reduced. For this reason, the transmission unit 303 can suppress congestion of the network 110 between the image processing apparatus 101 and the information processing apparatus 102.
  • the transmission unit 303 realizes its function by causing the CPU 201 to execute a program stored in a storage device such as the ROM 202, the RAM 203, the magnetic disk 205, and the optical disk 207 illustrated in FIG. 2 or by the I / F 209, for example. To do.
  • FIG. 4 is an explanatory diagram showing an example of a series of images to be displayed on the screen of the information processing apparatus 102.
  • a second window display request different from the first window is displayed. Take the case where an operation input is received as an example.
  • Image processing apparatus 101 updates the image to be displayed on the screen of the information processing apparatus 102 in the order of image # 1, image # 2, image # 3, image # 4, and image # 5.
  • Image # 1 is an image displaying a first window including a menu bar of a pull-down menu.
  • Image # 2 is an image displaying the lower part of the pull-down menu, showing how the pull-down menu is animated.
  • Image # 3 is an image displaying from the middle level to the bottom level of the pull-down menu, showing how the pull-down menu is animated.
  • Image # 4 is an image showing the pull-down menu from the top to the bottom, showing how the pull-down menu is animated.
  • Image # 5 is an image in which the second window is displayed on the first window.
  • an image (not shown) displayed immediately before image # 1 may be referred to as “image # 0”.
  • an image (not shown) to be displayed immediately after the image # 3 may be referred to as “image # 4”.
  • FIG. 5 is an explanatory diagram illustrating an example in which the image processing apparatus 101 transmits image information.
  • the image processing apparatus 101 updates the screen of the information processing apparatus 102 that is updated in the order of (image # 0 ⁇ ) image # 1 ⁇ image # 2 ⁇ image # 3 ⁇ image # 4 ⁇ image # 5. Regularly acquire image information of an image to be displayed.
  • the image processing apparatus 101 acquires image information of each of the images # 1 to # 5 one by one. Then, the image processing apparatus 101 determines whether or not to transmit information for displaying an image to be displayed on the screen of the information processing apparatus 102 to the information processing apparatus 102.
  • the image processing apparatus 101 does not determine whether to transmit information for displaying the image of the image # 1 on the screen to the information processing apparatus 102 when the image information of the image # 1 is acquired. It is determined whether or not to transmit the image information of # 2.
  • the image processing apparatus 101 displays the image # 1 on the screen based on the image information of the image # 0 (not shown) acquired in advance and the image information of the image # 1 acquired in advance. By doing so, the first area whose display content is changed is specified. Further, the image processing apparatus 101 changes the display content by displaying the image # 2 on the screen based on the image information of the image # 1 and the acquired image information of the image # 2. 2 areas are specified. Next, the image processing apparatus 101 calculates the L1 norm as the similarity between the image # 1 and the image # 2 based on the image information of the image # 1 and the image information of the image # 2.
  • the image processing apparatus 101 determines whether or not the first area is included in the second area and the similarity is equal to or higher than a predetermined value.
  • the image processing apparatus 101 determines to transmit information for displaying the image # 1. Therefore, the image processing apparatus 101 uses the information processing apparatus 102 to display difference information # 10 between the image information of the image # 1 and the image information of the immediately preceding image # 0 (not shown) instead of the image information of the image # 1. Send to.
  • the image processing apparatus 101 does not determine whether to transmit information for displaying the image of the image # 2 on the screen to the information processing apparatus 102 when the image information of the image # 2 is acquired. It is determined whether or not to transmit the image information # 3.
  • the image processing apparatus 101 displays the image # 2 on the screen, and the display content is changed. Identify the area.
  • the image processing apparatus 101 displays the image # 3 on the screen based on the image information of the image # 2 and the image information of the image # 3. Identify the area.
  • the image processing apparatus 101 calculates the L1 norm as the similarity between the image # 2 and the image # 3 based on the image information of the image # 2 and the image information of the image # 3.
  • the image processing apparatus 101 determines whether or not the first area is included in the second area and the similarity is equal to or higher than a predetermined value.
  • the image processing apparatus 101 determines not to transmit information for displaying the image # 2. For this reason, the image processing apparatus 101 does not transmit the difference information # 21 between the image information of the image # 2 and the image information of the immediately preceding image # 1.
  • the image processing apparatus 101 does not determine whether or not to transmit information for displaying the image of the image # 3 on the screen to the information processing apparatus 102 when the image information of the image # 3 is acquired. It is determined whether or not to transmit the image information of # 4.
  • the image processing apparatus 101 changes the display content by displaying the image # 3 of the screen on the screen. Identify the area. Further, the image processing apparatus 101 displays the image # 4 on the screen based on the image information of the image # 3 and the image information of the image # 4. Identify the area. Next, the image processing apparatus 101 calculates the L1 norm as the similarity between the image # 3 and the image # 4 based on the image information of the image # 3 and the image information of the image # 4.
  • the image processing apparatus 101 determines whether or not the first area is included in the second area and the similarity is equal to or higher than a predetermined value.
  • the image processing apparatus 101 determines not to transmit information for displaying the image # 3. For this reason, the image processing apparatus 101 does not transmit the difference information # 32 between the image information of the image # 3 and the image information of the immediately preceding image # 2.
  • the image processing apparatus 101 When the image processing apparatus 101 acquires the image information of the image # 4, the image processing apparatus 101 does not determine whether or not to transmit information for displaying the image of the image # 4 on the screen to the information processing apparatus 102. It is determined whether or not to transmit the image information # 5.
  • the image processing apparatus 101 changes the display content by displaying the image # 4 of the screen on the screen. Identify the area. Further, the image processing apparatus 101 displays the image # 5 on the screen based on the image information of the image # 4 and the image information of the image # 5, thereby changing the display content. Identify the area. Next, the image processing apparatus 101 calculates the L1 norm as the similarity between the image # 4 and the image # 5 based on the image information of the image # 4 and the image information of the image # 5.
  • the image processing apparatus 101 determines whether or not the first area is included in the second area and the similarity is equal to or higher than a predetermined value.
  • the image processing apparatus 101 determines to transmit information for displaying the image # 4. Therefore, the image processing apparatus 101 transmits difference information # 43 between the image information of the image # 4 and the image information of the image # 3 to the information processing apparatus 102 instead of the image information of the image # 4.
  • the image processing apparatus 101 does not determine whether or not to transmit information for displaying the image of the image # 5 on the screen to the information processing apparatus 102 when the image information of the image # 5 is acquired. Thereby, the image processing apparatus 101 can reduce the amount of data transmitted to the information processing apparatus 102, and can suppress the congestion of the network 110 between the image processing apparatus 101 and the information processing apparatus 102.
  • the image processing apparatus 101 can suppress the occurrence of packet loss when the information processing apparatus 102 is connected to the information processing apparatus 102 via the low-quality network 110, and the screen update of the information processing apparatus 102 is interrupted. Can be suppressed. In addition, the image processing apparatus 101 suppresses the occurrence of packet transmission waiting when the information processing apparatus 102 is connected to the information processing apparatus 102 through a low-quality network 110, and the response performance to the information processing apparatus 102 decreases. Can be suppressed.
  • FIG. 6 is a flowchart showing an example of an image processing procedure.
  • the image processing apparatus 101 determines whether or not the information processing apparatus 102 is connected via the network 110 (step S601). Here, when not connected (step S601: No), the image processing apparatus 101 returns to the process of step S601.
  • step S601 when connected (step S601: Yes), the image processing apparatus 101 acquires image information of an image indicating a screen whose display content is updated according to an operation input, and is an image to be displayed on the screen.
  • the image information Cap is updated (step S602).
  • step S603 determines whether or not there is a difference between the image information Sent of the last transmitted image and the image information Cap to be displayed on the screen.
  • step S603 determines whether or not there is a difference between the image information Sent of the last transmitted image and the image information Cap to be displayed on the screen.
  • step S604 determines whether or not there is a difference between the image information Sent of the last transmitted image and the image information Cap to be displayed on the screen.
  • step S603 determines whether or not there is a difference between the image information Sent of the last transmitted image and the image information Cap to be displayed on the screen.
  • step S604 waits for the first interval (step S604), and returns to the process of step S602.
  • the first interval is, for example, the same interval as the frame rate.
  • the same interval as the frame rate may be expressed as a “specified interval”.
  • the first interval is a variable that is half the specified interval when it is determined not to transmit the immediately preceding image information, and is the specified interval when it is determined to transmit the immediately preceding image information. It may be an interval.
  • step S603 the image processing apparatus 101 waits for the second interval (step S605), acquires the image information of the image indicating the screen, and then displays the screen.
  • the image information Next of the image to be displayed is updated (step S606).
  • the second interval is an interval equal to or less than the specified interval so that the screen update interval in the information processing apparatus 102 is not delayed.
  • the second interval is a variable interval that is half the specified interval when it is determined not to transmit the immediately preceding image information, and is the specified interval when it is determined to transmit the immediately preceding image information. It may be.
  • the image processing apparatus 101 determines whether or not to transmit the image information Cap of the image to be displayed on the screen (step S607).
  • the determination process for determining whether to transmit the image information Cap will be described later with reference to FIG.
  • step S607 when not transmitting (step S607: No), the image processing apparatus 101 updates the image information Cap of the image to be displayed on the screen with the image information Next of the image to be displayed on the screen next ( Step S608) and the process returns to Step S605.
  • step S607 when transmitting (step S607: Yes), the image processing apparatus 101 compresses the difference between the image information Sent of the last transmitted image and the image information Cap of the image to be displayed on the screen (step S607). In step S609, the compressed information is transmitted to the information processing apparatus 102 (step S610).
  • the image processing apparatus 101 updates the image information Sent of the last transmitted image with the image information Cap of the image to be displayed on the screen (step S611). Then, the image processing apparatus 101 adjusts the maximum transmission cancel count CountMax (step S612), and returns to the process of step S602.
  • step S612 the image processing apparatus 101 calculates the maximum number of transmission cancellations CountMax using the calculation formula “max (1-RTT, DataSize / BW) ⁇ FPS”.
  • max (x, y) is a function that selects and outputs the largest variable of the variables x and y.
  • RTT is a delay time [second] when a packet loss occurs.
  • DataSize is the data amount [Byte] of the last transmitted information.
  • BW is bandwidth [Byte / second].
  • FPS is a frame rate and is the number of screen updates per second [times / second].
  • RTT, BW, etc. may be received from the information processing apparatus 102 as network information.
  • FIG. 7 is a flowchart showing an example of the determination processing procedure.
  • the image processing apparatus 101 calculates the L1 norm as the similarity based on the image information Cap of the image to be displayed on the screen and the image information Next of the image to be displayed on the next screen ( Step S701).
  • step S702 determines whether the similarity is less than a predetermined value.
  • step S702 determines whether the similarity is less than the predetermined value.
  • step S702 determines whether 200 ms or more have elapsed since the last operation input (step S703). If the time has elapsed (step S703: Yes), the image processing apparatus 101 proceeds to the process of step S706.
  • step S703 determines whether or not the transmission cancel count Count is greater than the maximum transmission cancel count CountMax (step S704).
  • step S704 determines whether or not the transmission cancel count Count is greater than the maximum transmission cancel count CountMax (step S704).
  • step S704 sets Count to 0 (step S705) and determines to transmit the image information Cap of the image to be displayed on the screen (step S706). ), And the determination process ends.
  • step S704 the image processing apparatus 101 sets Count + 1 to Count (step S707) and determines not to transmit the image information Cap of the image to be displayed on the screen (step S707). In step S708), the determination process is terminated.
  • step S ⁇ b> 701 the image processing apparatus 101 displays the first area where the display content is updated when the screen is updated based on the image information Cap, and the screen when the screen is updated based on the image information Next. You may identify the 2nd area
  • FIG. 8 is a flowchart showing an example of the display processing procedure.
  • the information processing apparatus 102 determines whether or not it is connected to the image processing apparatus 101 via the network 110 (step S801). Here, when not connected (step S801: No), the information processing apparatus 102 returns to the process of step S801.
  • step S801 when connected (step S801: Yes), the information processing apparatus 102 determines whether image information of an image has been received (step S802). Here, when not receiving (step S802: No), the information processing apparatus 102 returns to the process of step S802.
  • step S802 when the information is received (step S802: Yes), the information processing apparatus 102 displays an image on the screen of the information processing apparatus 102 based on the received image information (step S803). Next, the information processing apparatus 102 transmits network information to the image processing apparatus 101 (step S804), and returns to the process of step S802.
  • the image information of the preceding image is displayed based on the image information of each of the two images that are display targets of the screen of the information processing apparatus 102 and that are sequentially displayed. Can be determined to be transmitted to the information processing apparatus 102.
  • the image processing apparatus 101 omits transmission of the image information of the preceding image when the user of the information processing apparatus 102 has little discomfort even if the information processing apparatus 102 omits the display of the preceding image.
  • the amount of data to be transmitted can be reduced.
  • the image processing apparatus 101 can reduce the load on the network and can use the network efficiently. Further, the image processing apparatus 101 can reduce the processing load on the information processing apparatus 102. In addition, the image processing apparatus 101 can prevent the image information of the image from being discarded due to packet loss and interrupting the screen update of the information processing apparatus 102. In addition, the image processing apparatus 101 can suppress the occurrence of a packet waiting to be transmitted and suppress a decrease in response performance to the information processing apparatus 102.
  • the image processing apparatus 101 can suppress the occurrence of network congestion when the image processing apparatus 101 and the information processing apparatus 102 are connected by a low quality network.
  • the image processing apparatus 101 increases the network usage charge when the image processing apparatus 101 and the information processing apparatus 102 are connected by a network in which the usage charge increases as the amount of transmission data increases. Can be suppressed.
  • the similarity between two images is calculated based on each image information, and the image information of the preceding image is transmitted to the information processing apparatus 102 based on the calculated similarity. Or not.
  • the image processing apparatus 101 decides not to transmit image information of the preceding image when a subsequent image similar to the preceding image becomes a display target. can do.
  • the image processing apparatus 101 determines not to transmit the image information of the preceding image when the user of the information processing apparatus 102 has little discomfort even if the information processing apparatus 102 omits the display of the preceding image. Can do.
  • the image information of the preceding image is changed in accordance with the fact that the area whose display content is changed by the preceding image is included in the area whose display content is changed by the subsequent image. You can decide not to send. In other words, when the preceding image is overwritten by the subsequent image, the image processing apparatus 101 can determine not to transmit the image information of the preceding image. Thereby, the image processing apparatus 101 determines not to transmit the image information of the preceding image when the user of the information processing apparatus 102 has little discomfort even if the information processing apparatus 102 omits the display of the preceding image. be able to.
  • image information of an image showing a screen whose display content is updated in accordance with an operation input from the information processing apparatus 102 is periodically acquired, and image information is continuously acquired. It is possible to determine whether or not to transmit image information of the preceding image for each image. Thereby, the image processing apparatus 101 can determine whether or not to transmit image information for each of a series of images in which the display order is continuous.
  • the image processing apparatus 101 the elapsed time since the last operation input was received is measured, and the image information of the preceding image is processed according to the measured elapsed time being a predetermined time or more. It can be determined to transmit to 102.
  • the image processing apparatus 101 receives an operation input such as a request for playing a moving image in which a series of similar images are displayed or only the same area of the screen is continuously updated, the image information of the image is displayed. Can be sent.
  • the image processing apparatus 101 the number of times that it has been determined not to transmit image information continuously is counted, and the image information of the preceding image is processed as the information processing apparatus in response to the counted number being a predetermined number or more. It can be determined to transmit to 102.
  • the image processing apparatus 101 receives an operation input such as a request for playing a moving image in which a series of similar images are displayed or only the same area of the screen is continuously updated, the image information of the image is displayed. Can be sent.
  • the conventional image processing apparatus periodically acquires image information of an image to be displayed on the screen of the information processing apparatus 102 and always transmits the image information every time the image information is acquired.
  • the load on the network increases and packet loss may occur.
  • the conventional image processing apparatus tries to transmit the image information of each image shown in FIG. 4, the image information of the image # 4 has lost the packet.
  • the image # 3 is displayed on the screen of the information processing apparatus. It may stop for a certain time in the displayed state. Therefore, the user of the information processing apparatus may feel uncomfortable about the image update of the information processing apparatus.
  • the image processing apparatus 101 when the information processing apparatus 102 omits the display of the preceding image and the user of the information processing apparatus 102 feels less discomfort, the image information of the preceding image Transmission can be omitted and the amount of data to be transmitted can be reduced. For this reason, the image processing apparatus 101 according to the present embodiment can prevent the screen update of the information processing apparatus 102 from being interrupted.
  • the image processing method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • the image processing program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer.
  • the image processing program may be distributed via the network 110 such as the Internet.

Abstract

　画像処理装置（１０１）は、情報処理装置（１０２）から操作入力を受け付けたことに応じて、情報処理装置（１０２）の画面の表示対象になる画像を更新する。また、画像処理装置（１０１）は、情報処理装置（１０２）の画面の表示対象になる画像の画像情報を、定期的に取得する。画像処理装置（１０１）は、連続する２つの画像のうちの先行の画像の画像情報を取得した時点では、先行の画像の画像情報を送信するか否かを決定しない。画像処理装置（１０１）は、連続する２つの画像のうちの後続の画像を取得した時点で、先行の画像の画像情報と後続の画像の画像情報とに基づいて、先行の画像の画像情報を送信するか否かを決定する。画像処理装置（１０１）は、送信すると決定したことに応じて、先行の画像の画像情報を送信する。

Description

画像処理プログラム、画像処理方法、および画像処理装置
　本発明は、画像処理プログラム、画像処理方法、および画像処理装置に関する。
　従来、サーバが、ネットワークを介して接続されたクライアントのユーザからの操作入力に応じてクライアントの画面に表示する画像を作成し、作成した画像の画像情報をクライアントに送信してクライアントの画面に表示させることが行われる。
　関連する技術としては、例えば、操作を受け付け、受け付けられた操作の内容を表現する操作内容表現情報を生成し、生成された操作内容表現情報を他の情報処理装置に送信するものがある。また、サーバが、クライアント端末に表示させようとしている複数のウィンドウのうち、重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、ウィンドウの全体が表示される前に送出する技術がある。また、サーバ機器が、直近のユーザ操作を優先的に実行するようにコマンドの送信順序を決定し、クライアント機器が、画面保存コマンドで指定された画像の保存、画面復元コマンドで指定された画像の再表示などの処理を行う技術がある。
特開２０１１－０２８５０１号公報 特開２０１１－２０４０８９号公報 特開２００８－１２９９５４号公報
　しかしながら、上述した従来技術では、サーバからクライアントに画像の画像情報が頻繁に送信されると、サーバとクライアントとの間のネットワークにかかる負荷が膨大になってしまい、送信にかかる時間が増大したりパケットロスが発生することがある。
　１つの側面では、本発明は、ネットワークにかかる負荷を低減することができる画像処理プログラム、画像処理方法、および画像処理装置を提供することを目的とする。
　本発明の一側面によれば、ネットワークを介して接続される情報処理装置の画面の表示対象であって、表示順序が連続する２つの画像の各々の画像情報に基づいて、前記２つの画像のうちの先行の画像の画像情報を前記情報処理装置に送信するか否かを決定し、前記先行の画像の画像情報を送信すると決定したことに応じて、前記先行の画像の画像情報を前記情報処理装置に送信する画像処理プログラム、画像処理方法、および画像処理装置が提案される。
　本発明の一態様によれば、ネットワークにかかる負荷を低減することができるという効果を奏する。
図１は、本実施の形態にかかる画像処理装置１０１の一実施例を示す説明図である。 図２は、コンピュータ２００のハードウェア構成例を示すブロック図である。 図３は、画像処理装置１０１の機能的構成例を示すブロック図である。 図４は、情報処理装置１０２の画面の表示対象になる、一連の画像の一例を示す説明図である。 図５は、画像処理装置１０１が画像情報を送信する一例を示す説明図である。 図６は、画像処理手順の一例を示すフローチャートである。 図７は、判定処理手順の一例を示すフローチャートである。 図８は、表示処理手順の一例を示すフローチャートである。
　以下に添付図面を参照して、本発明にかかる画像処理プログラム、画像処理方法、および画像処理装置の実施の形態を詳細に説明する。
（画像処理装置１０１の一実施例）
　図１は、本実施の形態にかかる画像処理装置１０１の一実施例を示す説明図である。
　図１において、画像処理装置１０１は、本実施の形態にかかる画像処理プログラムを実行することにより、情報処理装置１０２の画面の表示対象になる画像の画像情報を、情報処理装置１０２に送信するか否かを決定するコンピュータである。画像処理装置１０１と情報処理装置１０２とは、ネットワーク１１０を介して接続される。
　ここで、画像情報とは、情報処理装置１０２に画像を表示させるための情報である。画像情報とは、例えば、画像に含まれる画素の画素値を示す情報である。また、画像情報とは、例えば、画像全体に含まれる画素の画素値を示す情報であってもよいし、情報処理装置１０２の画面のうちで画像を表示することにより表示内容が更新される領域に含まれる画素の画素値を示す情報であってもよい。画像処理装置１０１は、例えば、シンクライアント（Ｔｈｉｎ　ｃｌｉｅｎｔ）の技術を実現するサーバになるコンピュータである。
　シンクライアントの技術とは、サーバに、ソフトウェアやデータを記憶させ、クライアントからクライアントのユーザの操作入力などを受信したことに応じてクライアントの画面に表示させる画像の画像情報を作成させクライアントに送信させる技術である。シンクライアントの技術は、具体的には、リモートデスクトップの技術などである。
　画像処理装置１０１は、具体的には、情報処理装置１０２から受信した情報処理装置１０２のユーザの操作入力に基づいて、画像処理装置１０１が有するＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）やＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ）ソフトウェアなどを実行する。そして、画像処理装置１０１は、情報処理装置１０２の画面の表示対象になる画像の画像情報を、操作入力の内容に対応する画像の画像情報に更新する。また、画像処理装置１０１は、操作入力の内容に対応して更新される、情報処理装置１０２の画面の表示対象になる画像の画像情報を、定期的に取り込んで情報処理装置１０２に送信する。画像処理装置１０１としては、ノート型パソコン、デスクトップ型パソコン、サーバなどを採用することができる。
　また、情報処理装置１０２は、情報処理装置１０２から画像の画像情報を受信して、情報処理装置１０２が有する画面上に画像を表示するコンピュータである。情報処理装置１０２は、例えば、シンクライアントの技術を利用するクライアントになるコンピュータである。
　情報処理装置１０２は、具体的には、情報処理装置１０２のユーザの操作入力を情報処理装置１０２に送信し、操作入力の内容に対応する画像の画像情報を受信して、情報処理装置１０２が有する画面上に画像を表示する。情報処理装置１０２としては、ノート型パソコン、デスクトップ型パソコン、携帯電話機、スマートフォン、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）、タブレット型端末などを採用することができる。
　図１の例では、情報処理装置１０２が、情報処理装置１０２の画面上に、ウェブページを閲覧するためのブラウザの画像を表示している場合を例に挙げる。ここで、情報処理装置１０２が、ブラウザの画像においてメニューを表すメニューバーのうちのファイル（Ｆ）の項目を選択する、情報処理装置１０２のユーザからの操作入力を受け付け、画像処理装置１０１に送信したとする。
　一方で、画像処理装置１０１は、操作入力を受信すると、情報処理装置１０２の画面の表示対象になる画像を、画像＃１→画像＃２→画像＃３の順に更新する。ここで、画像＃１は、メニューバーのファイル（Ｆ）の項目を白黒反転して表示したブラウザの画像である。画像＃２は、ファイル（Ｆ）の項目に関連するサブメニューを表すポップアップを、半透明にして表示したブラウザの画像である。画像＃３は、ファイル（Ｆ）の項目に関連するサブメニューを表すポップアップを表示したブラウザの画像である。また、画像処理装置１０１は、画像＃１→画像＃２→画像＃３の順に更新される、情報処理装置１０２の画面の表示対象になる画像の画像情報を、定期的に取得して、画像情報を送信するか否かを決定する。
　具体的には、（１）画像処理装置１０１は、ブラウザの画像＃１の画像情報を取得する。このとき、画像処理装置１０１は、ブラウザの画像＃１の次に表示対象になるブラウザの画像＃２の画像情報が取得されるまで、ブラウザの画像＃１の画像情報を情報処理装置１０２に送信せず、待機する。
　（２）画像処理装置１０１は、ブラウザの画像＃２の画像情報を取得する。次に、画像処理装置１０１は、ブラウザの画像＃１とブラウザの画像＃２とに基づいて、ブラウザの画像＃１を送信するか否かを決定する。
　画像処理装置１０１は、より具体的には、ブラウザの画像＃１とブラウザの画像＃２とが類似する場合にはブラウザの画像＃１の画像情報を送信しないと決定する。また、画像処理装置１０１は、ブラウザの画像＃１とブラウザの画像＃２とが類似しない場合にはブラウザの画像＃１の画像情報を送信すると決定する。
　ここでは、画像処理装置１０１は、ブラウザの画像＃１とブラウザの画像＃２とが類似しないため、ブラウザの画像＃１の画像情報を送信すると決定して、ブラウザの画像＃１の画像情報を情報処理装置１０２に送信したとする。
　このとき、画像処理装置１０１は、ブラウザの画像＃２の次に表示対象になるブラウザの画像＃３の画像情報が取得されるまで、ブラウザの画像＃２の画像情報を情報処理装置１０２に送信せず、待機する。
　（３）画像処理装置１０１は、ブラウザの画像＃３の画像情報を取得する。次に、画像処理装置１０１は、ブラウザの画像＃２とブラウザの画像＃３とに基づいて、ブラウザの画像＃２の画像情報を送信するか否かを決定する。
　ここでは、画像処理装置１０１は、ブラウザの画像＃２とブラウザの画像＃３とが類似するため、ブラウザの画像＃２の画像情報を送信しないと決定して、ブラウザの画像＃２の画像情報を送信せず破棄する。
　このとき、画像処理装置１０１は、ブラウザの画像＃３の次に表示対象になるブラウザの画像＃４（不図示）の画像情報が取得されるまで、ブラウザの画像＃３の画像情報を情報処理装置１０２に送信せず、待機する。
　これにより、画像処理装置１０１は、情報処理装置１０２に送信するデータ量を低減することができ、画像処理装置１０１と情報処理装置１０２との間のネットワーク１１０の輻輳を抑制することができる。また、画像処理装置１０１は、類似する後続の画像によって上書きされる先行の画像の画像情報の送信を省略するため、情報処理装置１０２の画面更新において情報処理装置１０２のユーザが受ける違和感を低減することができる。
　このため、画像処理装置１０１は、情報処理装置１０２との間が低品質のネットワーク１１０で接続されている場合であっても、パケットロスにより画像の画像情報が破棄されて情報処理装置１０２の画面更新が中断してしまうことを抑制することができる。また、画像処理装置１０１は、情報処理装置１０２との間が低品質のネットワーク１１０で接続されている場合であっても、送信待ちのパケットの発生を抑制して、情報処理装置１０２への応答性能の低下を抑制することができる。
（コンピュータ２００のハードウェア構成例）
　次に、図２を用いて、画像処理装置１０１、または情報処理装置１０２を実現するコンピュータ２００のハードウェア構成例について説明する。
　図２は、コンピュータ２００のハードウェア構成例を示すブロック図である。図２において、コンピュータ２００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３と、を備えている。
　また、コンピュータ２００は、磁気ディスクドライブ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）２０４と、磁気ディスク２０５と、光ディスクドライブ２０６と、光ディスク２０７と、を備えている。また、コンピュータ２００は、ディスプレイ２０８と、インターフェース（Ｉ／Ｆ：Ｉｎｔｅｒｆａｃｅ）２０９と、キーボード２１０と、マウス２１１と、スキャナ２１２と、プリンタ２１３と、を備えている。また、各構成部はバス２２０によってそれぞれ接続されている。
　ここで、ＣＰＵ２０１は、コンピュータ２００の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＯＭ２０２は、コンピュータ２００が画像処理装置１０１を実現する場合は、少なくとも本実施の形態にかかる画像処理プログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＲＡＭ２０３は、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）を含んでもよい。ＲＡＭ２０３は、例えば、操作入力の内容に対応して更新される、情報処理装置１０２の画面の表示対象になる画像の画像情報を記憶する。
　磁気ディスクドライブ２０４は、ＣＰＵ２０１の制御にしたがって磁気ディスク２０５に対するデータのリード／ライトを制御する。磁気ディスク２０５は、磁気ディスクドライブ２０４の制御で書き込まれたデータを記憶する。
　光ディスクドライブ２０６は、ＣＰＵ２０１の制御にしたがって光ディスク２０７に対するデータのリード／ライトを制御する。光ディスク２０７は、光ディスクドライブ２０６の制御で書き込まれたデータを記憶したり、光ディスク２０７に記憶されたデータをコンピュータ２００に読み取らせたりする。
　ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ２０８は、例えば、液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
　Ｉ／Ｆ２０９は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２１４に接続され、このネットワーク２１４を介して他の装置に接続される。そして、Ｉ／Ｆ２０９は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２０９には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
　キーボード２１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力を行う。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
　スキャナ２１２は、画像を光学的に読み取り、コンピュータ２００内に画像データを取り込む。なお、スキャナ２１２は、ＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅａｄｅｒ）機能を持たせてもよい。また、プリンタ２１３は、画像データや文書データを印刷する。プリンタ２１３には、例えば、レーザプリンタやインクジェットプリンタを採用することができる。また、光ディスクドライブ２０６、光ディスク２０７、ディスプレイ２０８、キーボード２１０、マウス２１１、スキャナ２１２、およびプリンタ２１３の少なくともいずれか１つは、なくてもよい。
（画像処理装置１０１の機能的構成例）
　次に、図３を用いて、画像処理装置１０１の機能的構成例について説明する。図３は、画像処理装置１０１の機能的構成例を示すブロック図である。画像処理装置１０１は、制御部となる機能として、取得部３０１と、決定部３０２と、送信部３０３と、を含む。
　取得部３０１は、ネットワーク１１０を介して接続される情報処理装置１０２からの操作入力に応じて表示内容が更新される情報処理装置１０２の画面を示す画像の画像情報を定期的に取得する。ここで、操作入力とは、情報処理装置１０２のユーザが情報処理装置１０２のマウスやキーボードなどを用いて入力した情報である。操作入力とは、例えば、ウェブページの表示要求である。また、操作入力とは、例えば、ＣＡＤソフトウェアなどのソフトウェアに対するコマンドである。また、操作入力とは、例えば、動画の再生要求である。画面とは、情報処理装置１０２のディスプレイ上の表示領域である。ディスプレイ上の表示領域は、ディスプレイ上の全体であってもよいし、ディスプレイ上の一部であってもよい。情報処理装置１０２の画面を示す画像とは、情報処理装置１０２の画面の表示対象になる画像である。
　画像情報とは、情報処理装置１０２に画像を表示させるための情報である。画像情報とは、例えば、画像に含まれる画素の画素値を示す情報である。また、画像情報とは、例えば、画像全体に含まれる画素の画素値を示す情報であってもよいし、情報処理装置１０２の画面のうちで画像を表示することにより表示内容が更新される領域に含まれる画素の画素値を示す情報であってもよい。定期的に取得するとは、所定の時間ごとに取得することである。所定の時間は、例えば、フレームレートに基づいて算出される固定の時間であってもよいし、フレームレートに基づいて算出される可変の時間であってもよい。
　取得部３０１は、例えば、画像情報を取得した場合に、直前に取得した画像情報と変化がなければ、フレームレートと同一の間隔分、待機してから、次の画像情報の取得に移行する。また、取得部３０１は、例えば、画像情報を取得した場合に、直前に取得した画像情報と変化していれば、フレームレートより短い間隔分、待機してから、次の画像情報の取得に移行する。
　取得部３０１は、例えば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶され、操作入力に応じて内容が更新される、画像の画像情報に定期的にアクセスして取得する。これにより、取得部３０１は、情報処理装置１０２の画面の表示対象になる画像の画像情報を取得することができる。取得したデータは、例えば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶される。取得部３０１は、例えば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されたプログラムをＣＰＵ２０１に実行させることにより、その機能を実現する。
　決定部３０２は、情報処理装置１０２の画面の表示対象であって、表示順序が連続する２つの画像の各々の画像情報に基づいて、２つの画像のうちの先行の画像の画像情報を情報処理装置１０２に送信するか否かを決定する。ここで、表示順序とは、画像情報を送信するか否かを決定する順序である。表示順序とは、例えば、取得部３０１によって取得された順序である。先行の画像とは、２つの画像のうちの表示順序が前になる画像である。先行の画像とは、例えば、２つの画像のうちの先に取得した画像である。
　決定部３０２は、例えば、連続して画像情報を取得した２つの画像ごとに、２つの画像の各々の画像情報に基づいて、２つの画像のうちの先行の画像の画像情報を送信するか否かを決定する。決定部３０２は、例えば、取得部３０１が先行の画像を取得した場合、取得部３０１が先行の画像に続く後続の画像を取得するまで待機して、先行の画像と後続の画像との２つの画像の各々の画像情報に基づいて、先行の画像の画像情報を送信するか否かを決定する。
　決定部３０２は、具体的には、各々の画像情報に基づいて、２つの画像の類似度を算出し、算出した類似度に基づいて、先行の画像の画像情報を情報処理装置１０２に送信するか否かを決定する。類似度は、例えば、Ｌ１ノルムやＬ２ノルムなどである。また、類似度は、例えば、ＰＳＮＲ（Ｐｅａｋ　Ｓｉｇｎａｌ　ｔｏ　Ｎｏｉｓｅ　Ｒａｔｉｏ）、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ　ＳＩＭｉｌａｒｉｔｙ）などであってもよい。
　ここで、Ｌ１ノルムおよびＬ２ノルムは、値が小さいほど、２つの画像が類似していることを示す。ＰＳＮＲおよびＳＳＩＭは、値が大きいほど、２つの画像が類似していることを示す。Ｌ１ノルム、Ｌ２ノルム、およびＰＳＮＲは、０～∞の値をとる。ＳＳＩＭは、０～１の値をとる。
　決定部３０２は、より具体的には、各々の画像情報に基づいてＬ１ノルムを算出し、算出したＬ１ノルムが所定値未満の場合は、２つの画像が類似しているとして先行の画像の画像情報を送信しないと決定する。また、決定部３０２は、算出したＬ１ノルムが所定値以上の場合は、２つの画像が類似していないとして先行の画像の画像情報を送信すると決定する。換言すれば、決定部３０２は、先行の画像が表示対象になった直後に類似する後続の画像が表示対象になる場合は、先行の画像の画像情報を送信しないと決定する。これにより、決定部３０２は、情報処理装置１０２が先行の画像の表示を省略しても情報処理装置１０２のユーザが受ける違和感が少ないときには、先行の画像の画像情報を送信しないと決定することができる。
　決定部３０２は、具体的には、情報処理装置１０２の画面のうちで先行の画像を情報処理装置１０２の画面に表示することにより表示内容が変更される第１の領域を特定する。また、決定部３０２は、情報処理装置１０２の画面のうちで２つの画像のうちの後続の画像を情報処理装置１０２の画面に表示することにより表示内容が変更される第２の領域を特定する。次に、決定部３０２は、第１の領域が第２の領域に包含されることに応じて、先行の画像の画像情報を送信しないと決定する。
　決定部３０２は、より具体的には、最後に送信した画像の画像情報と、取得部３０１が取得した先行の画像の画像情報とに基づいて、情報処理装置１０２の画面のうちで先行の画像を画面に表示することにより表示内容が更新される第１の領域を特定する。また、決定部３０２は、最後に送信した画像の画像情報と、取得部３０１が取得した後続の画像の画像情報とに基づいて、情報処理装置１０２の画面のうちで後続の画像を画面に表示することにより表示内容が更新される第２の領域を特定する。次に、決定部３０２は、第１の領域が第２の領域に包含されることに応じて、先行の画像の画像情報を送信しないと決定する。また、決定部３０２は、第１の領域が第２の領域に包含されないことに応じて、先行の画像の画像情報を送信すると判定する。換言すれば、決定部３０２は、先行の画像が後続の画像によって上書きされる場合は、先行の画像の画像情報を送信しないと決定する。これにより、決定部３０２は、情報処理装置１０２が先行の画像の表示を省略しても情報処理装置１０２のユーザが受ける違和感が少ないときには、先行の画像の画像情報を送信しないと決定することができる。
　また、決定部３０２は、具体的には、２つの画像の類似度、および、第１の領域が第２の領域に包含されるか否かに基づいて、先行の画像の画像情報を送信するか否かを決定する。決定部３０２は、より具体的には、Ｌ１ノルムが所定値未満であって、かつ、第１の領域が第２の領域に包含されることに応じて、先行の画像の画像情報を送信しないと決定する。また、決定部３０２は、Ｌ１ノルムが所定値以上であるか、または、第１の領域が第２の領域に包含されないことに応じて、先行の画像の画像情報を送信すると決定する。換言すれば、決定部３０２は、先行の画像が類似する後続の画像で上書きされる場合は、先行の画像の画像情報を送信しないと決定する。これにより、決定部３０２は、情報処理装置１０２が先行の画像の表示を省略しても情報処理装置１０２のユーザが受ける違和感が少ないときには、先行の画像の画像情報を送信しないと決定することができる。
　また、決定部３０２は、操作入力を最後に受け付けてからの経過時間を計測し、計測した経過時間が所定時間以上であることに応じて、先行の画像の画像情報を情報処理装置１０２に送信すると決定する。決定部３０２は、例えば、２つの画像の類似度、および、第１の領域が第２の領域に包含されるか否かに関わらず、経過時間が所定時間以上であれば先行の画像の画像情報を送信すると決定する。これにより、決定部３０２は、類似する一連の画像が表示されたり、画面のうちで同一の領域のみが更新され続ける動画の再生要求などの操作入力を受け付けた場合には、画像の画像情報を送信することができる。
　また、決定部３０２は、連続して画像情報を送信しないと決定した回数を計数する。次に、決定部３０２は、計数した回数が所定回数以上であることに応じて、先行の画像の画像情報を情報処理装置１０２に送信すると決定する。ここで、所定回数とは、例えば、固定の回数であってもよいし、可変の回数であってもよい。以下の説明では、計数した回数を「送信キャンセル回数」と表記する場合がある。また、所定回数を「最大送信キャンセル回数」と表記する場合がある。
　決定部３０２は、例えば、２つの画像の類似度、および、第１の領域が第２の領域に包含されるか否かに関わらず、回数が所定回数以上であれば先行の画像の画像情報を送信すると決定する。これにより、決定部３０２は、類似する一連の画像が表示されたり、画面のうちで同一の領域のみが更新され続ける動画の再生要求などの操作入力を受け付けた場合には、画像の画像情報を送信することができる。決定結果は、例えば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶される。決定部３０２は、例えば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されたプログラムをＣＰＵ２０１に実行させることにより、その機能を実現する。
　送信部３０３は、先行の画像の画像情報を送信すると決定したことに応じて、先行の画像の画像情報を情報処理装置１０２に送信する。ここで、送信する画像情報は、例えば、取得部３０１によって取得された画像全体に含まれる画素の画素値を示す情報である。また、送信する画像情報は、例えば、画像全体に含まれる画素の画素値を示す情報から作成された、情報処理装置１０２の画面のうちで画像を表示することにより表示内容が更新される領域に含まれる画素の画素値を示す情報であってもよい。
　これにより、送信部３０３は、情報処理装置１０２の画面に先行の画像を表示させることができる。また、送信部３０３は、送信しないと決定したことに応じて、先行の画像の画像情報を情報処理装置１０２に送信しないため、情報処理装置１０２に送信するデータ量を低減することができる。このため、送信部３０３は、画像処理装置１０１と情報処理装置１０２との間のネットワーク１１０の輻輳を抑制することができる。送信部３０３は、例えば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されたプログラムをＣＰＵ２０１に実行させることにより、または、Ｉ／Ｆ２０９により、その機能を実現する。
（画像処理装置１０１の画像処理の一例）
　次に、図４および図５を用いて、画像処理装置１０１の画像処理の一例について説明する。
　図４は、情報処理装置１０２の画面の表示対象になる、一連の画像の一例を示す説明図である。図４の例では、画像処理装置１０１が、情報処理装置１０２から、第１のウィンドウのプルダウンメニューの表示要求になる操作入力を受け付けた後に第１のウィンドウとは異なる第２のウィンドウの表示要求になる操作入力を受け付けた場合を例に挙げる。
　この場合、画像処理装置１０１は、情報処理装置１０２の画面の表示対象になる画像を、画像＃１→画像＃２→画像＃３→画像＃４→画像＃５の順に更新する。画像＃１は、プルダウンメニューのメニューバーを含む第１のウィンドウを表示した画像である。
　画像＃２は、プルダウンメニューがアニメーション表示される様子を表す、ブルダウンメニューの下段を表示した画像である。画像＃３は、プルダウンメニューがアニメーション表示される様子を表す、ブルダウンメニューの中段から最下段までを表示した画像である。画像＃４は、プルダウンメニューがアニメーション表示される様子を表す、ブルダウンメニューの上段から下段までを表示した画像である。
　画像＃５は、第１のウィンドウの上に、第２のウィンドウを表示した画像である。以下の説明では、画像＃１の直前に表示した画像（不図示）を「画像＃０」と表記する場合がある。また、画像＃３の直後に表示対象になる画像（不図示）を「画像＃４」と表記する場合がある。
　図５は、画像処理装置１０１が画像情報を送信する一例を示す説明図である。図５の例では、画像処理装置１０１は、（画像＃０→）画像＃１→画像＃２→画像＃３→画像＃４→画像＃５の順に更新される、情報処理装置１０２の画面の表示対象になる画像の画像情報を定期的に取得する。
　説明の簡略化のため、画像処理装置１０１は、画像＃１～５の各々の画像の画像情報を一つずつ取得したとする。そして、画像処理装置１０１は、情報処理装置１０２の画面の表示対象になる画像を画面に表示するための情報を情報処理装置１０２に送信するか否かを決定する。
　（１１）画像処理装置１０１は、画像＃１の画像情報を取得した時点では画像＃１の画像を画面に表示するための情報を情報処理装置１０２に送信するか否かを決定せず、画像＃２の画像情報を取得した時点で送信するか否かを決定する。
　画像処理装置１０１は、例えば、先立って取得した画像＃０（不図示）の画像情報と、先立って取得した画像＃１の画像情報とに基づいて、画面のうちで画像＃１を画面に表示することにより表示内容が変更される第１の領域を特定する。また、画像処理装置１０１は、画像＃１の画像情報と、取得した画像＃２の画像情報とに基づいて、画面のうちで画像＃２を画面に表示することにより表示内容が変更される第２の領域を特定する。次に、画像処理装置１０１は、画像＃１の画像情報と、画像＃２の画像情報とに基づいて、画像＃１と画像＃２との類似度として、Ｌ１ノルムを算出する。
　そして、画像処理装置１０１は、第１の領域が第２の領域に包含され、かつ、類似度が所定値以上であるか否かを決定する。ここで、画像処理装置１０１は、包含されないため、画像＃１を表示するための情報を送信すると決定する。このため、画像処理装置１０１は、画像＃１の画像情報と、直前の画像＃０（不図示）の画像情報との差分情報＃１０を、画像＃１の画像情報の代わりに情報処理装置１０２に送信する。
　（１２）画像処理装置１０１は、画像＃２の画像情報を取得した時点では画像＃２の画像を画面に表示するための情報を情報処理装置１０２に送信するか否かを決定せず、画像＃３の画像情報を取得した時点で送信するか否かを決定する。
　画像処理装置１０１は、例えば、画像＃１の画像情報と、画像＃２の画像情報とに基づいて、画面のうちで画像＃２を画面に表示することにより表示内容が変更される第１の領域を特定する。また、画像処理装置１０１は、画像＃２の画像情報と、画像＃３の画像情報とに基づいて、画面のうちで画像＃３を画面に表示することにより表示内容が変更される第２の領域を特定する。次に、画像処理装置１０１は、画像＃２の画像情報と、画像＃３の画像情報とに基づいて、画像＃２と画像＃３との類似度としてＬ１ノルムを算出する。
　そして、画像処理装置１０１は、第１の領域が第２の領域に包含され、かつ、類似度が所定値以上であるか否かを決定する。ここで、画像処理装置１０１は、包含され、かつ、類似度が所定値以上であるため、画像＃２を表示するための情報を送信しないと決定する。このため、画像処理装置１０１は、画像＃２の画像情報と、直前の画像＃１の画像情報との差分情報＃２１を送信しない。
　（１３）画像処理装置１０１は、画像＃３の画像情報を取得した時点では画像＃３の画像を画面に表示するための情報を情報処理装置１０２に送信するか否かを決定せず、画像＃４の画像情報を取得した時点で送信するか否かを決定する。
　画像処理装置１０１は、例えば、画像＃２の画像情報と、画像＃３の画像情報とに基づいて、画面のうちで画像＃３を画面に表示することにより表示内容が変更される第１の領域を特定する。また、画像処理装置１０１は、画像＃３の画像情報と、画像＃４の画像情報とに基づいて、画面のうちで画像＃４を画面に表示することにより表示内容が変更される第２の領域を特定する。次に、画像処理装置１０１は、画像＃３の画像情報と、画像＃４の画像情報とに基づいて、画像＃３と画像＃４との類似度としてＬ１ノルムを算出する。
　そして、画像処理装置１０１は、第１の領域が第２の領域に包含され、かつ、類似度が所定値以上であるか否かを決定する。ここで、画像処理装置１０１は、包含され、かつ、類似度が所定値以上であるため、画像＃３を表示するための情報を送信しないと決定する。このため、画像処理装置１０１は、画像＃３の画像情報と、直前の画像＃２の画像情報との差分情報＃３２を送信しない。
　（１４）画像処理装置１０１は、画像＃４の画像情報を取得した時点では画像＃４の画像を画面に表示するための情報を情報処理装置１０２に送信するか否かを決定せず、画像＃５の画像情報を取得した時点で送信するか否かを決定する。
　画像処理装置１０１は、例えば、画像＃３の画像情報と、画像＃４の画像情報とに基づいて、画面のうちで画像＃４を画面に表示することにより表示内容が変更される第１の領域を特定する。また、画像処理装置１０１は、画像＃４の画像情報と、画像＃５の画像情報とに基づいて、画面のうちで画像＃５を画面に表示することにより表示内容が変更される第２の領域を特定する。次に、画像処理装置１０１は、画像＃４の画像情報と、画像＃５の画像情報とに基づいて、画像＃４と画像＃５との類似度としてＬ１ノルムを算出する。
　そして、画像処理装置１０１は、第１の領域が第２の領域に包含され、かつ、類似度が所定値以上であるか否かを決定する。ここで、画像処理装置１０１は、包含されないため、画像＃４を表示するための情報を送信すると決定する。このため、画像処理装置１０１は、画像＃４の画像情報と、画像＃３の画像情報との差分情報＃４３を、画像＃４の画像情報の代わりに情報処理装置１０２に送信する。
　（１５）画像処理装置１０１は、画像＃５の画像情報を取得した時点では画像＃５の画像を画面に表示するための情報を情報処理装置１０２に送信するか否かを決定しない。これにより、画像処理装置１０１は、情報処理装置１０２に送信するデータ量を低減することができ、画像処理装置１０１と情報処理装置１０２との間のネットワーク１１０の輻輳を抑制することができる。
　このため、画像処理装置１０１は、情報処理装置１０２との間が低品質のネットワーク１１０で接続されている場合における、パケットロスの発生を抑制することができ、情報処理装置１０２の画面更新が中断してしまうことを抑制することができる。また、画像処理装置１０１は、情報処理装置１０２との間が低品質のネットワーク１１０で接続されている場合における、パケットの送信待ちの発生を抑制して、情報処理装置１０２への応答性能の低下を抑制することができる。
（画像処理手順の一例）
　次に、図６を用いて、画像処理装置１０１の画像処理手順の一例について説明する。
　図６は、画像処理手順の一例を示すフローチャートである。図６において、画像処理装置１０１は、情報処理装置１０２とネットワーク１１０を介して接続されたか否かを判定する（ステップＳ６０１）。ここで、接続されていない場合（ステップＳ６０１：Ｎｏ）、画像処理装置１０１は、ステップＳ６０１の処理に戻る。
　一方で、接続された場合（ステップＳ６０１：Ｙｅｓ）、画像処理装置１０１は、操作入力に応じて表示内容が更新される画面を示す画像の画像情報を取得して、画面の表示対象になる画像の画像情報Ｃａｐを更新する（ステップＳ６０２）。
　次に、画像処理装置１０１は、最後に送信した画像の画像情報Ｓｅｎｔと、画面の表示対象になる画像情報Ｃａｐとに差分があるか否かを判定する（ステップＳ６０３）。ここで、差分がない場合（ステップＳ６０３：Ｎｏ）、画像処理装置１０１は、第１の間隔分、待機して（ステップＳ６０４）、ステップＳ６０２の処理に戻る。
　第１の間隔は、例えば、フレームレートと同一の間隔である。以下の説明では、フレームレートと同一の間隔を「規定間隔」と表記する場合がある。また、第１の間隔は、直前の画像情報を送信しないと決定している場合には規定間隔の半分の間隔になり、直前の画像情報を送信すると決定した場合には規定間隔になる、可変の間隔であってもよい。
　一方で、差分がある場合（ステップＳ６０３：Ｙｅｓ）、画像処理装置１０１は、第２の間隔分、待機して（ステップＳ６０５）、画面を示す画像の画像情報を取得して、次に画面の表示対象になる画像の画像情報Ｎｅｘｔを更新する（ステップＳ６０６）。
　ここで、第２の間隔は、情報処理装置１０２における画面更新の間隔が遅延しないように、規定間隔以下の間隔である。第２の間隔は、直前の画像情報を送信しないと決定している場合には規定間隔の半分の間隔になり、直前の画像情報を送信すると決定した場合には規定間隔になる、可変の間隔であってもよい。
　次に、画像処理装置１０１は、画面の表示対象になる画像の画像情報Ｃａｐを送信するか否かを判定する（ステップＳ６０７）。画像情報Ｃａｐを送信するか否かを判定する判定処理については、図７を用いて後述する。
　ここで、送信しない場合（ステップＳ６０７：Ｎｏ）、画像処理装置１０１は、次に画面の表示対象になる画像の画像情報Ｎｅｘｔで、画面の表示対象になる画像の画像情報Ｃａｐを更新して（ステップＳ６０８）、ステップＳ６０５の処理に戻る。
　一方で、送信する場合（ステップＳ６０７：Ｙｅｓ）、画像処理装置１０１は、最後に送信した画像の画像情報Ｓｅｎｔと、画面の表示対象になる画像の画像情報Ｃａｐとの差分を圧縮して（ステップＳ６０９）、圧縮した情報を情報処理装置１０２に送信する（ステップＳ６１０）。
　次に、画像処理装置１０１は、画面の表示対象になる画像の画像情報Ｃａｐで、最後に送信した画像の画像情報Ｓｅｎｔを更新する（ステップＳ６１１）。そして、画像処理装置１０１は、最大送信キャンセル回数ＣｏｕｎｔＭａｘを調整して（ステップＳ６１２）、ステップＳ６０２の処理に戻る。
　ステップＳ６１２において、例えば、画像処理装置１０１は、最大送信キャンセル回数ＣｏｕｎｔＭａｘを、算出式「ｍａｘ（１－ＲＴＴ，ＤａｔａＳｉｚｅ／ＢＷ）×ＦＰＳ」によって、算出する。
　ここで、ｍａｘ（ｘ，ｙ）は、変数ｘと変数ｙとのうちで最大になる方の変数を選択して出力する関数である。ＲＴＴは、パケットロスが発生したときの遅延時間［ｓｅｃｏｎｄ］である。ＤａｔａＳｉｚｅは、最後に送信した情報のデータ量［Ｂｙｔｅ］である。ＢＷは、帯域幅［Ｂｙｔｅ／ｓｅｃｏｎｄ］である。ＦＰＳは、フレームレートであって、１秒あたりの画面更新の回数［回／ｓｅｃｏｎｄ］である。ＲＴＴ、ＢＷなどは、情報処理装置１０２からネットワーク情報として受信してもよい。
　具体的には、仮想デスクトップ環境において、ＤａｔａＳｉｚｅ＝１００［ＫＢ（ＫｉｌｏＢｙｔｅ）］、ＦＰＳ＝３３［回／ｓｅｃｏｎｄ］であるとする。また、ネットワーク環境において、ＲＴＴ＝０．１５［ｓｅｃｏｎｄ］、ＢＷ＝２［ＭＢ（ＭｅｇａＢｙｔｅ）／ｓｅｃｏｎｄ］であるとする。この場合、最大送信キャンセル回数ＣｏｕｎｔＭａｘは２８回になる。
　また、仮想デスクトップ環境において、ＤａｔａＳｉｚｅ＝４００［ＫＢ］、ＦＰＳ＝１０［回／ｓｅｃｏｎｄ］であるとする。また、ネットワーク環境において、ＲＴＴ＝０．３［ｓｅｃｏｎｄ］、ＢＷ＝５００［ＫＢ／ｓｅｃｏｎｄ］であるとする。この場合、最大送信キャンセル回数ＣｏｕｎｔＭａｘは８回になる。
（判定処理手順の一例）
　次に、図７を用いて、図６のステップＳ６０７に示した画像処理装置１０１の判定処理手順の一例について説明する。
　図７は、判定処理手順の一例を示すフローチャートである。図７において、画像処理装置１０１は、画面の表示対象になる画像の画像情報Ｃａｐと、次に画面の表示対象になる画像の画像情報Ｎｅｘｔとに基づいて、類似度としてＬ１ノルムを算出する（ステップＳ７０１）。
　次に、画像処理装置１０１は、類似度が所定値未満か否かを判定する（ステップＳ７０２）。ここで、類似度が所定値未満である場合（ステップＳ７０２：Ｙｅｓ）、画像処理装置１０１は、ステップＳ７０６の処理に移行する。
　一方で、類似度が所定値未満ではない場合（ステップＳ７０２：Ｎｏ）、画像処理装置１０１は、最後の操作入力から２００ｍｓ以上経過したか否かを判定する（ステップＳ７０３）。ここで、経過した場合（ステップＳ７０３：Ｙｅｓ）、画像処理装置１０１は、ステップＳ７０６の処理に移行する。
　一方で、経過していない場合（ステップＳ７０３：Ｎｏ）、画像処理装置１０１は、送信キャンセル回数Ｃｏｕｎｔが、最大送信キャンセル回数ＣｏｕｎｔＭａｘより大きいか否かを判定する（ステップＳ７０４）。ここで、大きい場合（ステップＳ７０４：Ｙｅｓ）、画像処理装置１０１は、Ｃｏｕｎｔに０を設定して（ステップＳ７０５）、画面の表示対象になる画像の画像情報Ｃａｐを送信すると決定して（ステップＳ７０６）、判定処理を終了する。
　一方で、大きくない場合（ステップＳ７０４：Ｎｏ）、画像処理装置１０１は、ＣｏｕｎｔにＣｏｕｎｔ＋１を設定して（ステップＳ７０７）、画面の表示対象になる画像の画像情報Ｃａｐを送信しないと決定して（ステップＳ７０８）、判定処理を終了する。
　ここで、画像処理装置１０１は、ステップＳ７０１の代わりに、画像情報Ｃａｐに基づいて画面更新した場合に表示内容が更新される第１の領域と、画像情報Ｎｅｘｔに基づいて画面更新した場合に表示内容が更新される第２の領域とを特定してもよい。また、画像処理装置１０１は、ステップＳ７０２の代わりに、第１の領域が、第２の領域に包含されないか否かを判定してもよい。ここで、画像処理装置１０１は、包含される場合には、ステップＳ７０３の処理に移行し、包含されない場合には、ステップＳ７０８の処理に移行する。
（表示処理手順の一例）
　次に、図８を用いて、情報処理装置１０２の表示処理手順の一例について説明する。
　図８は、表示処理手順の一例を示すフローチャートである。図８において、情報処理装置１０２は、画像処理装置１０１とネットワーク１１０を介して接続されたか否かを判定する（ステップＳ８０１）。ここで、接続されていない場合（ステップＳ８０１：Ｎｏ）、情報処理装置１０２は、ステップＳ８０１の処理に戻る。
　一方で、接続された場合（ステップＳ８０１：Ｙｅｓ）、情報処理装置１０２は、画像の画像情報を受信したか否かを判定する（ステップＳ８０２）。ここで、受信していない場合（ステップＳ８０２：Ｎｏ）、情報処理装置１０２は、ステップＳ８０２の処理に戻る。
　一方で、受信した場合（ステップＳ８０２：Ｙｅｓ）、情報処理装置１０２は、受信した画像情報に基づいて、情報処理装置１０２の画面に画像を表示する（ステップＳ８０３）。次に、情報処理装置１０２は、ネットワーク情報を画像処理装置１０１に送信して（ステップＳ８０４）、ステップＳ８０２の処理に戻る。
　以上説明したように、画像処理装置１０１によれば、情報処理装置１０２の画面の表示対象であって、表示順序が連続する２つの画像の各々の画像情報に基づいて、先行の画像の画像情報を情報処理装置１０２に送信するか否かを決定することができる。これにより、画像処理装置１０１は、情報処理装置１０２が先行の画像の表示を省略しても情報処理装置１０２のユーザが受ける違和感が少ないときには、先行の画像の画像情報の送信を省略して、送信するデータ量を低減することができる。
　結果として、画像処理装置１０１は、ネットワークにかかる負荷を低減することができ、ネットワークを効率よく使用することができる。また、画像処理装置１０１は、情報処理装置１０２の処理負荷を低減することができる。また、画像処理装置１０１は、パケットロスにより画像の画像情報が破棄されて情報処理装置１０２の画面更新が中断してしまうことを抑制することができる。また、画像処理装置１０１は、送信待ちのパケットの発生を抑制して、情報処理装置１０２への応答性能の低下を抑制することができる。
　また、画像処理装置１０１は、画像処理装置１０１と情報処理装置１０２との間が低品質のネットワークで接続されている場合などにおける、ネットワークの輻輳の発生を抑制することができる。また、画像処理装置１０１は、画像処理装置１０１と情報処理装置１０２との間が送信データ量の増加に応じて使用料金が増加するネットワークで接続されている場合における、ネットワークの使用料金の増加を抑制することができる。
　また、画像処理装置１０１によれば、各々の画像情報に基づいて、２つの画像の類似度を算出し、算出した類似度に基づいて、先行の画像の画像情報を情報処理装置１０２に送信するか否かを決定することができる。換言すれば、画像処理装置１０１は、先行の画像が表示対象になった直後に、先行の画像と類似する後続の画像が表示対象になる場合は、先行の画像の画像情報を送信しないと決定することができる。これにより、画像処理装置１０１は、情報処理装置１０２が先行の画像の表示を省略しても情報処理装置１０２のユーザが受ける違和感が少ないときには、先行の画像の画像情報を送信しないと決定することができる。
　また、画像処理装置１０１によれば、先行の画像により表示内容が変更される領域が、後続の画像により表示内容が変更される領域に包含されることに応じて、先行の画像の画像情報を送信しないと決定することができる。換言すれば、画像処理装置１０１は、先行の画像が後続の画像によって上書きされる場合は、先行の画像の画像情報を送信しないと決定することができる。これにより、画像処理装置１０１は、情報処理装置１０２が先行の画像の表示を省略しても情報処理装置１０２のユーザが受ける違和感が少ないときは、先行の画像の画像情報を送信しないと決定することができる。
　また、画像処理装置１０１によれば、情報処理装置１０２からの操作入力に応じて表示内容が更新される画面を示す画像の画像情報を定期的に取得し、連続して画像情報を取得した２つの画像ごとに先行の画像の画像情報を送信するか否かを決定することができる。これにより、画像処理装置１０１は、表示順序が連続する一連の画像の各々の画像について、画像情報を送信するか否かを決定することができる。
　また、画像処理装置１０１によれば、操作入力を最後に受け付けてからの経過時間を計測し、計測した経過時間が所定時間以上であることに応じて、先行の画像の画像情報を情報処理装置１０２に送信すると決定することができる。これにより、画像処理装置１０１は、類似する一連の画像が表示されたり、画面のうちで同一の領域のみが更新され続ける動画の再生要求などの操作入力を受け付けた場合には、画像の画像情報を送信することができる。
　また、画像処理装置１０１によれば、連続して画像情報を送信しないと決定した回数を計数し、計数した回数が所定回数以上であることに応じて、先行の画像の画像情報を情報処理装置１０２に送信すると決定することができる。これにより、画像処理装置１０１は、類似する一連の画像が表示されたり、画面のうちで同一の領域のみが更新され続ける動画の再生要求などの操作入力を受け付けた場合には、画像の画像情報を送信することができる。
　ここで、従来の画像処理装置が、情報処理装置１０２の画面の表示対象になる画像の画像情報を定期的に取得し、画像情報を取得する都度必ず送信する場合が考えられる。しかしながら、この場合、ネットワークにかかる負荷が増大してしまい、パケットロスが発生することがある。
　このため、従来の画像処理装置が、図４に示した各々の画像の画像情報を送信しようとした場合に画像＃４の画像情報がパケットロスした結果、情報処理装置の画面に画像＃３が表示された状態で一定時間停止してしまうことがある。したがって、情報処理装置のユーザが、情報処理装置の画像更新について違和感を受けることがある。
　一方で、本実施の形態にかかる画像処理装置１０１は、情報処理装置１０２が先行の画像の表示を省略しても情報処理装置１０２のユーザが受ける違和感が少ないときには、先行の画像の画像情報の送信を省略して、送信するデータ量を低減することができる。このため、本実施の形態にかかる画像処理装置１０１は、情報処理装置１０２の画面更新が中断してしまうことを抑制することができる。
　なお、本実施の形態で説明した画像処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本画像処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本画像処理プログラムは、インターネット等のネットワーク１１０を介して配布してもよい。
　１０１　画像処理装置
　１０２　情報処理装置
　３０１　取得部
　３０２　決定部
　３０３　送信部

Claims (8)

  1. 　コンピュータに、
    　ネットワークを介して接続される情報処理装置の画面の表示対象であって、表示順序が連続する２つの画像の各々の画像情報に基づいて、前記２つの画像のうちの先行の画像の画像情報を前記情報処理装置に送信するか否かを決定し、
    　前記先行の画像の画像情報を送信すると決定したことに応じて、前記先行の画像の画像情報を前記情報処理装置に送信する、
    　処理を実行させることを特徴とする画像処理プログラム。
  2. 　前記コンピュータに、
    　前記各々の画像情報に基づいて、前記２つの画像の類似度を算出する処理を実行させ、
    　前記決定する処理は、算出した前記類似度に基づいて、前記先行の画像の画像情報を前記情報処理装置に送信するか否かを決定することを特徴とする請求項１に記載の画像処理プログラム。
  3. 　前記コンピュータに、
    　前記画面のうちで前記先行の画像を前記画面に表示することにより表示内容が変更される第１の領域を特定し、
    　前記画面のうちで前記２つの画像のうちの後続の画像を前記画面に表示することにより表示内容が変更される第２の領域を特定する処理を実行させ、
    　前記決定する処理は、前記第１の領域が前記第２の領域に包含されることに応じて、前記先行の画像の画像情報を送信しないと決定することを特徴とする請求項１または２に記載の画像処理プログラム。
  4. 　前記コンピュータに、
    　前記情報処理装置からの操作入力に応じて表示内容が更新される前記画面を示す画像の画像情報を定期的に取得する処理を実行させ、
    　前記決定する処理は、連続して画像情報を取得した２つの画像ごとに、２つの画像の各々の画像情報に基づいて、２つの画像のうちの先行の画像の画像情報を送信するか否かを決定することを特徴とする請求項１～３のいずれか一つに記載の画像処理プログラム。
  5. 　前記コンピュータに、
    　前記操作入力を最後に受け付けてからの経過時間を計測する処理を実行させ、
    　前記決定する処理は、計測した前記経過時間が所定時間以上であることに応じて、前記先行の画像の画像情報を前記情報処理装置に送信すると決定することを特徴とする請求項４に記載の画像処理プログラム。
  6. 　前記コンピュータに、
    　連続して画像情報を送信しないと決定した回数を計数する処理を実行させ、
    　前記決定する処理は、計数した前記回数が所定回数以上であることに応じて、前記先行の画像の画像情報を前記情報処理装置に送信すると決定することを特徴とする請求項４または５に記載の画像処理プログラム。
  7. 　コンピュータが、
    　ネットワークを介して接続される情報処理装置の画面の表示対象であって、表示順序が連続する２つの画像の各々の画像情報に基づいて、前記２つの画像のうちの先行の画像の画像情報を前記情報処理装置に送信するか否かを決定し、
    　前記先行の画像の画像情報を送信すると決定したことに応じて、前記先行の画像の画像情報を前記情報処理装置に送信する、
    　処理を実行することを特徴とする画像処理方法。
  8. 　ネットワークを介して接続される情報処理装置の画面の表示対象であって、表示順序が連続する２つの画像の各々の画像情報に基づいて、前記２つの画像のうちの先行の画像の画像情報を前記情報処理装置に送信するか否かを決定する決定部と、
    　前記決定部によって前記先行の画像の画像情報を送信すると決定されたことに応じて、前記先行の画像の画像情報を前記情報処理装置に送信する送信部と、
    　を有することを特徴とする画像処理装置。
PCT/JP2014/050765 2014-01-17 2014-01-17 画像処理プログラム、画像処理方法、および画像処理装置 WO2015107672A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP14878825.0A EP3096231A4 (en) 2014-01-17 2014-01-17 Image processing program, image processing method, and image processing device
JP2015557650A JPWO2015107672A1 (ja) 2014-01-17 2014-01-17 画像処理プログラム、画像処理方法、および画像処理装置
PCT/JP2014/050765 WO2015107672A1 (ja) 2014-01-17 2014-01-17 画像処理プログラム、画像処理方法、および画像処理装置
CN201480072756.5A CN105900071A (zh) 2014-01-17 2014-01-17 图像处理程序、图像处理方法以及图像处理装置
US15/193,657 US20160306599A1 (en) 2014-01-17 2016-06-27 Computer product, image processing method, and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/050765 WO2015107672A1 (ja) 2014-01-17 2014-01-17 画像処理プログラム、画像処理方法、および画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/193,657 Continuation US20160306599A1 (en) 2014-01-17 2016-06-27 Computer product, image processing method, and image processing apparatus

Publications (1)

Publication Number Publication Date
WO2015107672A1 true WO2015107672A1 (ja) 2015-07-23

Family

ID=53542590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/050765 WO2015107672A1 (ja) 2014-01-17 2014-01-17 画像処理プログラム、画像処理方法、および画像処理装置

Country Status (5)

Country Link
US (1) US20160306599A1 (ja)
EP (1) EP3096231A4 (ja)
JP (1) JPWO2015107672A1 (ja)
CN (1) CN105900071A (ja)
WO (1) WO2015107672A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149293A (ja) * 2019-03-13 2020-09-17 富士通株式会社 表示制御プログラム、表示制御方法および情報処理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107332830B (zh) * 2017-06-19 2019-02-12 腾讯科技（深圳）有限公司 视频转码、视频播放方法及装置、计算机设备、存储介质
JP7238738B2 (ja) * 2019-11-19 2023-03-14 トヨタ自動車株式会社 画像処理システム、処理装置、中継装置及びプログラム
CN112085828A (zh) * 2020-09-18 2020-12-15 深圳市欢太科技有限公司 图像处理方法及装置、云真机系统、存储介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246153A (ja) * 2005-03-04 2006-09-14 Toshiba Corp 画面転送装置、画面転送システム、画面転送方法、およびプログラム
JP2007060444A (ja) * 2005-08-25 2007-03-08 Fuji Xerox Co Ltd 光無線通信装置、端末機、情報システム、光無線通信方法、及びプログラム
JP2008129954A (ja) 2006-11-22 2008-06-05 Victor Co Of Japan Ltd サーバ装置及びクライアント装置
WO2010032301A1 (ja) * 2008-09-18 2010-03-25 パイオニア株式会社 画像共有制御装置、画像共有システム、画像共有制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2011028501A (ja) 2009-07-24 2011-02-10 Fujitsu Ltd 操作内容送信プログラム
JP2011204089A (ja) 2010-03-26 2011-10-13 Nec Personal Products Co Ltd 画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラム
JP2013126185A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 情報処理装置、画像送信方法及び画像送信プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175068A (ja) * 2000-09-22 2002-06-21 Canon Inc 画像表示システム、画像表示方法、記憶媒体及び画像表示装置
JP3680059B2 (ja) * 2003-02-07 2005-08-10 株式会社東芝 情報処理装置および画面イメージデータ送信方法
WO2005036452A1 (en) * 2003-10-06 2005-04-21 Purdue Research Foundation Method and system for compressing image data
EP1538805B1 (en) * 2003-12-03 2010-02-17 Omron Corporation Image processing system, method of controlling the image processing system, and program for a peripheral apparatus in the system
JP4100359B2 (ja) * 2004-03-04 2008-06-11 ソニー株式会社 信号伝送システム、データ送信装置、及びデータ受信装置
CN1798322B (zh) * 2004-12-20 2010-09-08 松下电器产业株式会社 数据传输系统及方法
CN101087405A (zh) * 2006-06-07 2007-12-12 鸿富锦精密工业（深圳）有限公司 动态监控系统及方法
JP4176122B2 (ja) * 2006-10-24 2008-11-05 株式会社東芝 サーバ端末、画面共有方法およびプログラム
JP4833032B2 (ja) * 2006-11-10 2011-12-07 キヤノン電子株式会社 画像データ送信装置、画像データ取得装置、スキャナ、画像送信システム、画像データ送信方法、プログラム、及び記憶媒体
CN101499131A (zh) * 2008-02-01 2009-08-05 鸿富锦精密工业（深圳）有限公司 影像校正装置及影像校正方法
US20110010776A1 (en) * 2009-07-10 2011-01-13 Christopher Ceraolo Image Management System
GB2481613A (en) * 2010-06-30 2012-01-04 Skype Ltd Updating regions of shared images using a server that records image status
JP2012137900A (ja) * 2010-12-27 2012-07-19 Hitachi Consumer Electronics Co Ltd 映像出力システム、映像出力方法及びサーバ装置
CN103238177B (zh) * 2011-09-06 2015-01-21 夏普株式会社 显示装置及其驱动方法
US8978989B2 (en) * 2012-02-21 2015-03-17 Eyeconit Ltd. Readable matrix code

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246153A (ja) * 2005-03-04 2006-09-14 Toshiba Corp 画面転送装置、画面転送システム、画面転送方法、およびプログラム
JP2007060444A (ja) * 2005-08-25 2007-03-08 Fuji Xerox Co Ltd 光無線通信装置、端末機、情報システム、光無線通信方法、及びプログラム
JP2008129954A (ja) 2006-11-22 2008-06-05 Victor Co Of Japan Ltd サーバ装置及びクライアント装置
WO2010032301A1 (ja) * 2008-09-18 2010-03-25 パイオニア株式会社 画像共有制御装置、画像共有システム、画像共有制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2011028501A (ja) 2009-07-24 2011-02-10 Fujitsu Ltd 操作内容送信プログラム
JP2011204089A (ja) 2010-03-26 2011-10-13 Nec Personal Products Co Ltd 画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラム
JP2013126185A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 情報処理装置、画像送信方法及び画像送信プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3096231A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149293A (ja) * 2019-03-13 2020-09-17 富士通株式会社 表示制御プログラム、表示制御方法および情報処理装置
JP7252444B2 (ja) 2019-03-13 2023-04-05 富士通株式会社 表示制御プログラム、表示制御方法および情報処理装置

Also Published As

Publication number Publication date
EP3096231A1 (en) 2016-11-23
CN105900071A (zh) 2016-08-24
US20160306599A1 (en) 2016-10-20
JPWO2015107672A1 (ja) 2017-03-23
EP3096231A4 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
JP4405419B2 (ja) 画面送信装置
KR101951135B1 (ko) 비디오 이미지를 스케일링하는 방법 및 이동 단말
JP5920006B2 (ja) 画面更新制御プログラム、画面更新制御方法、および情報処理装置
US8171169B2 (en) Method and apparatus for updating a graphical display in a distributed processing environment
US20090006977A1 (en) Method and System of Computer Remote Control that Optimized for Low Bandwidth Network and Low Level Personal Communication Terminal Device
WO2015107672A1 (ja) 画像処理プログラム、画像処理方法、および画像処理装置
US9716907B2 (en) Updating thin-client display based on a thin-out rate
US20130036235A1 (en) Method of transmission of visual content
CN107148776A (zh) 获取视频数据的方法、装置、系统及计算机可读存储介质
US20150253943A1 (en) Method and Apparatus for Implementing Remote Browsing
WO2011077550A1 (ja) 画面中継装置
JP2017228241A (ja) 画面送信方法、画面送信装置、及びプログラム
US10719227B2 (en) Image processing apparatus, method for displaying image, and non-transitory recording medium storing computer readable program
US20150281699A1 (en) Information processing device and method
US20150381987A1 (en) Drawing system, information processing apparatus for drawing, and drawing control method
WO2015107622A1 (ja) 画像処理プログラム、表示プログラム、画像処理方法、表示方法、画像処理装置、および情報処理装置
US20180048774A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2010237816A (ja) サーバ装置、クライアント装置、クライアントサーバシステム、画像出力方法及びプログラム
US9626330B2 (en) Information processing apparatus, and information processing method
US20150195475A1 (en) System, information processing apparatus, and image processing method
US8312163B1 (en) Methods, systems, and computer-readable media for adjusting the quality level of data transmitted between a local computer and a remote computer
KR102552753B1 (ko) 딜레이 절감을 위한 vmi 화면 표시 방법 및 장치
CN110532112B (zh) 一种对象提取方法及移动终端
JP5701964B2 (ja) 画面中継装置
EP2765768A1 (en) Method and apparatus for transitioning capture mode

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878825

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015557650

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014878825

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014878825

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE