WO2018142637A1 - 情報処理システム、及び、情報処理方法 - Google Patents

情報処理システム、及び、情報処理方法 Download PDF

Info

Publication number
WO2018142637A1
WO2018142637A1 PCT/JP2017/012506 JP2017012506W WO2018142637A1 WO 2018142637 A1 WO2018142637 A1 WO 2018142637A1 JP 2017012506 W JP2017012506 W JP 2017012506W WO 2018142637 A1 WO2018142637 A1 WO 2018142637A1
Authority
WO
WIPO (PCT)
Prior art keywords
drawing area
score
host
sharing
information processing
Prior art date
Application number
PCT/JP2017/012506
Other languages
English (en)
French (fr)
Inventor
和毅 高嶋
喜文 北村
フィールド・モルテン
拓真 萩原
Original Assignee
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東北大学 filed Critical 国立大学法人東北大学
Publication of WO2018142637A1 publication Critical patent/WO2018142637A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Definitions

  • the present invention relates to an information processing system and an information processing method.
  • An information processing system including a host device that displays a drawing area in which a drawing image is drawn and a client device is known (for example, Patent Document 1). This information processing system shares a drawing area between a host device and a client device.
  • a plurality of host devices may display a plurality of drawing areas, respectively.
  • one host device may display a plurality of windows as a plurality of drawing areas.
  • the user of the client device desires that one drawing area is shared between the host device and the client device.
  • the information processing system is configured such that the user inputs region identification information for identifying the drawing region selected by the user to the client device.
  • One of the objects of the present invention is to reduce a user's trouble for sharing a drawing area between apparatuses.
  • an information processing system includes at least one host device capable of displaying a plurality of drawing areas in which a plurality of drawing images are respectively drawn, and a client device having a camera, and the at least one host A drawing area is shared between the apparatus and the client apparatus.
  • this information processing system A captured image transmission unit configured to transmit a captured image captured by the camera from the client device to each of the at least one host device; For each of the plurality of drawing areas, a score calculation unit that calculates a score representing a similarity between the drawn image drawn in the drawing area and the captured image received by the at least one host device; , For each of the plurality of drawing areas, the area identification information for identifying the drawing area and the score calculated for the drawing area are associated with each other, and the host device displaying the drawing area A score transmission unit for transmitting to the client device; A drawing area selection unit that selects one drawing area from the plurality of drawing areas based on the score received by the client device; A sharing request transmission unit that transmits a sharing request including area identification information for identifying the selected drawing area from the client apparatus to a host apparatus that displays the drawing area; When the sharing request is received by the host device, the drawing area identified by the area identification information included in the sharing request among the drawing areas displayed by the host apparatus is the host apparatus and the client apparatus.
  • an information processing method includes at least one host device capable of displaying a plurality of drawing areas in which a plurality of drawing images are respectively drawn, and a client device having a camera, and at least one of the above
  • the present invention is applied to an information processing system that shares a drawing area between one host device and the client device.
  • this information processing method A captured image captured by the camera is transmitted from the client device to each of the at least one host device; For each of the plurality of drawing areas, a score representing the degree of similarity between the drawn image drawn in the drawing area and the captured image received by the at least one host device is calculated.
  • the area identification information for identifying the drawing area and the score calculated for the drawing area are associated with each other, and the host device displaying the drawing area Sent to the client device, One drawing area is selected from the plurality of drawing areas based on the score received by the client device, A sharing request including area identification information for identifying the selected drawing area is transmitted from the client apparatus to the host apparatus displaying the drawing area;
  • the sharing request is received by the host device, the drawing area identified by the area identification information included in the sharing request among the drawing areas displayed by the host apparatus is the host apparatus and the client apparatus. Including sharing with.
  • the host device can display at least one drawing area in which at least one drawing image is drawn, and shares the drawing area with a client device having a camera.
  • this host device A photographed image taken by the camera is received from the client device, and for each of the at least one drawing area, a drawing image drawn in the drawing area and the received photographed image are A score calculation unit for calculating a score representing the similarity, For each of the at least one drawing area, a score transmission unit that associates the area identification information for identifying the drawing area and the score calculated for the drawing area with each other, and transmits the score to the client device; A sharing request receiving unit that receives from the client device a sharing request including region identification information for identifying a drawing region selected by the client device; When the sharing request is received, a drawing area sharing unit that shares a drawing area identified by the area identification information included in the sharing request among the displayed drawing areas with the client device; Is provided.
  • the program A host device capable of displaying at least one drawing area in which at least one drawing image is drawn and sharing a drawing area with a client device having a camera, Receiving a photographed image photographed by the camera from the client device; For each of the at least one drawing area, calculate a score representing the similarity between the drawn image drawn in the drawing area and the received captured image; For each of the at least one drawing area, area identification information for identifying the drawing area and a score calculated for the drawing area are associated with each other and transmitted to the client device, Receiving a sharing request including area identification information for identifying a drawing area selected by the client apparatus from the client apparatus; When the sharing request is received, a process of sharing the drawing area identified by the area identification information included in the sharing request among the displayed drawing areas with the client device is executed.
  • the client device shares a drawing area with at least one host device capable of displaying a plurality of drawing areas in which a plurality of drawing images are drawn, and has a camera.
  • this client device A captured image transmission unit that transmits a captured image captured by the camera to each of the at least one host device; For each of the plurality of drawing areas, a score representing the similarity between the drawing image drawn in the drawing area and the transmitted captured image, area identification information for identifying the drawing area, And a drawing area selection unit that selects one drawing area from the plurality of drawing areas based on the received score, and receives from the host device displaying the drawing area.
  • a sharing request transmission unit that transmits a sharing request including area identification information for identifying the selected drawing area to the host device displaying the drawing area;
  • the drawing area identified by the area identification information included in the sharing request among the drawing areas displayed by the host device is A drawing area sharing unit that is shared with each other.
  • the program In addition to sharing a drawing area with at least one host device capable of displaying a plurality of drawing areas in which a plurality of drawing images are respectively drawn, a client device having a camera Transmitting a captured image captured by the camera to each of the at least one host device; For each of the plurality of drawing areas, a score representing the similarity between the drawing image drawn in the drawing area and the transmitted captured image, area identification information for identifying the drawing area, Are associated with each other and received from the host device displaying the drawing area, One drawing area is selected from the plurality of drawing areas based on the received score, A sharing request including area identification information for identifying the selected drawing area is transmitted to the host device displaying the drawing area; When the sharing request is received by the host device, the drawing area identified by the area identification information included in the sharing request among the drawing areas displayed by the host device is Execute the process shared by.
  • an information processing method includes: a host device that can display a drawing area in which a drawing image is drawn; a client device that has a camera; and at least one remote device that can display a screen image on a screen; And an information processing system that shares a drawing area between the host device and the client device.
  • this information processing method When the drawing area is shared between the host device and the client device, the captured image captured by the camera is transmitted from the client device to each of the at least one remote device, For each of the at least one remote device, calculate a score representing the degree of similarity between the screen image displayed on the screen of the remote device and the captured image received by the remote device; For each of the at least one remote device, a score calculated for the remote device is transmitted from the remote device to the client device, Selecting one of the at least one remote devices based on the score received by the client device; A sharing instruction including device identification information for identifying the selected remote device is transmitted from the client device to the host device; When the host device receives the sharing instruction, the drawing area shared between the host device and the client device is identified by the remote device identified by the device identification information included in the sharing instruction and the Sharing with the host device.
  • the host device can display a drawing area in which a drawing image is drawn and shares the drawing area with the client device.
  • this host device When the drawing area is shared with the client device, device identification information for identifying a remote device selected by the client device from at least one remote device capable of displaying a screen image on the screen is included.
  • a sharing instruction receiving unit that receives a sharing instruction from the client device; When the sharing instruction is received, the drawing area shared between the host device and the client device is identified between the remote device identified by the device identification information included in the sharing instruction and the host device.
  • the program A host device that can display a drawing area in which a drawing image is drawn and shares the drawing area with a client device.
  • device identification information for identifying a remote device selected by the client device from at least one remote device capable of displaying a screen image on the screen is included.
  • Receiving a sharing instruction from the client device When the sharing instruction is received, the drawing area shared between the host device and the client device is identified between the remote device identified by the device identification information included in the sharing instruction and the host device. Execute the process that is shared between them.
  • the client device shares a drawing area with a host device capable of displaying a drawing area in which a drawing image is drawn and has a camera.
  • this client device A captured image transmission unit configured to transmit a captured image captured by the camera to each of at least one remote device capable of displaying a screen image on a screen when the drawing area is shared with the host device; , For each of the at least one remote device, a score representing the degree of similarity between the screen image displayed on the screen of the remote device and the captured image received by the remote device is received from the remote device. And a sharing target device selection unit that selects one remote device from the at least one remote device based on the received score; A sharing instruction transmission unit that transmits a sharing instruction including device identification information for identifying the selected remote device to the host device; Is provided.
  • the program While sharing the drawing area with a host device capable of displaying the drawing area in which the drawn image is drawn,
  • the drawing area is shared with the host device, the captured image captured by the camera is transmitted to each of at least one remote device capable of displaying a screen image on the screen,
  • a score representing the degree of similarity between the screen image displayed on the screen of the remote device and the captured image received by the remote device is received from the remote device.
  • a process of transmitting a sharing instruction including device identification information for identifying the selected remote device to the host device is executed.
  • the remote device can display a screen image on the screen.
  • this remote device When a drawing area is shared between a host device capable of displaying a drawing area in which a drawing image is drawn and a client apparatus having a camera, the photographed image taken by the camera is received from the client apparatus.
  • a score calculation unit that calculates a score representing a degree of similarity between the screen image displayed on the screen and the received captured image, A score transmission unit for transmitting the calculated score to the client device;
  • a sharing instruction including device identification information for identifying the remote device is transmitted from the client device to the host device, the drawing area shared between the host device and the client device is defined as the remote device.
  • a drawing area sharing unit shared between the host device and the host device Is provided.
  • the program To a remote device that can display a screen image on the screen, When a drawing area is shared between a host device capable of displaying a drawing area in which a drawing image is drawn and a client apparatus having a camera, the photographed image taken by the camera is received from the client apparatus. And calculating a score representing the degree of similarity between the screen image displayed on the screen and the received captured image. Send the calculated score to the client device, When a sharing instruction including device identification information for identifying the remote device is transmitted from the client device to the host device, the drawing area shared between the host device and the client device is defined as the remote device. And processing that is shared between the host device and the host device.
  • FIG. 2 is an explanatory diagram illustrating an example of a drawing area displayed on the screen of the host device in FIG. 1.
  • FIG. 2 is an explanatory diagram illustrating an example of a drawing area displayed on the screen of the host device in FIG. 1.
  • FIG. 3 is a flowchart showing processing executed by the host device of FIG. 1. It is a sequence diagram showing operation
  • the information processing system 1 includes M (M represents a natural number) client apparatuses 10-1, 10-2,..., 10-M, and N ( N represents a natural number) host devices 20-1, 20-2,..., 20-N.
  • M represents a natural number
  • N represents a natural number
  • each of M and N represents an integer of 2 or more. Note that each of M and N may represent 1.
  • the client device 10-m may be represented as the client device 10 when it is not necessary to be distinguished from other client devices.
  • m represents each integer from 1 to M.
  • the host device 20-n may be represented as the host device 20 when it is not necessary to be distinguished from other host devices.
  • n represents each integer of 1 to N.
  • the client device 10-m and each of the N host devices 20-1, 20-2,..., 20-N are connected to each other via a communication network NW so as to communicate with each other.
  • the communication network NW is an IP (Internet Protocol) network.
  • the communication network NW is a LAN (Local Area Network).
  • the communication network NW may be a WAN (Wide Area Network) or the Internet network.
  • the client device 10-m includes a processing device 11, a storage device 12, a communication device 13, an input device 14, an output device 15, and a camera 16 that are connected to each other via a bus BU1. Is provided.
  • the client device 10-m is a portable information processing device.
  • the portable information processing apparatus is, for example, a smartphone, a tablet computer, a mobile phone, a portable game machine, a navigation terminal, a notebook computer, or a laptop computer.
  • the client device 10-m may be a stationary information processing device.
  • the stationary information processing apparatus is, for example, a desktop computer, a television receiver, a digital signage system, or a stationary game machine.
  • the processing device 11 controls each element constituting the client device 10-m by executing a program stored in the storage device 12. As a result, the client device 10-m realizes functions to be described later.
  • the processing apparatus 11 includes a CPU (Central Processing Unit).
  • the processing device 11 may include an MPU (Micro Processing Unit) or a DSP (Digital Signal Processor).
  • the storage device 12 stores information in a readable / writable manner.
  • the storage device 12 includes at least one of RAM (Random Access Memory), HDD (Hard Disk Drive), SSD (Solid State Drive), semiconductor memory, and organic memory.
  • the storage device 12 may include a recording medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory, and a reading device that can read information from the recording medium.
  • the communication device 13 is connected to the communication network NW by radio. Note that the communication device 13 may be connected to the communication network NW by wire. The communication device 13 communicates with the host device 20-n via the communication network NW.
  • the input device 14 inputs information from outside the client device 10-m.
  • the output device 15 outputs information to the outside of the client device 10-m.
  • the output device 15 includes a display that outputs information to the outside of the client device 10-m by displaying an image on the screen.
  • the client device 10-m includes a touch panel display that constitutes both the input device 14 and the output device 15.
  • the output device 15 may include a plurality of displays.
  • the output device 15 may include a screen and a projector that projects an image on the screen instead of or in addition to the display.
  • the client device 10-m includes a keyboard constituting the input device 14 and a non-touch panel type display constituting the output device 15 in place of or in addition to the touch panel type display. You may prepare.
  • the input device 14 may include a microphone.
  • the output device 15 may include a speaker.
  • the camera 16 includes a lens and an image sensor that captures an object by converting light collected by the lens into an electrical signal, and generates a captured image representing the object imaged by the image sensor.
  • the image sensor is a solid-state image sensor.
  • the solid-state imaging device is, for example, a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the host device 20-n includes a processing device 21, a storage device 22, a communication device 23, an input device 24, and an output device 25 that are connected to each other via a bus BU2.
  • the host device 20-n is a stationary information processing apparatus.
  • the host device 20-n may be a portable information processing device.
  • the processing device 21, the storage device 22, the communication device 23, the input device 24, and the output device 25 are configured similarly to the processing device 11, the storage device 12, the communication device 13, the input device 14, and the output device 15, respectively.
  • the processing device 21 executes a window system program that realizes a window system. Therefore, in this example, the window in the window system corresponds to the drawing area.
  • the window system program may be a part of an OS (Operating System).
  • the window system program can display a plurality of drawing areas on the screen displayed by the host device 20-n.
  • a plurality of drawing areas when a plurality of drawing areas are displayed on the screen displayed by the host device 20-n, at least a part of a certain drawing area may overlap with at least a part of another drawing area.
  • a certain drawing area when a plurality of drawing areas are displayed on the screen displayed by the host device 20-n, a certain drawing area may not overlap with another drawing area.
  • the window system program assigns to each drawing area an application program that generates a drawing image drawn in the drawing area, and determines the display priority for each drawing area.
  • the display priority is to determine a drawing area to be displayed preferentially when at least a part of the drawing area overlaps at least a part of another drawing area on the screen displayed by the host device 20-n. Used for.
  • the display priority may be expressed as window depth or window depth in the window system. In this example, the display priority has a value that decreases as the display priority increases (in other words, the display priority is easily displayed in the foreground).
  • processing device 21 does not have to execute the window system program.
  • the entire screen of the output device 25 may correspond to the drawing area.
  • the functions of the client device 10-m are a notification request transmission unit 101, a captured image generation unit 102, a captured image transmission unit 103, a drawing area selection unit 104, and a sharing request transmission unit. 105 and a drawing area sharing unit 106.
  • the function of the client device 10-m is realized by the processing device 11 executing the first application program.
  • the first application program may be represented as a client program.
  • the notification request transmission unit 101 transmits a predetermined notification request by broadcasting.
  • the notification request is information requesting transmission of a notification including device identification information for identifying the host device 20-n in the communication network NW.
  • the device identification information includes an IP address.
  • the device identification information may include information other than the IP address (for example, a MAC (Medium Access Control) address and a port number) instead of the IP address or in addition to the IP address.
  • the notification request transmission unit 101 transmits a notification request before transmitting a captured image described later.
  • the notification request transmission unit 101 transmits a notification request when the client program starts to be executed in the client device 10-m.
  • the notification request transmission unit 101 may transmit the notification request when shooting using the camera 16 is performed.
  • the notification request transmission unit 101 may repeatedly execute transmission of a notification request.
  • the notification request transmission unit 101 receives device identification information transmitted in response to reception of a notification request by each of the N host devices 20-1, 20-2,..., 20-N.
  • the notification request transmission unit 101 causes the storage device 12 to store the received device identification information.
  • the notification request transmission unit 101 causes the storage device 12 to store the device identification information received within the first waiting period from when the notification request is transmitted until the predetermined first waiting time elapses, On the other hand, the device identification information received outside the first waiting period is not stored in the storage device 12.
  • the captured image generation unit 102 generates a captured image by capturing a subject using the camera 16 in accordance with a capturing instruction input via the input device 14 by the user of the client device 10-m.
  • the captured image is an image in which a part of the screen of the output device 25 is captured as a subject.
  • the photographed image may be an image obtained by photographing a part of a drawn image displayed in a certain drawing area as a subject.
  • the captured image may be an image in which the subject is captured from a direction inclined with respect to the normal direction of the screen of the output device 25.
  • the captured image transmission unit 103 transmits the captured image generated by the captured image generation unit 102 to the host device 20-n identified by each of the device identification information stored in the storage device 12.
  • the drawing area selection unit 104 receives drawing area score information transmitted in response to reception of a captured image by each of the N host devices 20-1, 20-2,..., 20-N.
  • the drawing area selection unit 104 stores the received drawing area score information in the storage device 12.
  • the drawing area selection unit 104 causes the storage device 12 to store drawing area score information received within a second waiting period from when the captured image is transmitted until a predetermined second waiting time elapses.
  • the drawing area score information received outside the second waiting period is not stored in the storage device 12.
  • the drawing area score information transmitted by the host apparatus 20-n includes apparatus identification information for identifying the host apparatus 20-n, and for each drawing area displayed by the host apparatus 20-n. And a score for the drawing area and area identification information for identifying the drawing area, which are associated with each other.
  • the score for a certain drawing area represents the degree of similarity between the drawn image drawn in the drawing area and the shot image transmitted by the shot image transmission unit 103. In this example, the score increases as the similarity increases.
  • the drawing region selection unit 104 displays N host devices 20-1, 20-2,..., 20-N based on the score included in the drawing region score information stored in the storage device 12.
  • One drawing area is selected from a plurality of drawing areas.
  • the drawing area selection unit 104 selects a drawing area identified by the area identification information associated with the maximum score among the scores included in the drawing area score information stored in the storage device 12. .
  • the drawing area selection unit 104 selects a drawing area identified by the area identification information associated with the minimum score among the scores included in the drawing area score information stored in the storage device 12.
  • the sharing request transmission unit 105 transmits the host device 20-n identified by the device identification information included in the drawing region score information together with the region identification information for identifying the drawing region selected by the drawing region selection unit 104, to the drawing region.
  • the host device 20-n being displayed is identified.
  • the sharing request transmission unit 105 sends a sharing request including area identification information for identifying the drawing area selected by the drawing area selection unit 104 to the host apparatus 20 identified as the host apparatus 20-n displaying the drawing area. -Send to n.
  • the drawing area sharing unit 106 receives the permission response or the rejection response transmitted in response to the reception of the sharing request by the host device 20-n.
  • the permission response is information indicating that sharing of the drawing area is permitted.
  • the rejection response is information indicating that sharing of the drawing area is rejected.
  • the drawing area sharing unit 106 executes first sharing control for sharing the drawing area with the host device 20-n that has transmitted the permission response.
  • the drawing area is shared by transmitting a drawing image drawn in the drawing area from the host apparatus 20-n to the client apparatus 10-m and outputting the drawing image received by the client apparatus 10-m to the output apparatus. 15 (in this example, it is displayed on the screen of the output device 15).
  • the drawing area is shared by transmitting input information input from the client apparatus 10-m to the host apparatus 20-n by the user of the client apparatus 10-m via the input apparatus 14, and This includes inputting the input information received by the device 20-n into an application program to which the drawing area is assigned.
  • the drawing area sharing may be understood as interactive sharing, bidirectional sharing, or interactive sharing.
  • the sharing of the drawing area is performed when the input information is information input by a user's finger touching a touch panel display (in other words, touch input information).
  • Conversion to information input by operating the mouse (in other words, mouse input information) or information input by operating the keyboard (in other words, keyboard input information) may be included.
  • touch input information includes information input by operations called tap, multi-tap, long tap, drag, pinch-in, and pinch-out.
  • the mouse input information includes information input by operations called right click, left click, middle button click (in other words, middle click), movement, and scroll.
  • the first sharing control receives a drawing image drawn in the shared drawing area from the host device 20-n and outputs the received drawing image via the output device 15. including. Further, in the present example, the first sharing control includes transmitting input information input via the input device 14 by the user of the client device 10-m to the host device 20-n.
  • the drawing area is shared by transmitting input information input from the client device 10-m via the input device 14 to the host device 20-n by the user of the client device 10-m. May not include inputting the input information received by the application program to which the drawing area is assigned.
  • the functions of the host device 20-n are a notification transmission unit 201, a score calculation unit 202, a score correction unit 203, a score transmission unit 204, a sharing request response unit 205, a drawing An area sharing unit 206.
  • the sharing request response unit 205 constitutes a sharing request receiving unit.
  • the function of the host device 20-n is realized by the processing device 21 executing the second application program.
  • the second application program may be represented as a host program.
  • the notification transmission unit 201 receives the notification request transmitted by the client device 10-m. When a notification request is received, the notification transmission unit 201 sends a notification including device identification information for identifying the host device 20-n having the notification transmission unit 201 in the communication network NW to the client device that has transmitted the notification request. Send to 10-m.
  • the score calculation unit 202 receives the captured image transmitted by the client device 10-m. When a captured image is received, the score calculation unit 202, for each drawing region displayed by the host device 20-n having the score calculation unit 202, a drawing image drawn in the drawing region, A score representing the degree of similarity with the received captured image is calculated.
  • the score calculation unit 202 calculates a score according to an image processing method using local feature values.
  • the local feature amount is an amount representing a part of the feature of the image (in other words, a local feature in the image).
  • the image processing method is a method called A-KAZE (Accelerated Kaze).
  • the image processing method may be a method other than A-KAZE, called KAZE, SIFT (Scale-Invariant Feature Transform), or SURF (Speed-Updated Robust Feature).
  • the score calculation unit 202 is a screen image (in other words, displayed on the entire screen of the output device 25 by the host device 20-n having the score calculation unit 202). Screen shot).
  • the score calculation unit 202 extracts a plurality of feature points for each of the acquired screen image and the received captured image. Each feature point is a position that easily represents a local feature in the image among a plurality of positions in the image (in other words, a plurality of pixels constituting the image). The score calculation unit 202 acquires a local feature amount for each of the extracted feature points.
  • the score calculation unit 202 selects a feature point corresponding to each of the plurality of feature points extracted from the captured image from among the plurality of feature points extracted from the screen image.
  • the score calculation unit 202 is a screen image in which the local feature amount closest to the local feature amount acquired for the feature point in the captured image is acquired as the feature point corresponding to the feature point in the captured image. Select feature points at.
  • the score calculation unit 202 selects feature points according to the k-NN method (k-Nearest Neighbor Algorithm).
  • the score calculation unit 202 has a similarity between a feature point corresponding to a feature point in the captured image and a local feature amount acquired for the feature point in the captured image is higher than a predetermined similarity threshold. You may select the feature point in a screen image from which the local feature-value was acquired.
  • the score calculation unit 202 sets an initial score value for each drawing area displayed by the host device 20-n having the score calculation unit 202 to a predetermined value (for example, 0). Furthermore, the score calculation unit 202 sets, for each of the selected feature points in the screen image, the score for the drawing area displayed with the highest priority (in other words, in the foreground) at the feature point. Add the addition amount.
  • the addition amount has a predetermined value.
  • the addition amount may have a value that increases as the degree of similarity between the local feature amount for the captured image and the local feature amount for the screen image increases.
  • the score calculation unit 202 acquires the display priority for each drawing area displayed by the host device 20-n having the score calculation unit 202 from the window system program, and acquires the acquired display. Based on the priority, a drawing area to be displayed with the highest priority at each feature point is determined. In this way, the score calculation unit 202 calculates a score based on the display priority.
  • the score correction unit 203 displays the plurality of drawing areas (in this example, the host device 20-n displays The score difference is calculated for each of the combinations of two drawing areas (in other words, a drawing area pair) among all the drawing areas).
  • the score difference is an absolute value of the difference between the two scores calculated by the score calculation unit 202 for each of the two drawing areas constituting the drawing area pair.
  • the score correction unit 203 calculates each of the two scores calculated by the score calculation unit 202 for each of the two drawing regions constituting the drawing region pair whose calculated score difference is smaller than a predetermined score difference threshold. Correct according to 1. Therefore, the score correction unit 203 uses the score calculated by the score calculation unit 202 for a certain drawing area, and the score difference is equal to or greater than the score difference threshold value even when the drawing area constitutes any drawing area and drawing area pair. When it is, do not correct.
  • S 0 represents a score before correction.
  • S 1 represents the score after the correction.
  • represents a predetermined positive coefficient.
  • d represents the display priority. Accordingly, in this example, the score correction unit 203 corrects the score so that the higher the display priority represented by the display priority for the drawing area, the higher the score for the drawing area.
  • the score correction unit 203 determines the difference between the drawing areas of the scores calculated by the score calculation unit 202 for the plurality of drawing areas displayed by the host device 20-n having the score correction unit 203. When it is smaller than the score difference threshold, the calculated score is corrected based on the display priority.
  • the score transmission unit 204 generates the drawing area score information and transmits the generated drawing area score information to the client device 10-m that has transmitted the captured image.
  • the drawing area score information includes apparatus identification information for identifying the host apparatus 20-n having the score transmission unit 204 in the communication network NW, and the drawing area displayed by the host apparatus 20-n. For each of these, a score for the drawing area and area identification information for identifying the drawing area, which are associated with each other, are included.
  • the score included in the drawing area score information is a score corrected by the score correction unit 203.
  • the sharing request response unit 205 receives the sharing request transmitted by the client device 10-m. When the sharing request is received and the predetermined permission condition is satisfied, the sharing request response unit 205 transmits a permission response to the client device 10-m that has transmitted the sharing request. When not satisfied, a rejection response is transmitted to the client device 10-m.
  • the permission condition includes a condition that the host device 20-n continues to display the drawing area identified by the area identification information included in the sharing request.
  • the permission condition may include a condition that the host device 20-n continues to execute the application program to which the drawing area identified by the area identification information included in the sharing request is assigned. Further, the permission condition may include a condition that the processing load of the host device 20-n is smaller than a predetermined processing load threshold.
  • the drawing area sharing unit 206 transmits the permission response of the drawing areas displayed by the host device 20-n having the drawing area sharing unit 206.
  • the second sharing control for sharing the drawing area identified by the area identification information included in the sharing request that is the basis of the sharing request with the client device 10-m that has transmitted the sharing request is executed.
  • the second sharing control includes transmitting a drawing image drawn in the shared drawing area to the client device 10-m. Further, in this example, the second sharing control includes receiving input information from the client device 10-m and inputting the received input information to an application program to which a shared drawing area is assigned.
  • the information processing system 1 includes two host devices 20-1 and 20-2 (in other words, N represents 2).
  • the host device 20-1 displays three drawing areas W11, W12, and W13 on the screen D1 of the host apparatus 20-1, and displays the drawing area W11. Assume that the priority is set to 1, the display priority for the drawing area W12 is set to 2, and the display priority for the drawing area W13 is set to 3.
  • the host device 20-2 displays the two drawing areas W21 and W22 on the screen D2 of the host apparatus 20-2 and displays the drawing area W21. Assume that the priority is set to 1 and the display priority for the drawing area W22 is set to 2. In this example, each drawing area W11, W12, W13, W21, W22 is rectangular.
  • the client device 10-1 executes the client program in accordance with the execution instruction input via the input device 14 by the user of the client device 10-1.
  • the client device 10-1 executes the processing represented by the flowchart in FIG. 7 by executing the client program.
  • the client device 10-1 may execute the client program at a predetermined timing (for example, when the client device 10-1 is activated).
  • the host device 20-n executes the host program in accordance with an execution instruction input via the input device 24 by the user of the host device 20-n.
  • the host device 20-n executes the processing represented by the flowchart in FIG. 8 by executing the host program.
  • the host device 20-n may execute the host program at a predetermined timing (for example, when the host device 20-n is activated).
  • FIG. 9 is a sequence diagram showing the operation of the information processing system 1.
  • the client apparatus 10-1 transmits a notification request by broadcasting (step S101 in FIG. 7 and step S301 in FIG. 9).
  • the client device 10-1 waits until the reception of the notification is completed (“No” route in step S102 in FIG. 7).
  • the reception of the notification is completed when the first standby period ends.
  • the host device 20-n stands by until it receives the notification request (“No” route in step S201 in FIG. 8).
  • the host device 20-n determines “Yes” in step S201, and sends a notification including device identification information for identifying the host device 20-n in the communication network NW to the client.
  • the data is transmitted to the apparatus 10-1 (step S202 in FIG. 8, steps S3021, S3022 in FIG. 9).
  • the host device 20-n stands by until a captured image is received (“No” route in step S203 in FIG. 8).
  • the client device 10-1 receives a notification from each of the host device 20-1 and the host device 20-2 within the first standby period. Therefore, the client device 10-1 stores in the storage device 12 device identification information for identifying the host device 20-1 in the communication network NW and device identification information for identifying the host device 20-2 in the communication network NW. .
  • the client device 10-1 determines “Yes” in Step S102, and waits until the shooting using the camera 16 is completed (“No” route in Step S103 of FIG. 7). ).
  • shooting is executed by inputting a shooting instruction to the client device 10-1 by the user of the client device 10-1, and is completed by generating a shot image.
  • the user of the client apparatus 10-1 desires to share the drawing area W12 displayed on the screen D1 of the host apparatus 20-1. Accordingly, in this example, as shown in FIG. 5, the user of the client device 10-1 can change the drawing image displayed in the drawing region W12 on the screen D1 of the host device 20-1 to another drawing region.
  • a shooting instruction is input to the client device 10-1 so that a portion PF including more than W11 and W13 is shot as a subject. Thereby, the client apparatus 10-1 generates the captured image PF shown in FIG. 10 (step S303 in FIG. 9).
  • the client device 10-1 determines “Yes” in step S103, and the generated photographed image is identified by each of the device identification information stored in the storage device 12.
  • the data is transmitted to the devices 20-1 and 20-2 (step S104 in FIG. 7 and step S304 in FIG. 9).
  • the client device 10-1 waits until the reception of the score is completed (“No” route in step S105 in FIG. 7).
  • the reception of the score is completed when the second waiting period ends.
  • the host apparatus 20-n determines “Yes” in step S203, and scores each drawing area displayed by the host apparatus 20-n. Are calculated (step S204 in FIG. 8, steps S3051 and S3052 in FIG. 9).
  • the host apparatus 20-n calculates the calculation.
  • the corrected score is corrected based on the display priority (steps S205 in FIG. 8 and steps S3061 and S3062 in FIG. 9).
  • the host device 20-n transmits the score corrected in step S205, or the score calculated in step S204 if the score is not corrected in step S205, to the client that has transmitted the captured image.
  • the data is transmitted to the apparatus 10-1 (step S206 in FIG. 8, steps S3071 and S3072 in FIG. 9).
  • the host device 20-n generates drawing area score information including a score, and transmits the generated drawing area score information to the client apparatus 10-1 that has transmitted the captured image.
  • the host device 20-n waits until a sharing request is received (“No” route in step S207 in FIG. 8).
  • the client device 10-1 receives the drawing area score information from each of the host device 20-1 and the host device 20-2 within the second standby period. Therefore, the client apparatus 10-1 stores the drawing area score information transmitted by the host apparatus 20-1 and the drawing area score information transmitted by the host apparatus 20-2 in the storage device 12.
  • the area included in the drawing area score information transmitted by the host device 20-1 and identifying the drawing area W12 Assume that the score associated with the identification information is maximum.
  • the client device 10-1 determines “Yes” in step S105, and based on the score included in the drawing area score information stored in the storage device 12, the host device 20 -1 and 20-2, one drawing area W12 is selected from the plurality of drawing areas W11, W12, W13, W21, and W22 (step S106 in FIG. 7 and step S308 in FIG. 9).
  • the client apparatus 10-1 displays the drawing area W12 by displaying the host apparatus 20-1 identified by the apparatus identification information included in the drawing area score information together with the area identification information for identifying the selected drawing area W12. As a host device 20-n.
  • the client apparatus 10-1 sends a sharing request including area identification information for identifying the selected drawing area W12 to the host apparatus 20-1 identified as the host apparatus 20-n displaying the drawing area W12. (Step S107 in FIG. 7 and Step S309 in FIG. 9).
  • the host device 20-1 determines “Yes” in step S207, and determines whether or not the permission condition is satisfied (step S208 in FIG. 8). First, it is assumed that the permission condition is satisfied. In this case, the host device 20-1 determines “Yes” in step S208, and transmits a permission response to the client device 10-1 that has transmitted the sharing request (step S209 in FIG. 8 and step S310 in FIG. 9). ).
  • the host apparatus 20-1 selects the drawing area W12 identified by the area identification information included in the sharing request received in step S207, among the drawing areas displayed by the host apparatus 20-1.
  • Second sharing control for sharing with the client apparatus 10-1 that has transmitted the sharing request is executed (step S210 in FIG. 8).
  • the client device 10-1 Upon receiving the permission response from the host device 20-1, the client device 10-1 determines “Yes” in step S108, and shares the drawing area with the host device 20-1 that has transmitted the permission response.
  • the first sharing control is performed for this purpose (step S109 in FIG. 7).
  • the drawing area W12 is created between the client device 10-1 and the host device 20-1. It is shared (step S311 in FIG. 9). Thereafter, the client apparatus 10-1 ends the process of FIG. 7, and the host apparatus 20-1 ends the process of FIG.
  • the host device 20-1 determines “No” in step S208, and transmits a rejection response to the client device 10-1 that has transmitted the sharing request (step S211 in FIG. 8). ). In this case, the host device 20-1 ends the process of FIG. 8 without executing the second sharing control. Further, in this case, the client device 10-1 determines “No” in step S108, and ends the process of FIG. 7 without executing the first sharing control.
  • the information processing system 1 transmits captured images captured by the camera 16 from the client apparatus 10-m to the N host apparatuses 20-1, 20-2,. To each of N. Further, the information processing system 1 receives, for each of a plurality of drawing areas, a drawing image drawn in the drawing area and N host devices 20-1, 20-2,..., 20-N. A score representing the degree of similarity with the captured image is calculated.
  • the information processing system 1 associates, with respect to each of the plurality of drawing areas, the area identification information for identifying the drawing area and the score calculated for the drawing area. Is transmitted from the host device 20-n displaying the message to the client device 10-m. Furthermore, the information processing system 1 selects one drawing area from the plurality of drawing areas based on the score received by the client device 10-m. In addition, the information processing system 1 transmits a sharing request including area identification information for identifying the selected drawing area from the client apparatus 10-m to the host apparatus 20-n displaying the drawing area.
  • the information processing system 1 identifies the drawing area displayed by the host apparatus 20-n by the area identification information included in the sharing request.
  • the drawing area to be processed is shared between the host device 20-n and the client device 10-m.
  • the host device 20-n and the client device can be obtained by only shooting a part of a screen on which a drawing area selected by the user from a plurality of drawing areas is displayed with the camera.
  • the drawing area can be shared with 10-m. Therefore, it is possible to reduce the user's trouble of inputting information in order to share the drawing area between apparatuses. As a result, the drawing area selected by the user can be quickly shared between the host device 20-n and the client device 10-m.
  • the client apparatus since the drawing area is shared between the apparatuses, for example, the client apparatus executes the application program corresponding to the application program to which the drawing area is assigned in the host apparatus, rather than the client apparatus.
  • the processing load on the apparatus 10-m can be reduced.
  • the apparatus that selects one drawing area from the plurality of drawing areas is the client apparatus 10-m. Accordingly, even when a plurality of drawing areas are displayed by a plurality of host devices, each host device selects the drawing area to be shared from the drawing areas displayed by the host devices.
  • the drawing area selected by the user can be specified with higher accuracy than the processing system. As a result, according to the information processing system 1, the drawing area selected by the user can be shared with high accuracy.
  • the drawing area is a window in the window system. Furthermore, the information processing system 1 calculates a score based on the display priority.
  • the information processing system 1 acquires a screen image displayed on the screen by the host device 20-n and corresponds to the position for each of at least one position in the captured image. Then, the position in the acquired screen image is selected, and the score is calculated by adding the addition amount to the score for the drawing area displayed with the highest priority at the selected position.
  • the drawing area displayed with the highest priority at a certain position is photographed by the camera 16 at that position. Therefore, according to the information processing system 1, the probability that each position on the screen displayed by the host device 20-n is captured can be reflected in the score with high accuracy. Therefore, the drawing area selected by the user can be shared with high accuracy.
  • the processing load for calculating the score increases in proportion to the number of drawing areas.
  • the processing load for calculating the score hardly increases even if the number of drawing regions increases. Therefore, the processing load for calculating the score can be reduced as compared with the case where the score is calculated based on the entire drawing image displayed in each drawing area.
  • the information processing system 1 when the difference between the drawing areas of the calculated scores for the plurality of drawing areas displayed by the host device 20-n is smaller than a predetermined score difference threshold value, The calculated score is corrected based on the display priority.
  • the probability that the drawing area has been photographed and the display priority have a strong correlation. Therefore, according to the information processing system 1, the probability that the drawing area is photographed can be reflected in the score with high accuracy. Therefore, the drawing area selected by the user can be shared with high accuracy.
  • the information processing system 1 of the first embodiment corrects the score so that the higher the display priority for the drawing area, the higher the score for the drawing area.
  • the higher the display priority for the drawing area the higher the probability that the drawing area has been shot. Therefore, according to the information processing system 1, the probability that the drawing area is photographed can be reflected in the score with high accuracy. Therefore, the drawing area selected by the user can be shared with high accuracy.
  • the information processing system 1 transmits a predetermined notification request from the client device 10-m by broadcasting.
  • the information processing system 1 sends a notification including device identification information for identifying the host device 20-n from the host device 20-n to the client device 10-n. send to m.
  • the information processing system 1 transmits the captured image to the host device 20-n identified by the device identification information included in the notification received by the client device 10-m.
  • the information processing system 1 identifies area identification information for identifying a drawing area, a score calculated for the drawing area, and a host device 20-n displaying the drawing area.
  • Device identification information to be transmitted to the client device 10-m in association with each other.
  • the information processing system 1 transmits a sharing request to the host device 20-n identified by the device identification information received by the client device 10-m.
  • the client device 10-m can identify with high accuracy the host device 20-n displaying the drawing area selected based on the score as the transmission destination of the sharing request.
  • the drawing area selected by the user can be shared with high accuracy.
  • the host device 20-n displays the screen of the host device 20-n.
  • a score may be calculated for a drawing area that is not displayed.
  • the drawing area that is not displayed on the screen of the host device 20-n by the host device 20-n is, for example, a drawing in which an application program being executed is assigned and the drawing image is not displayed by being minimized. It may be an area.
  • a drawing area that is not displayed on the screen of the host device 20-n by the host device 20-n can be alternatively displayed on the screen of the host device 20-n by the host device 20-n, for example.
  • the drawing area may be displayed on a virtual desktop that is not displayed on the screen of the host device 20-n.
  • a drawing area that is not displayed on the screen of the host device 20-n by the host device 20-n is displayed on the screen of the host device 20-n by turning off the display of the host device 20-n, for example. It may be a drawing area that is not displayed.
  • the host device 20-n does not have to correct the score.
  • the function of the host device 20-n may not include the score correction unit 203.
  • the client device 10-m may have the function of the host device 20-n.
  • the host device 20-n may have the function of the client device 10-m.
  • the notification transmission unit 201 transmits a notification in response to the reception of the notification request.
  • a predetermined timing for example, when the execution of the host program starts, or A notification may be sent every time a predetermined transmission period elapses.
  • the client device 10-m may store the device identification information included in the received notification without transmitting the notification request.
  • the information processing system according to the second embodiment is different from the information processing system according to the first embodiment in that it determines whether or not sharing of a drawing area is permitted based on a shooting direction in which a shot image is shot. ing.
  • the difference will be mainly described.
  • symbol used in 1st Embodiment is the same or substantially the same.
  • the sharing request response unit 205 of the second embodiment estimates the shooting angle when the permission condition is satisfied when the sharing request is received, and when the permission condition is not satisfied when the sharing request is received, A rejection response is transmitted to the client apparatus 10-m that has transmitted the sharing request.
  • the shooting angle ⁇ is formed by the normal direction DN of the screen SC of the output device 25 of the host device 20-n and the shooting direction DS in which the shot image is shot by the camera 16. It is an angle.
  • the shooting angle ⁇ is an angle in the horizontal direction.
  • the imaging angle ⁇ may be an angle in a direction other than the horizontal direction (for example, the vertical direction).
  • the sharing request response unit 205 estimates the shooting angle according to the image processing method described above. Note that the sharing request response unit 205 may estimate the shooting angle according to an image processing method other than the image processing method used to calculate the score.
  • the sharing request response unit 205 transmits a permission response to the client device 10-m that has transmitted the sharing request, while the estimated shooting angle is the shooting angle.
  • a rejection response is transmitted to the client device 10-m.
  • the drawing area sharing unit 106 and the drawing area sharing unit 206 share the drawing area when the estimated shooting angle is smaller than the shooting angle threshold, while the estimated shooting angle is the shooting angle. If it is equal to or greater than the threshold value, the drawing area is not shared.
  • the sharing request response unit 205 indicates that if the estimated shooting angle is smaller than the shooting angle threshold, the drawing area may be illegally shot through the output device 25 of the host device 20-n. Information may be output.
  • the host device 20-n executes the process represented by the flowchart in FIG. 12 instead of the process represented by the flowchart in FIG.
  • the process in FIG. 12 is the same as the process in FIG. 8 except that the processes in steps S209 to S211 in FIG. 8 are replaced with the processes in steps S401 to S405.
  • the host device 20-n determines “Yes” in step S208 and estimates the shooting angle (step S401 in FIG. 12). Next, the host device 20-n determines whether or not the shooting angle estimated in step S401 is smaller than the shooting angle threshold (step S402 in FIG. 12).
  • the host device 20-n determines “Yes” in step S402, and transmits a permission response to the client device 10-m that has transmitted the sharing request ( Step S403 in FIG.
  • the host apparatus 20-n selects the drawing area identified by the area identification information included in the sharing request received in step S207 from among the drawing areas displayed by the host apparatus 20-n.
  • the second sharing control for sharing with the client device 10-m that has transmitted the request is executed (step S404 in FIG. 12). Thereafter, the host device 20-n ends the process of FIG.
  • the host device 20-n determines “No” in step S208, and transmits a rejection response to the client device 10-m that has transmitted the sharing request (step S405 in FIG. 12). ). If the estimated shooting angle is equal to or larger than the shooting angle threshold, the host device 20-n determines “No” in step S402, and transmits a rejection response to the client device 10-m that has transmitted the sharing request. (Step S405 in FIG. 12). In these cases, the host device 20-n ends the process of FIG. 12 without executing the second sharing control.
  • the host device 20-n executes the determination whether or not the permission condition is satisfied and the determination whether or not the shooting angle is smaller than the shooting angle threshold in the order reverse to the order described above. May be. Further, the host apparatus 20-n may estimate the shooting angle when calculating the score.
  • the same operations and effects as the information processing system 1 of the first embodiment are exhibited. Furthermore, the information processing system 1 according to the second embodiment estimates the shooting angle and, when the estimated shooting angle is smaller than a predetermined shooting angle threshold, shares the drawing area, while the estimated shooting angle. Is larger than the shooting angle threshold, the drawing area is not shared.
  • the client device 10-m that has transmitted the captured image is registered in advance in the information processing system 1 instead of or in addition to the capturing direction in which the captured image was captured. Whether or not to share the drawing area may be determined based on whether or not the drawing area is shared.
  • the registration of the client device 10-m includes information for identifying the client device 10-m in the communication network NW (for example, a MAC address or an IP address), information unique to the client device 10-m (for example, a client This may be performed using at least one of information indicating the device 10-m manufacturing number and the name (for example, computer name or host name) assigned to the client device 10-m.
  • the information processing system 1 shares the drawing area when the photographed image is transmitted from the client apparatus 10-m registered in advance, while the photographed image is received from the client apparatus 10-m not registered in advance. When is sent, the drawing area is not shared. In addition, when a captured image is transmitted from a client device 10-m that is not registered in advance, the information processing system 1 transmits a captured image from a client device 10-m that is not registered in advance to the user of the information processing system 1. You may be notified.
  • the information processing system 1 may display a two-dimensional code on the screen and determine whether to share the drawing area using the two-dimensional code.
  • the information processing system according to the third embodiment shares a drawing area shared between the host device and the client device between the host device and the remote device as compared with the information processing system according to the first embodiment. It is different in point. Hereinafter, the difference will be mainly described.
  • symbol used in 1st Embodiment is the same or substantially the same.
  • the information processing system 1A includes M client devices 10-1, 10-2,..., 10-M, and N host devices 20-1, In addition to 20-2,..., 20-N, P (P represents a natural number) remote devices 30-1, 30-2,. In this example, P represents an integer of 2 or more. Note that P may represent 1. In the following, the remote device 30-p may be represented as the remote device 30 when it is not necessary to be distinguished from other remote devices. p represents each integer of 1 to P.
  • the remote device 30-p includes M client devices 10-1, 10-2,..., 10-M and N host devices 20-1, 20-2,. Via a communication network NW, they are connected so as to be communicable with each other.
  • the remote device 30-p includes a processing device 31, a storage device 32, a communication device 33, an input device 34, and an output device 35 connected to each other via a bus BU3.
  • the remote device 30-p is a stationary information processing device.
  • the remote device 30-p may be a portable information processing device.
  • the processing device 31, the storage device 32, the communication device 33, the input device 34, and the output device 35 are configured similarly to the processing device 11, the storage device 12, the communication device 13, the input device 14, and the output device 15, respectively.
  • the remote device 30-p can display a screen image on the entire screen of the output device 35.
  • the remote device 30-p may display a screen image including a plurality of drawing areas on the screen of the output device 35 by executing a window system program.
  • the function of the client device 10-m of the third embodiment includes a notification request transmission unit 101A instead of the notification request transmission unit 101 of the first embodiment, and the function of the first embodiment. Instead of the captured image transmission unit 103, a captured image transmission unit 103A is included. Furthermore, the functions of the client device 10-m of the third embodiment include a sharing target device selection unit 107 and a sharing instruction transmission unit 108 in addition to the functions of the client device 10-m of the first embodiment. In FIG. 15, the same functions as those of the client apparatus 10-m of the first embodiment are omitted from the functions of the client apparatus 10-m of the third embodiment.
  • the notification request transmission unit 101A has the following functions in addition to the same functions as the notification request transmission unit 101 of the first embodiment.
  • the notification request transmission unit 101A transmits a predetermined notification request by broadcasting.
  • the notification request is information for requesting transmission of a notification including device identification information for identifying the remote device 30-p in the communication network NW.
  • the device identification information includes an IP address.
  • the device identification information may include information other than the IP address (for example, a MAC address and a port number) instead of the IP address or in addition to the IP address.
  • the notification request transmission unit 101A transmits a notification request before transmitting a captured image described later.
  • the notification request transmission unit 101A executes transmission of a notification request when execution of the client program is started in the client device 10-m having the notification request transmission unit 101A.
  • the notification request transmission unit 101A executes transmission of a notification request when sharing of the drawing area is started between the client device 10-m having the notification request transmission unit 101A and the host device 20-n. Also good.
  • the notification request transmission unit 101A may execute transmission of a notification request when shooting using the camera 16 is performed.
  • the notification request transmission unit 101A may repeatedly transmit the notification request.
  • the notification request transmission unit 101A receives the device identification information transmitted in response to the reception of the notification request by each of the P remote devices 30-1, 30-2, ..., 30-P.
  • the notification request transmission unit 101A causes the storage device 12 to store the received device identification information.
  • the notification request transmitting unit 101A causes the storage device 12 to store the device identification information received within the third standby period from when the notification request is transmitted until the predetermined third standby time elapses, On the other hand, the device identification information received outside the third standby period is not stored in the storage device 12.
  • the captured image transmission unit 103A has the following functions in addition to the same functions as the captured image transmission unit 103 of the first embodiment.
  • the captured image transmission unit 103A When the drawing area is shared between the client device 10-m having the captured image transmission unit 103A and the host device 20-n, the captured image transmission unit 103A generates the captured image generated by the captured image generation unit 102. Is transmitted to the remote device 30-p identified by each of the device identification information stored in the storage device 12.
  • the photographed image is an image obtained by photographing at least part of the screen of the output device 35 of the remote device 30-p as a subject.
  • the photographed image may be an image obtained by photographing the subject from a direction inclined with respect to the normal direction of the screen of the output device 35 of the remote device 30-p.
  • the sharing target device selection unit 107 receives screen score information transmitted in response to reception of the captured image by each of the P remote devices 30-1, 30-2,..., 30-P.
  • the sharing target device selection unit 107 causes the storage device 12 to store the received screen score information.
  • the sharing target device selection unit 107 causes the storage device 12 to store the screen score information received within the fourth standby period from when the captured image is transmitted until the predetermined fourth standby time elapses.
  • the screen score information received outside the fourth waiting period is not stored in the storage device 12.
  • the screen score information transmitted by the remote device 30-p includes device identification information for identifying the remote device 30-p in the communication network NW, and the score for the screen displayed by the remote device 30-p. including.
  • the score for the screen is transmitted to the screen image displayed on the screen and the captured image received by the remote device 30-p displaying the screen (in other words, transmitted by the captured image transmission unit 103A).
  • the sharing target device selection unit 107 selects one of the P remote devices 30-1, 30-2,..., 30-P based on the score included in the screen score information stored in the storage device 12.
  • the remote device 30-p is selected as a sharing target device.
  • the sharing target device selection unit 107 includes the device identification information associated with the maximum score among the scores included in the screen score information stored in the storage device 12 (in other words, the screen along with the maximum score).
  • the remote device 30-p identified by the device identification information included in the score information is selected as the sharing target device.
  • the sharing target device selection unit 107 includes the device identification information associated with the minimum score among the scores included in the screen score information stored in the storage device 12 (in other words, the screen score together with the minimum score).
  • the remote device 30-p identified by the device identification information included in the information) is selected as the sharing target device.
  • the sharing target device selection unit 107 may select the remote device 30-p by selecting device identification information for identifying the remote device 30-p.
  • the sharing instruction transmitting unit 108 sends a sharing instruction including device identification information for identifying the remote device 30-p selected by the sharing target device selecting unit 107 in the communication network NW to the client device 10- having the sharing instruction transmitting unit 108. to the host device 20-n sharing the drawing area with m.
  • the function of the host device 20-n of the third embodiment includes a drawing area sharing unit 206A instead of the drawing area sharing unit 206 of the first embodiment. Furthermore, the function of the host device 20-n of the third embodiment includes a share request transmission unit 207 in addition to the function of the host device 20-n of the first embodiment. In this example, the sharing request transmission unit 207 constitutes a sharing instruction receiving unit. In FIG. 15, of the functions of the host device 20-n of the third embodiment, the same functions as those of the host device 20-n of the first embodiment are not shown.
  • the sharing request transmission unit 207 receives a sharing instruction from the client device 10-m sharing the drawing area with the host device 20-n having the sharing request transmission unit 207.
  • the sharing request transmission unit 207 transmits a sharing request to the remote device 30-p identified by the device identification information included in the received sharing instruction.
  • sharing of the drawing area between the client device 10-m and the host device 20-n may be expressed as direct sharing or primary sharing.
  • sharing of the drawing area between the host device 20-n and the remote device 30-p may be expressed as bridge sharing or secondary sharing.
  • the sharing request transmitted by the sharing request transmission unit 105 may be represented as a direct sharing request or a primary sharing request.
  • the sharing request transmitted by the sharing request transmission unit 207 may be represented as a bridge sharing request or a secondary sharing request.
  • the drawing area sharing unit 206A has the following functions in addition to the same functions as the drawing area sharing unit 206 of the first embodiment.
  • the drawing area sharing unit 206A receives the permission response or the rejection response transmitted in response to the reception of the sharing request by the remote device 30-p.
  • the permission response is information indicating that sharing of the drawing area is permitted.
  • the rejection response is information indicating that sharing of the drawing area is rejected.
  • the drawing area sharing unit 206A sends the permission response to the drawing area shared between the host device 20-n having the drawing area sharing unit 206A and the client device 10-m.
  • the third sharing control for sharing with the remote device 30-p that has transmitted is executed.
  • sharing of the drawing area between the host device 20-n and the remote device 30-p means that a drawing image drawn in the drawing area is transmitted from the host device 20-n to the remote device 30-p.
  • the drawing image received by the remote device 30-p is output via the output device 35 (in this example, displayed on the screen of the output device 35).
  • sharing of the drawing area between the host device 20-n and the remote device 30-p means that the input information input via the input device 34 by the user of the remote device 30-p is the remote device 30-p. This includes inputting input information transmitted from the p to the host apparatus 20-n and received by the host apparatus 20-n into an application program to which the drawing area is assigned.
  • the input information is information input by a user's finger touching a touch panel display (in other words, touch input information).
  • the input information is the information input by operating the mouse from the touch input information (in other words, mouse input information) or the information input by operating the keyboard (in other words, the keyboard input). Information).
  • the third sharing control includes transmitting a drawing image drawn in the shared drawing area to the remote device 30-p. Further, in the present example, the third sharing control includes receiving input information from the remote device 30-p and inputting the received input information to an application program to which a shared drawing area is assigned.
  • the drawing area is shared by transmitting input information input from the remote device 30-p to the host device 20-n by the user of the remote device 30-p and transmitting the input information to the host device 20-n. May not include inputting the input information received by the application program to which the drawing area is assigned.
  • the functions of the remote device 30-p of the third embodiment include a notification transmission unit 301, a score calculation unit 302, a score transmission unit 303, a sharing request response unit 304, and a drawing area sharing unit 305.
  • the function of the remote device 30-p is realized by the processing device 31 executing the third application program.
  • the third application program may be represented as a remote program.
  • the notification transmitter 301 receives the notification request transmitted by the client device 10-m.
  • the notification transmission unit 301 transmits a notification including device identification information for identifying the remote device 30-p having the notification transmission unit 301 in the communication network NW, and the client device that has transmitted the notification request. Send to 10-m.
  • the score calculation unit 302 receives the captured image transmitted by the client device 10-m. When a captured image is received, the score calculation unit 302 calculates a score representing the degree of similarity between the screen image displayed on the screen of the remote device 30-p having the score calculation unit 302 and the received captured image. calculate. Similar to the score calculation unit 202 of the host device 20-n, the score calculation unit 302 calculates a score according to an image processing method using local feature amounts.
  • the score calculation unit 302 displays a screen image (in other words, displayed on the entire screen of the output device 35 by the remote device 30-p having the score calculation unit 302). Screen shot).
  • the score calculation unit 302 extracts a plurality of feature points for each of the acquired screen image and the received captured image.
  • the score calculation unit 302 acquires a local feature amount for each of the extracted feature points.
  • the score calculation unit 302 selects a feature point corresponding to each of the plurality of feature points extracted from the captured image from among the plurality of feature points extracted from the screen image.
  • the score calculation unit 302 has acquired a local feature amount closest to the local feature amount acquired for the feature point in the captured image as the feature point corresponding to the feature point in the captured image. Select feature points at.
  • the score calculation unit 302 has, as a feature point corresponding to a feature point in the captured image, a similarity between the local feature amount acquired for the feature point in the captured image and higher than a predetermined similarity threshold. You may select the feature point in a screen image from which the local feature-value was acquired.
  • the score calculation unit 302 sets the initial value of the score for the screen of the remote device 30-p having the score calculation unit 302 to a predetermined value (for example, 0). Further, the score calculation unit 302 adds an addition amount to the score for each of the selected feature points in the screen image.
  • the addition amount has a predetermined value. Note that the addition amount may have a value that increases as the degree of similarity between the local feature amount for the captured image and the local feature amount for the screen image increases.
  • the score transmission unit 303 generates screen score information and transmits the generated screen score information to the client device 10-m that has transmitted the captured image.
  • the screen score information includes the device identification information for identifying the remote device 30-p having the score transmission unit 303 in the communication network NW, and the score calculated by the score calculation unit 302.
  • the sharing request response unit 304 receives the sharing request transmitted by the host device 20-n. When the sharing request is received, the sharing request response unit 304 transmits a permission response to the host device 20-n that has transmitted the sharing request when the predetermined permission condition is satisfied. When not satisfied, a rejection response is transmitted to the host device 20-n.
  • the permission condition includes a condition that the processing load of the remote device 30-p is smaller than a predetermined processing load threshold.
  • the drawing area sharing unit 305 displays a drawing area shared between the host apparatus 20-n that has transmitted the sharing request and the client apparatus 10-m. Then, the fourth sharing control for sharing with the host device 20-n is executed.
  • the fourth sharing control includes receiving a drawing image drawn in the shared drawing area from the host device 20-n and outputting the received drawing image via the output device 35. Furthermore, in the present example, the fourth sharing control includes transmitting input information input via the input device 34 by the user of the remote device 30-p to the host device 20-n.
  • the information processing system 1A includes two remote devices 30-1 and 30-2 (in other words, P represents 2). Further, it is assumed that the information processing system 1A operates in the same manner as the information processing system 1 of the first embodiment, so that the drawing area is shared between the client device 10-1 and the host device 20-1. To do.
  • the client device 10-m executes the processing represented by the flowchart in FIG. 16 in addition to the processing represented by the flowchart in FIG. 7 by executing the client program.
  • the host device 20-n executes the process represented by the flowchart in FIG. 17 in addition to the process represented by the flowchart in FIG.
  • the remote device 30-p executes the remote program according to the execution instruction input via the input device 34 by the user of the remote device 30-p.
  • the remote device 30-p executes the processing represented by the flowchart in FIG. 18 by executing the remote program.
  • the remote device 30-p may execute the remote program at a predetermined timing (for example, when the remote device 30-p is activated).
  • FIG. 19 is a sequence diagram showing the operation of the information processing system 1A.
  • the client device 10-1 determines whether drawing area sharing (in other words, direct sharing) is being executed between the client device 10-1 and the host device 20-n (FIG. 16). Step S501). Until the client apparatus 10-1 starts sharing the drawing area with the host apparatus 20-n, the client apparatus 10-1 determines “No” in step S501.
  • the client device 10-1 starts direct sharing between the client device 10-1 and the host device 20-1 (step S801 in FIG. 19). Accordingly, when direct sharing between the client device 10-1 and the host device 20-1 is started, the client device 10-1 determines “Yes” in step S501, and transmits a notification request by broadcasting (FIG. 16 step S502, step S802 in FIG. 19).
  • the client device 10-1 waits until reception of the notification is completed (“No” route in step S503 in FIG. 16).
  • the reception of the notification is completed when the third standby period ends.
  • the remote device 30-p waits until receiving the notification request (“No” route in step S701 in FIG. 18).
  • the remote device 30-p determines “Yes” in step S701, and sends a notification including device identification information for identifying the remote device 30-p in the communication network NW to the client.
  • the data is transmitted to the apparatus 10-1 (step S702 in FIG. 18, steps S8031 and S8032 in FIG. 19).
  • the remote device 30-p waits until a captured image is received (“No” route in step S703 in FIG. 18).
  • the client device 10-1 receives a notification from each of the remote device 30-1 and the remote device 30-2 within the third standby period. Accordingly, the client device 10-1 stores in the storage device 12 device identification information for identifying the remote device 30-1 in the communication network NW and device identification information for identifying the remote device 30-2 in the communication network NW. .
  • the client device 10-1 determines “Yes” in step S503, and waits until shooting using the camera 16 is completed (“No” route in step S504 in FIG. 16). ).
  • shooting is executed by inputting a shooting instruction to the client device 10-1 by the user of the client device 10-1, and is completed by generating a shot image.
  • the user of the client apparatus 10-1 desires that the drawing area shared by direct sharing is shared between the host apparatus 20-1 and the remote apparatus 30-1. Therefore, in this example, the user of the client device 10-1 inputs a shooting instruction to the client device 10-1 so that at least a part of the screen of the remote device 30-1 is shot as a subject. As a result, the client apparatus 10-1 generates a captured image (step S804 in FIG. 19).
  • the client device 10-1 determines “Yes” in step S504, and the generated photographed image is identified by each of the device identification information stored in the storage device 12.
  • the data is transmitted to the devices 30-1 and 30-2 (step S505 in FIG. 16 and step S805 in FIG. 19).
  • the client device 10-1 waits until the reception of the score is completed (“No” route in step S506 in FIG. 16). In this example, the reception of the score is completed when the fourth waiting period ends.
  • the remote device 30-p determines “Yes” in step S703, and calculates a score for the screen displayed by the remote device 30-p. (Step S704 in FIG. 18, Steps S8061 and S8062 in FIG. 19).
  • the remote device 30-p transmits the score calculated in step S704 to the client device 10-1 that has transmitted the photographed image (step S705 in FIG. 18, steps S8071 and S8072 in FIG. 19).
  • the remote device 30-p generates screen score information including a score, and transmits the generated screen score information to the client device 10-1 that has transmitted the captured image.
  • the remote device 30-p waits until a sharing request is received (“No” route in step S706 in FIG. 18).
  • the client device 10-1 receives screen score information from each of the remote device 30-1 and the remote device 30-2 within the fourth standby period. Accordingly, the client device 10-1 causes the storage device 12 to store the screen score information transmitted from the remote device 30-1 and the screen score information transmitted from the remote device 30-2.
  • the score included in the screen score information transmitted by the remote device 30-1 is the largest among the scores included in the screen score information stored in the storage device 12.
  • the client device 10-1 determines “Yes” in step S506, and P remote devices are determined based on the score included in the screen score information stored in the storage device 12.
  • One remote device 30-1 is selected as a sharing target device from the devices 30-1 and 30-2 (step S507 in FIG. 16, step S808 in FIG. 19).
  • the client apparatus 10-1 transmits a sharing instruction including apparatus identification information for identifying the selected remote apparatus 30-1 to the host apparatus 20-1 sharing the drawing area in direct sharing (FIG. 16). Step S508, step S809 of FIG. 19). Thereafter, the client device 10-1 ends the process of FIG.
  • the host device 20-1 waits until it receives the sharing instruction (“No” route in step S601 in FIG. 17). Upon receiving the sharing instruction from the client apparatus 10-1, the host apparatus 20-1 determines “Yes” in step S601, and the remote apparatus 30-1 identified by the apparatus identification information included in the received sharing instruction. A sharing request is transmitted to (step S602 in FIG. 17 and step S810 in FIG. 19).
  • the remote device 30-1 When the remote device 30-1 receives the sharing request, it determines “Yes” in step S706, and determines whether the permission condition is satisfied (step S707 in FIG. 18). First, it is assumed that the permission condition is satisfied. In this case, the remote device 30-1 determines “Yes” in step S707, and transmits a permission response to the host device 20-1 that has transmitted the sharing request (step S708 in FIG. 18, step S811 in FIG. 19). ).
  • the remote device 30-1 displays the drawing area shared between the host device 20-1 and the client device 10-1 that have transmitted the sharing request received in step S706, as the host device 20- 4th sharing control for sharing between 1 and 1 is performed (step S709 of FIG. 18).
  • step S603 When the host device 20-1 receives the permission response from the remote device 30-1, the host device 20-1 determines “Yes” in step S603, and determines the drawing area shared with the client device 10-1 in direct sharing. Third sharing control for sharing with the remote device 30-1 that has transmitted the permission response is executed (step S604 in FIG. 17).
  • the drawing area is shared between the host device 20-1 and the remote device 30-1. (In other words, bridge sharing) starts (step S812 in FIG. 19). Thereafter, the host device 20-1 ends the processing of FIG. 17, and the remote device 30-1 ends the processing of FIG.
  • the remote device 30-1 determines “No” in step S707, and transmits a rejection response to the host device 20-1 that has transmitted the sharing request (step S710 in FIG. 18). ). In this case, the remote device 30-1 ends the process of FIG. 18 without executing the fourth sharing control. Further, in this case, the host device 20-1 determines “No” in step S603, and ends the processing of FIG. 17 without executing the third sharing control.
  • the same operations and effects as the information processing system 1 of the first embodiment are exhibited. Furthermore, the information processing system 1A according to the third embodiment includes P remote devices 30-p that can display screen images on the screen.
  • the information processing system 1A acquires P captured images taken by the camera 16 from the client device 10-m. , 30-P to the remote devices 30-1, 30-2,.
  • the information processing system 1A displays the screen image displayed on the screen of the remote device 30-p and the remote device for each of the P remote devices 30-1, 30-2,. A score representing the degree of similarity with the captured image received by the device 30-p is calculated. Further, the information processing system 1A determines the score calculated for the remote device 30-p for each of the P remote devices 30-1, 30-2,..., 30-P. -Send from p to client device 10-m.
  • the information processing system 1A selects one remote device 30-p from among the P remote devices 30-1, 30-2,..., 30-P based on the score received by the client device 10-m. To select.
  • the information processing system 1A transmits a sharing instruction including device identification information for identifying the selected remote device 30-p from the client device 10-m to the host device 20-n. Furthermore, when the host apparatus 20-n receives a sharing instruction, the information processing system 1A sets a drawing area shared between the host apparatus 20-n and the client apparatus 10-m as the sharing instruction. It is shared between the remote device 30-p identified by the included device identification information and the host device 20-n.
  • the drawing area shared between the client device 10-m and the host device 20-n can be shared between the remote device 30-p and the host device 20-n simply by taking a picture with the camera. it can. Therefore, it is possible to reduce the user's trouble of inputting information in order to share the drawing area between apparatuses. As a result, the drawing area can be quickly shared between the host device 20-n and the remote device 30-p.
  • the user can use the camera 16 of the client device 10-m to connect with the remote device 30-p.
  • the drawing area can be shared with the host device 20-n.
  • the device that selects the remote device 30-p to be shared from among the P remote devices 30-p is the client device 10-m. Therefore, the remote device 30-p selected by the user can be identified with higher accuracy than the information processing system in which each remote device selects a remote device to be shared. As a result, according to the information processing system 1A, the drawing area can be shared with high accuracy between the remote device 30-p selected by the user and the host device 20-n.
  • the information processing system 1A of the third embodiment transmits a predetermined notification request from the client device 10-m by broadcasting.
  • the information processing system 1A sends a notification including device identification information for identifying the remote device 30-p from the remote device 30-p to the client device 10-p. send to m.
  • the information processing system 1A transmits the captured image to the remote device 30-p identified by the device identification information included in the notification received by the client device 10-m.
  • the communication load can be suppressed as compared with the case where the photographed image is transmitted by broadcast.
  • the information processing system 1A associates the score calculated for the remote device 30-p with the device identification information for identifying the remote device 30-p, and associates the client device 10- send to m.
  • the information processing system 1A transmits a sharing instruction including the device identification information received by the client device 10-m to the host device 20-n.
  • the client device 10-m can identify the device identification information for identifying the remote device 30-p selected based on the score with high accuracy as the device identification information included in the sharing instruction.
  • the drawing area can be shared with high accuracy between the remote device 30-p selected by the user and the host device 20-n.
  • the remote device 30-p may have the functions of the client device 10-m in addition to the functions of the remote device 30-p.
  • the remote device 30-p corresponds to both the remote device and the client device. Accordingly, in this case, the remote device 30-p may be represented as the client device 30-p.
  • the remote device 30-p may have a function that the host device 20-n has.
  • the remote device 30-p corresponds to both the remote device and the host device. Accordingly, in this case, the remote device 30-p may be represented as the host device 30-p.
  • the client device 10-m may have the function of the remote device 30-p. In this case, the client device 10-m corresponds to both the client device and the remote device.
  • the host device 20-n may have the function of the remote device 30-p. In this case, the host device 20-n corresponds to both the host device and the remote device.
  • the notification transmission unit 301 transmits a notification in response to the reception of the notification request.
  • the notification transmission unit 301 has a predetermined timing (for example, when the execution of the remote program starts, or A notification may be sent every time a predetermined transmission period elapses.
  • the client device 10-m may store the device identification information included in the received notification without transmitting the notification request.
  • step S501 in FIG. 16 may be after the process of step S502 and before the process of step S508. Further, the same process as the process of step S501 of FIG. 16 may be executed again after the process of step S502 and before the process of step S508.
  • the information processing system according to the fourth embodiment is different from the information processing system according to the third embodiment in that whether or not to permit sharing of the drawing area is determined based on the shooting direction in which the shot image is shot. ing.
  • the difference will be mainly described.
  • symbol used in 3rd Embodiment is the same or substantially the same.
  • the sharing request response unit 304 of the fourth embodiment estimates the shooting angle when the permission condition is satisfied when the sharing request is received, and when the permission condition is not satisfied when the sharing request is received, A rejection response is transmitted to the host device 20-n that has transmitted the sharing request.
  • the photographing angle is an angle formed by the normal direction of the screen of the output device 35 of the remote device 30-p and the photographing direction in which the photographed image is photographed by the camera 16.
  • the shooting angle is an angle in the horizontal direction.
  • the shooting angle may be an angle in a direction other than the horizontal direction (for example, the vertical direction).
  • the sharing request response unit 304 estimates the shooting angle according to the image processing method described above. Note that the sharing request response unit 304 may estimate the shooting angle according to an image processing method other than the image processing method used to calculate the score.
  • the sharing request response unit 304 transmits a permission response to the host device 20-n that has transmitted the sharing request, while the estimated shooting angle is the shooting angle.
  • a rejection response is transmitted to the host device 20-n.
  • the drawing area sharing unit 206A and the drawing area sharing unit 305 share the drawing area when the estimated shooting angle is smaller than the shooting angle threshold, while the estimated shooting angle is the shooting angle. If it is equal to or greater than the threshold value, the drawing area is not shared.
  • the sharing request response unit 304 indicates that if the estimated shooting angle is smaller than the shooting angle threshold, the drawing area may be illegally shot via the output device 35 of the remote device 30-p. Information may be output.
  • the remote device 30-p of the fourth embodiment executes the process represented by the flowchart in FIG. 20 instead of the process represented by the flowchart in FIG.
  • the processing in FIG. 20 is the same as the processing in FIG. 18 except that the processing in steps S708 to S710 in FIG. 18 is replaced with the processing in steps S901 to S905.
  • the remote device 30-p determines “Yes” in step S707 and estimates the photographing angle (step S901 in FIG. 20).
  • the remote device 30-p determines whether or not the shooting angle estimated in step S901 is smaller than the shooting angle threshold (step S902 in FIG. 20).
  • the remote device 30-p determines “Yes” in step S902 and transmits a permission response to the host device 20-n that has transmitted the sharing request ( Step S903 in FIG.
  • the remote device 30-p displays a drawing area shared between the host device 20-n and the client device 10-m that has transmitted the sharing request received in step S706, as the host device 20-m.
  • the fourth sharing control for sharing with n is executed (step S904 in FIG. 20). Thereafter, the remote device 30-p ends the process of FIG.
  • the remote device 30-p determines “No” in step S707, and transmits a rejection response to the host device 20-n that has transmitted the sharing request (step S905 in FIG. 20). ). If the estimated shooting angle is greater than or equal to the shooting angle threshold, the remote device 30-p determines “No” in step S902, and transmits a rejection response to the host device 20-n that has transmitted the sharing request. (Step S905 in FIG. 20). In these cases, the remote device 30-p ends the process of FIG. 20 without executing the fourth sharing control.
  • the remote device 30-p executes the determination whether or not the permission condition is satisfied and the determination whether or not the shooting angle is smaller than the shooting angle threshold in the order opposite to the above-described order. May be. Further, the remote device 30-p may estimate the shooting angle when calculating the score.
  • the information processing system 1A of the fourth embodiment estimates the shooting angle and, when the estimated shooting angle is smaller than a predetermined shooting angle threshold, between the remote device 30-p and the host device 20-n. If the estimated shooting angle is larger than the shooting angle threshold value, the drawing area is not shared.
  • the client device 10-m that has transmitted the captured image is registered in advance in the information processing system 1A instead of or in addition to the capturing direction in which the captured image was captured. Whether or not to share the drawing area between the remote device 30-p and the host device 20-n may be determined on the basis of whether or not there is.
  • the registration of the client device 10-m includes information for identifying the client device 10-m in the communication network NW (for example, a MAC address or an IP address), information unique to the client device 10-m (for example, a client This may be performed using at least one of information indicating the device 10-m manufacturing number and the name (for example, computer name or host name) assigned to the client device 10-m.
  • the information processing system 1A shares a drawing area between the remote device 30-p and the host device 20-n when a captured image is transmitted from the client device 10-m registered in advance.
  • the drawing area is not shared.
  • the information processing system 1A transmits a captured image from a client device 10-m that is not registered in advance to the user of the information processing system 1A. You may be notified.
  • the information processing system 1A displays a two-dimensional code on the screen, and uses the two-dimensional code to determine whether or not to share a drawing area between the remote device 30-p and the host device 20-n. May be determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

情報処理システム(1)は、カメラにより撮影された撮影画像をクライアント装置(10)から各ホスト装置(20)へ送信し、各描画領域に対して、当該描画領域に描画された描画画像と撮影画像との類似度を表すスコアを算出し、各描画領域に対して、当該描画領域を識別する領域識別情報とスコアとを互いに関連付けて、当該描画領域を表示しているホスト装置(20)からクライアント装置(10)へ送信し、複数の描画領域のうちの1つをスコアに基づいて選択し、選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置(20)へ送信し、ホスト装置(20)が表示している描画領域のうちの、受信された共有要求により識別される描画領域を装置間で共有する。

Description

情報処理システム、及び、情報処理方法
 本発明は、情報処理システム、及び、情報処理方法に関する。
 描画画像が描画される描画領域を表示するホスト装置と、クライアント装置と、を備える情報処理システムが知られている(例えば、特許文献1)。この情報処理システムは、ホスト装置とクライアント装置との間で描画領域を共有する。
特開2014-146229号公報
 例えば、複数の描画領域を複数のホスト装置がそれぞれ表示することがある。また、例えば、ホスト装置がウィンドウシステムを用いる場合、1つのホスト装置が複数の描画領域としての複数のウィンドウを表示することもある。これらの場合において、1つの描画領域が、ホスト装置とクライアント装置との間で共有されることを、当該クライアント装置のユーザが希望する場合を想定する。この場合、ユーザにより選択された描画領域を識別する領域識別情報を当該ユーザがクライアント装置に入力するように情報処理システムを構成することが考えられる。
 しかしながら、ユーザが領域識別情報を入力することは煩雑である。このため、上記情報処理システムにおいては、装置間で描画領域を共有するためのユーザの手間が過大になる虞があった。
 本発明の目的の一つは、装置間で描画領域を共有するためのユーザの手間を軽減することにある。
 一つの側面では、情報処理システムは、複数の描画画像がそれぞれ描画される複数の描画領域を表示可能な少なくとも1つのホスト装置と、カメラを有するクライアント装置と、を備えるとともに、上記少なくとも1つのホスト装置と上記クライアント装置との間で描画領域を共有する。
 更に、この情報処理システムは、
 上記カメラにより撮影された撮影画像を上記クライアント装置から上記少なくとも1つのホスト装置のそれぞれへ送信する撮影画像送信部と、
 上記複数の描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、上記少なくとも1つのホスト装置により受信された上記撮影画像と、の類似度を表すスコアを算出するスコア算出部と、
 上記複数の描画領域のそれぞれに対して、当該描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、を互いに関連付けて、当該描画領域を表示しているホスト装置から上記クライアント装置へ送信するスコア送信部と、
 上記複数の描画領域の中から1つの描画領域を、上記クライアント装置により受信されたスコアに基づいて選択する描画領域選択部と、
 上記選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置へ上記クライアント装置から送信する共有要求送信部と、
 ホスト装置により上記共有要求が受信された場合、当該ホスト装置が表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を、当該ホスト装置と上記クライアント装置との間で共有する描画領域共有部と、
 を備える。
 他の一つの側面では、情報処理方法は、複数の描画画像がそれぞれ描画される複数の描画領域を表示可能な少なくとも1つのホスト装置と、カメラを有するクライアント装置と、を備えるとともに、上記少なくとも1つのホスト装置と上記クライアント装置との間で描画領域を共有する情報処理システムに適用される。
 更に、この情報処理方法は、
 上記カメラにより撮影された撮影画像を上記クライアント装置から上記少なくとも1つのホスト装置のそれぞれへ送信し、
 上記複数の描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、上記少なくとも1つのホスト装置により受信された上記撮影画像と、の類似度を表すスコアを算出し、
 上記複数の描画領域のそれぞれに対して、当該描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、を互いに関連付けて、当該描画領域を表示しているホスト装置から上記クライアント装置へ送信し、
 上記複数の描画領域の中から1つの描画領域を、上記クライアント装置により受信されたスコアに基づいて選択し、
 上記選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置へ上記クライアント装置から送信し、
 ホスト装置により上記共有要求が受信された場合、当該ホスト装置が表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を、当該ホスト装置と上記クライアント装置との間で共有する、ことを含む。
 他の一つの側面では、ホスト装置は、少なくとも1つの描画画像がそれぞれ描画される少なくとも1つの描画領域を表示可能であるとともに、カメラを有するクライアント装置との間で描画領域を共有する。
 更に、このホスト装置は、
 上記カメラにより撮影された撮影画像を上記クライアント装置から受信するとともに、上記少なくとも1つの描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、上記受信された上記撮影画像と、の類似度を表すスコアを算出するスコア算出部と、
 上記少なくとも1つの描画領域のそれぞれに対して、当該描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、を互いに関連付けて上記クライアント装置へ送信するスコア送信部と、
 上記クライアント装置により選択された描画領域を識別する領域識別情報を含む共有要求を当該クライアント装置から受信する共有要求受信部と、
 上記共有要求が受信された場合、表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を上記クライアント装置との間で共有する描画領域共有部と、を備える。
 他の一つの側面では、プログラムは、
 少なくとも1つの描画画像がそれぞれ描画される少なくとも1つの描画領域を表示可能であるとともに、カメラを有するクライアント装置との間で描画領域を共有するホスト装置に、
 上記カメラにより撮影された撮影画像を上記クライアント装置から受信し、
 上記少なくとも1つの描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、上記受信された上記撮影画像と、の類似度を表すスコアを算出し、
 上記少なくとも1つの描画領域のそれぞれに対して、当該描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、を互いに関連付けて上記クライアント装置へ送信し、
 上記クライアント装置により選択された描画領域を識別する領域識別情報を含む共有要求を当該クライアント装置から受信し、
 上記共有要求が受信された場合、表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を上記クライアント装置との間で共有する、処理を実行させる。
 他の一つの側面では、クライアント装置は、複数の描画画像がそれぞれ描画される複数の描画領域を表示可能な少なくとも1つのホスト装置との間で描画領域を共有するとともに、カメラを有する。
 更に、このクライアント装置は、
 上記カメラにより撮影された撮影画像を上記少なくとも1つのホスト装置のそれぞれへ送信する撮影画像送信部と、
 上記複数の描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、上記送信された上記撮影画像と、の類似度を表すスコアと、当該描画領域を識別する領域識別情報と、を互いに関連付けて、当該描画領域を表示しているホスト装置から受信するとともに、上記複数の描画領域の中から1つの描画領域を、上記受信されたスコアに基づいて選択する描画領域選択部と、
 上記選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置へ送信する共有要求送信部と、
 上記ホスト装置により上記共有要求が受信された場合、当該ホスト装置が表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を、当該ホスト装置との間で共有する描画領域共有部と、を備える。
 他の一つの側面では、プログラムは、
 複数の描画画像がそれぞれ描画される複数の描画領域を表示可能な少なくとも1つのホスト装置との間で描画領域を共有するとともに、カメラを有するクライアント装置に、
 上記カメラにより撮影された撮影画像を上記少なくとも1つのホスト装置のそれぞれへ送信し、
 上記複数の描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、上記送信された上記撮影画像と、の類似度を表すスコアと、当該描画領域を識別する領域識別情報と、を互いに関連付けて、当該描画領域を表示しているホスト装置から受信し、
 上記複数の描画領域の中から1つの描画領域を、上記受信されたスコアに基づいて選択し、
 上記選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置へ送信し、
 上記ホスト装置により上記共有要求が受信された場合、当該ホスト装置が表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を、当該ホスト装置との間で共有する、処理を実行させる。
 他の一つの側面では、情報処理方法は、描画画像が描画される描画領域を表示可能なホスト装置と、カメラを有するクライアント装置と、画面に画面画像を表示可能な少なくとも1つのリモート装置と、を備えるとともに、上記ホスト装置と上記クライアント装置との間で描画領域を共有する情報処理システムに適用される。
 更に、この情報処理方法は、
 上記ホスト装置と上記クライアント装置との間で上記描画領域が共有されている場合、上記カメラにより撮影された撮影画像を上記クライアント装置から上記少なくとも1つのリモート装置のそれぞれへ送信し、
 上記少なくとも1つのリモート装置のそれぞれに対して、当該リモート装置の画面に表示された画面画像と、当該リモート装置により受信された上記撮影画像と、の類似度を表すスコアを算出し、
 上記少なくとも1つのリモート装置のそれぞれに対して、当該リモート装置に対して算出されたスコアを当該リモート装置から上記クライアント装置へ送信し、
 上記少なくとも1つのリモート装置の中から1つのリモート装置を、上記クライアント装置により受信されたスコアに基づいて選択し、
 上記選択されたリモート装置を識別する装置識別情報を含む共有指示を、上記クライアント装置から上記ホスト装置へ送信し、
 上記ホスト装置により上記共有指示が受信された場合、当該ホスト装置と上記クライアント装置との間で共有されている上記描画領域を、当該共有指示に含まれる装置識別情報により識別されるリモート装置と当該ホスト装置との間で共有する、ことを含む。
 他の一つの側面では、ホスト装置は、描画画像が描画される描画領域を表示可能であるとともに、クライアント装置との間で上記描画領域を共有する。
 更に、このホスト装置は、
 上記クライアント装置との間で上記描画領域が共有されている場合、画面に画面画像を表示可能な少なくとも1つのリモート装置の中から上記クライアント装置により選択されたリモート装置を識別する装置識別情報を含む共有指示を当該クライアント装置から受信する共有指示受信部と、
 上記共有指示が受信された場合、上記ホスト装置と上記クライアント装置との間で共有されている上記描画領域を、当該共有指示に含まれる装置識別情報により識別されるリモート装置と当該ホスト装置との間で共有する描画領域共有部と、
 を備える。
 他の一つの側面では、プログラムは、
 描画画像が描画される描画領域を表示可能であるとともに、クライアント装置との間で上記描画領域を共有するホスト装置に、
 上記クライアント装置との間で上記描画領域が共有されている場合、画面に画面画像を表示可能な少なくとも1つのリモート装置の中から上記クライアント装置により選択されたリモート装置を識別する装置識別情報を含む共有指示を当該クライアント装置から受信し、
 上記共有指示が受信された場合、上記ホスト装置と上記クライアント装置との間で共有されている上記描画領域を、当該共有指示に含まれる装置識別情報により識別されるリモート装置と当該ホスト装置との間で共有する、処理を実行させる。
 他の一つの側面では、クライアント装置は、描画画像が描画される描画領域を表示可能なホスト装置との間で当該描画領域を共有するとともに、カメラを有する。
 更に、このクライアント装置は、
 上記ホスト装置との間で上記描画領域が共有されている場合、上記カメラにより撮影された撮影画像を、画面に画面画像を表示可能な少なくとも1つのリモート装置のそれぞれへ送信する撮影画像送信部と、
 上記少なくとも1つのリモート装置のそれぞれに対して、当該リモート装置の画面に表示された画面画像と、当該リモート装置により受信された上記撮影画像と、の類似度を表すスコアを当該リモート装置から受信するとともに、上記少なくとも1つのリモート装置の中から1つのリモート装置を、上記受信されたスコアに基づいて選択する共有対象装置選択部と、
 上記選択されたリモート装置を識別する装置識別情報を含む共有指示を上記ホスト装置へ送信する共有指示送信部と、
 を備える。
 他の一つの側面では、プログラムは、
 描画画像が描画される描画領域を表示可能なホスト装置との間で当該描画領域を共有するとともに、カメラを有するクライアント装置に、
 上記ホスト装置との間で上記描画領域が共有されている場合、上記カメラにより撮影された撮影画像を、画面に画面画像を表示可能な少なくとも1つのリモート装置のそれぞれへ送信し、
 上記少なくとも1つのリモート装置のそれぞれに対して、当該リモート装置の画面に表示された画面画像と、当該リモート装置により受信された上記撮影画像と、の類似度を表すスコアを当該リモート装置から受信するとともに、上記少なくとも1つのリモート装置の中から1つのリモート装置を、上記受信されたスコアに基づいて選択し、
 上記選択されたリモート装置を識別する装置識別情報を含む共有指示を上記ホスト装置へ送信する、処理を実行させる。
 他の一つの側面では、リモート装置は、画面に画面画像を表示可能である。
 更に、このリモート装置は、
 描画画像が描画される描画領域を表示可能なホスト装置と、カメラを有するクライアント装置と、の間で描画領域が共有されている場合、上記カメラにより撮影された撮影画像を上記クライアント装置から受信するとともに、上記画面に表示された画面画像と、上記受信された上記撮影画像と、の類似度を表すスコアを算出するスコア算出部と、
 上記算出されたスコアを上記クライアント装置へ送信するスコア送信部と、
 上記リモート装置を識別する装置識別情報を含む共有指示が上記クライアント装置から上記ホスト装置へ送信された場合、当該ホスト装置と当該クライアント装置との間で共有されている上記描画領域を、当該リモート装置と当該ホスト装置との間で共有する描画領域共有部と、
 を備える。
 他の一つの側面では、プログラムは、
 画面に画面画像を表示可能なリモート装置に、
 描画画像が描画される描画領域を表示可能なホスト装置と、カメラを有するクライアント装置と、の間で描画領域が共有されている場合、上記カメラにより撮影された撮影画像を上記クライアント装置から受信するとともに、上記画面に表示された画面画像と、上記受信された上記撮影画像と、の類似度を表すスコアを算出し、
 上記算出されたスコアを上記クライアント装置へ送信し、
 上記リモート装置を識別する装置識別情報を含む共有指示が上記クライアント装置から上記ホスト装置へ送信された場合、当該ホスト装置と当該クライアント装置との間で共有されている上記描画領域を、当該リモート装置と当該ホスト装置との間で共有する、処理を実行させる。
 装置間で描画領域を共有するためのユーザの手間を軽減することができる。
第1実施形態の情報処理システムの構成を表すブロック図である。 図1のクライアント装置の構成を表すブロック図である。 図1のホスト装置の構成を表すブロック図である。 図1のクライアント装置及びホスト装置の機能を表すブロック図である。 図1のホスト装置の画面に表示されている描画領域の一例を表す説明図である。 図1のホスト装置の画面に表示されている描画領域の一例を表す説明図である。 図1のクライアント装置が実行する処理を表すフローチャートである。 図1のホスト装置が実行する処理を表すフローチャートである。 図1の情報処理システムの動作を表すシーケンス図である。 図1のクライアント装置により生成された撮影画像の一例を表す説明図である。 第2実施形態の情報処理システムにおける撮影角度の一例を表す説明図である。 第2実施形態のホスト装置が実行する処理を表すフローチャートである。 第3実施形態の情報処理システムの構成を表すブロック図である。 図13のリモート装置の構成を表すブロック図である。 第3実施形態のクライアント装置、ホスト装置、及び、リモート装置の機能を表すブロック図である。 第3実施形態のクライアント装置が実行する処理を表すフローチャートである。 第3実施形態のホスト装置が実行する処理を表すフローチャートである。 第3実施形態のリモート装置が実行する処理を表すフローチャートである。 第3実施形態の情報処理システムの動作を表すシーケンス図である。 第4実施形態のリモート装置が実行する処理を表すフローチャートである。
 以下、本発明の、情報処理システム、情報処理方法、ホスト装置、クライアント装置、リモート装置、及び、プログラム、に関する各実施形態について図1乃至図20を参照しながら説明する。
<第1実施形態>
(構成)
 図1に表されるように、第1実施形態の情報処理システム1は、M(Mは、自然数を表す)個のクライアント装置10-1,10-2,…,10-Mと、N(Nは、自然数を表す)個のホスト装置20-1,20-2,…,20-Nと、を備える。本例では、M及びNのそれぞれは、2以上の整数を表す。なお、M及びNのそれぞれは、1を表していてもよい。
 以下において、クライアント装置10-mは、他のクライアント装置と区別される必要がない場合、クライアント装置10と表されてもよい。mは、1からMの各整数を表す。同様に、以下において、ホスト装置20-nは、他のホスト装置と区別される必要がない場合、ホスト装置20と表されてもよい。nは、1からNの各整数を表す。
 クライアント装置10-mと、N個のホスト装置20-1,20-2,…,20-Nのそれぞれと、は、通信網NWを介して、互いに通信可能に接続される。本例では、通信網NWは、IP(Internet Protocol)網である。例えば、通信網NWは、LAN(Local Area Network)である。なお、通信網NWは、WAN(Wide Area Network)、又は、インターネット網であってもよい。
(構成:クライアント装置)
 図2に表されるように、クライアント装置10-mは、バスBU1を介して互いに接続された、処理装置11、記憶装置12、通信装置13、入力装置14、出力装置15、及び、カメラ16を備える。
 本例では、クライアント装置10-mは、携帯型の情報処理装置である。携帯型の情報処理装置は、例えば、スマートフォン、タブレット型のコンピュータ、携帯電話機、携帯型のゲーム機、ナビゲーション端末、ノート型のコンピュータ、又は、ラップトップ型のコンピュータ等である。なお、クライアント装置10-mは、据置型の情報処理装置であってもよい。据置型の情報処理装置は、例えば、デスクトップ型のコンピュータ、テレビジョン受像機、デジタルサイネージシステム、又は、据置型のゲーム機等である。
 処理装置11は、記憶装置12に記憶されたプログラムを実行することにより、クライアント装置10-mを構成する各要素を制御する。これにより、クライアント装置10-mは、後述する機能を実現する。本例では、処理装置11は、CPU(Central Processing Unit)を含む。なお、処理装置11は、MPU(Micro Processing Unit)、又は、DSP(Digital Signal Processor)を含んでもよい。
 記憶装置12は、情報を読み書き可能に記憶する。例えば、記憶装置12は、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、半導体メモリ、及び、有機メモリの少なくとも1つを備える。なお、記憶装置12は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の記録媒体と、記録媒体から情報を読み取り可能な読取装置と、を備えていてもよい。
 通信装置13は、無線により通信網NWに接続される。なお、通信装置13は、有線により通信網NWに接続されていてもよい。通信装置13は、通信網NWを介して、ホスト装置20-nと通信する。
 入力装置14は、クライアント装置10-mの外部から情報を入力する。
 出力装置15は、クライアント装置10-mの外部に情報を出力する。本例では、出力装置15は、画面に画像を表示することにより、クライアント装置10-mの外部に情報を出力するディスプレイを備える。
 例えば、クライアント装置10-mは、入力装置14及び出力装置15の両方を構成するタッチパネル式のディスプレイを備える。なお、出力装置15は、ディスプレイを複数備えていてもよい。また、出力装置15は、ディスプレイに代えて、又は、ディスプレイに加えて、スクリーンと当該スクリーンに画像を投影するプロジェクタとを備えていてもよい。
 また、クライアント装置10-mは、タッチパネル式のディスプレイに代えて、又は、タッチパネル式のディスプレイに加えて、入力装置14を構成するキーボードと、出力装置15を構成する非タッチパネル式のディスプレイと、を備えてもよい。また、入力装置14は、マイクロフォンを備えてもよい。また、出力装置15は、スピーカを備えてもよい。
 カメラ16は、レンズと、当該レンズにより集光された光を電気信号に変換することにより被写体を撮影する撮像素子と、を含むとともに、当該撮像素子により撮影された被写体を表す撮影画像を生成する。本例では、撮像素子は、固体撮像素子である。固体撮像素子は、例えば、CCD(Charge-Coupled Device)イメージセンサ、又は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。
(構成:ホスト装置)
 図3に表されるように、ホスト装置20-nは、バスBU2を介して互いに接続された、処理装置21、記憶装置22、通信装置23、入力装置24、及び、出力装置25を備える。
 本例では、ホスト装置20-nは、据置型の情報処理装置である。なお、ホスト装置20-nは、携帯型の情報処理装置であってもよい。
 処理装置21、記憶装置22、通信装置23、入力装置24、及び、出力装置25は、処理装置11、記憶装置12、通信装置13、入力装置14、及び、出力装置15とそれぞれ同様に構成される。
 本例では、処理装置21は、ウィンドウシステムを実現するウィンドウシステムプログラムを実行する。従って、本例では、ウィンドウシステムにおけるウィンドウは、描画領域に対応する。例えば、ウィンドウシステムプログラムは、OS(Operating System)の一部であってもよい。
 本例では、ウィンドウシステムプログラムは、ホスト装置20-nが表示する画面に、複数の描画領域を表示可能である。本例では、ホスト装置20-nが表示する画面に、複数の描画領域が表示されている場合、ある描画領域の少なくとも一部が他の描画領域の少なくとも一部と重複することがある。また、本例では、ホスト装置20-nが表示する画面に、複数の描画領域が表示されている場合、ある描画領域と他の描画領域とが重複しないことがある。
 本例では、ウィンドウシステムプログラムは、各描画領域に、当該描画領域に描画される描画画像を生成するアプリケーションプログラムを割り当てるとともに、各描画領域に対する表示優先度を決定する。
 表示優先度は、ホスト装置20-nが表示する画面において、描画領域の少なくとも一部が他の描画領域の少なくとも一部と重複している場合に優先して表示される描画領域を決定するために用いられる。表示優先度は、ウィンドウシステムにおいて、ウィンドウ深さ、又は、ウィンドウ深度、と表されてもよい。本例では、表示優先度は、表示の優先度が高くなる(換言すると、最前面にて表示されやすくなる)ほど小さくなる値を有する。
 なお、処理装置21は、ウィンドウシステムプログラムを実行しなくてもよい。この場合、出力装置25の画面の全体が描画領域に対応してよい。
(機能)
 図4に表されるように、クライアント装置10-mの機能は、通知要求送信部101と、撮影画像生成部102と、撮影画像送信部103と、描画領域選択部104と、共有要求送信部105と、描画領域共有部106と、を含む。本例では、クライアント装置10-mの機能は、処理装置11が第1アプリケーションプログラムを実行することにより実現される。第1アプリケーションプログラムは、クライアント用プログラムと表されてもよい。
 通知要求送信部101は、所定の通知要求をブロードキャストにより送信する。通知要求は、通信網NWにおいてホスト装置20-nを識別する装置識別情報を含む通知の送信を要求する情報である。本例では、装置識別情報は、IPアドレスを含む。なお、装置識別情報は、IPアドレスに代えて、又は、IPアドレスに加えて、IPアドレス以外の情報(例えば、MAC(Medium Access Control)アドレス、及び、ポート番号等)を含んでいてもよい。
 本例では、通知要求送信部101は、後述する撮影画像の送信を実行する前に、通知要求の送信を実行する。本例では、通知要求送信部101は、クライアント装置10-mにおいてクライアント用プログラムの実行が開始した時点にて通知要求の送信を実行する。なお、通知要求送信部101は、カメラ16を用いた撮影が実行された時点にて通知要求の送信を実行してもよい。また、通知要求送信部101は、通知要求の送信を繰り返し実行してもよい。
 通知要求送信部101は、N個のホスト装置20-1,20-2,…,20-Nのそれぞれにより通知要求の受信に応じて送信された装置識別情報を受信する。通知要求送信部101は、受信された装置識別情報を記憶装置12に記憶させる。本例では、通知要求送信部101は、通知要求を送信してから、所定の第1待機時間が経過するまでの第1待機期間内に受信された装置識別情報を記憶装置12に記憶させ、一方、当該第1待機期間外に受信された装置識別情報を記憶装置12に記憶させない。
 撮影画像生成部102は、クライアント装置10-mのユーザにより入力装置14を介して入力された撮影指示に従って、カメラ16を用いて被写体を撮影することによって撮影画像を生成する。本例では、撮影画像は、出力装置25の画面の一部が被写体として撮影された画像である。例えば、撮影画像は、ある描画領域に表示された描画画像の一部が被写体として撮影された画像であってもよい。また、例えば、撮影画像は、出力装置25の画面の法線方向に対して傾斜した方向から被写体が撮影された画像であってもよい。
 撮影画像送信部103は、撮影画像生成部102により生成された撮影画像を、記憶装置12に記憶されている装置識別情報のそれぞれにより識別されるホスト装置20-nへ送信する。
 描画領域選択部104は、N個のホスト装置20-1,20-2,…,20-Nのそれぞれにより撮影画像の受信に応じて送信された描画領域スコア情報を受信する。描画領域選択部104は、受信された描画領域スコア情報を記憶装置12に記憶させる。本例では、描画領域選択部104は、撮影画像が送信されてから、所定の第2待機時間が経過するまでの第2待機期間内に受信された描画領域スコア情報を記憶装置12に記憶させ、一方、当該第2待機期間外に受信された描画領域スコア情報を記憶装置12に記憶させない。
 本例では、ホスト装置20-nにより送信された描画領域スコア情報は、ホスト装置20-nを識別する装置識別情報を含むとともに、ホスト装置20-nが表示している描画領域のそれぞれに対して、互いに関連付けられた、当該描画領域に対するスコアと、当該描画領域を識別する領域識別情報と、を含む。後述するように、ある描画領域に対するスコアは、当該描画領域に描画された描画画像と、撮影画像送信部103により送信された撮影画像と、の類似度を表す。本例では、スコアは、類似度が高くなるほど大きくなる。
 描画領域選択部104は、記憶装置12に記憶されている描画領域スコア情報に含まれるスコアに基づいて、N個のホスト装置20-1,20-2,…,20-Nが表示している複数の描画領域の中から1つの描画領域を選択する。本例では、描画領域選択部104は、記憶装置12に記憶されている描画領域スコア情報に含まれるスコアのうちの、最大のスコアと関連付けられた領域識別情報により識別される描画領域を選択する。
 なお、スコアは、類似度が高くなるほど小さくなってもよい。この場合、描画領域選択部104は、記憶装置12に記憶されている描画領域スコア情報に含まれるスコアのうちの、最小のスコアと関連付けられた領域識別情報により識別される描画領域を選択する。
 共有要求送信部105は、描画領域選択部104により選択された描画領域を識別する領域識別情報とともに描画領域スコア情報に含まれる装置識別情報により識別されるホスト装置20-nを、当該描画領域を表示しているホスト装置20-nとして識別する。共有要求送信部105は、描画領域選択部104により選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置20-nとして識別されたホスト装置20-nへ送信する。
 描画領域共有部106は、ホスト装置20-nにより共有要求の受信に応じて送信された、許可応答、又は、拒否応答を受信する。許可応答は、描画領域の共有を許可する旨を表す情報である。拒否応答は、描画領域の共有を拒否する旨を表す情報である。
 描画領域共有部106は、許可応答が受信された場合、当該許可応答を送信してきたホスト装置20-nとの間で描画領域を共有するための第1共有制御を実行する。
 本例では、描画領域の共有は、当該描画領域に描画される描画画像がホスト装置20-nからクライアント装置10-mへ送信され、且つ、クライアント装置10-mが受信した描画画像を出力装置15を介して出力(本例では、出力装置15の画面に表示)することを含む。
 更に、本例では、描画領域の共有は、クライアント装置10-mのユーザにより入力装置14を介して入力された入力情報がクライアント装置10-mからホスト装置20-nへ送信され、且つ、ホスト装置20-nが受信した入力情報を、当該描画領域が割り当てられたアプリケーションプログラムに入力することを含む。
 本例では、描画領域の共有は、インタラクティブな共有、双方向の共有、又は、対話型の共有であると理解されてよい。
 例えば、描画領域の共有は、入力情報が、ユーザの指がタッチパネル式のディスプレイに触れることにより入力された情報(換言すると、タッチ入力情報)である場合、当該入力情報を、タッチ入力情報から、マウスを操作することにより入力された情報(換言すると、マウス入力情報)又はキーボードを操作することにより入力された情報(換言すると、キーボード入力情報)へ変換することを含んでよい。
 例えば、タッチ入力情報は、タップ、マルチタップ、ロングタップ、ドラッグ、ピンチイン、及び、ピンチアウトと呼ばれる操作により入力される情報を含む。例えば、マウス入力情報は、右クリック、左クリック、ミドルボタンクリック(換言すると、中クリック)、移動、及び、スクロールと呼ばれる操作により入力される情報を含む。
 従って、本例では、第1共有制御は、ホスト装置20-nから、共有される描画領域に描画される描画画像を受信するとともに、受信された描画画像を出力装置15を介して出力することを含む。更に、本例では、第1共有制御は、クライアント装置10-mのユーザにより入力装置14を介して入力された入力情報をホスト装置20-nへ送信することを含む。
 なお、描画領域の共有は、クライアント装置10-mのユーザにより入力装置14を介して入力された入力情報がクライアント装置10-mからホスト装置20-nへ送信され、且つ、ホスト装置20-nが受信した入力情報を、当該描画領域が割り当てられたアプリケーションプログラムに入力することを含まなくてもよい。
 図4に表されるように、ホスト装置20-nの機能は、通知送信部201と、スコア算出部202と、スコア補正部203と、スコア送信部204と、共有要求応答部205と、描画領域共有部206と、を含む。本例では、共有要求応答部205は、共有要求受信部を構成する。本例では、ホスト装置20-nの機能は、処理装置21が第2アプリケーションプログラムを実行することにより実現される。第2アプリケーションプログラムは、ホスト用プログラムと表されてもよい。
 通知送信部201は、クライアント装置10-mにより送信された通知要求を受信する。通知送信部201は、通知要求が受信された場合、当該通知送信部201を有するホスト装置20-nを通信網NWにおいて識別する装置識別情報を含む通知を、当該通知要求を送信してきたクライアント装置10-mへ送信する。
 スコア算出部202は、クライアント装置10-mにより送信された撮影画像を受信する。スコア算出部202は、撮影画像が受信された場合、当該スコア算出部202を有するホスト装置20-nが表示している描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、受信された撮影画像と、の類似度を表すスコアを算出する。
 スコア算出部202は、局所特徴量を用いる画像処理方式に従ってスコアを算出する。局所特徴量は、画像の一部の特徴(換言すると、画像における局所的な特徴)を表す量である。本例では、画像処理方式は、A-KAZE(Accelerated KAZE)と呼ばれる方式である。なお、画像処理方式は、A-KAZE以外の、KAZE、SIFT(Scale-Invariant Feature Transform)、又は、SURF(Speed-Upped Robust Feature)と呼ばれる方式であってもよい。
 具体的には、スコア算出部202は、撮影画像が受信された場合、当該スコア算出部202を有するホスト装置20-nが出力装置25の画面の全体に表示している画面画像(換言すると、スクリーンショット)を取得する。
 スコア算出部202は、取得された画面画像と、受信された撮影画像と、のそれぞれに対して複数の特徴点を抽出する。各特徴点は、画像における複数の位置(換言すると、画像を構成する複数の画素)のうちの、画像における局所的な特徴を表しやすい位置である。スコア算出部202は、抽出された複数の特徴点のそれぞれに対して、局所特徴量を取得する。
 スコア算出部202は、撮影画像に対して抽出された複数の特徴点のそれぞれと対応する特徴点を、画面画像に対して抽出された複数の特徴点の中から選択する。本例では、スコア算出部202は、撮影画像における特徴点と対応する特徴点として、当該撮影画像における特徴点に対して取得された局所特徴量と最も近い局所特徴量が取得された、画面画像における特徴点を選択する。例えば、スコア算出部202は、k-NN法(k-Nearest Neighbor Algorithm)に従って特徴点の選択を行なう。
 なお、スコア算出部202は、撮影画像における特徴点と対応する特徴点として、当該撮影画像における特徴点に対して取得された局所特徴量との間の類似度が所定の類似度閾値よりも高い局所特徴量が取得された、画面画像における特徴点を選択してもよい。
 スコア算出部202は、当該スコア算出部202を有するホスト装置20-nが表示している描画領域のそれぞれに対するスコアの初期値を所定の値(例えば、0)に設定する。更に、スコア算出部202は、選択された、画面画像における複数の特徴点のそれぞれに対して、当該特徴点において最も優先して(換言すると、最前面にて)表示される描画領域に対するスコアに加算量を加算する。
 本例では、加算量は、所定の値を有する。なお、加算量は、撮影画像に対する局所特徴量と画面画像に対する局所特徴量との間の類似度が高くなるほど大きくなる値を有していてもよい。
 なお、本例では、スコア算出部202は、当該スコア算出部202を有するホスト装置20-nが表示している描画領域のそれぞれに対する表示優先度を、ウィンドウシステムプログラムから取得し、取得された表示優先度に基づいて、各特徴点において最も優先して表示される描画領域を決定する。
 このようにして、スコア算出部202は、表示優先度に基づいてスコアの算出を行なう。
 スコア補正部203は、当該スコア補正部203を有するホスト装置20-nが複数の描画領域を表示している場合、当該複数の描画領域(本例では、ホスト装置20-nが表示している、すべての描画領域)のうちの、2つの描画領域の組み合わせ(換言すると、描画領域ペア)のそれぞれに対してスコア差を算出する。スコア差は、描画領域ペアを構成する2つの描画領域に対してスコア算出部202によりそれぞれ算出された、2つのスコアの差の絶対値である。
 スコア補正部203は、算出されたスコア差が所定のスコア差閾値よりも小さい描画領域ペアを構成する2つの描画領域に対してスコア算出部202によりそれぞれ算出された、2つのスコアのそれぞれを数式1に従って補正する。従って、スコア補正部203は、ある描画領域に対してスコア算出部202により算出されたスコアを、当該描画領域がいずれの描画領域と描画領域ペアを構成した場合においてもスコア差がスコア差閾値以上であるとき、補正しない。
Figure JPOXMLDOC01-appb-M000001
 Sは、補正前のスコアを表す。Sは、補正後のスコアを表す。αは、所定の正の係数を表す。dは、表示優先度を表す。
 従って、本例では、スコア補正部203は、描画領域に対する表示優先度が表す表示の優先度が高くなるほど、当該描画領域に対するスコアが大きくなるようにスコアの補正を行なう。
 このようにして、スコア補正部203は、当該スコア補正部203を有するホスト装置20-nが表示している複数の描画領域に対する、スコア算出部202により算出されたスコアの描画領域間の差がスコア差閾値よりも小さい場合、当該算出されたスコアを表示優先度に基づいて補正する。
 スコア送信部204は、描画領域スコア情報を生成するとともに、生成された描画領域スコア情報を、撮影画像を送信してきたクライアント装置10-mへ送信する。上述したように、描画領域スコア情報は、当該スコア送信部204を有するホスト装置20-nを通信網NWにおいて識別する装置識別情報を含むとともに、当該ホスト装置20-nが表示している描画領域のそれぞれに対して、互いに関連付けられた、当該描画領域に対するスコアと、当該描画領域を識別する領域識別情報と、を含む。本例では、描画領域スコア情報に含まれるスコアは、スコア補正部203により補正されたスコアである。
 共有要求応答部205は、クライアント装置10-mにより送信された共有要求を受信する。共有要求応答部205は、共有要求が受信された場合において、所定の許可条件が満たされるとき、当該共有要求を送信してきたクライアント装置10-mへ許可応答を送信し、一方、当該許可条件が満たされないとき、当該クライアント装置10-mへ拒否応答を送信する。
 本例では、許可条件は、ホスト装置20-nが、共有要求に含まれる領域識別情報により識別される描画領域の表示を継続している、という条件を含む。なお、許可条件は、ホスト装置20-nが、共有要求に含まれる領域識別情報により識別される描画領域が割り当てられたアプリケーションプログラムの実行を継続している、という条件を含んでいてもよい。また、許可条件は、ホスト装置20-nの処理負荷が所定の処理負荷閾値よりも小さい、という条件を含んでいてもよい。
 描画領域共有部206は、共有要求応答部205により許可応答が送信された場合、当該描画領域共有部206を有するホスト装置20-nが表示している描画領域のうちの、当該許可応答が送信される基となった共有要求に含まれる領域識別情報により識別される描画領域を、当該共有要求を送信してきたクライアント装置10-mとの間で共有するための第2共有制御を実行する。
 本例では、第2共有制御は、共有される描画領域に描画される描画画像をクライアント装置10-mへ送信することを含む。更に、本例では、第2共有制御は、クライアント装置10-mから入力情報を受信するとともに、受信された入力情報を、共有される描画領域が割り当てられたアプリケーションプログラムに入力することを含む。
(動作)
 次に、情報処理システム1の動作について説明する。以下、説明を簡単にするために、情報処理システム1が2個のホスト装置20-1,20-2を備える(換言すると、Nが2を表す)場合を想定する。
 本例では、図5に表されるように、ホスト装置20-1が、ホスト装置20-1の画面D1に、3個の描画領域W11,W12,W13を表示するとともに、描画領域W11に対する表示優先度が1に設定され、描画領域W12に対する表示優先度が2に設定され、且つ、描画領域W13に対する表示優先度が3に設定されている場合を想定する。
 更に、本例では、図6に表されるように、ホスト装置20-2が、ホスト装置20-2の画面D2に、2個の描画領域W21,W22を表示するとともに、描画領域W21に対する表示優先度が1に設定され、且つ、描画領域W22に対する表示優先度が2に設定されている場合を想定する。
 本例では、各描画領域W11,W12,W13,W21,W22は、長方形状である。
 クライアント装置10-1は、クライアント装置10-1のユーザにより入力装置14を介して入力された実行指示に従って、クライアント用プログラムを実行する。クライアント装置10-1は、クライアント用プログラムを実行することにより、図7にフローチャートにより表される処理を実行する。なお、クライアント装置10-1は、予め定められたタイミング(例えば、クライアント装置10-1の起動時)にてクライアント用プログラムを実行してもよい。
 一方、ホスト装置20-nは、ホスト装置20-nのユーザにより入力装置24を介して入力された実行指示に従って、ホスト用プログラムを実行する。ホスト装置20-nは、ホスト用プログラムを実行することにより、図8にフローチャートにより表される処理を実行する。なお、ホスト装置20-nは、予め定められたタイミング(例えば、ホスト装置20-nの起動時)にてホスト用プログラムを実行してもよい。
 以下、情報処理システム1の動作を表すシーケンス図である図9も参照しながら情報処理システム1の動作について説明を加える。
 先ず、クライアント装置10-1は、通知要求をブロードキャストにより送信する(図7のステップS101、図9のステップS301)。
 次いで、クライアント装置10-1は、通知の受信が完了するまで待機する(図7のステップS102の「No」ルート)。本例では、通知の受信は、第1待機期間が終了する時点にて完了する。
 一方、ホスト装置20-nは、通知要求を受信するまで待機する(図8のステップS201の「No」ルート)。ホスト装置20-nは、クライアント装置10-1から通知要求を受信すると、ステップS201にて「Yes」と判定し、ホスト装置20-nを通信網NWにおいて識別する装置識別情報を含む通知をクライアント装置10-1へ送信する(図8のステップS202、図9のステップS3021,S3022)。次いで、ホスト装置20-nは、撮影画像を受信するまで待機する(図8のステップS203の「No」ルート)。
 本例では、クライアント装置10-1が第1待機期間内に、ホスト装置20-1及びホスト装置20-2のそれぞれから通知を受信した場合を想定する。従って、クライアント装置10-1は、ホスト装置20-1を通信網NWにおいて識別する装置識別情報と、ホスト装置20-2を通信網NWにおいて識別する装置識別情報と、を記憶装置12に記憶させる。
 次いで、クライアント装置10-1は、通知の受信が完了すると、ステップS102にて「Yes」と判定し、カメラ16を用いた撮影が完了するまで待機する(図7のステップS103の「No」ルート)。本例では、撮影は、クライアント装置10-1のユーザにより撮影指示がクライアント装置10-1に入力されることにより実行されるとともに、撮影画像が生成されることにより完了する。
 本例では、ホスト装置20-1の画面D1に表示されている描画領域W12が共有されることをクライアント装置10-1のユーザが希望する場合を想定する。従って、本例では、クライアント装置10-1のユーザは、図5に表されるように、ホスト装置20-1の画面D1のうちの、描画領域W12に表示された描画画像を他の描画領域W11,W13よりも多く含む部分PFが被写体として撮影されるように撮影指示をクライアント装置10-1に入力する。これにより、クライアント装置10-1は、図10に表される撮影画像PFを生成する(図9のステップS303)。
 次いで、クライアント装置10-1は、撮影が完了すると、ステップS103にて「Yes」と判定し、生成された撮影画像を、記憶装置12に記憶されている装置識別情報のそれぞれにより識別されるホスト装置20-1,20-2へ送信する(図7のステップS104、図9のステップS304)。
 次いで、クライアント装置10-1は、スコアの受信が完了するまで待機する(図7のステップS105の「No」ルート)。本例では、スコアの受信は、第2待機期間が終了する時点にて完了する。
 一方、ホスト装置20-nは、クライアント装置10-1から撮影画像を受信すると、ステップS203にて「Yes」と判定し、ホスト装置20-nが表示している描画領域のそれぞれに対してスコアを算出する(図8のステップS204、図9のステップS3051,S3052)。
 次いで、ホスト装置20-nは、ホスト装置20-nが表示している複数の描画領域に対する、ステップS204にて算出されたスコアの描画領域間の差がスコア差閾値よりも小さい場合、当該算出されたスコアを表示優先度に基づいて補正する(図8のステップS205、図9のステップS3061,S3062)。
 次いで、ホスト装置20-nは、ステップS205にて補正されたスコア、又は、ステップS205にてスコアが補正されなかった場合にはステップS204にて算出されたスコアを、撮影画像を送信してきたクライアント装置10-1へ送信する(図8のステップS206、図9のステップS3071,S3072)。なお、本例では、ホスト装置20-nは、スコアを含む描画領域スコア情報を生成するとともに、生成された描画領域スコア情報を、撮影画像を送信してきたクライアント装置10-1へ送信する。
 次いで、ホスト装置20-nは、共有要求を受信するまで待機する(図8のステップS207の「No」ルート)。
 本例では、クライアント装置10-1が第2待機期間内に、ホスト装置20-1及びホスト装置20-2のそれぞれから描画領域スコア情報を受信した場合を想定する。従って、クライアント装置10-1は、ホスト装置20-1により送信された描画領域スコア情報と、ホスト装置20-2により送信された描画領域スコア情報と、を記憶装置12に記憶させる。
 更に、本例では、記憶装置12に記憶されている描画領域スコア情報に含まれるスコアの中で、ホスト装置20-1により送信された描画領域スコア情報に含まれるとともに描画領域W12を識別する領域識別情報と関連付けられたスコアが最大である場合を想定する。
 従って、クライアント装置10-1は、スコアの受信が完了すると、ステップS105にて「Yes」と判定し、記憶装置12に記憶されている描画領域スコア情報に含まれるスコアに基づいて、ホスト装置20-1,20-2が表示している複数の描画領域W11,W12,W13,W21,W22の中から1つの描画領域W12を選択する(図7のステップS106、図9のステップS308)。
 次いで、クライアント装置10-1は、選択された描画領域W12を識別する領域識別情報とともに描画領域スコア情報に含まれる装置識別情報により識別されるホスト装置20-1を、当該描画領域W12を表示しているホスト装置20-nとして識別する。次いで、クライアント装置10-1は、選択された描画領域W12を識別する領域識別情報を含む共有要求を、当該描画領域W12を表示しているホスト装置20-nとして識別されたホスト装置20-1へ送信する(図7のステップS107、図9のステップS309)。
 ホスト装置20-1は、共有要求を受信すると、ステップS207にて「Yes」と判定し、許可条件が満たされるか否かを判定する(図8のステップS208)。先ず、許可条件が満たされる場合を想定する。この場合、ホスト装置20-1は、ステップS208にて「Yes」と判定し、共有要求を送信してきたクライアント装置10-1へ許可応答を送信する(図8のステップS209、図9のステップS310)。
 次いで、ホスト装置20-1は、ホスト装置20-1が表示している描画領域のうちの、ステップS207にて受信された共有要求に含まれる領域識別情報により識別される描画領域W12を、当該共有要求を送信してきたクライアント装置10-1との間で共有するための第2共有制御を実行する(図8のステップS210)。
 クライアント装置10-1は、ホスト装置20-1から許可応答を受信すると、ステップS108にて「Yes」と判定し、当該許可応答を送信してきたホスト装置20-1との間で描画領域を共有するための第1共有制御を実行する(図7のステップS109)。
 クライアント装置10-1が第1共有制御を実行するとともに、ホスト装置20-1が第2共有制御を実行することにより、クライアント装置10-1とホスト装置20-1との間で描画領域W12が共有される(図9のステップS311)。
 その後、クライアント装置10-1は、図7の処理を終了するとともに、ホスト装置20-1は、図8の処理を終了する。
 なお、許可条件が満たされない場合、ホスト装置20-1は、ステップS208にて「No」と判定し、共有要求を送信してきたクライアント装置10-1へ拒否応答を送信する(図8のステップS211)。この場合、ホスト装置20-1は、第2共有制御を実行することなく、図8の処理を終了する。更に、この場合、クライアント装置10-1は、ステップS108にて「No」と判定し、第1共有制御を実行することなく、図7の処理を終了する。
 以上、説明したように、第1実施形態の情報処理システム1は、カメラ16により撮影された撮影画像をクライアント装置10-mからN個のホスト装置20-1,20-2,…,20-Nのそれぞれへ送信する。更に、情報処理システム1は、複数の描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、N個のホスト装置20-1,20-2,…,20-Nにより受信された撮影画像と、の類似度を表すスコアを算出する。
 加えて、情報処理システム1は、複数の描画領域のそれぞれに対して、当該描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、を互いに関連付けて、当該描画領域を表示しているホスト装置20-nからクライアント装置10-mへ送信する。更に、情報処理システム1は、複数の描画領域の中から1つの描画領域を、クライアント装置10-mにより受信されたスコアに基づいて選択する。加えて、情報処理システム1は、選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置20-nへクライアント装置10-mから送信する。
 更に、情報処理システム1は、ホスト装置20-nにより共有要求が受信された場合、当該ホスト装置20-nが表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を、当該ホスト装置20-nとクライアント装置10-mとの間で共有する。
 情報処理システム1によれば、複数の描画領域の中からユーザにより選択された描画領域が表示されている画面の一部を、ユーザがカメラにより撮影するだけで、ホスト装置20-nとクライアント装置10-mとの間で当該描画領域を共有できる。従って、装置間で描画領域を共有するためにユーザが情報を入力する手間を軽減できる。この結果、ホスト装置20-nとクライアント装置10-mとの間で、ユーザにより選択された描画領域を迅速に共有できる。
 また、情報処理システム1によれば、装置間で描画領域が共有されるので、例えば、ホスト装置において描画領域が割り当てられたアプリケーションプログラムに対応するアプリケーションプログラムをクライアント装置が実行する場合よりも、クライアント装置10-mにおける処理の負荷を軽減できる。
 また、情報処理システム1によれば、複数の描画領域の中から1つの描画領域を選択する装置は、クライアント装置10-mである。従って、複数の描画領域が複数のホスト装置により表示されている場合であっても、各ホスト装置が当該ホスト装置により表示されている描画領域の中から共有の対象となる描画領域を選択する情報処理システムよりも高い精度にて、ユーザにより選択された描画領域を特定できる。この結果、情報処理システム1によれば、ユーザにより選択された描画領域を高い精度にて共有できる。
 更に、第1実施形態の情報処理システム1において、描画領域は、ウィンドウシステムにおけるウィンドウである。更に、情報処理システム1は、表示優先度に基づいてスコアの算出を行なう。
 描画領域がカメラ16により撮影された確率と、表示優先度と、は強い相関を有する。従って、情報処理システム1によれば、描画領域がカメラ16により撮影された確率を高い精度にてスコアに反映できる。従って、ユーザにより選択された描画領域を高い精度にて共有できる。
 更に、第1実施形態の情報処理システム1は、ホスト装置20-nが画面に表示している画面画像を取得するとともに、撮影画像における少なくとも1つの位置のそれぞれに対して、当該位置に対応する、取得された画面画像における位置を選択し、選択された位置において最も優先して表示される描画領域に対するスコアに加算量を加算することによりスコアの算出を行なう。
 ホスト装置20-nにより表示されている画面における、ある位置において最も優先して表示される描画領域が、その位置においてカメラ16により撮影される。従って、情報処理システム1によれば、ホスト装置20-nにより表示されている画面における各位置が撮影された確率を高い精度にてスコアに反映できる。従って、ユーザにより選択された描画領域を高い精度にて共有できる。
 例えば、各描画領域に表示される描画画像の全体に基づいてスコアの算出を行なう場合、スコアを算出する処理の負荷は、描画領域の数に比例して増加する。これに対し、情報処理システム1によれば、画面画像に基づいてスコアの算出を行なうので、スコアを算出する処理の負荷は、描画領域の数が増加しても増加しにくい。
 従って、各描画領域に表示される描画画像の全体に基づいてスコアの算出を行なう場合よりも、スコアを算出する処理の負荷を軽減できる。
 更に、第1実施形態の情報処理システム1は、ホスト装置20-nが表示している複数の描画領域に対する、算出されたスコアの描画領域間の差が所定のスコア差閾値よりも小さい場合、算出されたスコアを表示優先度に基づいて補正する。
 ホスト装置20-nにより表示されている複数の描画領域に対するスコアの差が小さくなるほど、ユーザにより選択された描画領域が誤って特定される確率が高くなる。ところで、描画領域が撮影された確率と、表示優先度と、は強い相関を有する。従って、情報処理システム1によれば、描画領域が撮影された確率を高い精度にてスコアに反映できる。従って、ユーザにより選択された描画領域を高い精度にて共有できる。
 更に、第1実施形態の情報処理システム1は、描画領域に対する表示の優先度が高くなるほど、当該描画領域に対するスコアが大きくなるようにスコアの補正を行なう。
 描画領域に対する表示の優先度が高くなるほど、その描画領域が撮影された確率が高くなる。従って、情報処理システム1によれば、描画領域が撮影された確率を高い精度にてスコアに反映できる。従って、ユーザにより選択された描画領域を高い精度にて共有できる。
 更に、第1実施形態の情報処理システム1は、クライアント装置10-mから所定の通知要求をブロードキャストにより送信する。加えて、情報処理システム1は、ホスト装置20-nにより通知要求が受信された場合、当該ホスト装置20-nを識別する装置識別情報を含む通知を当該ホスト装置20-nからクライアント装置10-mへ送信する。更に、情報処理システム1は、クライアント装置10-mにより受信された通知に含まれる装置識別情報により識別されるホスト装置20-nへ撮影画像を送信する。
 これによれば、撮影画像をブロードキャストにより送信する場合よりも、通信網NWにおける通信の負荷を抑制できる。
 更に、第1実施形態の情報処理システム1は、描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、当該描画領域を表示しているホスト装置20-nを識別する装置識別情報と、を互いに関連付けてクライアント装置10-mへ送信する。加えて、情報処理システム1は、クライアント装置10-mにより受信された装置識別情報により識別されるホスト装置20-nへ共有要求を送信する。
 これによれば、クライアント装置10-mは、共有要求の送信先として、スコアに基づいて選択された描画領域を表示しているホスト装置20-nを高い精度にて識別できる。この結果、情報処理システム1によれば、ユーザにより選択された描画領域を高い精度にて共有できる。
 なお、ホスト装置20-nは、ホスト装置20-nが当該ホスト装置20-nの画面に表示している描画領域に対するスコアに加えて、ホスト装置20-nが当該ホスト装置20-nの画面に表示していない描画領域に対するスコアを算出してもよい。
 ホスト装置20-nが当該ホスト装置20-nの画面に表示していない描画領域は、例えば、実行中のアプリケーションプログラムが割り当てられ、且つ、最小化されることにより描画画像が表示されていない描画領域であってよい。また、ホスト装置20-nが当該ホスト装置20-nの画面に表示していない描画領域は、例えば、当該ホスト装置20-nが、当該ホスト装置20-nの画面に代替的に表示可能な複数の仮想デスクトップを有する場合において、当該ホスト装置20-nの画面に表示されていない仮想デスクトップに表示されている描画領域であってよい。また、ホスト装置20-nが当該ホスト装置20-nの画面に表示していない描画領域は、例えば、当該ホスト装置20-nのディスプレイが消灯されることにより当該ホスト装置20-nの画面に表示されていない描画領域であってよい。
 なお、ホスト装置20-nは、スコアの補正を行なわなくてもよい。この場合、ホスト装置20-nの機能は、スコア補正部203を含まなくてよい。
 また、クライアント装置10-mは、クライアント装置10-mの機能に加えて、ホスト装置20-nが有する機能を有していてもよい。また、ホスト装置20-nは、ホスト装置20-nの機能に加えて、クライアント装置10-mが有する機能を有していてもよい。
 また、通知送信部201は、通知要求の受信に応じて通知を送信するが、通知要求の受信に関わらず、所定のタイミングにて(例えば、ホスト用プログラムの実行が開始した時点にて、又は、所定の送信周期が経過する毎に)通知を送信してもよい。この場合、クライアント装置10-mは、通知要求を送信することなく、受信した通知に含まれる装置識別情報を記憶してもよい。
<第2実施形態>
 次に、第2実施形態の情報処理システムについて説明する。第2実施形態の情報処理システムは、第1実施形態の情報処理システムに対して、撮影画像が撮影された撮影方向に基づいて描画領域の共有を許可するか否かを決定する点において相違している。以下、相違点を中心として説明する。なお、第2実施形態の説明において、第1実施形態にて使用した符号と同じ符号を付したものは、同一又はほぼ同様のものである。
 第2実施形態の共有要求応答部205は、共有要求が受信された場合において許可条件が満たされるとき、撮影角度を推定し、一方、共有要求が受信された場合において許可条件が満たされないとき、当該共有要求を送信してきたクライアント装置10-mへ拒否応答を送信する。
 図11に表されるように、撮影角度θは、ホスト装置20-nの出力装置25の画面SCの法線方向DNと、カメラ16により撮影画像が撮影された撮影方向DSと、により形成される角度である。本例では、撮影角度θは、水平方向における角度である。なお、撮影角度θは、水平方向以外の方向(例えば、鉛直方向等)における角度であってもよい。
 本例では、共有要求応答部205は、上述した画像処理方式に従って、撮影角度を推定する。なお、共有要求応答部205は、スコアの算出に用いられた画像処理方式以外の画像処理方式に従って、撮影角度の推定を行なってもよい。
 共有要求応答部205は、推定された撮影角度が所定の撮影角度閾値よりも小さい場合、共有要求を送信してきたクライアント装置10-mへ許可応答を送信し、一方、推定された撮影角度が撮影角度閾値以上である場合、当該クライアント装置10-mへ拒否応答を送信する。
 従って、本例では、描画領域共有部106及び描画領域共有部206は、推定された撮影角度が撮影角度閾値よりも小さい場合、描画領域の共有を行ない、一方、推定された撮影角度が撮影角度閾値以上である場合、描画領域の共有を行なわない。
 なお、共有要求応答部205は、推定された撮影角度が撮影角度閾値よりも小さい場合、ホスト装置20-nの出力装置25を介して、描画領域が不正に撮影された虞があることを表す情報を出力してもよい。
 第2実施形態のホスト装置20-nは、図8にフローチャートにより表される処理に代えて、図12にフローチャートにより表される処理を実行する。
 図12の処理は、図8のステップS209~S211の処理が、ステップS401~S405の処理に置換された点を除いて、図8の処理と同じである。
 従って、ホスト装置20-nは、許可条件が満たされる場合、ステップS208にて「Yes」と判定し、撮影角度を推定する(図12のステップS401)。次いで、ホスト装置20-nは、ステップS401にて推定された撮影角度が撮影角度閾値よりも小さいか否かを判定する(図12のステップS402)。
 推定された撮影角度が撮影角度閾値よりも小さい場合、ホスト装置20-nは、ステップS402にて「Yes」と判定し、共有要求を送信してきたクライアント装置10-mへ許可応答を送信する(図12のステップS403)。
 次いで、ホスト装置20-nは、ホスト装置20-nが表示している描画領域のうちの、ステップS207にて受信された共有要求に含まれる領域識別情報により識別される描画領域を、当該共有要求を送信してきたクライアント装置10-mとの間で共有するための第2共有制御を実行する(図12のステップS404)。その後、ホスト装置20-nは、図12の処理を終了する。
 なお、許可条件が満たされない場合、ホスト装置20-nは、ステップS208にて「No」と判定し、共有要求を送信してきたクライアント装置10-mへ拒否応答を送信する(図12のステップS405)。また、推定された撮影角度が撮影角度閾値以上である場合、ホスト装置20-nは、ステップS402にて「No」と判定し、共有要求を送信してきたクライアント装置10-mへ拒否応答を送信する(図12のステップS405)。
 これらの場合、ホスト装置20-nは、第2共有制御を実行することなく、図12の処理を終了する。
 なお、ホスト装置20-nは、許可条件が満たされるか否かの判定と、撮影角度が撮影角度閾値よりも小さいか否かの判定と、を、上述した順序と逆の順序にて実行してもよい。また、ホスト装置20-nは、撮影角度の推定を、スコアの算出時に行なってもよい。
 以上、説明したように、第2実施形態の情報処理システム1によれば、第1実施形態の情報処理システム1と同様の作用及び効果が奏される。
 更に、第2実施形態の情報処理システム1は、撮影角度を推定するとともに、推定された撮影角度が所定の撮影角度閾値よりも小さい場合、描画領域の共有を行ない、一方、推定された撮影角度が撮影角度閾値よりも大きい場合、描画領域の共有を行なわない。
 撮影角度が大きくなるほど、描画領域が不正に撮影された確率が高くなる。従って、情報処理システム1によれば、不正に撮影された撮影画像に基づいて描画領域が共有される確率を低減できる。
 なお、情報処理システム1は、撮影画像が撮影された撮影方向に代えて、又は、当該撮影方向に加えて、撮影画像を送信したクライアント装置10-mが、情報処理システム1に予め登録されているか否かに基づいて、描画領域の共有を行なうか否かを決定してよい。例えば、クライアント装置10-mの登録は、クライアント装置10-mを通信網NWにおいて識別する情報(例えば、MACアドレス、又は、IPアドレス等)、クライアント装置10-mに固有の情報(例えば、クライアント装置10-mの製造番号等)、及び、クライアント装置10-mに割り当てられた名称(例えば、コンピュータ名、又は、ホスト名等)を表す情報の少なくとも1つを用いて行なわれてよい。
 この場合、情報処理システム1は、予め登録されているクライアント装置10-mから撮影画像が送信された場合、描画領域の共有を行ない、一方、予め登録されていないクライアント装置10-mから撮影画像が送信された場合、描画領域の共有を行なわない。また、情報処理システム1は、予め登録されていないクライアント装置10-mから撮影画像が送信された場合、情報処理システム1のユーザに、予め登録されていないクライアント装置10-mから撮影画像が送信されたことを通知してよい。
 また、情報処理システム1は、画面に二次元コードを表示するとともに、当該二次元コードを用いて、描画領域の共有を行なうか否かを決定してよい。
<第3実施形態>
 次に、第3実施形態の情報処理システムについて説明する。第3実施形態の情報処理システムは、第1実施形態の情報処理システムに対して、ホスト装置とクライアント装置との間で共有されている描画領域を、ホスト装置とリモート装置との間でも共有する点において相違している。以下、相違点を中心として説明する。なお、第3実施形態の説明において、第1実施形態にて使用した符号と同じ符号を付したものは、同一又はほぼ同様のものである。
 図13に表されるように、第3実施形態の情報処理システム1Aは、M個のクライアント装置10-1,10-2,…,10-M、及び、N個のホスト装置20-1,20-2,…,20-Nに加えて、P(Pは、自然数を表す)個のリモート装置30-1,30-2,…,30-Pを備える。本例では、Pは、2以上の整数を表す。なお、Pは、1を表していてもよい。
 以下において、リモート装置30-pは、他のリモート装置と区別される必要がない場合、リモート装置30と表されてもよい。pは、1からPの各整数を表す。
 リモート装置30-pは、M個のクライアント装置10-1,10-2,…,10-M、及び、N個のホスト装置20-1,20-2,…,20-Nのそれぞれと、通信網NWを介して、互いに通信可能に接続される。
(構成:リモート装置)
 図14に表されるように、リモート装置30-pは、バスBU3を介して互いに接続された、処理装置31、記憶装置32、通信装置33、入力装置34、及び、出力装置35を備える。
 本例では、リモート装置30-pは、据置型の情報処理装置である。なお、リモート装置30-pは、携帯型の情報処理装置であってもよい。
 処理装置31、記憶装置32、通信装置33、入力装置34、及び、出力装置35は、処理装置11、記憶装置12、通信装置13、入力装置14、及び、出力装置15とそれぞれ同様に構成される。
 リモート装置30-pは、出力装置35の画面の全体に画面画像を表示可能である。例えば、リモート装置30-pは、ホスト装置20-nと同様に、ウィンドウシステムプログラムを実行することにより、出力装置35の画面に、複数の描画領域を含む画面画像を表示してもよい。
(機能)
 図15に表されるように、第3実施形態のクライアント装置10-mの機能は、第1実施形態の通知要求送信部101に代えて通知要求送信部101Aを含むとともに、第1実施形態の撮影画像送信部103に代えて撮影画像送信部103Aを含む。更に、第3実施形態のクライアント装置10-mの機能は、第1実施形態のクライアント装置10-mの機能に加えて、共有対象装置選択部107と、共有指示送信部108と、を含む。
 なお、図15においては、第3実施形態のクライアント装置10-mの機能のうちの、第1実施形態のクライアント装置10-mと同じ機能は、図示が省略されている。
 通知要求送信部101Aは、第1実施形態の通知要求送信部101と同じ機能に加えて、以下の機能を有する。
 通知要求送信部101Aは、所定の通知要求をブロードキャストにより送信する。通知要求は、通信網NWにおいてリモート装置30-pを識別する装置識別情報を含む通知の送信を要求する情報である。本例では、装置識別情報は、IPアドレスを含む。なお、装置識別情報は、IPアドレスに代えて、又は、IPアドレスに加えて、IPアドレス以外の情報(例えば、MACアドレス、及び、ポート番号等)を含んでいてもよい。
 本例では、通知要求送信部101Aは、後述する撮影画像の送信を実行する前に、通知要求の送信を実行する。本例では、通知要求送信部101Aは、当該通知要求送信部101Aを有するクライアント装置10-mにおいてクライアント用プログラムの実行が開始した時点にて通知要求の送信を実行する。なお、通知要求送信部101Aは、当該通知要求送信部101Aを有するクライアント装置10-mとホスト装置20-nとの間で描画領域の共有が開始した時点にて通知要求の送信を実行してもよい。また、通知要求送信部101Aは、カメラ16を用いた撮影が実行された時点にて通知要求の送信を実行してもよい。また、通知要求送信部101Aは、通知要求の送信を繰り返し実行してもよい。
 通知要求送信部101Aは、P個のリモート装置30-1,30-2,…,30-Pのそれぞれにより通知要求の受信に応じて送信された装置識別情報を受信する。通知要求送信部101Aは、受信された装置識別情報を記憶装置12に記憶させる。本例では、通知要求送信部101Aは、通知要求を送信してから、所定の第3待機時間が経過するまでの第3待機期間内に受信された装置識別情報を記憶装置12に記憶させ、一方、当該第3待機期間外に受信された装置識別情報を記憶装置12に記憶させない。
 撮影画像送信部103Aは、第1実施形態の撮影画像送信部103と同じ機能に加えて、以下の機能を有する。
 撮影画像送信部103Aは、当該撮影画像送信部103Aを有するクライアント装置10-mとホスト装置20-nとの間で描画領域が共有されている場合、撮影画像生成部102により生成された撮影画像を、記憶装置12に記憶されている装置識別情報のそれぞれにより識別されるリモート装置30-pへ送信する。
 本例では、撮影画像は、リモート装置30-pの出力装置35の画面の少なくとも一部が被写体として撮影された画像である。例えば、撮影画像は、リモート装置30-pの出力装置35の画面の法線方向に対して傾斜した方向から被写体が撮影された画像であってもよい。
 共有対象装置選択部107は、P個のリモート装置30-1,30-2,…,30-Pのそれぞれにより撮影画像の受信に応じて送信された画面スコア情報を受信する。共有対象装置選択部107は、受信された画面スコア情報を記憶装置12に記憶させる。本例では、共有対象装置選択部107は、撮影画像が送信されてから、所定の第4待機時間が経過するまでの第4待機期間内に受信された画面スコア情報を記憶装置12に記憶させ、一方、当該第4待機期間外に受信された画面スコア情報を記憶装置12に記憶させない。
 本例では、リモート装置30-pにより送信された画面スコア情報は、通信網NWにおいてリモート装置30-pを識別する装置識別情報を含むとともに、リモート装置30-pが表示している画面に対するスコアを含む。後述するように、画面に対するスコアは、当該画面に表示された画面画像と、当該画面を表示しているリモート装置30-pにより受信された撮影画像(換言すると、撮影画像送信部103Aにより送信された撮影画像)と、の類似度を表す。本例では、スコアは、類似度が高くなるほど大きくなる。
 共有対象装置選択部107は、記憶装置12に記憶されている画面スコア情報に含まれるスコアに基づいて、P個のリモート装置30-1,30-2,…,30-Pの中から1つのリモート装置30-pを共有対象装置として選択する。本例では、共有対象装置選択部107は、記憶装置12に記憶されている画面スコア情報に含まれるスコアのうちの、最大のスコアと関連付けられた装置識別情報(換言すると、最大のスコアとともに画面スコア情報に含まれる装置識別情報)により識別されるリモート装置30-pを共有対象装置として選択する。
 なお、スコアは、類似度が高くなるほど小さくなってもよい。この場合、共有対象装置選択部107は、記憶装置12に記憶されている画面スコア情報に含まれるスコアのうちの、最小のスコアと関連付けられた装置識別情報(換言すると、最小のスコアとともに画面スコア情報に含まれる装置識別情報)により識別されるリモート装置30-pを共有対象装置として選択する。例えば、共有対象装置選択部107は、リモート装置30-pを識別する装置識別情報を選択することにより、リモート装置30-pを選択してよい。
 共有指示送信部108は、共有対象装置選択部107により選択されたリモート装置30-pを通信網NWにおいて識別する装置識別情報を含む共有指示を、当該共有指示送信部108を有するクライアント装置10-mとの間で描画領域を共有しているホスト装置20-nへ送信する。
 また、第3実施形態のホスト装置20-nの機能は、第1実施形態の描画領域共有部206に代えて描画領域共有部206Aを含む。更に、第3実施形態のホスト装置20-nの機能は、第1実施形態のホスト装置20-nの機能に加えて、共有要求送信部207を含む。本例では、共有要求送信部207は、共有指示受信部を構成する。
 なお、図15においては、第3実施形態のホスト装置20-nの機能のうちの、第1実施形態のホスト装置20-nと同じ機能は、図示が省略されている。
 共有要求送信部207は、当該共有要求送信部207を有するホスト装置20-nとの間で描画領域を共有しているクライアント装置10-mから共有指示を受信する。共有要求送信部207は、受信された共有指示に含まれる装置識別情報により識別されるリモート装置30-pへ共有要求を送信する。
 本例では、クライアント装置10-mとホスト装置20-nとの間の描画領域の共有は、直接共有、又は、一次共有と表されてもよい。本例では、ホスト装置20-nとリモート装置30-pとの間の描画領域の共有は、ブリッジ共有、又は、二次共有と表されてもよい。本例では、共有要求送信部105により送信される共有要求は、直接共有要求、又は、一次共有要求と表されてもよい。本例では、共有要求送信部207により送信される共有要求は、ブリッジ共有要求、又は、二次共有要求と表されてもよい。
 描画領域共有部206Aは、第1実施形態の描画領域共有部206と同じ機能に加えて、以下の機能を有する。
 描画領域共有部206Aは、リモート装置30-pにより共有要求の受信に応じて送信された、許可応答、又は、拒否応答を受信する。許可応答は、描画領域の共有を許可する旨を表す情報である。拒否応答は、描画領域の共有を拒否する旨を表す情報である。
 描画領域共有部206Aは、許可応答が受信された場合、当該描画領域共有部206Aを有するホスト装置20-nとクライアント装置10-mとの間で共有されている描画領域を、当該許可応答を送信してきたリモート装置30-pとの間でも共有するための第3共有制御を実行する。
 本例では、ホスト装置20-nとリモート装置30-pとの間の描画領域の共有は、当該描画領域に描画される描画画像がホスト装置20-nからリモート装置30-pへ送信され、且つ、リモート装置30-pが受信した描画画像を出力装置35を介して出力(本例では、出力装置35の画面に表示)することを含む。
 更に、本例では、ホスト装置20-nとリモート装置30-pとの間の描画領域の共有は、リモート装置30-pのユーザにより入力装置34を介して入力された入力情報がリモート装置30-pからホスト装置20-nへ送信され、且つ、ホスト装置20-nが受信した入力情報を、当該描画領域が割り当てられたアプリケーションプログラムに入力することを含む。
 例えば、ホスト装置20-nとリモート装置30-pとの間の描画領域の共有は、入力情報が、ユーザの指がタッチパネル式のディスプレイに触れることにより入力された情報(換言すると、タッチ入力情報)である場合、当該入力情報を、タッチ入力情報から、マウスを操作することにより入力された情報(換言すると、マウス入力情報)又はキーボードを操作することにより入力された情報(換言すると、キーボード入力情報)へ変換することを含んでよい。
 本例では、第3共有制御は、共有される描画領域に描画される描画画像をリモート装置30-pへ送信することを含む。更に、本例では、第3共有制御は、リモート装置30-pから入力情報を受信するとともに、受信された入力情報を、共有される描画領域が割り当てられたアプリケーションプログラムに入力することを含む。
 なお、描画領域の共有は、リモート装置30-pのユーザにより入力装置34を介して入力された入力情報がリモート装置30-pからホスト装置20-nへ送信され、且つ、ホスト装置20-nが受信した入力情報を、当該描画領域が割り当てられたアプリケーションプログラムに入力することを含まなくてもよい。
 第3実施形態のリモート装置30-pの機能は、通知送信部301と、スコア算出部302と、スコア送信部303と、共有要求応答部304と、描画領域共有部305と、を含む。本例では、リモート装置30-pの機能は、処理装置31が第3アプリケーションプログラムを実行することにより実現される。第3アプリケーションプログラムは、リモート用プログラムと表されてもよい。
 通知送信部301は、クライアント装置10-mにより送信された通知要求を受信する。通知送信部301は、通知要求が受信された場合、当該通知送信部301を有するリモート装置30-pを通信網NWにおいて識別する装置識別情報を含む通知を、当該通知要求を送信してきたクライアント装置10-mへ送信する。
 スコア算出部302は、クライアント装置10-mにより送信された撮影画像を受信する。スコア算出部302は、撮影画像が受信された場合、当該スコア算出部302を有するリモート装置30-pの画面に表示された画面画像と、受信された撮影画像と、の類似度を表すスコアを算出する。スコア算出部302は、ホスト装置20-nのスコア算出部202と同様に、局所特徴量を用いる画像処理方式に従ってスコアを算出する。
 具体的には、スコア算出部302は、撮影画像が受信された場合、当該スコア算出部302を有するリモート装置30-pが出力装置35の画面の全体に表示している画面画像(換言すると、スクリーンショット)を取得する。
 スコア算出部302は、取得された画面画像と、受信された撮影画像と、のそれぞれに対して複数の特徴点を抽出する。スコア算出部302は、抽出された複数の特徴点のそれぞれに対して、局所特徴量を取得する。
 スコア算出部302は、撮影画像に対して抽出された複数の特徴点のそれぞれと対応する特徴点を、画面画像に対して抽出された複数の特徴点の中から選択する。本例では、スコア算出部302は、撮影画像における特徴点と対応する特徴点として、当該撮影画像における特徴点に対して取得された局所特徴量と最も近い局所特徴量が取得された、画面画像における特徴点を選択する。
 なお、スコア算出部302は、撮影画像における特徴点と対応する特徴点として、当該撮影画像における特徴点に対して取得された局所特徴量との間の類似度が所定の類似度閾値よりも高い局所特徴量が取得された、画面画像における特徴点を選択してもよい。
 スコア算出部302は、当該スコア算出部302を有するリモート装置30-pの画面に対するスコアの初期値を所定の値(例えば、0)に設定する。更に、スコア算出部302は、選択された、画面画像における複数の特徴点のそれぞれに対して、スコアに加算量を加算する。本例では、加算量は、所定の値を有する。なお、加算量は、撮影画像に対する局所特徴量と画面画像に対する局所特徴量との間の類似度が高くなるほど大きくなる値を有していてもよい。
 スコア送信部303は、画面スコア情報を生成するとともに、生成された画面スコア情報を、撮影画像を送信してきたクライアント装置10-mへ送信する。上述したように、画面スコア情報は、当該スコア送信部303を有するリモート装置30-pを通信網NWにおいて識別する装置識別情報と、スコア算出部302により算出されたスコアと、を含む。
 共有要求応答部304は、ホスト装置20-nにより送信された共有要求を受信する。共有要求応答部304は、共有要求が受信された場合において、所定の許可条件が満たされるとき、当該共有要求を送信してきたホスト装置20-nへ許可応答を送信し、一方、当該許可条件が満たされないとき、当該ホスト装置20-nへ拒否応答を送信する。
 本例では、許可条件は、リモート装置30-pの処理負荷が所定の処理負荷閾値よりも小さい、という条件を含む。
 描画領域共有部305は、共有要求応答部304により許可応答が送信された場合、当該共有要求を送信してきたホスト装置20-nとクライアント装置10-mとの間で共有されている描画領域を、当該ホスト装置20-nとの間で共有するための第4共有制御を実行する。
 本例では、第4共有制御は、ホスト装置20-nから、共有される描画領域に描画される描画画像を受信するとともに、受信された描画画像を出力装置35を介して出力することを含む。更に、本例では、第4共有制御は、リモート装置30-pのユーザにより入力装置34を介して入力された入力情報をホスト装置20-nへ送信することを含む。
(動作)
 次に、第3実施形態の情報処理システム1Aの動作について説明する。以下、説明を簡単にするために、情報処理システム1Aが2個のリモート装置30-1,30-2を備える(換言すると、Pが2を表す)場合を想定する。
 更に、情報処理システム1Aが、第1実施形態の情報処理システム1と同様に動作することにより、クライアント装置10-1とホスト装置20-1との間で描画領域が共有されている場合を想定する。
 本例では、クライアント装置10-mは、クライアント用プログラムを実行することにより、図7にフローチャートにより表される処理に加えて、図16にフローチャートにより表される処理を実行する。
 本例では、ホスト装置20-nは、ホスト用プログラムを実行することにより、図8にフローチャートにより表される処理に加えて、図17にフローチャートにより表される処理を実行する。
 また、リモート装置30-pは、リモート装置30-pのユーザにより入力装置34を介して入力された実行指示に従って、リモート用プログラムを実行する。リモート装置30-pは、リモート用プログラムを実行することにより、図18にフローチャートにより表される処理を実行する。なお、リモート装置30-pは、予め定められたタイミング(例えば、リモート装置30-pの起動時)にてリモート用プログラムを実行してもよい。
 以下、情報処理システム1Aの動作を表すシーケンス図である図19も参照しながら情報処理システム1Aの動作について説明を加える。
 先ず、クライアント装置10-1は、クライアント装置10-1とホスト装置20-nとの間で描画領域の共有(換言すると、直接共有)を実行中であるか否かを判定する(図16のステップS501)。クライアント装置10-1が、ホスト装置20-nとの間で描画領域の共有を開始するまでの間、クライアント装置10-1は、ステップS501にて「No」と判定する。
 上述したように、本例では、クライアント装置10-1は、クライアント装置10-1とホスト装置20-1との間の直接共有を開始する(図19のステップS801)。
 従って、クライアント装置10-1とホスト装置20-1との間の直接共有が開始すると、クライアント装置10-1は、ステップS501にて「Yes」と判定し、通知要求をブロードキャストにより送信する(図16のステップS502、図19のステップS802)。
 次いで、クライアント装置10-1は、通知の受信が完了するまで待機する(図16のステップS503の「No」ルート)。本例では、通知の受信は、第3待機期間が終了する時点にて完了する。
 一方、リモート装置30-pは、通知要求を受信するまで待機する(図18のステップS701の「No」ルート)。リモート装置30-pは、クライアント装置10-1から通知要求を受信すると、ステップS701にて「Yes」と判定し、リモート装置30-pを通信網NWにおいて識別する装置識別情報を含む通知をクライアント装置10-1へ送信する(図18のステップS702、図19のステップS8031,S8032)。次いで、リモート装置30-pは、撮影画像を受信するまで待機する(図18のステップS703の「No」ルート)。
 本例では、クライアント装置10-1が第3待機期間内に、リモート装置30-1及びリモート装置30-2のそれぞれから通知を受信した場合を想定する。従って、クライアント装置10-1は、リモート装置30-1を通信網NWにおいて識別する装置識別情報と、リモート装置30-2を通信網NWにおいて識別する装置識別情報と、を記憶装置12に記憶させる。
 次いで、クライアント装置10-1は、通知の受信が完了すると、ステップS503にて「Yes」と判定し、カメラ16を用いた撮影が完了するまで待機する(図16のステップS504の「No」ルート)。本例では、撮影は、クライアント装置10-1のユーザにより撮影指示がクライアント装置10-1に入力されることにより実行されるとともに、撮影画像が生成されることにより完了する。
 本例では、直接共有において共有されている描画領域が、ホスト装置20-1とリモート装置30-1との間でも共有されることをクライアント装置10-1のユーザが希望する場合を想定する。従って、本例では、クライアント装置10-1のユーザは、リモート装置30-1の画面の少なくとも一部が被写体として撮影されるように撮影指示をクライアント装置10-1に入力する。これにより、クライアント装置10-1は、撮影画像を生成する(図19のステップS804)。
 次いで、クライアント装置10-1は、撮影が完了すると、ステップS504にて「Yes」と判定し、生成された撮影画像を、記憶装置12に記憶されている装置識別情報のそれぞれにより識別されるリモート装置30-1,30-2へ送信する(図16のステップS505、図19のステップS805)。
 次いで、クライアント装置10-1は、スコアの受信が完了するまで待機する(図16のステップS506の「No」ルート)。本例では、スコアの受信は、第4待機期間が終了する時点にて完了する。
 一方、リモート装置30-pは、クライアント装置10-1から撮影画像を受信すると、ステップS703にて「Yes」と判定し、リモート装置30-pが表示している画面に対してスコアを算出する(図18のステップS704、図19のステップS8061,S8062)。
 次いで、リモート装置30-pは、ステップS704にて算出されたスコアを、撮影画像を送信してきたクライアント装置10-1へ送信する(図18のステップS705、図19のステップS8071,S8072)。なお、本例では、リモート装置30-pは、スコアを含む画面スコア情報を生成するとともに、生成された画面スコア情報を、撮影画像を送信してきたクライアント装置10-1へ送信する。
 次いで、リモート装置30-pは、共有要求を受信するまで待機する(図18のステップS706の「No」ルート)。
 本例では、クライアント装置10-1が第4待機期間内に、リモート装置30-1及びリモート装置30-2のそれぞれから画面スコア情報を受信した場合を想定する。従って、クライアント装置10-1は、リモート装置30-1により送信された画面スコア情報と、リモート装置30-2により送信された画面スコア情報と、を記憶装置12に記憶させる。
 更に、本例では、記憶装置12に記憶されている画面スコア情報に含まれるスコアの中で、リモート装置30-1により送信された画面スコア情報に含まれるスコアが最大である場合を想定する。
 従って、クライアント装置10-1は、スコアの受信が完了すると、ステップS506にて「Yes」と判定し、記憶装置12に記憶されている画面スコア情報に含まれるスコアに基づいて、P個のリモート装置30-1,30-2の中から1つのリモート装置30-1を共有対象装置として選択する(図16のステップS507、図19のステップS808)。
 次いで、クライアント装置10-1は、選択されたリモート装置30-1を識別する装置識別情報を含む共有指示を、直接共有において描画領域を共有しているホスト装置20-1へ送信する(図16のステップS508、図19のステップS809)。
 その後、クライアント装置10-1は、図16の処理を終了する。
 一方、ホスト装置20-1は、共有指示を受信するまで待機する(図17のステップS601の「No」ルート)。ホスト装置20-1は、クライアント装置10-1から共有指示を受信すると、ステップS601にて「Yes」と判定し、受信された共有指示に含まれる装置識別情報により識別されるリモート装置30-1へ共有要求を送信する(図17のステップS602、図19のステップS810)。
 リモート装置30-1は、共有要求を受信すると、ステップS706にて「Yes」と判定し、許可条件が満たされるか否かを判定する(図18のステップS707)。先ず、許可条件が満たされる場合を想定する。この場合、リモート装置30-1は、ステップS707にて「Yes」と判定し、共有要求を送信してきたホスト装置20-1へ許可応答を送信する(図18のステップS708、図19のステップS811)。
 次いで、リモート装置30-1は、ステップS706にて受信された共有要求を送信してきたホスト装置20-1とクライアント装置10-1との間で共有されている描画領域を、当該ホスト装置20-1との間で共有するための第4共有制御を実行する(図18のステップS709)。
 ホスト装置20-1は、リモート装置30-1から許可応答を受信すると、ステップS603にて「Yes」と判定し、直接共有においてクライアント装置10-1との間で共有されている描画領域を、当該許可応答を送信してきたリモート装置30-1との間でも共有するための第3共有制御を実行する(図17のステップS604)。
 ホスト装置20-1が第3共有制御を実行するとともに、リモート装置30-1が第4共有制御を実行することにより、ホスト装置20-1とリモート装置30-1との間でも描画領域の共有(換言すると、ブリッジ共有)が開始する(図19のステップS812)。
 その後、ホスト装置20-1は、図17の処理を終了するとともに、リモート装置30-1は、図18の処理を終了する。
 なお、許可条件が満たされない場合、リモート装置30-1は、ステップS707にて「No」と判定し、共有要求を送信してきたホスト装置20-1へ拒否応答を送信する(図18のステップS710)。この場合、リモート装置30-1は、第4共有制御を実行することなく、図18の処理を終了する。更に、この場合、ホスト装置20-1は、ステップS603にて「No」と判定し、第3共有制御を実行することなく、図17の処理を終了する。
 以上、説明したように、第3実施形態の情報処理システム1Aによれば、第1実施形態の情報処理システム1と同様の作用及び効果が奏される。
 更に、第3実施形態の情報処理システム1Aは、画面に画面画像を表示可能なリモート装置30-pをP個備える。
 加えて、情報処理システム1Aは、ホスト装置20-nとクライアント装置10-mとの間で描画領域が共有されている場合、カメラ16により撮影された撮影画像をクライアント装置10-mからP個のリモート装置30-1,30-2,…,30-Pのそれぞれへ送信する。
 更に、情報処理システム1Aは、P個のリモート装置30-1,30-2,…,30-Pのそれぞれに対して、当該リモート装置30-pの画面に表示された画面画像と、当該リモート装置30-pにより受信された撮影画像と、の類似度を表すスコアを算出する。
 更に、情報処理システム1Aは、P個のリモート装置30-1,30-2,…,30-Pのそれぞれに対して、当該リモート装置30-pに対して算出されたスコアを当該リモート装置30-pからクライアント装置10-mへ送信する。
 更に、情報処理システム1Aは、P個のリモート装置30-1,30-2,…,30-Pの中から1つのリモート装置30-pを、クライアント装置10-mにより受信されたスコアに基づいて選択する。
 更に、情報処理システム1Aは、選択されたリモート装置30-pを識別する装置識別情報を含む共有指示を、クライアント装置10-mからホスト装置20-nへ送信する。
 更に、情報処理システム1Aは、ホスト装置20-nにより共有指示が受信された場合、当該ホスト装置20-nとクライアント装置10-mとの間で共有されている描画領域を、当該共有指示に含まれる装置識別情報により識別されるリモート装置30-pと当該ホスト装置20-nとの間で共有する。
 情報処理システム1Aによれば、P個のリモート装置30-1,30-2,…,30-Pの中からユーザにより選択されたリモート装置30-pの画面を、ユーザがクライアント装置10-mのカメラにより撮影するだけで、当該クライアント装置10-mとホスト装置20-nとの間で共有されている描画領域を、当該リモート装置30-pと当該ホスト装置20-nとの間でも共有できる。従って、装置間で描画領域を共有するためにユーザが情報を入力する手間を軽減できる。この結果、ホスト装置20-nとリモート装置30-pとの間で描画領域を迅速に共有できる。
 また、情報処理システム1Aによれば、例えば、リモート装置30-pがカメラを有しない場合であっても、ユーザがクライアント装置10-mのカメラ16を用いることにより、当該リモート装置30-pとホスト装置20-nとの間で描画領域を共有できる。
 また、情報処理システム1Aによれば、P個のリモート装置30-pの中から、共有の対象となるリモート装置30-pを選択する装置は、クライアント装置10-mである。従って、各リモート装置が共有の対象となるリモート装置を選択する情報処理システムよりも高い精度にて、ユーザにより選択されたリモート装置30-pを特定できる。この結果、情報処理システム1Aによれば、ユーザにより選択されたリモート装置30-pとホスト装置20-nとの間で描画領域を高い精度にて共有できる。
 更に、第3実施形態の情報処理システム1Aは、クライアント装置10-mから所定の通知要求をブロードキャストにより送信する。加えて、情報処理システム1Aは、リモート装置30-pにより通知要求が受信された場合、当該リモート装置30-pを識別する装置識別情報を含む通知を当該リモート装置30-pからクライアント装置10-mへ送信する。更に、情報処理システム1Aは、クライアント装置10-mにより受信された通知に含まれる装置識別情報により識別されるリモート装置30-pへ撮影画像を送信する。
 これによれば、撮影画像をブロードキャストにより送信する場合よりも、通信負荷を抑制できる。
 更に、第3実施形態の情報処理システム1Aは、当該リモート装置30-pに対して算出されたスコアと、当該リモート装置30-pを識別する装置識別情報と、を互いに関連付けてクライアント装置10-mへ送信する。加えて、情報処理システム1Aは、クライアント装置10-mにより受信された装置識別情報を含む共有指示をホスト装置20-nへ送信する。
 これによれば、クライアント装置10-mは、共有指示に含まれる装置識別情報として、スコアに基づいて選択されたリモート装置30-pを識別する装置識別情報を高い精度にて識別できる。この結果、情報処理システム1Aによれば、ユーザにより選択されたリモート装置30-pとホスト装置20-nとの間で描画領域を高い精度にて共有できる。
 なお、リモート装置30-pは、リモート装置30-pの機能に加えて、クライアント装置10-mが有する機能を有していてもよい。この場合、リモート装置30-pは、リモート装置及びクライアント装置の両方に対応する。従って、この場合、リモート装置30-pは、クライアント装置30-pと表されてもよい。
 また、リモート装置30-pは、リモート装置30-pの機能に加えて、ホスト装置20-nが有する機能を有していてもよい。この場合、リモート装置30-pは、リモート装置及びホスト装置の両方に対応する。従って、この場合、リモート装置30-pは、ホスト装置30-pと表されてもよい。
 また、クライアント装置10-mは、クライアント装置10-mの機能に加えて、リモート装置30-pが有する機能を有していてもよい。この場合、クライアント装置10-mは、クライアント装置及びリモート装置の両方に対応する。
 また、ホスト装置20-nは、ホスト装置20-nの機能に加えて、リモート装置30-pが有する機能を有していてもよい。この場合、ホスト装置20-nは、ホスト装置及びリモート装置の両方に対応する。
 また、通知送信部301は、通知要求の受信に応じて通知を送信するが、通知要求の受信に関わらず、所定のタイミングにて(例えば、リモート用プログラムの実行が開始した時点にて、又は、所定の送信周期が経過する毎に)通知を送信してもよい。この場合、クライアント装置10-mは、通知要求を送信することなく、受信した通知に含まれる装置識別情報を記憶してもよい。
 また、図16のステップS501の処理が実行される順序は、ステップS502の処理の後であって、ステップS508の処理より前であってもよい。また、図16のステップS501の処理と同じ処理が、ステップS502の処理の後であって、ステップS508の処理より前に再び実行されてもよい。
<第4実施形態>
 次に、第4実施形態の情報処理システムについて説明する。第4実施形態の情報処理システムは、第3実施形態の情報処理システムに対して、撮影画像が撮影された撮影方向に基づいて描画領域の共有を許可するか否かを決定する点において相違している。以下、相違点を中心として説明する。なお、第4実施形態の説明において、第3実施形態にて使用した符号と同じ符号を付したものは、同一又はほぼ同様のものである。
 第4実施形態の共有要求応答部304は、共有要求が受信された場合において許可条件が満たされるとき、撮影角度を推定し、一方、共有要求が受信された場合において許可条件が満たされないとき、当該共有要求を送信してきたホスト装置20-nへ拒否応答を送信する。
 本例では、撮影角度は、リモート装置30-pの出力装置35の画面の法線方向と、カメラ16により撮影画像が撮影された撮影方向と、により形成される角度である。本例では、撮影角度は、水平方向における角度である。なお、撮影角度は、水平方向以外の方向(例えば、鉛直方向等)における角度であってもよい。
 本例では、共有要求応答部304は、上述した画像処理方式に従って、撮影角度を推定する。なお、共有要求応答部304は、スコアの算出に用いられた画像処理方式以外の画像処理方式に従って、撮影角度の推定を行なってもよい。
 共有要求応答部304は、推定された撮影角度が所定の撮影角度閾値よりも小さい場合、共有要求を送信してきたホスト装置20-nへ許可応答を送信し、一方、推定された撮影角度が撮影角度閾値以上である場合、当該ホスト装置20-nへ拒否応答を送信する。
 従って、本例では、描画領域共有部206A及び描画領域共有部305は、推定された撮影角度が撮影角度閾値よりも小さい場合、描画領域の共有を行ない、一方、推定された撮影角度が撮影角度閾値以上である場合、描画領域の共有を行なわない。
 なお、共有要求応答部304は、推定された撮影角度が撮影角度閾値よりも小さい場合、リモート装置30-pの出力装置35を介して、描画領域が不正に撮影された虞があることを表す情報を出力してもよい。
 第4実施形態のリモート装置30-pは、図18にフローチャートにより表される処理に代えて、図20にフローチャートにより表される処理を実行する。
 図20の処理は、図18のステップS708~S710の処理が、ステップS901~S905の処理に置換された点を除いて、図18の処理と同じである。
 従って、リモート装置30-pは、許可条件が満たされる場合、ステップS707にて「Yes」と判定し、撮影角度を推定する(図20のステップS901)。次いで、リモート装置30-pは、ステップS901にて推定された撮影角度が撮影角度閾値よりも小さいか否かを判定する(図20のステップS902)。
 推定された撮影角度が撮影角度閾値よりも小さい場合、リモート装置30-pは、ステップS902にて「Yes」と判定し、共有要求を送信してきたホスト装置20-nへ許可応答を送信する(図20のステップS903)。
 次いで、リモート装置30-pは、ステップS706にて受信された共有要求を送信してきたホスト装置20-nとクライアント装置10-mとの間で共有されている描画領域を、当該ホスト装置20-nとの間で共有するための第4共有制御を実行する(図20のステップS904)。その後、リモート装置30-pは、図20の処理を終了する。
 なお、許可条件が満たされない場合、リモート装置30-pは、ステップS707にて「No」と判定し、共有要求を送信してきたホスト装置20-nへ拒否応答を送信する(図20のステップS905)。また、推定された撮影角度が撮影角度閾値以上である場合、リモート装置30-pは、ステップS902にて「No」と判定し、共有要求を送信してきたホスト装置20-nへ拒否応答を送信する(図20のステップS905)。
 これらの場合、リモート装置30-pは、第4共有制御を実行することなく、図20の処理を終了する。
 なお、リモート装置30-pは、許可条件が満たされるか否かの判定と、撮影角度が撮影角度閾値よりも小さいか否かの判定と、を、上述した順序と逆の順序にて実行してもよい。また、リモート装置30-pは、撮影角度の推定を、スコアの算出時に行なってもよい。
 以上、説明したように、第4実施形態の情報処理システム1Aによれば、第3実施形態の情報処理システム1Aと同様の作用及び効果が奏される。
 更に、第4実施形態の情報処理システム1Aは、撮影角度を推定するとともに、推定された撮影角度が所定の撮影角度閾値よりも小さい場合、リモート装置30-pとホスト装置20-nとの間の描画領域の共有を行ない、一方、推定された撮影角度が撮影角度閾値よりも大きい場合、当該描画領域の共有を行なわない。
 撮影角度が大きくなるほど、描画領域が不正に撮影された確率が高くなる。従って、情報処理システム1Aによれば、不正に撮影された撮影画像に基づいて、リモート装置30-pとホスト装置20-nとの間で描画領域が共有される確率を低減できる。
 なお、情報処理システム1Aは、撮影画像が撮影された撮影方向に代えて、又は、当該撮影方向に加えて、撮影画像を送信したクライアント装置10-mが、情報処理システム1Aに予め登録されているか否かに基づいて、リモート装置30-pとホスト装置20-nとの間の描画領域の共有を行なうか否かを決定してよい。例えば、クライアント装置10-mの登録は、クライアント装置10-mを通信網NWにおいて識別する情報(例えば、MACアドレス、又は、IPアドレス等)、クライアント装置10-mに固有の情報(例えば、クライアント装置10-mの製造番号等)、及び、クライアント装置10-mに割り当てられた名称(例えば、コンピュータ名、又は、ホスト名等)を表す情報の少なくとも1つを用いて行なわれてよい。
 この場合、情報処理システム1Aは、予め登録されているクライアント装置10-mから撮影画像が送信された場合、リモート装置30-pとホスト装置20-nとの間の描画領域の共有を行ない、一方、予め登録されていないクライアント装置10-mから撮影画像が送信された場合、当該描画領域の共有を行なわない。また、情報処理システム1Aは、予め登録されていないクライアント装置10-mから撮影画像が送信された場合、情報処理システム1Aのユーザに、予め登録されていないクライアント装置10-mから撮影画像が送信されたことを通知してよい。
 また、情報処理システム1Aは、画面に二次元コードを表示するとともに、当該二次元コードを用いて、リモート装置30-pとホスト装置20-nとの間の描画領域の共有を行なうか否かを決定してよい。
 なお、本発明は、上述した実施形態に限定されない。例えば、上述した実施形態に、本発明の趣旨を逸脱しない範囲内において当業者が理解し得る様々な変更が加えられてよい。例えば、本発明の趣旨を逸脱しない範囲内において、上述した実施形態の他の変形例として、上述した実施形態及び変形例の任意の組み合わせが採用されてもよい。
1,1A   情報処理システム
10  クライアント装置
11  処理装置
12  記憶装置
13  通信装置
14  入力装置
15  出力装置
16  カメラ
101,101A 通知要求送信部
102 撮影画像生成部
103,103A 撮影画像送信部
104 描画領域選択部
105 共有要求送信部
106 描画領域共有部
107 共有対象装置選択部
108 共有指示送信部
20  ホスト装置
21  処理装置
22  記憶装置
23  通信装置
24  入力装置
25  出力装置
201 通知送信部
202 スコア算出部
203 スコア補正部
204 スコア送信部
205 共有要求応答部
206,206A 描画領域共有部
207 共有要求送信部
30  リモート装置
31  処理装置
32  記憶装置
33  通信装置
34  入力装置
35  出力装置
301 通知送信部
302 スコア算出部
303 スコア送信部
304 共有要求応答部
305 描画領域共有部
BU1,BU2,BU3 バス
D1,D2 画面
DN  法線方向
DS  撮影方向
NW  通信網
PF  撮影画像
SC  画面
W11,W12,W13,W21,W22 描画領域
θ   撮影角度

Claims (13)

  1.  複数の描画画像がそれぞれ描画される複数の描画領域を表示可能な少なくとも1つのホスト装置と、カメラを有するクライアント装置と、を備えるとともに、前記少なくとも1つのホスト装置と前記クライアント装置との間で描画領域を共有する情報処理システムであって、
     前記カメラにより撮影された撮影画像を前記クライアント装置から前記少なくとも1つのホスト装置のそれぞれへ送信する撮影画像送信部と、
     前記複数の描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、前記少なくとも1つのホスト装置により受信された前記撮影画像と、の類似度を表すスコアを算出するスコア算出部と、
     前記複数の描画領域のそれぞれに対して、当該描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、を互いに関連付けて、当該描画領域を表示しているホスト装置から前記クライアント装置へ送信するスコア送信部と、
     前記複数の描画領域の中から1つの描画領域を、前記クライアント装置により受信されたスコアに基づいて選択する描画領域選択部と、
     前記選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置へ前記クライアント装置から送信する共有要求送信部と、
     ホスト装置により前記共有要求が受信された場合、当該ホスト装置が表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を、当該ホスト装置と前記クライアント装置との間で共有する描画領域共有部と、
     を備える、情報処理システム。
  2.  請求項1に記載の情報処理システムであって、
     前記描画領域は、ウィンドウシステムにおけるウィンドウであり、
     前記スコア算出部は、ホスト装置が表示する画面において、描画領域の少なくとも一部が他の描画領域の少なくとも一部と重複している場合に優先して表示される描画領域を決定する表示優先度に基づいて前記スコアの算出を行なう、情報処理システム。
  3.  請求項2に記載の情報処理システムであって、
     前記スコア算出部は、前記画面に表示している画面画像を取得するとともに、前記撮影画像における少なくとも1つの位置のそれぞれに対して、当該位置に対応する、前記取得された画面画像における位置を選択し、前記選択された位置において最も優先して表示される描画領域に対するスコアに加算量を加算することにより前記スコアの算出を行なう、情報処理システム。
  4.  請求項2又は請求項3に記載の情報処理システムであって、
     ホスト装置が表示している複数の描画領域に対する、前記算出されたスコアの描画領域間の差が所定のスコア差閾値よりも小さい場合、前記算出されたスコアを前記表示優先度に基づいて補正するスコア補正部を備える、情報処理システム。
  5.  請求項4に記載の情報処理システムであって、
     前記スコア補正部は、描画領域に対する前記表示の優先度が高くなるほど、当該描画領域に対するスコアが大きくなるように前記スコアの補正を行なう、情報処理システム。
  6.  請求項1乃至請求項5のいずれか一項に記載の情報処理システムであって、
     前記描画領域共有部は、ホスト装置が表示している画面の法線方向と、前記撮影画像が撮影された撮影方向と、により形成される角度である撮影角度を推定するとともに、前記推定された撮影角度が所定の撮影角度閾値よりも小さい場合、前記描画領域の共有を行ない、一方、前記推定された撮影角度が前記撮影角度閾値よりも大きい場合、前記描画領域の共有を行なわない、情報処理システム。
  7.  請求項1乃至請求項6のいずれか一項に記載の情報処理システムであって、
     前記クライアント装置から所定の通知要求をブロードキャストにより送信する通知要求送信部と、
     ホスト装置により前記通知要求が受信された場合、当該ホスト装置を識別する装置識別情報を含む通知を当該ホスト装置から前記クライアント装置へ送信する通知送信部と、
     を備え、
     前記撮影画像送信部は、前記クライアント装置により受信された通知に含まれる装置識別情報により識別されるホスト装置へ前記撮影画像を送信する、情報処理システム。
  8.  請求項1乃至請求項7のいずれか一項に記載の情報処理システムであって、
     前記スコア送信部は、描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、当該描画領域を表示しているホスト装置を識別する装置識別情報と、を互いに関連付けて前記クライアント装置へ送信し、
     前記共有要求送信部は、前記クライアント装置により受信された装置識別情報により識別されるホスト装置へ前記共有要求を送信する、情報処理システム。
  9.  請求項1乃至請求項8のいずれか一項に記載の情報処理システムであって、
     前記情報処理システムは、画面に画面画像を表示可能なリモート装置を少なくとも1つ備え、
     前記撮影画像送信部は、前記ホスト装置と前記クライアント装置との間で前記描画領域が共有されている場合、前記カメラにより撮影された撮影画像を前記クライアント装置から前記少なくとも1つのリモート装置のそれぞれへ送信し、
     前記スコア算出部は、前記少なくとも1つのリモート装置のそれぞれに対して、当該リモート装置の画面に表示された画面画像と、当該リモート装置により受信された前記撮影画像と、の類似度を表すスコアを算出し、
     前記スコア送信部は、前記少なくとも1つのリモート装置のそれぞれに対して、当該リモート装置に対して算出されたスコアを当該リモート装置から前記クライアント装置へ送信し、
     前記情報処理システムは、
     前記少なくとも1つのリモート装置の中から1つのリモート装置を、前記クライアント装置により受信されたスコアに基づいて選択する共有対象装置選択部と、
     前記選択されたリモート装置を識別する装置識別情報を含む共有指示を、前記クライアント装置から前記ホスト装置へ送信する共有指示送信部と、
     を備え、
     前記描画領域共有部は、前記ホスト装置により前記共有指示が受信された場合、当該ホスト装置と前記クライアント装置との間で共有されている前記描画領域を、当該共有指示に含まれる装置識別情報により識別されるリモート装置と当該ホスト装置との間で共有する、情報処理システム。
  10.  描画画像が描画される描画領域を表示可能なホスト装置と、カメラを有するクライアント装置と、画面に画面画像を表示可能な少なくとも1つのリモート装置と、を備えるとともに、前記ホスト装置と前記クライアント装置との間で描画領域を共有する情報処理システムであって、
     前記ホスト装置と前記クライアント装置との間で前記描画領域が共有されている場合、前記カメラにより撮影された撮影画像を前記クライアント装置から前記少なくとも1つのリモート装置のそれぞれへ送信する撮影画像送信部と、
     前記少なくとも1つのリモート装置のそれぞれに対して、当該リモート装置の画面に表示された画面画像と、当該リモート装置により受信された前記撮影画像と、の類似度を表すスコアを算出するスコア算出部と、
     前記少なくとも1つのリモート装置のそれぞれに対して、当該リモート装置に対して算出されたスコアを当該リモート装置から前記クライアント装置へ送信するスコア送信部と、
     前記少なくとも1つのリモート装置の中から1つのリモート装置を、前記クライアント装置により受信されたスコアに基づいて選択する共有対象装置選択部と、
     前記選択されたリモート装置を識別する装置識別情報を含む共有指示を、前記クライアント装置から前記ホスト装置へ送信する共有指示送信部と、
     前記ホスト装置により前記共有指示が受信された場合、当該ホスト装置と前記クライアント装置との間で共有されている前記描画領域を、当該共有指示に含まれる装置識別情報により識別されるリモート装置と当該ホスト装置との間で共有する描画領域共有部と、
     を備える、情報処理システム。
  11.  請求項10に記載の情報処理システムであって、
     前記描画領域共有部は、リモート装置が表示している画面の法線方向と、前記撮影画像が撮影された撮影方向と、により形成される角度である撮影角度を推定するとともに、前記推定された撮影角度が所定の撮影角度閾値よりも小さい場合、前記リモート装置と前記ホスト装置との間の前記描画領域の共有を行ない、一方、前記推定された撮影角度が前記撮影角度閾値よりも大きい場合、当該描画領域の共有を行なわない、情報処理システム。
  12.  請求項10又は請求項11に記載の情報処理システムであって、
     前記クライアント装置から所定の通知要求をブロードキャストにより送信する通知要求送信部と、
     リモート装置により前記通知要求が受信された場合、当該リモート装置を識別する装置識別情報を含む通知を当該リモート装置から前記クライアント装置へ送信する通知送信部と、
     を備え、
     前記撮影画像送信部は、前記クライアント装置により受信された通知に含まれる装置識別情報により識別されるリモート装置へ前記撮影画像を送信する、情報処理システム。
  13.  複数の描画画像がそれぞれ描画される複数の描画領域を表示可能な少なくとも1つのホスト装置と、カメラを有するクライアント装置と、を備えるとともに、前記少なくとも1つのホスト装置と前記クライアント装置との間で描画領域を共有する情報処理システムの情報処理方法であって、
     前記カメラにより撮影された撮影画像を前記クライアント装置から前記少なくとも1つのホスト装置のそれぞれへ送信し、
     前記複数の描画領域のそれぞれに対して、当該描画領域に描画された描画画像と、前記少なくとも1つのホスト装置により受信された前記撮影画像と、の類似度を表すスコアを算出し、
     前記複数の描画領域のそれぞれに対して、当該描画領域を識別する領域識別情報と、当該描画領域に対して算出されたスコアと、を互いに関連付けて、当該描画領域を表示しているホスト装置から前記クライアント装置へ送信し、
     前記複数の描画領域の中から1つの描画領域を、前記クライアント装置により受信されたスコアに基づいて選択し、
     前記選択された描画領域を識別する領域識別情報を含む共有要求を、当該描画領域を表示しているホスト装置へ前記クライアント装置から送信し、
     ホスト装置により前記共有要求が受信された場合、当該ホスト装置が表示している描画領域のうちの、当該共有要求に含まれる領域識別情報により識別される描画領域を、当該ホスト装置と前記クライアント装置との間で共有する、
     ことを含む、情報処理方法。
PCT/JP2017/012506 2017-02-06 2017-03-28 情報処理システム、及び、情報処理方法 WO2018142637A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-019350 2017-02-06
JP2017019350 2017-02-06

Publications (1)

Publication Number Publication Date
WO2018142637A1 true WO2018142637A1 (ja) 2018-08-09

Family

ID=63040425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/012506 WO2018142637A1 (ja) 2017-02-06 2017-03-28 情報処理システム、及び、情報処理方法

Country Status (1)

Country Link
WO (1) WO2018142637A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111148081A (zh) * 2019-12-06 2020-05-12 维沃移动通信有限公司 一种信息交互方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284076A (ja) * 1994-04-08 1995-10-27 Hitachi Ltd 電子会議表示方式
JP2017084100A (ja) * 2015-10-28 2017-05-18 キヤノン株式会社 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284076A (ja) * 1994-04-08 1995-10-27 Hitachi Ltd 電子会議表示方式
JP2017084100A (ja) * 2015-10-28 2017-05-18 キヤノン株式会社 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111148081A (zh) * 2019-12-06 2020-05-12 维沃移动通信有限公司 一种信息交互方法及电子设备
CN111148081B (zh) * 2019-12-06 2023-10-20 维沃移动通信有限公司 一种信息交互方法及电子设备

Similar Documents

Publication Publication Date Title
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
US11245814B2 (en) Shared terminal transmits print data with name of the shared terminal as a print requester to printer when the terminal device identification is not received
US20180095711A1 (en) Communication terminal, communication system, transmission method, and recording medium storing program
JP2016143919A (ja) 画像処理装置およびその制御方法
US9959084B2 (en) Communication terminal, communication system, communication control method, and recording medium
US20180124310A1 (en) Image management system, image management method and recording medium
US11025603B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
WO2018142637A1 (ja) 情報処理システム、及び、情報処理方法
JP2019087840A (ja) 監視システム
US20170034698A1 (en) Terminal, communication method, and recording medium storing program
US11163866B2 (en) Shared terminal, display control method, and non-transitory computer-readable medium
JP6208910B1 (ja) 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム
US20180248875A1 (en) Communication terminal, communication system, communication method, and recording medium
US10298878B2 (en) Terminal, communication method, and recording medium storing program
JP2016085594A (ja) 肖像権保護プログラム、情報通信装置及び肖像権保護方法
JP6486077B2 (ja) 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体
CN116530090A (zh) 使用多个相机拍摄照片的方法及其装置
US20170078405A1 (en) System, apparatus, and method of managing communication, and recording medium
JP6115673B2 (ja) 装置、及びプログラム
JP6274186B2 (ja) 画像形成装置、画像形成システム、及びプログラム
US11750916B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP2016082511A (ja) 場所情報指定装置、場所情報指定方法及び場所情報指定プログラム
JP2019176471A (ja) 通信システム、及び通信方法
WO2023124200A1 (zh) 视频处理方法与电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895312

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17895312

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP