WO2018055659A1 - 画面共有システム、画面共有方法及びプログラム - Google Patents

画面共有システム、画面共有方法及びプログラム Download PDF

Info

Publication number
WO2018055659A1
WO2018055659A1 PCT/JP2016/077629 JP2016077629W WO2018055659A1 WO 2018055659 A1 WO2018055659 A1 WO 2018055659A1 JP 2016077629 W JP2016077629 W JP 2016077629W WO 2018055659 A1 WO2018055659 A1 WO 2018055659A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
image
user terminal
shared
displayed
Prior art date
Application number
PCT/JP2016/077629
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/077629 priority Critical patent/WO2018055659A1/ja
Publication of WO2018055659A1 publication Critical patent/WO2018055659A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Definitions

  • the present invention relates to a screen sharing system, a screen sharing method, and a program for sharing a screen captured by a user terminal as a shared screen between the user terminal and an operator terminal.
  • an image captured by a user terminal, a designated image, or the like is displayed on itself, and the displayed image is shared with an operator terminal as a shared screen.
  • screen sharing an image captured by the user terminal is displayed on the operator terminal as a shared screen, so that the operator can give instructions on the operation method, input contents, etc. for the subject included in the image. It is possible to do it.
  • Patent Document 1 the command input by the operator and the operation content itself are displayed as an object.
  • the operator wants to view a part of the image in an enlarged manner, the It has been necessary to instruct operations such as moving the camera that is taking an image and enlarging the display image by some method such as an image. Therefore, convenience was low.
  • An object of the present invention is to provide a screen sharing system, a screen sharing method, and a program that improve convenience by allowing an operator to perform operations such as moving and enlarging camera images.
  • the present invention provides the following solutions.
  • the invention according to the first feature is a screen sharing system for sharing a screen captured by a user terminal as a shared screen between the user terminal and an operator terminal.
  • An enlargement operation accepting means for accepting a screen enlargement operation for the shared screen displayed on the operator terminal;
  • Enlarged position coordinate acquisition means for acquiring position coordinates in the shared screen of the received screen enlargement operation;
  • An image enlarging means for identifying a position in the shared screen displayed on the user terminal based on the acquired position coordinates and enlarging an image in the identified shared screen;
  • An enlarged screen sharing means for sharing an image displayed on the user terminal reflecting the screen enlargement operation between the user terminal and the operator terminal;
  • a screen sharing system is provided.
  • the screen sharing system for sharing the screen captured by the user terminal as a shared screen between the user terminal and the operator terminal is a screen enlargement with respect to the shared screen displayed on the operator terminal.
  • Accepting an operation obtaining a position coordinate in the shared screen of the accepted screen enlargement operation, identifying a position in the shared screen displayed on the user terminal based on the obtained position coordinate,
  • the image in the shared screen is enlarged, and the image displayed on the user terminal reflecting the screen enlargement operation is shared between the user terminal and the operator terminal.
  • the invention according to the first feature is a category of the screen sharing system, but in other categories such as a method or a program, the same actions and effects according to the category are exhibited.
  • the invention according to the second feature is a reduction operation receiving means for receiving a screen reduction operation for the shared screen displayed on the operator terminal;
  • Reduced position coordinate acquisition means for acquiring position coordinates in the shared screen of the received screen reduction operation; Based on the acquired position coordinates, a position in the shared screen displayed on the user terminal is specified. If the specified image in the shared screen is an image that has been subjected to a screen enlargement operation, the screen enlargement operation is performed.
  • Image restoration means for returning the image displayed on the user terminal reflected to the image not reflecting the screen enlargement operation;
  • Return screen sharing means for sharing the image displayed on the user terminal reflecting the return operation between the user terminal and the operator terminal;
  • a screen sharing system that is an invention according to a first feature is provided.
  • the screen sharing system receives a screen reduction operation for the shared screen displayed on the operator terminal, and receives the received screen reduction operation.
  • the position coordinate in the shared screen is acquired, the position in the shared screen displayed on the user terminal is specified based on the acquired position coordinate, and the image in the specified shared screen is a screen enlargement operation.
  • the image displayed on the user terminal reflecting the screen enlargement operation is returned to the image not reflecting the screen enlargement operation, and displayed on the user terminal reflecting the return operation.
  • the obtained image is shared between the user terminal and the operator terminal.
  • the image enlarging unit acquires the image obtained by zooming the position in the shared screen displayed on the user terminal in response to the screen enlarging operation. Magnify the image on the shared screen, A screen sharing system that is an invention according to a first feature is provided.
  • the screen sharing system is an image obtained by zooming the position in the shared screen displayed on the user terminal in response to the screen enlargement operation. By acquiring, the image in the specified shared screen is enlarged.
  • the invention according to a fourth feature is a screen sharing method for sharing a screen captured by a user terminal as a shared screen between the user terminal and the operator terminal, Receiving a screen enlargement operation for the shared screen displayed on the operator terminal; Obtaining position coordinates in the shared screen of the received screen enlargement operation; Identifying a position in the shared screen displayed on the user terminal based on the acquired position coordinates, and enlarging an image in the specified shared screen; Sharing the image displayed on the user terminal reflecting the screen enlargement operation between the user terminal and the operator terminal; A screen sharing method is provided.
  • the invention according to the fifth feature provides a computer system for sharing a screen imaged by a user terminal as a shared screen between the user terminal and an operator terminal.
  • Receiving a screen enlargement operation for the shared screen displayed on the operator terminal Obtaining position coordinates in the shared screen of the received screen enlargement operation; Identifying a position in the shared screen displayed on the user terminal based on the acquired position coordinates, and enlarging an image in the specified shared screen; Sharing an image displayed on the user terminal reflecting the screen enlargement operation between the user terminal and the operator terminal; Provide a program to execute.
  • the present invention it is possible to provide a screen sharing system, a screen sharing method, and a program with improved convenience, by the operator performing an operation such as moving or enlarging the camera image by himself / herself.
  • FIG. 1 is a diagram showing an overview of the screen sharing system 1.
  • FIG. 2 is an overall configuration diagram of the screen sharing system 1.
  • FIG. 3 is a functional block diagram of the user terminal 100 and the operator terminal 200.
  • FIG. 4 is a diagram illustrating a flowchart of screen sharing processing executed by the user terminal 100 and the operator terminal 200.
  • FIG. 5 is a diagram illustrating a flowchart of the screen return process executed by the user terminal 100 and the operator terminal 200.
  • FIG. 6 is a diagram schematically illustrating an example in which the operator terminal 200 receives a screen enlargement operation from the operator.
  • FIG. 7 is a diagram illustrating an example of a state schematically showing an enlarged image displayed by the user terminal 100.
  • FIG. 8 is a diagram schematically illustrating an example in which the operator terminal 200 receives a screen reduction operation from the operator.
  • FIG. 1 is a diagram for explaining an overview of a screen sharing system 1 which is a preferred embodiment of the present invention.
  • the screen sharing system 1 includes a user terminal 100 and an operator terminal 200.
  • the number of user terminals 100 and operator terminals 200 is not limited to one and may be plural. Further, the user terminal 100 or the operator terminal 200 is not limited to a real device, and may be a virtual device. Moreover, each process mentioned later may be implement
  • the user terminal 100 is a terminal device operated by a user capable of data communication with the operator terminal 200.
  • the user terminal 100 is, for example, a cellular phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head mounted display, or the like Wearable terminals and other articles.
  • the operator terminal 200 is a terminal device operated by an operator who gives various instructions to a user capable of data communication with the user terminal 100.
  • the operator terminal 200 is an electrical appliance, wearable terminal, or other article similar to the user terminal 100.
  • the user terminal 100 captures an object such as an article or a machine using an imaging device such as a camera, and displays the captured image on its display unit (step S01).
  • the user terminal 100 captures an image such as a moving image or a still image of a subject.
  • the user terminal 100 and the operator terminal 200 share the captured image displayed by the user terminal 100 as a shared screen (step S02).
  • the user terminal 100 transmits screen data indicating a screen of an image displayed by the user terminal 100 to the operator terminal 200, and the operator terminal 200 receives the screen data and displays a screen based on the screen data. In this way, the user terminal 100 and the operator terminal 200 share a shared screen.
  • the operator terminal 200 receives a screen enlargement operation for the shared screen displayed by its own display unit (step S03).
  • the screen enlargement operation is, for example, a pinch operation.
  • This screen enlargement operation includes the enlargement location and enlargement ratio of the screen.
  • the operator terminal 200 acquires the position coordinates in the shared screen that has received the screen enlargement operation (step S04).
  • the operator terminal 200 acquires the position coordinates of the point where the screen enlargement operation is accepted.
  • a position coordinate is a coordinate which shows the position in a shared screen, for example, is acquired as an orthogonal coordinate system.
  • the operator terminal 200 transmits position coordinate information, which is information on the acquired position coordinates, to the user terminal 100 (step S05).
  • the user terminal 100 acquires the position coordinates of the input point of the screen enlargement operation accepted by the operator terminal 200 by receiving the position coordinate information. Based on the acquired position coordinates, the user terminal 100 specifies the position in the shared screen displayed on the user terminal 100, and enlarges the image in the specified shared screen (step S06). The user terminal 100 arranges the identified image in the center of the shared screen, and enlarges the image based on the enlargement ratio included in the screen enlargement operation. For example, the number of pixels of the specified image is the same, and the image is displayed based on the enlargement ratio, the imaging device is stopped, and the part other than the specified image is set as a still image. This is executed by increasing the number of pixels only in the acquired position coordinate portion and displaying an image picked up by zoom focus, or by picking up and displaying an image with the number of pixels at the corresponding position coordinate increased.
  • the user terminal 100 and the operator terminal 200 share an enlarged image, which is an image enlarged by the user terminal 100, as a shared screen (step S07).
  • the user terminal 100 transmits an enlarged image screen displayed by the user terminal 100 to the operator terminal 200.
  • the operator terminal 200 displays the enlarged image, so that the user terminal 100 and the operator terminal 200 share the enlarged image. Share as.
  • the operator terminal 200 receives a screen reduction operation for the enlarged image, acquires the position coordinates in the shared screen of the received screen reduction operation, and transmits the position coordinate information as the position coordinates to the user terminal 100. May be. At this time, the user terminal 100 receives the position coordinate information, thereby acquiring the position coordinates of the input point of the screen reduction operation accepted by the operator terminal 200, and based on the position coordinates, the shared display displayed on itself. If the position in the screen is specified and the image in the specified shared screen is an image that has been enlarged, the image that is displayed on the screen that has been reflected in the enlarged image will be reflected in the enlarged image.
  • the user terminal 100 and the operator terminal 200 may share an image that is returned to a non-existing image and the operation of returning is reflected.
  • FIG. 2 is a diagram showing a system configuration of the screen sharing system 1 which is a preferred embodiment of the present invention.
  • the screen sharing system 1 includes a user terminal 100, an operator terminal 200, and a public line network (Internet network, third and fourth generation communication network, etc.) 5.
  • the number of user terminals 100 and operator terminals 200 is not limited to one and may be plural.
  • the user terminal 100 or the operator terminal 200 is not limited to a real device, and may be a virtual device.
  • each process mentioned later may be implement
  • the user terminal 100 and the operator terminal 200 may communicate via a computer or the like instead of directly communicating.
  • the user terminal 100 is the above-described terminal device having the functions described later.
  • the operator terminal 200 is the above-described terminal device having the functions described later.
  • FIG. 3 is a functional block diagram of the user terminal 100 and the operator terminal 200.
  • the user terminal 100 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 110, and a device for enabling communication with other devices as the communication unit 120.
  • a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the user terminal 100 serves as an input / output unit 130 that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that receives input from the user, a moving image and a still image.
  • An image pickup device for picking up an image such as an image and an image pickup device such as a lens are provided.
  • the control unit 110 when the control unit 110 reads a predetermined program, the screen sharing module 140 and the position coordinate receiving module 141 are realized in cooperation with the communication unit 120. Further, in the user terminal 100, the control unit 110 reads a predetermined program, thereby realizing an imaging module 150, a display module 151, an image enlargement module 152, and an image restoration module 153 in cooperation with the input / output unit 130.
  • the operator terminal 200 includes a CPU, a RAM, a ROM, and the like as the control unit 210, and a WiFi compatible device for enabling communication with other devices as the communication unit 220.
  • the unit 230 includes a display unit, an input unit, and the like.
  • the control unit 210 when the control unit 210 reads a predetermined program, the screen sharing module 240 and the position coordinate transmission module 241 are realized in cooperation with the communication unit 220. Further, in the operator terminal 200, the control unit 210 reads a predetermined program, thereby realizing the display module 250, the input reception module 251, and the position coordinate acquisition module 252 in cooperation with the input / output unit 230.
  • FIG. 4 is a diagram illustrating a flowchart of screen sharing processing executed by the user terminal 100 and the operator terminal 200. The processing executed by the modules of each device described above will be described together with this processing.
  • the imaging module 150 images a subject (step S10).
  • the subject is, for example, an article or a machine.
  • the imaging module 150 captures an image such as a moving image or a still image of the subject.
  • the display module 151 displays the captured image on itself (step S11). In step S11, the display module 151 displays this image in a preset shared screen area.
  • the shared screen area may be set by user input or application input, and the shape, position, etc. can be changed as appropriate.
  • the screen sharing module 140 transmits screen data of an image to be displayed in the shared screen area to the operator terminal 200 (step S12). In step S12, the screen sharing module 140 transmits the screen of the shared screen area to the operator terminal 200 as screen data.
  • the screen sharing module 240 receives screen data.
  • the display module 250 displays an image based on the received screen data in a preset shared screen area (step S13).
  • step S13 the display module 250 displays an image in a preset shared screen area. Similar to the shared screen area in step S11 described above, the shared screen area may be set by an input from an operator, an input by an application, or the like, and the shape, position, and the like can be changed as appropriate.
  • the user terminal 100 and the operator terminal 200 share the image captured by the user terminal 100 as a shared screen by the processing in step S12 and step S13 described above. That is, the image that the display module 151 displays in the shared screen area in step S11 and the image that the display module 250 displays in the shared screen area in step S13 are the same image.
  • the input reception module 251 determines whether a screen enlargement operation for the shared screen displayed by the display module 250 has been received (step S14). In step S ⁇ b> 14, the input reception module 251 determines whether an input such as a pinch operation from the operator has been received from the shared screen area.
  • the pinch operation is, for example, an operation in which the operator spreads his / her two fingers.
  • step S ⁇ b> 14 the input reception module 251 receives an input of a pinch operation at a specific position on the screen, thereby extending the image enlargement region from the specific position that is the starting point to the position of the two fingers that are spread out. Recognize. In addition, the input receiving module 251 recognizes the specified part or image and the enlargement ratio by the operator specifying a specific part or image on the screen and specifying the enlargement ratio. The input receiving module 251 may designate a specific part or image designated by the operator by image recognition.
  • step S14 when the input reception module 251 determines that the input is not received (step S14 NO), that is, when the operator is not performing the screen enlargement operation, the process is repeated until the input is received. At this time, when the user terminal 100 or the operator terminal 200 receives an input of the end of screen sharing from the user or the operator, this process ends.
  • step S14 when the input reception module 251 determines in step S14 that the input has been received (YES in step S14), that is, when the operator performs a screen enlargement operation, the position coordinate acquisition module 252 performs the received screen enlargement operation.
  • the position coordinates in the shared screen are acquired (step S15).
  • the position coordinate acquisition module 252 receives a pinch operation, the position coordinate acquisition module 252 acquires a position coordinate between a specific position serving as a starting point of the pinch operation and the positions of two fingers.
  • This position coordinate is a coordinate indicating a position in the shared screen area, and is shown as an orthogonal coordinate system.
  • This position coordinate is a value common to the shared screen area in the user terminal 100 and the shared screen area in the operator terminal 200.
  • the position indicated by the position coordinates on the operator terminal 200 and the position indicated by the position coordinates on the user terminal 100 are the same.
  • the position coordinates may be other coordinate systems.
  • FIG. 6 is a diagram schematically illustrating an example in which the input receiving module 251 receives a screen enlargement operation from the operator.
  • the input reception module 251 receives a screen enlargement operation for a part of the shared screen area 300.
  • the input reception module 251 receives a pinch operation from the operator 310.
  • the input reception module 251 designates the screen enlargement area 320 by a pinch operation.
  • the input receiving module 251 recognizes the range from the starting point where the pinch operation is performed to the respective positions of the two fingers as the screen enlargement region 320.
  • the input reception module 251 recognizes, as the screen enlargement area 320, a rectangular area having a diagonal line with a straight line connecting the positions of two fingers centered on the start point.
  • the shape and size of the screen enlargement area 320 can be changed as appropriate. Further, the input reception module 251 may recognize the screen enlargement region 320 by a method other than the method described above.
  • the position coordinate acquisition module 252 acquires the position coordinates of the screen enlargement area 320.
  • the position coordinate acquisition module 252 acquires the position coordinates of the screen enlargement area 320 by acquiring the position coordinates of each vertex of the screen enlargement area 320.
  • the position coordinate acquisition module 252 may acquire the position coordinates of the screen enlargement area 320 by acquiring the position coordinates of the center point of the screen enlargement area 320 and the distance to each vertex.
  • the position coordinates of the screen enlargement area 320 may be acquired by a method.
  • the position coordinate acquisition module 252 may obtain the position coordinates of the screen enlargement area 320 by a method according to the shape. For example, when the screen enlargement area 320 is circular, the position coordinate acquisition module 252 may acquire the position coordinates of the screen enlargement area 320 by acquiring the position coordinates and radius of the center point.
  • the position coordinate transmission module 241 transmits position coordinate information indicating the position coordinates acquired in step S15 to the user terminal 100 (step S16).
  • the position coordinate receiving module 141 receives position coordinate information.
  • the user terminal 100 acquires the position coordinates of the screen enlargement operation accepted by the operator terminal 200 by receiving the position coordinate information.
  • the image enlargement module 152 specifies the position in the shared screen displayed by the display module 151 based on the received position coordinate information, and enlarges the image in the specified shared screen (step S17).
  • the image enlargement module 152 specifies the position coordinates of the image that is the target of the shared screen area based on the acquired position coordinates.
  • the image enlargement module 152 arranges the image of the specified position coordinate in the center of the shared screen area and enlarges this image.
  • the image enlargement module 152 enlarges the image based on a preset enlargement ratio or an enlargement ratio that has received an input through a pinch operation.
  • step S ⁇ b> 17 the image enlargement module 152 stops imaging by the imaging module 150, changes a portion other than the identified image to a still image, increases the number of pixels of the identified image, and performs zoom focusing to capture the image.
  • the user terminal 100 changes the resolution of the subject by zoom-focusing on the specified image portion of the subject, captures this image, and enlarges the image by displaying the captured image.
  • the image enlargement module 152 may enlarge the image by changing only the size without changing the number of pixels of the specified image.
  • the image enlargement module 152 may enlarge the image by increasing the resolution of only the specified image portion and changing the size. Further, the image enlargement module 152 may enlarge the image by newly capturing only the specified image and actually increasing the number of pixels.
  • the display module 151 displays only the enlarged image, which is the image enlarged in step S17, in the shared screen (step S18). In step S18, the display module 151 arranges and displays the enlarged image in the center of the shared screen area.
  • FIG. 7 is a diagram illustrating an example of a state in which an enlarged image displayed by the display module 151 is schematically illustrated.
  • the display module 151 displays an enlarged image 410 at the center of the shared screen area 400.
  • the display module 151 displays only the enlarged image 410 in the shared screen area 400. That is, the display module 151 displays only the image specified by the screen enlargement operation input by the operator, and does not display other images.
  • the display module 151 may display the enlarged image at a position other than the center of the shared screen area 400. Further, the display module 151 may display not only the enlarged image 410 but also an image of a portion not designated by the screen enlargement operation input by the operator. In this case, for example, the display module 151 may display the enlarged image 410 by superimposing the enlarged image 410 on the image of the portion not designated by the screen enlargement operation, or may display the image by other methods.
  • the screen sharing module 140 transmits screen data of an image to be displayed in the shared screen area to the operator terminal 200 (step S19). Since the process of step S19 is the same as the process of step S12 mentioned above, detailed description is abbreviate
  • the screen sharing module 240 receives the screen data and displays an image (step S20). Since the process of step S20 is the same as the process of step S13 mentioned above, detailed description is abbreviate
  • the user terminal 100 and the operator terminal 200 share the enlarged image as a shared screen by the processing in step S19 and step S20 described above. That is, the enlarged image that the display module 151 displays in the shared screen area in step S18 and the enlarged image that the display module 250 displays in the shared screen area in step S20 are the same image.
  • FIG. 5 is a diagram illustrating a flowchart of the screen return process executed by the user terminal 100 and the operator terminal 200. The processing executed by the modules of each device described above will be described together with this processing. This process is a process executed by the screen sharing system 1 while the above-described screen sharing process is being executed.
  • the input receiving module 251 determines whether a screen reduction operation has been received (step S30). In step S30, the input reception module 251 determines whether an input such as a pinch operation from the operator has been received.
  • the pinch operation is, for example, an operation in which the operator narrows his / her two fingers or an operation to move the two fingers so as to pinch them.
  • step S30 when the input reception module 251 determines that the input is not received (NO in step S30), the process is repeated. At this time, when the user terminal 100 or the operator terminal 200 receives an input of the end of screen sharing from the user or the operator, this process ends.
  • the position coordinate acquisition module 252 acquires the position coordinates in the shared screen of the received screen reduction operation (step S31).
  • the position coordinate acquisition module 252 receives a pinch operation
  • the position coordinate acquisition module 252 acquires a position coordinate between a specific position serving as a starting point of the pinch operation and the positions of two fingers.
  • This position coordinate is a coordinate indicating a position in the shared screen area, and is shown as an orthogonal coordinate system.
  • This position coordinate is a value common to the shared screen area in the user terminal 100 and the shared screen area in the operator terminal 200.
  • the position indicated by the position coordinates on the operator terminal 200 and the position indicated by the position coordinates on the user terminal 100 are the same.
  • the position coordinates may be other coordinate systems.
  • FIG. 8 is a diagram schematically illustrating an example in which the input receiving module 251 receives a screen reduction operation from the operator.
  • the input reception module 251 receives a screen reduction operation for the enlarged image 500 displayed in the shared screen area 300.
  • the input reception module 251 receives a pinch operation.
  • the input receiving module 251 recognizes a range from the starting point where the pinch operation is performed to each position of the two fingers. Note that the input reception module 251 may recognize the screen reduction operation by a method other than the method described above.
  • the position coordinate acquisition module 252 acquires the position coordinates that have received this screen reduction operation.
  • the position coordinate acquisition module 252 acquires the position coordinates of the screen reduction operation by acquiring the position coordinates of the start point where the accepted pinch operation has been performed. Note that the position coordinate acquisition module 252 may acquire the position coordinates at which the screen reduction operation is received by other methods.
  • the position coordinate transmission module 241 transmits position coordinate information indicating the position coordinates acquired in step S31 to the user terminal 100 (step S32).
  • the position coordinate receiving module 141 receives position coordinate information.
  • the user terminal 100 acquires the position coordinates of the screen reduction operation accepted by the operator terminal 200 by receiving the position coordinate information.
  • the image restoration module 153 identifies the position in the shared screen displayed by the display module 151 based on the acquired position coordinate information, and the identified image in the shared screen is an enlarged image on which the screen enlargement operation has been performed. It is determined whether or not there is (step S33). In step S33, the image restoration module 153 determines whether the image to be displayed in the shared screen area is an enlarged image. The image restoration module 153 determines whether the image is an enlarged image, for example, whether the acquired position coordinates are the position coordinates where the screen enlargement operation has been performed, or whether the display module 151 displays the enlarged image. Judgment based on whether or not.
  • step S33 if the image restoration module 153 determines that the image is not an enlarged image (NO in step S33), the process is terminated.
  • step S33 If the image restoration module 153 determines in step S33 that the image is an enlarged image (YES in step S33), the image reflecting the screen enlargement operation displayed by the display module 151 is changed to an image not reflecting the screen enlargement operation. Then, the image is restored (step S34).
  • step S34 the image restoration module 153 restores the enlarged image displayed in the shared screen area by the display module 151 to the image displayed in the process of step S11 described above.
  • the image restoration module 153 restores the image to the state before the screen enlargement operation by returning the changed resolution, shape, aspect ratio, display position, and the like to the state before the change.
  • the display module 151 displays the restored image (step S35). In step S35, the display module 151 displays the restored image in the shared screen area.
  • the screen sharing module 140 transmits screen data of an image to be displayed in the shared screen area to the operator terminal 200 (step S36). Since the process of step S36 is the same as the process of step S12 mentioned above, detailed description is abbreviate
  • the screen sharing module 240 receives the screen data and displays an image (step S37). Since the process of step S37 is the same as the process of step S13 described above, detailed description thereof is omitted.
  • the user terminal 100 and the operator terminal 200 share an image in a state before the enlargement operation is reflected as a shared screen by the processing in step S36 and step S37 described above. That is, the image restored before the enlargement operation displayed by the display module 151 in the shared screen area in step S36 is reflected and the image displayed in the shared screen area by the display module 250 in step S37 are the same image. is there.
  • the user terminal 100 and the operator terminal 200 may be connected via a computer instead of being connected so as to be directly communicable.
  • each process described above may be executed by any one or a combination of the user terminal 100, the operator terminal 200, and the computer.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】利便性を向上させた画面共有システム、画面共有方法及びプログラムを提供することを目的とする。 【解決手段】ユーザ端末１００で撮像された画面を、ユーザ端末１００とオペレータ端末２００とで共有画面として共有する画面共有システム１は、オペレータ端末２００に表示された共有画面に対する画面拡大操作を受け付け、受け付けた画面拡大操作の共有画面内の位置座標を取得し、取得した位置座標に基づいて、ユーザ端末１００に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大し、画面拡大操作が反映されたユーザ端末１００に表示された画像を、ユーザ端末１００とオペレータ端末２００とで共有する。

Description

画面共有システム、画面共有方法及びプログラム
　本発明は、ユーザ端末で撮像された画面を、このユーザ端末とオペレータ端末とで共有画面として共有する画面共有システム、画面共有方法及びプログラムに関する。
　近年、遠隔会議等において、ユーザ端末で撮像した画像や指定された画像等を、自身に表示するとともに、表示した画像を、共有画面としてオペレータ端末と共有することが行われている。このような画面共有において、ユーザ端末で撮像した画像を、共有画面としてオペレータ端末に表示することにより、オペレータは、この画像に含まれる被写体に対しての操作方法や入力内容等の指示を、ユーザに行うことが可能となっている。
　このような画面共有の構成として、オペレータ端末に描画されたオブジェクトを、ユーザ端末と共有する画面共有システムが開示されている（特許文献１参照）。
特開２０１３－０６５１２５号公報
　しかしながら、特許文献１の構成では、オペレータが入力したコマンドや操作内容そのものをオブジェクトとして表示するものであり、オペレータが画像内の一部を拡大して閲覧しようとする場合、ユーザに対して音声や画像等の何らかの方法により、撮像しているカメラの移動や表示画像の拡大等の操作を指示する必要があった。そのため、利便性が低かった。
　本発明の目的は、オペレータが自身でカメラ画像の移動や拡大等の操作を実行することにより、利便性を向上させた画面共有システム、画面共有方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、ユーザ端末で撮像された画面を、当該ユーザ端末とオペレータ端末とで共有画面として共有する画面共有システムであって、
　前記オペレータ端末に表示された共有画面に対する画面拡大操作を受け付ける拡大操作受付手段と、
　前記受け付けた画面拡大操作の前記共有画面内の位置座標を取得する拡大位置座標取得手段と、
　前記取得した位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大する画像拡大手段と、
　前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有する拡大画面共有手段と、
　を備えることを特徴とする画面共有システムを提供する。
　第１の特徴に係る発明によれば、ユーザ端末で撮像された画面を、当該ユーザ端末とオペレータ端末とで共有画面として共有する画面共有システムは、前記オペレータ端末に表示された共有画面に対する画面拡大操作を受け付け、前記受け付けた画面拡大操作の前記共有画面内の位置座標を取得し、前記取得した位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大し、前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有する。
　ここで、第１の特徴に係る発明は、画面共有システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、前記オペレータ端末に表示された共有画面に対して画面縮小操作を受け付ける縮小操作受付手段と、
　前記受け付けた画面縮小操作の前記共有画面内の位置座標を取得する縮小位置座標取得手段と、
　前記取得された位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像が、画面拡大操作されている画像ならば、前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記画面拡大操作が反映されていない画像に戻す画像復帰手段と、
　前記戻す操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有する復帰画面共有手段と、
　を備えることを特徴とする第１の特徴に係る発明である画面共有システムを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明である画面共有システムは、前記オペレータ端末に表示された共有画面に対して画面縮小操作を受け付け、前記受け付けた画面縮小操作の前記共有画面内の位置座標を取得し、前記取得された位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像が、画面拡大操作されている画像ならば、前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記画面拡大操作が反映されていない画像に戻し、前記戻す操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有する。
　第３の特徴に係る発明は、前記画像拡大手段が、前記画面拡大操作に応じて、前記ユーザ端末に表示された共有画面内の位置をズーム撮像した画像を取得することで、前記特定された共有画面内の画像を拡大する、
　ことを特徴とする第１の特徴に係る発明である画面共有システムを提供する。
　第３の特徴に係る発明によれば、第１の特徴に係る発明である画面共有システムは、前記画面拡大操作に応じて、前記ユーザ端末に表示された共有画面内の位置をズーム撮像した画像を取得することで、前記特定された共有画面内の画像を拡大する。
　第４の特徴に係る発明は、ユーザ端末で撮像された画面を、当該ユーザ端末とオペレータ端末とで共有画面として共有する画面共有方法であって、
　前記オペレータ端末に表示された共有画面に対する画面拡大操作を受け付けるステップと、
　前記受け付けた画面拡大操作の前記共有画面内の位置座標を取得するステップと、
　前記取得した位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大するステップと、
　前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有するステップと、
　を備えることを特徴とする画面共有方法を提供する。
　第５の特徴に係る発明は、ユーザ端末で撮像された画面を、当該ユーザ端末とオペレータ端末とで共有画面として共有するコンピュータシステムに、
　前記オペレータ端末に表示された共有画面に対する画面拡大操作を受け付けるステップ、
　前記受け付けた画面拡大操作の前記共有画面内の位置座標を取得するステップ、
　前記取得した位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大するステップ、
　前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有するステップ、
　を実行させるためのプログラムを提供する。
　本発明によれば、オペレータが自身でカメラ画像の移動や拡大等の操作を実行することにより、利便性を向上させた画面共有システム、画面共有方法及びプログラムを提供することが可能となる。
図１は、画面共有システム１の概要を示す図である。 図２は、画面共有システム１の全体構成図である。 図３は、ユーザ端末１００、オペレータ端末２００の機能ブロック図である。 図４は、ユーザ端末１００、オペレータ端末２００が実行する画面共有処理のフローチャートを示す図である。 図５は、ユーザ端末１００、オペレータ端末２００が実行する画面復帰処理のフローチャートを示す図である。 図６は、オペレータ端末２００がオペレータからの画面拡大操作を受け付けた状態を模式的に示した一例を示す図である。 図７は、ユーザ端末１００が表示する拡大画像を模式的に示した状態の一例を示す図である。 図８は、オペレータ端末２００がオペレータからの画面縮小操作を受け付けた状態を模式的に示した一例を示す図である。
　以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［画面共有システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である画面共有システム１の概要を説明するための図である。画面共有システム１は、ユーザ端末１００、オペレータ端末２００から構成される。
　なお、図１において、ユーザ端末１００及びオペレータ端末２００は、１つに限らず複数であってもよい。また、ユーザ端末１００又はオペレータ端末２００は、実在する装置に限らず仮想的な装置であってもよい。また、後述する各処理は、ユーザ端末１００又はオペレータ端末２００のいずれか又は双方により実現されてもよい。また、ユーザ端末１００とオペレータ端末２００とは、直接通信するのではなく、コンピュータ等を介して通信してもよい。
　ユーザ端末１００は、オペレータ端末２００とデータ通信可能なユーザが操作する端末装置である。ユーザ端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品等である。
　オペレータ端末２００は、ユーザ端末１００とデータ通信可能なユーザに対して様々な指示を行うオペレータが操作する端末装置である。オペレータ端末２００は、ユーザ端末１００と同様の電化製品やウェアラブル端末やその他の物品等である。
　はじめに、ユーザ端末１００は、自身が有するカメラ等の撮像装置により、物品や機械等の被写体を撮像し、撮像した画像を自身の表示部に表示する（ステップＳ０１）。ユーザ端末１００は、被写体の動画又は静止画等の画像を撮像する。
　ユーザ端末１００とオペレータ端末２００とは、ユーザ端末１００が表示する撮像した画像を、共有画面として共有する（ステップＳ０２）。ユーザ端末１００は、自身が表示する画像の画面を示す画面データを、オペレータ端末２００に送信し、オペレータ端末２００は、この画面データを受信し、この画面データに基づいた画面を表示する。このようにすることにより、ユーザ端末１００とオペレータ端末２００とは共有画面を共有する。
　オペレータ端末２００は、自身の表示部が表示した共有画面に対する画面拡大操作を受け付ける（ステップＳ０３）。画面拡大操作とは、例えば、ピンチ操作等である。この画面拡大操作には、画面の拡大場所及び拡大率が含まれる。
　オペレータ端末２００は、画面拡大操作を受け付けた共有画面内の位置座標を取得する（ステップＳ０４）。オペレータ端末２００は、画面拡大操作を受け付けた地点の位置座標を取得する。位置座標とは、共有画面における位置を示す座標であり、例えば、直交座標系として取得する。
　オペレータ端末２００は、取得した位置座標の情報である位置座標情報を、ユーザ端末１００に送信する（ステップＳ０５）。
　ユーザ端末１００は、位置座標情報を受信することにより、オペレータ端末２００が受け付けた画面拡大操作の入力地点の位置座標を取得する。ユーザ端末１００は、取得した位置座標に基づいて、自身に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大する（ステップＳ０６）。ユーザ端末１００は、特定された画像を、共有画面の中央に配置し、画面拡大操作に含まれる拡大率に基づいて、画像を拡大する。画像の拡大とは、例えば、特定された画像の画素数は同一で、この画像を拡大率に基づいて表示することや、撮像装置を停止し、特定された画像以外部分は静止画にして、取得した位置座標の部分のみ画素数を上げて、ズームフォーカスして撮像した画像を表示することや、該当位置座標の画素数を上げた画像を撮像して表示することにより実行される。
　ユーザ端末１００とオペレータ端末２００とは、ユーザ端末１００が拡大した画像である拡大画像を、共有画面として共有する（ステップＳ０７）。ユーザ端末１００は、自身が表示する拡大画像の画面を、オペレータ端末２００に送信し、オペレータ端末２００は、この拡大画像を表示することにより、ユーザ端末１００とオペレータ端末２００とは拡大画像を共有画面として共有する。
　なお、オペレータ端末２００は、拡大画像に対して、画面縮小操作を受け付け、受け付けた画面縮小操作の共有画面内の位置座標を取得し、この位置座標である位置座標情報をユーザ端末１００に送信してもよい。このとき、ユーザ端末１００は、この位置座標情報を受信することにより、オペレータ端末２００が受け付けた画面縮小操作の入力地点の位置座標を取得し、この位置座標に基づいて、自身に表示された共有画面内の位置を特定し、特定された共有画面内の画像が、画面拡大操作されている画像ならば、画面拡大操作が反映された自身に表示された画像を、画面拡大操作が反映されていない画像に戻し、この戻す操作が反映された画像を、ユーザ端末１００とオペレータ端末２００とは、共有してもよい。
　以上が、画面共有システム１の概要である。
　［画面共有システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態である画面共有システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である画面共有システム１のシステム構成を示す図である。画面共有システム１は、ユーザ端末１００、オペレータ端末２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、ユーザ端末１００及びオペレータ端末２００は、１つに限らず、複数であってもよい。また、ユーザ端末１００又はオペレータ端末２００は、実在する装置に限らず、仮想的な装置であってもよい。また、後述する各処理は、ユーザ端末１００又はオペレータ端末２００のいずれか又は双方により実現されてもよい。また、ユーザ端末１００とオペレータ端末２００とは、直接通信するのではなく、コンピュータ等を介して通信してもよい。
　ユーザ端末１００は、後述の機能を備えた上述した端末装置である。
　オペレータ端末２００は、後述の機能を備えた上述した端末装置である。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態である画面共有システム１の機能について説明する。図３は、ユーザ端末１００、オペレータ端末２００の機能ブロック図を示す図である。
　ユーザ端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、ユーザ端末１００は、入出力部１３０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、動画や静止画等の画像を撮像する撮像素子、レンズ等の撮像デバイス等を備える。
　ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、画面共有モジュール１４０、位置座標受信モジュール１４１を実現する。また、ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１３０と協働して、撮像モジュール１５０、表示モジュール１５１、画像拡大モジュール１５２、画像復帰モジュール１５３を実現する。
　オペレータ端末２００は、ユーザ端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのＷｉＦｉ対応デバイス等を備え、入出力部２３０として、表示部や、入力部等を備える。
　オペレータ端末２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、画面共有モジュール２４０、位置座標送信モジュール２４１を実現する。また、オペレータ端末２００において、制御部２１０が所定のプログラムを読み込むことにより、入出力部２３０と協働して、表示モジュール２５０、入力受付モジュール２５１、位置座標取得モジュール２５２を実現する。
　［画面共有処理］
　図４に基づいて、画面共有システム１が実行する画面共有処理について説明する。図４は、ユーザ端末１００、オペレータ端末２００が実行する画面共有処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　はじめに、撮像モジュール１５０は、被写体を撮像する（ステップＳ１０）。被写体とは、例えば、物品や機械等である。ステップＳ１０において、撮像モジュール１５０は、被写体の動画又は静止画等の画像を撮像する。
　表示モジュール１５１は、撮像した画像を自身に表示する（ステップＳ１１）。ステップＳ１１において、表示モジュール１５１は、予め設定された共有画面領域に、この画像を表示する。この共有画面領域は、ユーザからの入力やアプリケーションによる入力等により設定されればよく、形状、位置等は適宜変更可能である。
　画面共有モジュール１４０は、オペレータ端末２００に、共有画面領域に表示する画像の画面データを送信する（ステップＳ１２）。ステップＳ１２において、画面共有モジュール１４０は、共有画面領域の画面を、画面データとしてオペレータ端末２００に送信する。
　画面共有モジュール２４０は、画面データを受信する。表示モジュール２５０は、予め設定された共有画面領域に、受信した画面データに基づいた画像を表示する（ステップＳ１３）。ステップＳ１３において、表示モジュール２５０は、予め設定された共有画面領域に、画像を表示する。この共有画面領域は、上述したステップＳ１１における共有画面領域と同様に、オペレータからの入力やアプリケーションによる入力等により設定されればよく、形状、位置等は適宜変更可能である。
　上述したステップＳ１２及びステップＳ１３の処理により、ユーザ端末１００とオペレータ端末２００とは、ユーザ端末１００が撮像した画像を、共有画面として共有する。すなわち、ステップＳ１１において表示モジュール１５１が共有画面領域に表示する画像と、ステップＳ１３において表示モジュール２５０が共有画面領域に表示する画像とは、同一の画像である。
　入力受付モジュール２５１は、表示モジュール２５０が表示する共有画面に対する画面拡大操作を受け付けたか否かを判断する（ステップＳ１４）。ステップＳ１４において、入力受付モジュール２５１は、オペレータからのピンチ操作等の入力を共有画面領域に対して受け付けたか否かを判断する。ピンチ操作とは、例えば、オペレータが自身の２本の指を広げる操作である。
　ステップＳ１４において、入力受付モジュール２５１は、画面上の特定の位置にピンチ操作の入力を受け付けることにより、始点となるこの特定の位置から広げられた２本の指の位置までを、画像の拡大領域と認識する。また、入力受付モジュール２５１は、オペレータが、画面上の特定の部位や画像等を指定し、拡大率を指定することにより、指定された部位や画像と拡大率とを認識する。入力受付モジュール２５１は、画像認識により、オペレータが指定した特定の部位や画像を指定すればよい。
　ステップＳ１４において、入力受付モジュール２５１は、入力を受け付けていないと判断した場合（ステップＳ１４　ＮＯ）、すなわち、オペレータが画面拡大操作を行っていない場合、入力を受け付けるまで本処理を繰り返す。なお、このとき、ユーザ端末１００又はオペレータ端末２００が、ユーザ又はオペレータからの画面共有の終了の入力を受け付けた場合、本処理を終了する。
　一方、ステップＳ１４において、入力受付モジュール２５１は、入力を受け付けたと判断した場合（ステップＳ１４　ＹＥＳ）、すなわち、オペレータが画面拡大操作を行った場合、位置座標取得モジュール２５２は、受け付けた画面拡大操作の共有画面内の位置座標を取得する（ステップＳ１５）。位置座標取得モジュール２５２は、ピンチ操作を受け付けた場合、ピンチ操作の始点となる特定の位置と、２本の指の位置との位置座標を取得する。この位置座標とは、共有画面領域における位置を示す座標であり、直行座標系として示される。この位置座標は、ユーザ端末１００における共有画面領域と、オペレータ端末２００における共有画面領域とで、共通の値である。すなわち、オペレータ端末２００における位置座標が示す位置と、ユーザ端末１００における位置座標が示す位置とは、同一である。なお、位置座標は、その他の座標系であってもよい。また、共有画面領域に限らず、画像そのものの座標であってもよいし、表示部の座標であってもよい。
　図６に基づいて、入力受付モジュール２５１が受け付ける画面拡大操作について説明する。図６は、入力受付モジュール２５１がオペレータからの画面拡大操作を受け付けた状態を模式的に示した一例を示す図である。図６において、入力受付モジュール２５１は、共有画面領域３００の一部に対する画面拡大操作を受け付ける。入力受付モジュール２５１は、オペレータ３１０からのピンチ操作を受け付ける。入力受付モジュール２５１は、画面拡大領域３２０を、ピンチ操作により指定する。入力受付モジュール２５１は、ピンチ操作が行われた始点から、２本の指の其々の位置までの範囲を画面拡大領域３２０として認識する。このとき、入力受付モジュール２５１は、始点を中心とし、２本の指の其々の位置を結んだ直線を対角線とする矩形状の領域を画面拡大領域３２０として認識する。
　なお、画面拡大領域３２０の形状や大きさ等は、適宜変更可能である。また、入力受付モジュール２５１は、上述した方法以外の方法により、画面拡大領域３２０を認識してもよい。
　位置座標取得モジュール２５２は、この画面拡大領域３２０の位置座標を取得する。図６において、位置座標取得モジュール２５２は、画面拡大領域３２０の各頂点の位置座標を取得することにより、画面拡大領域３２０の位置座標を取得する。
　なお、位置座標取得モジュール２５２は、画面拡大領域３２０の中心点の位置座標と、各頂点までの距離とを取得することにより、画面拡大領域３２０の位置座標を取得してもよいし、その他の方法により、画面拡大領域３２０の位置座標を取得してもよい。また、位置座標取得モジュール２５２は、画面拡大領域３２０がその他の形状であった場合、その形状に合わせた方法により、画面拡大領域３２０の位置座標を取得してもよい。例えば、画面拡大領域３２０が円形であった場合、位置座標取得モジュール２５２は、中心点の位置座標と半径を取得することにより、画面拡大領域３２０の位置座標を取得してもよい。
　位置座標送信モジュール２４１は、ステップＳ１５において取得した位置座標を示す位置座標情報をユーザ端末１００に送信する（ステップＳ１６）。
　位置座標受信モジュール１４１は、位置座標情報を受信する。ユーザ端末１００は、位置座標情報を受信することにより、オペレータ端末２００が受け付けた画面拡大操作の位置座標を取得する。
　画像拡大モジュール１５２は、受信した位置座標情報に基づいて、表示モジュール１５１が表示する共有画面内の位置を特定し、特定された共有画面内の画像を拡大する（ステップＳ１７）。ステップＳ１７において、画像拡大モジュール１５２は、取得した位置座標に基づいて、共有画面領域の対象とする画像の位置座標を特定する。画像拡大モジュール１５２は、特定した位置座標の画像を、共有画面領域の中央に配置するとともに、この画像を拡大する。画像拡大モジュール１５２は、予め設定された拡大率や、ピンチ操作により入力を受け付けた拡大率に基づいて、画像を拡大する。
　ステップＳ１７において、画像拡大モジュール１５２は、撮像モジュール１５０による撮像を停止し、特定された画像以外の部分を、静止画に変更し、特定された画像のみの画素数を上げ、ズームフォーカスして撮像することにより、画像を拡大する。すなわち、ユーザ端末１００は、被写体における特定された画像の部分に対してズームフォーカスすることにより被写体の解像度を変更し、この画像を撮像し、撮像した画像を表示することにより、画像を拡大する。なお、画像拡大モジュール１５２は、特定した画像の画素数を変更せずに、その大きさのみを変更することにより、画像を拡大してもよい。また、画像拡大モジュール１５２は、特定された画像の部分のみの解像度を上げるとともに、その大きさを変更することにより、画像を拡大してもよい。また、画像拡大モジュール１５２は、特定された画像のみを、実際に画素数を上げた画像を新たに撮像することにより、画像を拡大してもよい。
　表示モジュール１５１は、ステップＳ１７において拡大された画像である拡大画像のみを共有画面内に表示する（ステップＳ１８）。ステップＳ１８において、表示モジュール１５１は、拡大画像を、共有画面領域の中央に配置して表示する。
　図７は、表示モジュール１５１が表示する拡大画像を模式的に示した状態の一例を示す図である。図７において、表示モジュール１５１は、共有画面領域４００の中央に拡大画像４１０を表示する。このとき、表示モジュール１５１は、共有画面領域４００内に、拡大画像４１０のみを表示する。すなわち、表示モジュール１５１は、オペレータにより入力された画面拡大操作により指定された画像のみを表示し、それ以外の画像を表示しない。
　なお、表示モジュール１５１は、拡大画像を、共有画面領域４００の中央以外の位置に表示してもよい。また、表示モジュール１５１は、拡大画像４１０のみではなく、オペレータにより入力された画面拡大操作により指定されなかった部分の画像を表示してもよい。この場合、例えば、表示モジュール１５１は、この画面拡大操作により指定されなかった部分の画像に、拡大画像４１０を重畳させて表示させればよいし、その他の方法で表示してもよい。
　画面共有モジュール１４０は、オペレータ端末２００に、共有画面領域に表示する画像の画面データを送信する（ステップＳ１９）。ステップＳ１９の処理は、上述したステップＳ１２の処理と同様であるため、詳細な説明は省略する。
　画面共有モジュール２４０は、画面データを受信し、画像を表示する（ステップＳ２０）。ステップＳ２０の処理は、上述したステップＳ１３の処理と同様であるため、詳細な説明は省略する。
　上述したステップＳ１９及びステップＳ２０の処理により、ユーザ端末１００とオペレータ端末２００とは、拡大画像を、共有画面として共有する。すなわち、ステップＳ１８において表示モジュール１５１が共有画面領域に表示する拡大画像と、ステップＳ２０において表示モジュール２５０が共有画面領域に表示する拡大画像とは、同一の画像である。
　以上が、画面共有処理である。
　［画面復帰処理］
　図５に基づいて、画面共有システム１が実行する画面復帰処理について説明する。図５は、ユーザ端末１００、オペレータ端末２００が実行する画面復帰処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。本処理は、上述した画面共有処理が実行されている間に、画面共有システム１が実行する処理である。
　入力受付モジュール２５１は、画面縮小操作を受け付けたか否かを判断する（ステップＳ３０）。ステップＳ３０において、入力受付モジュール２５１は、オペレータからのピンチ操作等の入力を受け付けたか否かを判断する。ピンチ操作とは、例えば、オペレータが自身の２本の指を狭める操作や、２本の指をつまむように動かす操作である。
　ステップＳ３０において、入力受付モジュール２５１は、受け付けていないと判断した場合（ステップＳ３０　ＮＯ）、本処理を繰り返す。なお、このとき、ユーザ端末１００又はオペレータ端末２００が、ユーザ又はオペレータからの画面共有の終了の入力を受け付けた場合、本処理を終了する。
　一方、ステップＳ３０において、入力受付モジュール２５１は、受け付けたと判断した場合（ステップＳ３０　ＹＥＳ）、位置座標取得モジュール２５２は、受け付けた画面縮小操作の共有画面内の位置座標を取得する（ステップＳ３１）。位置座標取得モジュール２５２は、ピンチ操作を受け付けた場合、ピンチ操作の始点となる特定の位置と、２本の指の位置との位置座標を取得する。この位置座標とは、共有画面領域における位置を示す座標であり、直行座標系として示される。この位置座標は、ユーザ端末１００における共有画面領域と、オペレータ端末２００における共有画面領域とで、共通の値である。すなわち、オペレータ端末２００における位置座標が示す位置と、ユーザ端末１００における位置座標が示す位置とは、同一である。なお、位置座標は、その他の座標系であってもよい。また、共有画面領域に限らず、画像そのものの座標であってもよいし、表示部の座標であってもよい。
　図８に基づいて、入力受付モジュール２５１が受け付ける画面縮小操作について説明する。図８は、入力受付モジュール２５１がオペレータからの画面縮小操作を受け付けた状態を模式的に示した一例を示す図である。図８において、入力受付モジュール２５１は、共有画面領域３００に表示された拡大画像５００への画面縮小操作を受け付ける。入力受付モジュール２５１は、ピンチ操作を受け付ける。入力受付モジュール２５１は、このピンチ操作が行われた始点から、２本の指の其々の位置までの範囲を認識する。なお、入力受付モジュール２５１は、上述した方法以外の方法により、画面縮小操作を認識してもよい。
　位置座標取得モジュール２５２は、この画面縮小操作を受け付けた位置座標を取得する。図８において、位置座標取得モジュール２５２は、受け付けたピンチ操作が行われた始点の位置座標を取得することにより、画面縮小操作を受け付けた位置座標を取得する。なお、位置座標取得モジュール２５２は、その他の方法により、画面縮小操作を受け付けた位置座標を取得してもよい。
　位置座標送信モジュール２４１は、ステップＳ３１において取得した位置座標を示す位置座標情報をユーザ端末１００に送信する（ステップＳ３２）。
　位置座標受信モジュール１４１は、位置座標情報を受信する。ユーザ端末１００は、位置座標情報を受信することにより、オペレータ端末２００が受け付けた画面縮小操作の位置座標を取得する。
　画像復帰モジュール１５３は、取得した位置座標情報に基づいて、表示モジュール１５１が表示する共有画面内の位置を特定し、特定された共有画面内の画像が、画面拡大操作が行われた拡大画像であるか否かを判断する（ステップＳ３３）。ステップＳ３３において、画像復帰モジュール１５３は、共有画面領域に表示する画像が、拡大画像であるか否かを判断する。画像復帰モジュール１５３は、拡大画像であるか否かの判断を、例えば、この取得した位置座標が、画面拡大操作が行われた位置座標であるか、表示モジュール１５１が拡大画像を表示しているか否か等に基づいて判断する。
　ステップＳ３３において、画像復帰モジュール１５３は、拡大画像ではないと判断した場合（ステップＳ３３　ＮＯ）、本処理を終了する。
　ステップＳ３３において、画像復帰モジュール１５３は、拡大画像であると判断した場合（ステップＳ３３　ＹＥＳ）、表示モジュール１５１が表示する画面拡大操作が反映された画像を、画面拡大操作が反映されていない画像に戻し、画像を復帰させる（ステップＳ３４）。ステップＳ３４において、画像復帰モジュール１５３は、表示モジュール１５１が共有画面領域に表示した拡大画像を、上述したステップＳ１１の処理で表示する画像に復帰させる。画像復帰モジュール１５３は、変更していた解像度、形状、縦横比、表示位置等を、変更前の状態に戻すことにより、画面拡大操作が行われる以前の状態に画像を復帰させる。
　表示モジュール１５１は、復帰させた画像を表示する（ステップＳ３５）。ステップＳ３５において、表示モジュール１５１は、共有画面領域に、復帰させた画像を表示する。
　画面共有モジュール１４０は、オペレータ端末２００に、共有画面領域に表示する画像の画面データを送信する（ステップＳ３６）。ステップＳ３６の処理は、上述したステップＳ１２の処理と同様であるため、詳細な説明は省略する。
　画面共有モジュール２４０は、画面データを受信し、画像を表示する（ステップＳ３７）。ステップＳ３７の処理は、上述したステップＳ１３の処理と同様であるため、詳細な説明は省略する。
　上述したステップＳ３６及びステップＳ３７の処理により、ユーザ端末１００とオペレータ端末２００とは、拡大操作が反映される以前の状態の画像を、共有画面として共有する。すなわち、ステップＳ３６において表示モジュール１５１が共有画面領域に表示する拡大操作が反映される以前に復帰させた画像と、ステップＳ３７において表示モジュール２５０が共有画面領域に表示する画像とは、同一の画像である。
　以上が、画面復帰処理である。
　なお、上述した画面共有処理及び画面復帰処理において、ユーザ端末１００とオペレータ端末２００とを直接通信可能に接続する代わりに、コンピュータを介在して接続してもよい。この場合、上述した各処理を、ユーザ端末１００、オペレータ端末２００又はコンピュータのいずれか又は複数の組合わせにより実行すればよい。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　画面共有システム、１００　ユーザ端末、２００　オペレータ端末

Claims (5)

  1. 　ユーザ端末で撮像された画面を、当該ユーザ端末とオペレータ端末とで共有画面として共有する画面共有システムであって、
    　前記オペレータ端末に表示された共有画面に対する画面拡大操作を受け付ける拡大操作受付手段と、
    　前記受け付けた画面拡大操作の前記共有画面内の位置座標を取得する拡大位置座標取得手段と、
    　前記取得した位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大する画像拡大手段と、
    　前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有する拡大画面共有手段と、
    　を備えることを特徴とする画面共有システム。
  2. 　前記オペレータ端末に表示された共有画面に対して画面縮小操作を受け付ける縮小操作受付手段と、
    　前記受け付けた画面縮小操作の前記共有画面内の位置座標を取得する縮小位置座標取得手段と、
    　前記取得された位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像が、画面拡大操作されている画像ならば、前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記画面拡大操作が反映されていない画像に戻す画像復帰手段と、
    　前記戻す操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有する復帰画面共有手段と、
    　を備えることを特徴とする請求項１に記載の画面共有システム。
  3. 　前記画像拡大手段は、前記画面拡大操作に応じて、前記ユーザ端末に表示された共有画面内の位置をズーム撮像した画像を取得することで、前記特定された共有画面内の画像を拡大する、
    　ことを特徴とする請求項１に記載の画面共有システム。
  4. 　ユーザ端末で撮像された画面を、当該ユーザ端末とオペレータ端末とで共有画面として共有する画面共有方法であって、
    　前記オペレータ端末に表示された共有画面に対する画面拡大操作を受け付けるステップと、
    　前記受け付けた画面拡大操作の前記共有画面内の位置座標を取得するステップと、
    　前記取得した位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大するステップと、
    　前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有するステップと、
    　を備えることを特徴とする画面共有方法。
  5. 　ユーザ端末で撮像された画面を、当該ユーザ端末とオペレータ端末とで共有画面として共有するコンピュータシステムに、
    　前記オペレータ端末に表示された共有画面に対する画面拡大操作を受け付けるステップ、
    　前記受け付けた画面拡大操作の前記共有画面内の位置座標を取得するステップ、
    　前記取得した位置座標に基づいて、前記ユーザ端末に表示された共有画面内の位置を特定し、特定された共有画面内の画像を拡大するステップ、
    　前記画面拡大操作が反映された前記ユーザ端末に表示された画像を、前記ユーザ端末と前記オペレータ端末とで共有するステップ、
    　を実行させるためのプログラム。
PCT/JP2016/077629 2016-09-20 2016-09-20 画面共有システム、画面共有方法及びプログラム WO2018055659A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/077629 WO2018055659A1 (ja) 2016-09-20 2016-09-20 画面共有システム、画面共有方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/077629 WO2018055659A1 (ja) 2016-09-20 2016-09-20 画面共有システム、画面共有方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018055659A1 true WO2018055659A1 (ja) 2018-03-29

Family

ID=61689381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077629 WO2018055659A1 (ja) 2016-09-20 2016-09-20 画面共有システム、画面共有方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2018055659A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185298A (ja) * 2018-04-06 2019-10-24 株式会社プレイド 第一端末、サーバ装置、第二端末、情報処理方法、およびプログラム
CN111381791A (zh) * 2020-03-03 2020-07-07 北京文香信息技术有限公司 一种交互系统、方法、设备和存储介质
CN114430492A (zh) * 2020-10-29 2022-05-03 海信视像科技股份有限公司 显示设备、移动终端及图片同步缩放方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922339A (ja) * 1995-07-05 1997-01-21 Matsushita Electric Ind Co Ltd 遠隔操作装置
JP2015158736A (ja) * 2014-02-21 2015-09-03 キヤノン株式会社 画像処理装置、制御方法、プログラム、及び記録媒体
JP2015179947A (ja) * 2014-03-19 2015-10-08 Kddi株式会社 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム
US20150326620A1 (en) * 2014-05-06 2015-11-12 Dropbox, Inc. Media presentation in a virtual shared space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922339A (ja) * 1995-07-05 1997-01-21 Matsushita Electric Ind Co Ltd 遠隔操作装置
JP2015158736A (ja) * 2014-02-21 2015-09-03 キヤノン株式会社 画像処理装置、制御方法、プログラム、及び記録媒体
JP2015179947A (ja) * 2014-03-19 2015-10-08 Kddi株式会社 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム
US20150326620A1 (en) * 2014-05-06 2015-11-12 Dropbox, Inc. Media presentation in a virtual shared space

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185298A (ja) * 2018-04-06 2019-10-24 株式会社プレイド 第一端末、サーバ装置、第二端末、情報処理方法、およびプログラム
CN111381791A (zh) * 2020-03-03 2020-07-07 北京文香信息技术有限公司 一种交互系统、方法、设备和存储介质
CN111381791B (zh) * 2020-03-03 2023-03-21 安徽文香科技有限公司 一种交互系统、方法、设备和存储介质
CN114430492A (zh) * 2020-10-29 2022-05-03 海信视像科技股份有限公司 显示设备、移动终端及图片同步缩放方法
CN114430492B (zh) * 2020-10-29 2023-10-13 海信视像科技股份有限公司 显示设备、移动终端及图片同步缩放方法

Similar Documents

Publication Publication Date Title
KR102251483B1 (ko) 영상을 처리하는 전자 장치 및 방법
JP6205071B2 (ja) 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
EP3001247B1 (en) Method and terminal for acquiring panoramic image
US10244166B2 (en) Imaging device
JP6205072B2 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
JP6328255B2 (ja) マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体
TW202008216A (zh) 人臉影像處理方法、裝置及儲存介質
JPWO2016035421A1 (ja) パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
JP2013162487A (ja) 画像表示装置及び撮像装置
WO2015142971A1 (en) Receiver-controlled panoramic view video share
JP2016012786A (ja) 撮像装置
KR102661614B1 (ko) 화면 제공 방법 및 이를 지원하는 전자 장치
JP6646208B2 (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
KR20200136753A (ko) 외부 전자 장치를 통해 화면 공유 서비스를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
WO2018055659A1 (ja) 画面共有システム、画面共有方法及びプログラム
JP2016096481A (ja) 制御装置、撮像システム、制御方法、及び、プログラム
CN110941375A (zh) 对图像进行局部放大的方法、装置及存储介质
JP5564633B2 (ja) 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法
JP6221465B2 (ja) 情報処理装置、及びプログラム
JP2011186547A (ja) 表示制御装置、およびその制御方法、プログラム、記憶媒体
JP2018005091A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP5997824B1 (ja) 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
KR102614026B1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
US9542720B2 (en) Terminal device, image display method, and storage medium
JP2022162409A (ja) 電子機器及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16916730

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16916730

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP