WO2017168622A1 - 撮像画像共有システム、撮像画像共有方法及びプログラム - Google Patents

撮像画像共有システム、撮像画像共有方法及びプログラム Download PDF

Info

Publication number
WO2017168622A1
WO2017168622A1 PCT/JP2016/060339 JP2016060339W WO2017168622A1 WO 2017168622 A1 WO2017168622 A1 WO 2017168622A1 JP 2016060339 W JP2016060339 W JP 2016060339W WO 2017168622 A1 WO2017168622 A1 WO 2017168622A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
operator
terminal
information terminal
imaging direction
Prior art date
Application number
PCT/JP2016/060339
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/060339 priority Critical patent/WO2017168622A1/ja
Publication of WO2017168622A1 publication Critical patent/WO2017168622A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Definitions

  • the present invention relates to a captured image sharing system that shares a captured image captured by an information terminal with an operator terminal handled by an operator who is remotely connected via a network.
  • a configuration is disclosed in which a user is imaged by a camera installed at a remote location, the captured image is transmitted / received via a network, and the captured image is displayed to each user. (See Patent Document 1).
  • Patent Document 1 Although it is easy for each user to view a captured image, if one of the users wants to change the direction in which a camera installed at another location captures, It is necessary to instruct the user at the place to point the camera in a desired direction, and the user who has received this instruction needs to change the direction of the camera. For this reason, it is not easy to change the orientation of the camera, and convenience is low.
  • An object of the present invention is to provide a captured image sharing system, a captured image sharing method, and a program that improve convenience by allowing an operator to operate an information terminal.
  • the present invention provides the following solutions.
  • the invention according to the first feature is a captured image sharing system for sharing a captured image captured by an information terminal with an operator terminal handled by an operator who is remote via a network,
  • a captured image display means for displaying the captured image on the operator terminal;
  • a line-of-sight detecting means for detecting where the direction of the line of sight of the operator is looking in the displayed captured image;
  • Imaging direction changing means for changing the imaging direction of the information terminal so that the detected direction of the line of sight of the operator and the imaging direction of the information terminal are the same direction;
  • Changed image display means for displaying a captured image in which the imaging direction is changed on the operator terminal,
  • a captured image sharing system is provided.
  • the captured image sharing system for sharing a captured image captured by an information terminal with an operator terminal handled by an operator who is remote via a network includes the captured image captured by the operator terminal. And the direction of the line of sight of the operator detects where the displayed captured image is viewed, and the direction of the line of sight of the detected operator and the imaging direction of the information terminal are the same direction. The imaging direction of the information terminal is changed so that the captured image with the imaging direction changed is displayed on the operator terminal.
  • the invention according to the first feature is a category of the captured image sharing system, but the same actions and effects corresponding to the category are exhibited in other categories such as a method or a program.
  • the invention according to the second feature is a captured image sharing system that shares a captured image captured by an information terminal with an operator terminal that is worn by an operator who is remotely connected via a network.
  • a captured image display means for displaying the captured image on the operator terminal; Motion detection means for detecting the direction in which the operator terminal has moved; Imaging direction changing means for changing the imaging direction of the information terminal so that the detected direction of movement of the operator terminal and the imaging direction of the information terminal are the same direction; Changed image display means for displaying a captured image in which the imaging direction is changed on the operator terminal,
  • a captured image sharing system is provided.
  • a captured image sharing system for sharing a captured image captured by an information terminal with an operator terminal worn by an operator who is remote via a network includes the captured image as the operator. Display on the terminal, detect the direction in which the operator terminal has moved, and change the imaging direction of the information terminal so that the detected direction in which the operator terminal has moved is the same as the imaging direction of the information terminal Then, the captured image in which the imaging direction is changed is displayed on the operator terminal.
  • the invention according to the second feature is a category of the captured image sharing system, but the same operation and effect corresponding to the category are exhibited in other categories such as a method or a program.
  • the invention which concerns on 3rd characteristic WHEREIN The same image display means to display the same image as the captured image displayed on the said operator terminal on the said information terminal, A captured image sharing system that is an invention according to the first or second feature is provided.
  • the captured image sharing system according to the first or second aspect of the invention provides the information terminal with the same image as the captured image displayed on the operator terminal. indicate.
  • the imaging direction changing means changes the imaging direction of the information terminal so that the detected direction of the line of sight of the operator is the center of the imaging direction of the information terminal.
  • the captured image sharing system is such that the detected line-of-sight direction of the operator is the center of the imaging direction of the information terminal.
  • the imaging direction of the information terminal is changed.
  • the imaging direction changing means changes the imaging direction of the information terminal so that the detected direction in which the operator terminal moves is the center of the imaging direction of the information terminal.
  • the detected direction of movement of the operator terminal is the center of the imaging direction of the information terminal.
  • the imaging direction of the information terminal is changed.
  • An invention according to a sixth aspect is a captured image sharing method for sharing a captured image captured by an information terminal with an operator terminal handled by an operator who is remote via a network, Displaying the captured image on the operator terminal; Detecting where the operator's line of sight is looking in the displayed captured image; Changing the imaging direction of the information terminal such that the detected line of sight of the operator and the imaging direction of the information terminal are the same direction; Displaying the captured image in which the imaging direction is changed on the operator terminal; A captured image sharing method is provided.
  • the invention according to a seventh aspect is a captured image sharing method for sharing a captured image captured by an information terminal with an operator terminal worn by an operator who is remotely connected via a network, Displaying the captured image on the operator terminal; Detecting the direction in which the operator terminal has moved; Changing the imaging direction of the information terminal so that the detected direction of movement of the operator terminal and the imaging direction of the information terminal are the same direction; Displaying the captured image in which the imaging direction is changed on the operator terminal; A captured image sharing method is provided.
  • the invention according to the eighth feature provides a captured image sharing system for sharing a captured image captured by an information terminal with an operator terminal handled by an operator who is remote via a network. Displaying the captured image on the operator terminal; Detecting where the direction of the line of sight of the operator is looking in the displayed captured image; Changing the imaging direction of the information terminal such that the detected line of sight of the operator and the imaging direction of the information terminal are the same direction; Displaying the captured image in which the imaging direction is changed on the operator terminal; A program characterized in that is executed is provided.
  • the invention according to the ninth feature provides a captured image sharing system for sharing a captured image captured by an information terminal with an operator terminal worn by an operator who is remotely connected via a network. Displaying the captured image on the operator terminal; Detecting the direction in which the operator terminal has moved, Changing the imaging direction of the information terminal so that the detected direction of movement of the operator terminal and the imaging direction of the information terminal are the same direction; Displaying the captured image in which the imaging direction is changed on the operator terminal; A program characterized in that is executed is provided.
  • the present invention it is possible to provide a captured image sharing system, a captured image sharing method, and a program with improved convenience by allowing an operator to operate an information terminal.
  • FIG. 1 is a diagram illustrating an overview of a captured image sharing system 1 according to the first embodiment.
  • FIG. 2 is a diagram illustrating an outline of the captured image sharing system 1 according to the second embodiment.
  • FIG. 3 is an overall configuration diagram of the captured image sharing system 1 according to the first embodiment.
  • FIG. 4 is an overall configuration diagram of the captured image sharing system 1 according to the second embodiment.
  • FIG. 5 is a functional block diagram of the operator terminal 100 and the information terminal 200 in the first embodiment.
  • FIG. 6 is a functional block diagram of the operator terminal 100 and the information terminal 200 in the second embodiment.
  • FIG. 7 is a flowchart illustrating a captured image sharing process executed by the operator terminal 100 and the information terminal 200 according to the first embodiment.
  • FIG. 1 is a diagram illustrating an overview of a captured image sharing system 1 according to the first embodiment.
  • FIG. 2 is a diagram illustrating an outline of the captured image sharing system 1 according to the second embodiment.
  • FIG. 3 is an overall configuration diagram of the captured image sharing system
  • FIG. 8 is a flowchart showing a captured image sharing process executed by the operator terminal 100 and the information terminal 200 in the second embodiment.
  • FIG. 9 is a captured image showing a state where the operator's line of sight displayed on the operator terminal 100 is detected.
  • FIG. 10 is a diagram illustrating the information terminal 200 showing a state where the imaging direction is changed.
  • FIG. 11 is a change image displayed by the operator terminal 100.
  • FIG. 12 is a captured image showing a state in which the operator's line of sight displayed on the operator terminal 100 is detected.
  • FIG. 13 is a diagram illustrating the information terminal 200 showing a state where the imaging direction is changed.
  • FIG. 14 is a diagram illustrating a state in which the information terminal 200 displays a captured image or a changed image.
  • FIG. 1 is a diagram for explaining an overview of a captured image sharing system 1 according to a preferred first embodiment of the present invention.
  • the captured image sharing system 1 includes an operator terminal 100 and an information terminal 200.
  • the number of operator terminals 100 and information terminals 200 is not limited to one and may be plural.
  • Each device may be realized by either or both of an actual device and a virtual device.
  • Each process described below may be realized by either or both of the operator terminal 100 and the information terminal 200.
  • the operator terminal 100 is an information terminal capable of data communication with the information terminal 200.
  • the operator terminal 100 is, for example, a mobile phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass worn by an operator, It is a wearable terminal such as a head-mounted display, and other articles.
  • the information terminal 200 is a terminal device capable of data communication with the operator terminal 100 and capable of capturing images such as moving images and still images.
  • the information terminal 200 is, for example, an electrical appliance similar to the operator terminal 100, a network camera that transmits an image captured by itself via a network to another device, or an inside that can autonomously execute some work or action.
  • a robot having an imaging device.
  • the operator terminal 100 as a mobile terminal such as a mobile phone and a tablet terminal
  • the information terminal 200 as a network camera.
  • the operator terminal 100 acquires a captured image captured by the information terminal 200 and displays the acquired captured image (step S01).
  • the operator terminal 100 detects the direction of the operator's line of sight in the displayed captured image.
  • the operator terminal 100 transmits to the information terminal 200 a change instruction that instructs to change the imaging direction based on the detected line-of-sight direction (step S02).
  • the information terminal 200 receives the change instruction and changes the imaging direction based on the change instruction.
  • the information terminal 200 changes the imaging direction so that the direction of the line of sight based on the change instruction is the same as the imaging direction.
  • the information terminal 200 captures the captured image in the changed imaging direction and transmits it to the operator terminal 100 (step S03).
  • the operator terminal 100 displays the received captured image.
  • the information terminal 200 may display the same image as the captured image displayed by the operator terminal 100.
  • FIG. 3 is a diagram showing a system configuration of the captured image sharing system 1 according to the preferred first embodiment of the present invention.
  • the captured image sharing system 1 includes an operator terminal 100, an information terminal 200, and a public line network (Internet network, third and fourth generation communication network, etc.) 5.
  • the number of operator terminals 100 or information terminals 200 is not limited to one, and each may be plural.
  • Each device may be realized by either or both of an actual device and a virtual device.
  • Each process described below may be realized by either or both of the operator terminal 100 and the information terminal 200.
  • the operator terminal 100 is the above-described terminal device having the functions described later. In the first embodiment, the operator terminal 100 will be described by taking a mobile terminal such as a mobile phone or a tablet terminal as an example.
  • the information terminal 200 is the above-described terminal device having the functions described below. In the first embodiment, the information terminal 200 will be described using a network camera as an example.
  • FIG. 5 is a functional block diagram of the operator terminal 100 and the information terminal 200.
  • the operator terminal 100 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 110, and a device for enabling the communication unit 120 to communicate with other devices.
  • a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the operator terminal 100 serves as an input / output unit 140 that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that receives input from the operator, and a line of sight detection. And a detection device such as a sensor.
  • the control unit 110 reads a predetermined program, thereby realizing a captured image acquisition instruction transmission module 150, a captured image data reception module 151, and an imaging direction change instruction transmission module 152 in cooperation with the communication unit 120. To do. Further, in the operator terminal 100, the control unit 110 reads a predetermined program, thereby realizing a captured image acquisition / input reception module 170, a captured image display module 171 and a line-of-sight detection module 172 in cooperation with the input / output unit 140. .
  • the information terminal 200 includes a CPU, RAM, ROM, and the like as the control unit 210, and a wireless device for enabling communication with other devices as the communication unit 220.
  • the information terminal 200 includes, as the input / output unit 240, a display unit, an input unit, an imaging device such as an imaging device and a lens, other devices, and the like.
  • the control unit 210 when the control unit 210 reads a predetermined program, the captured image acquisition instruction reception module 250, the captured image data transmission module 251, and the imaging direction change instruction reception module 252 are realized in cooperation with the communication unit 220. To do. In the information terminal 200, the control unit 210 reads a predetermined program, thereby realizing the imaging module 270 and the imaging direction changing module 271 in cooperation with the input / output unit 240.
  • FIG. 7 is a flowchart of the captured image sharing process executed by the operator terminal 100 and the information terminal 200. The processing executed by the modules of each device described above will be described together with this processing.
  • the captured image acquisition input reception module 170 determines whether an input from the operator has been received (step S20). In step S ⁇ b> 20, the captured image acquisition / input reception module 170 performs the determination of this processing based on activation of a dedicated application, whether or not an input instructing acquisition of a captured image is received on a dedicated WEB site, and the like. In step S20, when the captured image acquisition input receiving module 170 determines that the input is not received (step S20 NO), the process is repeated.
  • step S20 when the captured image acquisition input reception module 170 determines that the input has been received (step S20 YES), the captured image acquisition instruction transmission module 150 transmits a captured image acquisition instruction to the information terminal 200. (Step S21).
  • the captured image acquisition instruction receiving module 250 receives the acquisition instruction transmitted by the operator terminal 100.
  • the imaging module 270 captures an image such as a still image or a moving image based on the acquisition instruction (step S22).
  • the captured image data transmission module 251 transmits captured image data indicating the captured image to the operator terminal 100 (step S23).
  • the information terminal 200 does not capture an image based on the acquisition instruction, but continuously captures an image, and shows a captured image indicating the captured image at the timing when the acquisition instruction is received.
  • the data may be transmitted to the operator terminal 100.
  • the captured image data receiving module 151 receives captured image data transmitted by the information terminal 200.
  • the captured image display module 171 displays an image captured by the information terminal 200 based on the received captured image data (step S24).
  • the captured image display module 171 is not limited to a configuration that displays captured image data transmitted from one information terminal 200, but receives captured image data transmitted from a plurality of information terminals 200, and a plurality of captured image data. A plurality of captured images may be displayed as a list based on the image data.
  • the line-of-sight detection module 172 detects the line of sight of the operator (step S25).
  • the line-of-sight detection module 172 recognizes, for example, the operator's eye as a reference point and the iris as a moving point, and detects the operator's line of sight based on the positional relationship between the reference point and the moving point.
  • the line-of-sight detection module 172 recognizes the corneal reflection as a reference point and the pupil as a moving point by an infrared camera or infrared LED, and detects the line of sight of the operator based on the positional relationship between the reference point and the moving point.
  • the line-of-sight detection module 172 may detect the line of sight by other methods.
  • the line-of-sight detection in step S25 means that the operator detects the direction and amount of movement of the line of sight from a predetermined position to another position, or the direction of the operator's line of sight where the operator is looking in the captured image. Is to detect.
  • the line-of-sight detection module 172 detects, for example, in which position in the captured image the direction of the line of sight is located based on the position where the line of sight is detected and the position of the display unit. Note that the direction of the line of sight may be detected by other methods.
  • the line-of-sight detection module 172 determines whether or not a change in the direction of the line of sight has been detected (step S26). If it is determined in step S26 that no change has been detected (NO in step S26), this process is repeated.
  • step S26 if it is determined in step S26 that a change has been detected (YES in step S26), the imaging direction change instruction transmission module 152 sends a change instruction that instructs the information terminal 200 to change the imaging direction based on the detected change. Transmit (step S27).
  • FIG. 9 is a diagram illustrating a captured image showing a state in which the line-of-sight detection module 172 detects the line of sight of the operator.
  • the captured image display module 171 displays a captured image 400.
  • the line-of-sight detection module 172 superimposes the direction of the line of sight of the operator on the captured image 400 and displays it as the line-of-sight position 410.
  • the line-of-sight detection module 172 detects a change in the direction of the line of sight, for example, by determining whether or not the line-of-sight position 410 has changed significantly for a predetermined time.
  • a large variation is, for example, a state when the moving distance in the direction of the line of sight per unit time is larger than a threshold value.
  • the line-of-sight detection module 172 may detect a change in the direction of the line of sight by other methods.
  • the line-of-sight position 410 is schematically displayed, but the line-of-sight detection module 172 does not need to display the line-of-sight position 410 superimposed on the captured image 400.
  • the imaging direction change instruction receiving module 252 receives the change instruction.
  • the imaging direction change module 271 changes the imaging direction based on the received change instruction so that the direction of the line of sight of the operator detected by the operator terminal 100 is the same as the imaging direction (step S28).
  • the imaging direction changing module 271 changes the imaging direction, for example, by changing the location where the imaging module 270 captures an image to be centered on the point specified by the change instruction, or by the change instruction. The location where the imaging module 270 captures images is changed in accordance with the detected movement in the direction of the line of sight of the operator.
  • FIG. 10 is a diagram illustrating the information terminal 200 in a state where the imaging direction changing module 271 has changed the imaging direction.
  • the imaging direction change module 271 drives the imaging module 270 based on the received change instruction, and changes the imaging direction so that the detected point becomes the center of the imaging direction.
  • the imaging module 270 is located at the center of the information terminal 200 at the timing of imaging in the above-described step S22.
  • the imaging point changed is set to a position that becomes the center of the imaging direction. Moving. Needless to say, the position of the imaging module 270 can be changed as appropriate.
  • the imaging module 270 captures an image in the changed imaging direction (step S29).
  • the captured image data transmission module 251 transmits the changed image data indicating the image captured in step S29 to the operator terminal 100 (step S30).
  • the captured image data receiving module 151 receives the changed image data.
  • the captured image display module 171 displays a changed image based on the received changed image data (step S31).
  • FIG. 11 is a diagram illustrating a changed image displayed by the captured image display module 171.
  • the captured image display module 171 displays the line-of-sight position 410 detected in step S ⁇ b> 25 described above as the center position of the changed image 500.
  • the information terminal 200 may be configured to display the captured image and the changed image transmitted to the operator terminal 100 on itself. That is, the information terminal 200 may be configured to display the same image as that displayed on the operator terminal 100.
  • the information terminal 200 may display the captured image and the changed image on a display unit provided in or near the information terminal 200, for example.
  • FIG. 2 is a diagram for explaining the outline of the captured image sharing system 1 which is the preferred second embodiment of the present invention.
  • the captured image sharing system 1 includes an operator terminal 100 and an information terminal 200.
  • the operator terminal 100 and the information terminal 200 are not limited to one and may be plural. Each device may be realized by either or both of an actual device and a virtual device. Each process described below may be realized by either or both of the operator terminal 100 and the information terminal 200.
  • the operator terminal 100 is a terminal device similar to that of the first embodiment.
  • the information terminal 200 is the same terminal device as in the first embodiment.
  • the operator terminal 100 will be described as a wearable terminal such as a smart glass or a head-mounted display, and the information terminal 200 will be described as a robot.
  • the operator terminal 100 acquires a captured image captured by the information terminal 200 and displays the acquired captured image (step S10).
  • the process in step S10 is the same as the process in step S01 described above.
  • the operator terminal 100 detects the direction of the operator's line of sight in the displayed captured image.
  • the operator terminal 100 transmits to the information terminal 200 a change instruction that instructs to change the imaging direction based on the detected line-of-sight direction (step S11).
  • the process in step S11 is the same as the process in step S02.
  • the information terminal 200 receives the change instruction, changes the imaging direction based on the change instruction, and changes the imaging direction so that the line-of-sight direction and the imaging direction are based on the change instruction.
  • the information terminal 200 changes the image capturing direction by moving itself or changing the image capturing direction of the image capturing apparatus provided in the information terminal 200.
  • the information terminal 200 captures a captured image in the changed imaging direction and transmits it to the operator terminal 100 (step S12).
  • the operator terminal 100 displays the received captured image.
  • the process of step S12 is the same as the process of step S03 described above.
  • the information terminal 200 may display the same image as the captured image displayed by the operator terminal 100.
  • FIG. 4 is a diagram showing a system configuration of a captured image sharing system 1 which is a preferred second embodiment of the present invention.
  • the imaging sharing system 1 includes an operator terminal 100, an information terminal 200, and a public line network 5. Note that the number of operator terminals 100 or information terminals 200 is not limited to one, and each may be plural. Each device may be realized by either or both of an actual device and a virtual device. Each process described below may be realized by either or both of the operator terminal 100 and the information terminal 200.
  • the operator terminal 100 is a terminal device similar to that of the first embodiment described above. In the second embodiment, the operator terminal 100 will be described using a wearable terminal as an example.
  • the information terminal 200 is a terminal device similar to that of the first embodiment described above. In the second embodiment, the information terminal 200 will be described using a robot as an example.
  • FIG. 6 is a functional block diagram of the operator terminal 100 and the information terminal 200.
  • the operator terminal 100 includes a control unit 110, a communication unit 120, and an input / output unit 140, as in the first embodiment described above.
  • the operator terminal 100 implements each module described above, similarly to the above-described first embodiment.
  • the information terminal 200 includes a control unit 210, a communication unit 220, and an input / output unit 240, as in the first embodiment described above.
  • the information terminal 200 implements each module described above, as in the first embodiment described above.
  • FIG. 8 is a diagram illustrating a flowchart of the captured image sharing process executed by the operator terminal 100 and the information terminal 200. The processing executed by the modules of each device described above will be described together with this processing.
  • the operator terminal 100 and the information terminal 200 execute the processes of steps S20 to S27 in the first embodiment (steps S40 to S47).
  • the details of each process are the same as those in the first embodiment, and will be omitted.
  • FIG. 12 is a diagram illustrating a state in which the line-of-sight detection module 172 detects the operator's line of sight.
  • the captured image display module 171 displays a captured image 600.
  • the line-of-sight detection module 172 superimposes the direction of the line of sight of the operator on the captured image 600 and displays it as the line-of-sight position 610.
  • the line-of-sight detection module 172 detects the direction of the line of sight, as in the first embodiment described above.
  • the line-of-sight position 610 is schematically displayed in FIG. 12, the line-of-sight detection module 172 does not need to display the line-of-sight position 610 superimposed on the captured image 600.
  • the imaging direction instruction receiving module 252 receives a change instruction. Based on the received change instruction, the imaging direction change module 271 changes the imaging direction so that the direction of the line of sight of the operator detected by the operator terminal 100 is the same as the imaging direction (step S48). In step S48, the imaging direction changing module 271 may change the direction of its body according to the direction of the line of sight of the operator, or may change the imaging module 270 provided therein. In step S48, the imaging direction changing module 271 changes the location where the imaging module captures an image so that the point specified by the change instruction is the center, or the direction of the detected operator's line of sight specified by the change instruction. The location where the imaging module 270 captures an image is changed according to the movement of the image.
  • FIG. 13 is a diagram illustrating the information terminal 200 showing a state where the imaging direction changing module 271 has changed the imaging direction.
  • the imaging direction change module 271 drives the imaging module 270 and changes the imaging direction so that the detected point becomes the center of the imaging direction.
  • the imaging direction change module 271 drives the head 700, and the direction of the imaging module 270 provided in the head 700 so that the detected point is the center of the imaging direction. In order to change, the head 700 is rotated or the like.
  • the imaging direction changing module 271 drives part or all of itself, and rotates part or all of itself so that the detected point becomes the center of the imaging direction. Let Note that the position of the imaging module 270 can be changed as appropriate.
  • the operator terminal 100 and the information terminal 200 execute the processes of steps S29 to S31 in the first embodiment (steps S49 to S51).
  • the details of each process are the same as those in the first embodiment, and will be omitted.
  • the information terminal 200 may be configured to display the captured image and the changed image transmitted to the operator terminal 100 on itself.
  • FIG. 14 is a diagram illustrating a state in which the information terminal 200 displays a captured image or a changed image.
  • the information terminal 200 displays an image 800 captured by the information terminal 200 on the display 810. This image 800 is the above-described captured image or modified image.
  • the captured image sharing system 1 includes an operator terminal 100 and an information terminal 200, as in the above-described embodiment.
  • the line of sight of the operator is detected and the imaging direction is changed.
  • the operator terminal 100 will be described as an example of a wearable terminal as in the second embodiment
  • the information terminal 200 will be described as an example of a robot as in the second embodiment.
  • the operator terminal 100 and the information terminal 200 execute the processes of steps S20 to S24 described above.
  • the operator terminal 100 detects the direction in which the operator terminal 100 has moved.
  • the operator terminal 100 detects the direction and amount of movement of the operator terminal 100 using, for example, an acceleration sensor or a compass.
  • the operator terminal 100 may detect the moving direction by other methods.
  • the operator terminal 100 transmits a change instruction to the information terminal 200 based on the detected change. This process is the same as step S27 described above.
  • the information terminal 200 changes the imaging direction based on the received change instruction so that the moving direction of the operator terminal detected by the operator terminal 100 is the same as the imaging direction. This process is the same as step S28 and step S48 mentioned above.
  • the information terminal 200 captures an image in the changed imaging direction, and transmits this image to the operator terminal 100 as changed image data.
  • the operator terminal 100 displays a changed image based on the received changed image data. This process is the same as steps S30 and S31 described above.
  • the information terminal 200 may be configured to display the same image as the operator terminal 100, as in the first embodiment and the second embodiment.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】オペレータが情報端末を操作することを可能にすることにより、利便性を向上させた撮像画像共有システム、撮像画像共有方法及びプログラムを提供することを目的とする。 【解決手段】撮像画像共有システム１は、撮像画像を、オペレータ端末１００に表示し、オペレータの視線の方向が、表示された撮像画像のどこを見ているかを検知し、検知されたオペレータの視線の方向と、情報端末２００の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更し、オペレータ端末１００に、前記撮像方向が変更された撮像画像を表示する。

Description

撮像画像共有システム、撮像画像共有方法及びプログラム
　本発明は、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有する撮像画像共有システムに関する。
　近年、ネットワークカメラ、情報端末等の機器により、動画や静止画等の画像を撮像し、この撮像した撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有することが行われている。
　このような構成として、離れた場所に設置されたカメラにより、利用者を撮像し、撮像した撮像画像を、ネットワークを介して送受信し、各利用者にこの撮像画像を表示する構成が開示されている（特許文献１参照）。
特開２００５－３２３０１０号公報
　しかしながら、特許文献１の構成では、撮像画像を各利用者が閲覧することは容易であるものの、利用者の一人が、他の場所に設置されたカメラが撮像する方向を変更したい場合、他の場所にいる利用者に対して、所望する向きにカメラを向かせる指示を行い、この指示を受けた利用者がカメラの向きを変更する必要があった。そのため、カメラの向きを変更することが容易ではなく、利便性が低かった。
　本発明の目的は、オペレータが情報端末を操作することを可能にすることにより、利便性を向上させた撮像画像共有システム、撮像画像共有方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有する撮像画像共有システムであって、
　前記撮像画像を、前記オペレータ端末に表示する撮像画像表示手段と、
　前記オペレータの視線の方向が、前記表示された撮像画像のどこを見ているかを検知する視線検知手段と、
　前記検知されたオペレータの視線の方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更する撮像方向変更手段と、
　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示する変更画像表示手段と、
　を備えることを特徴とする撮像画像共有システムを提供する。
　第１の特徴に係る発明によれば、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有する撮像画像共有システムは、前記撮像画像を、前記オペレータ端末に表示し、前記オペレータの視線の方向が、前記表示された撮像画像のどこを見ているかを検知し、前記検知されたオペレータの視線の方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更し、前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示する。
　ここで、第１の特徴に係る発明は、撮像画像共有システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが装着するオペレータ端末と共有する撮像画像共有システムであって、
　前記撮像画像を、前記オペレータ端末に表示する撮像画像表示手段と、
　前記オペレータ端末が動いた方向を検知する動き検知手段と、
　前記検知したオペレータ端末の動いた方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更する撮像方向変更手段と、
　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示する変更画像表示手段と、
　を備えることを特徴とする撮像画像共有システムを提供する。
　第２の特徴に係る発明によれば、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが装着するオペレータ端末と共有する撮像画像共有システムは、前記撮像画像を、前記オペレータ端末に表示し、前記オペレータ端末が動いた方向を検知し、前記検知したオペレータ端末の動いた方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更し、前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示する。
　ここで、第２の特徴に係る発明は、撮像画像共有システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第３の特徴に係る発明は、前記情報端末に、前記オペレータ端末に表示された撮像画像と同じ画像を表示する同一画像表示手段と、
　を備えることを特徴とする第１又は第２の特徴に係る発明である撮像画像共有システムを提供する。
　第３の特徴に係る発明によれば、第１又は第２のいずれかの特徴に係る発明である撮像画像共有システムは、前記情報端末に、前記オペレータ端末に表示された撮像画像と同じ画像を表示する。
　第４の特徴に係る発明は、前記撮像方向変更手段が、前記検知されたオペレータの視線の方向が、前記情報端末の撮像方向の中心となるように、前記情報端末の撮像方向を変更する、
　ことを特徴とする第１の特徴に係る発明である撮像画像共有システムを提供する。
　第４の特徴に係る発明によれば、第１の特徴に係る発明である撮像画像共有システムは、前記検知されたオペレータの視線の方向が、前記情報端末の撮像方向の中心となるように、前記情報端末の撮像方向を変更する。
　第５の特徴に係る発明は、前記撮像方向変更手段が、前記検知されたオペレータ端末の動いた方向が、前記情報端末の撮像方向の中心となるように、前記情報端末の撮像方向を変更する、
　ことを特徴とする第２の特徴に係る発明である撮像画像共有システムを提供する。
　第５の特徴に係る発明によれば、第２の特徴に係る発明である撮像画像共有システムは、前記検知されたオペレータ端末の動いた方向が、前記情報端末の撮像方向の中心となるように、前記情報端末の撮像方向を変更する。
　第６の特徴に係る発明は、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有する撮像画像共有方法であって、
　前記撮像画像を、前記オペレータ端末に表示するステップと、
　前記オペレータの視線の方向が、前記表示された撮像画像のどこを見ているかを検知するステップと、
　前記検知されたオペレータの視線の方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更するステップと、
　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示するステップと、
　を備えることを特徴とする撮像画像共有方法を提供する。
　第７の特徴に係る発明は、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが装着するオペレータ端末と共有する撮像画像共有方法であって、
　前記撮像画像を、前記オペレータ端末に表示するステップと、
　前記オペレータ端末が動いた方向を検知するステップと、
　前記検知したオペレータ端末の動いた方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更するステップと、
　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示するステップと、
　を備えることを特徴とする撮像画像共有方法を提供する。
　第８の特徴に係る発明は、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有する撮像画像共有システムに、
　前記撮像画像を、前記オペレータ端末に表示するステップ、
　前記オペレータの視線の方向が、前記表示された撮像画像のどこを見ているかを検知するステップ、
　前記検知されたオペレータの視線の方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更するステップ、
　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示するステップ、
　を実行させることを特徴とするプログラムを提供する。
　第９の特徴に係る発明は、情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが装着するオペレータ端末と共有する撮像画像共有システムに、
　前記撮像画像を、前記オペレータ端末に表示するステップ、
　前記オペレータ端末が動いた方向を検知するステップ、
　前記検知したオペレータ端末の動いた方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更するステップ、
　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示するステップ、
　を実行させることを特徴とするプログラムを提供する。
　本発明によれば、オペレータが情報端末を操作することを可能にすることにより、利便性を向上させた撮像画像共有システム、撮像画像共有方法及びプログラムを提供することが可能となる。
図１は、第１の実施形態における撮像画像共有システム１の概要を示す図である。 図２は、第２の実施形態における撮像画像共有システム１の概要を示す図である。 図３は、第１の実施形態における撮像画像共有システム１の全体構成図である。 図４は、第２の実施形態における撮像画像共有システム１の全体構成図である。 図５は、第１の実施形態におけるオペレータ端末１００、情報端末２００の機能ブロック図である。 図６は、第２の実施形態におけるオペレータ端末１００、情報端末２００の機能ブロック図である。 図７は、第１の実施形態におけるオペレータ端末１００、情報端末２００が実行する撮像画像共有処理を示すフローチャートである。 図８は、第２の実施形態におけるオペレータ端末１００、情報端末２００が実行する撮像画像共有処理を示すフローチャートである。 図９は、オペレータ端末１００が表示するオペレータの視線の検知した状態を示す撮像画像である。 図１０は、撮像方向を変更した状態を示す情報端末２００を示す図である。 図１１は、オペレータ端末１００が表示する変更画像である。 図１２は、オペレータ端末１００が表示するオペレータの視線の検知した状態を示す撮像画像である。 図１３は、撮像方向を変更した状態を示す情報端末２００を示す図である。 図１４は、情報端末２００が撮像画像又は変更画像を表示した状態を示す図である。
　以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これらはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。
　［第１の実施形態］
　［撮像画像共有システム１の概要］
　本発明の好適な第１の実施形態の概要について、図１に基づいて、説明する。図１は、本発明の好適な第１の実施形態における撮像画像共有システム１の概要を説明するための図である。撮像画像共有システム１は、オペレータ端末１００、情報端末２００から構成される。
　なお、図１において、オペレータ端末１００及び情報端末２００は、１つに限らず複数であってもよい。また、各装置は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、オペレータ端末１００又は情報端末２００のいずれか又は双方により実現されてもよい。
　オペレータ端末１００は、情報端末２００とデータ通信可能な情報端末である。オペレータ端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、オペレータが装着するスマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品等である。
　情報端末２００は、動画や静止画等の画像を撮像可能な、オペレータ端末１００とデータ通信可能な端末装置である。情報端末２００は、例えば、オペレータ端末１００と同様の電化製品や、ネットワークを介して自身が撮像した画像を他の装置へ送信するネットワークカメラや、何らかの作業又は行動を自律的に実行可能な内部に撮像装置を有するロボット等である。
　なお、第１の実施形態において、オペレータ端末１００は、携帯電話、タブレット端末等の携帯端末として、情報端末２００は、ネットワークカメラとして、以下の処理を説明する。
　オペレータ端末１００は、情報端末２００が撮像する撮像画像を取得し、取得した撮像画像を表示する（ステップＳ０１）。
　オペレータ端末１００は、表示した撮像画像におけるオペレータの視線の方向を検知する。オペレータ端末１００は、検知した視線の方向に基づいて撮像方向の変更を指示する変更指示を、情報端末２００に送信する（ステップＳ０２）。
　情報端末２００は、変更指示を受信し、この変更指示に基づいて、撮像方向を変更する。情報端末２００は、変更指示に基づいた視線の方向と、撮像方向とが同じ方向になるように、撮像方向を変更する。
　情報端末２００は、変更された撮像方向の撮像画像を撮像し、オペレータ端末１００に送信する（ステップＳ０３）。オペレータ端末１００は、受信した撮像画像を表示する。
　なお、情報端末２００は、オペレータ端末１００が表示する撮像画像と同じ画像を表示していてもよい。
　以上が、第１の実施形態における撮像画像共有システム１の概要である。
　［撮像画像共有システム１のシステム構成］
　図３に基づいて、第１の実施形態における撮像画像共有システム１のシステム構成について説明する。図３は、本発明の好適な第１の実施形態における撮像画像共有システム１のシステム構成を示す図である。撮像画像共有システム１は、オペレータ端末１００、情報端末２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、オペレータ端末１００又は情報端末２００は、１つに限らず各々が複数であってもよい。また、各装置は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、オペレータ端末１００又は情報端末２００のいずれか又は双方により実現されてもよい。
　オペレータ端末１００は、後述の機能を備えた上述した端末装置である。なお、第１の実施形態において、オペレータ端末１００は、携帯電話やタブレット端末等の携帯端末を例として説明する。
　情報端末２００は、後述の機能を備えた上述した端末装置である。なお、第１の実施形態において、情報端末２００は、ネットワークカメラを例として説明する。
　［各機能の説明］
　図５に基づいて、第１の実施形態における撮像画像共有システム１の機能について説明する。図５は、オペレータ端末１００、情報端末２００の機能ブロック図を示す図である。
　オペレータ端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、オペレータ端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部や、オペレータからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、視線の検知を実行する撮像装置、センサ等の検知デバイス等を備える。
　オペレータ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、撮像画像取得指示送信モジュール１５０、撮像画像データ受信モジュール１５１、撮像方向変更指示送信モジュール１５２を実現する。また、オペレータ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、撮像画像取得入力受付モジュール１７０、撮像画像表示モジュール１７１、視線検知モジュール１７２を実現する。
　情報端末２００は、オペレータ端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするための無線デバイス等を備える。また、情報端末２００は、オペレータ端末１００と同様に、入出力部２４０として、表示部や、入力部や、撮像素子、レンズ等の撮像デバイスや、他のデバイス等を備える。
　情報端末２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、撮像画像取得指示受信モジュール２５０、撮像画像データ送信モジュール２５１、撮像方向変更指示受信モジュール２５２を実現する。また、情報端末２００において、制御部２１０が所定のプログラムを読み込むことにより、入出力部２４０と協働して、撮像モジュール２７０、撮像方向変更モジュール２７１を実現する。
　［撮像画像共有処理］
　図７に基づいて、オペレータ端末１００、情報端末２００が実行する撮像画像共有処理について説明する。図７は、オペレータ端末１００、情報端末２００が実行する撮像画像共有処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　撮像画像取得入力受付モジュール１７０は、オペレータからの入力を受け付けたか否かを判断する（ステップＳ２０）。ステップＳ２０において、撮像画像取得入力受付モジュール１７０は、専用のアプリケーションの起動、専用のＷＥＢサイトに撮像画像の取得を指示する入力を受け付けたか否か等に基づいて、本処理の判断を実行する。ステップＳ２０において、撮像画像取得入力受付モジュール１７０は、入力を受け付けていないと判断した場合（ステップＳ２０　ＮＯ）、本処理を繰り返す。
　一方、ステップＳ２０において、撮像画像取得入力受付モジュール１７０は、入力を受け付けたと判断した場合（ステップＳ２０　ＹＥＳ）、撮像画像取得指示送信モジュール１５０は、撮像画像の取得指示を、情報端末２００に送信する（ステップＳ２１）。
　撮像画像取得指示受信モジュール２５０は、オペレータ端末１００が送信した取得指示を、受信する。撮像モジュール２７０は、取得指示に基づいて、静止画や動画等の画像を撮像する（ステップＳ２２）。
　撮像画像データ送信モジュール２５１は、撮像した撮像画像を示す撮像画像データを、オペレータ端末１００に送信する（ステップＳ２３）。なお、ステップＳ２３において、情報端末２００は、取得指示に基づいて、画像を撮像するのではなく、常に画像を撮像し続け、取得指示を受信したタイミングで、撮像している撮像画像を示す撮像画像データを、オペレータ端末１００に送信する構成であってもよい。
　撮像画像データ受信モジュール１５１は、情報端末２００が送信した撮像画像データを受信する。撮像画像表示モジュール１７１は、受信した撮像画像データに基づいて、情報端末２００が撮像した画像を、表示する（ステップＳ２４）。なお、ステップＳ２４において、撮像画像表示モジュール１７１は、一の情報端末２００が送信する撮像画像データを表示する構成に限らず、複数の情報端末２００が送信する撮像画像データを受信し、複数の撮像画像データに基づいて、複数の撮像画像を一覧として表示してもよい。
　視線検知モジュール１７２は、オペレータの視線を検知する（ステップＳ２５）。ステップＳ２５において、視線検知モジュール１７２は、例えば、オペレータの目頭を基準点、虹彩を動点として認識し、この基準点と動点との位置関係に基づいて、オペレータの視線を検知する。また、視線検知モジュール１７２は、赤外線カメラや赤外線ＬＥＤにより、角膜反射を基準点、瞳孔を動点として認識し、基準点と動点との位置関係に基づいて、オペレータの視線を検知する。なお、視線検知モジュール１７２は、その他の方法により、視線を検知してもよい。
　ステップＳ２５における視線の検知とは、オペレータが所定の位置から別の位置への視線の移動の方向及び移動量を検知することや、オペレータが撮像画像のどこを見ているかのオペレータの視線の方向を検知することである。視線検知モジュール１７２は、例えば、視線を検知した位置と、表示部の位置とに基づいて、撮像画像のどの位置に視線の方向が位置しているのかを検知する。なお、視線の方向は、他の方法により検知してもよい。
　視線検知モジュール１７２は、視線の方向の変化を検知したか否かを判断する（ステップＳ２６）。ステップＳ２６において、変化を検知していないと判断した場合（ステップＳ２６　ＮＯ）、本処理を繰り返す。
　一方、ステップＳ２６において、変化を検知したと判断した場合（ステップＳ２６　ＹＥＳ）、撮像方向変更指示送信モジュール１５２は、検知した変化に基づいて、撮像方向の変更を指示する変更指示を情報端末２００に送信する（ステップＳ２７）。
　図９に基づいて、オペレータの視線を検知した状態を示す撮像画像について説明する。図９は、視線検知モジュール１７２が、オペレータの視線を検知した状態を示す撮像画像を示す図である。図９において、撮像画像表示モジュール１７１は、撮像画像４００を表示する。また、視線検知モジュール１７２は、オペレータの視線の方向を、撮像画像４００に重畳させ、視線位置４１０として表示する。視線検知モジュール１７２は、例えば、視線位置４１０が、所定時間大きな変動を示したか否かを判断することにより、視線の方向の変化を検知する。大きな変動とは、例えば、単位時間当たりにおける視線の方向の移動距離が閾値よりも大きい場合における状態である。なお、視線検知モジュール１７２は、その他の方法により、視線の方向の変化を検知してもよい。また、図９において、視線位置４１０を模式的に表示しているが、視線検知モジュール１７２は、視線位置４１０を撮像画像４００に重畳させて表示する必要はない。
　撮像方向変更指示受信モジュール２５２は、変更指示を受信する。撮像方向変更モジュール２７１は、受信した変更指示に基づいて、オペレータ端末１００が検知したオペレータの視線の方向と、撮像する方向とが同じ方向になるように、撮像方向を変更する（ステップＳ２８）。ステップＳ２８において、撮像方向変更モジュール２７１が撮像方向を変更するとは、例えば、撮像モジュール２７０が撮像する場所を、変更指示により指定された地点を中心となるように変更することや、変更指示により指定された検知したオペレータの視線の方向の動きに合わせて、撮像モジュール２７０が撮像する場所を、変更することである。
　図１０に基づいて、撮像方向変更モジュール２７１が変更する撮像方向について説明する。図１０は、撮像方向変更モジュール２７１が撮像方向を変更した状態を示す情報端末２００を示す図である。図１０において、撮像方向変更モジュール２７１は、受信した変更指示に基づいて、撮像モジュール２７０を駆動させ、検知した地点が、撮像方向の中心となるように、撮像方向を変更する。撮像モジュール２７０は、上述したステップＳ２２において撮像したタイミングでは、情報端末２００の中心に位置していたが、変更指示を受信したことにより、変更された撮像地点を、撮像方向の中心となる位置に移動する。なお、撮像モジュール２７０の位置は、適宜変更可能であることは言うまでもない。
　撮像モジュール２７０は、変更された撮像方向において、画像を撮像する（ステップＳ２９）。
　撮像画像データ送信モジュール２５１は、ステップＳ２９において撮像した画像を示す変更画像データを、オペレータ端末１００に送信する（ステップＳ３０）。
　撮像画像データ受信モジュール１５１は、変更画像データを受信する。撮像画像表示モジュール１７１は、受信した変更画像データに基づいて、変更画像を表示する（ステップＳ３１）。
　図１１に基づいて、撮像画像表示モジュール１７１が表示する変更画像について説明する。図１１は、撮像画像表示モジュール１７１が表示する変更画像を示す図である。図１１において、撮像画像表示モジュール１７１は、上述したステップＳ２５において検知した視線位置４１０を、変更画像５００の中心位置として、表示する。
　なお、上述した各処理において、情報端末２００は、オペレータ端末１００に送信する撮像画像及び変更画像を自身に表示する構成であってもよい。すなわち、情報端末２００は、オペレータ端末１００に表示する画像と同じ画像を表示させる構成であってもよい。この情報端末２００は、例えば、自身の内部又は付近に設けられた表示部にこの撮像画像及び変更画像を表示すればよい。
　以上が、第１の実施形態における撮像画像共有処理である。
　以上が、第１の実施形態における撮像画像共有システム１の説明である。
　［第２の実施形態］
　次に、第２の実施形態における撮像画像共有システム１について説明する。なお、上述した第１の実施形態における構成と同様の構成については、同様の符号を付し、その詳細な説明は省略する。
　［撮像画像共有システム１の概要］
　本発明の好適な第２の実施形態の概要について、図２に基づいて、説明する。図２は、本発明の好適な第２の実施形態である撮像画像共有システム１の概要を説明するための図である。撮像画像共有システム１は、オペレータ端末１００、情報端末２００から構成される。
　なお、図２において、オペレータ端末１００及び情報端末２００は、１つに限らず複数であってもよい。また、各装置は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、オペレータ端末１００又は情報端末２００のいずれか又は双方により実現されてもよい。
　オペレータ端末１００は、第１の実施形態と同様の端末装置である。
　情報端末２００は、第１の実施形態と同様の端末装置である。
　なお、第２の実施形態において、オペレータ端末１００は、スマートグラスやヘッドマウントディスプレイ等のウェアラブル端末として、情報端末２００は、ロボットとして、以下の処理を説明する。
　オペレータ端末１００は、情報端末２００が撮像する撮像画像を取得し、取得した撮像画像を表示する（ステップＳ１０）。ステップＳ１０における処理は、上述したステップＳ０１の処理と同様である。
　オペレータ端末１００は、表示した撮像画像におけるオペレータの視線の方向を検知する。オペレータ端末１００は、検知した視線の方向に基づいて撮像方向の変更を指示する変更指示を、情報端末２００に送信する（ステップＳ１１）。ステップＳ１１の処理は、ステップＳ０２の処理と同様である。
　情報端末２００は、変更指示を受信し、この変更指示に基づいて、撮像方向を変更し、変更指示に基づいた視線の方向と撮像方向とが同じ方向になるように、撮像方向を変更する。情報端末２００は、撮像方向の変更として、自身が移動することや、自身の内部に設けられた撮像装置が撮像する方向を変化させる。
　情報端末２００は、変更された撮像方向の撮像画像を撮像し、オペレータ端末１００に送信する（ステップＳ１２）。オペレータ端末１００は、受信した撮像画像を表示する。ステップＳ１２の処理は、上述したステップＳ０３の処理と同様である。
　なお、情報端末２００は、オペレータ端末１００が表示する撮像画像と同じ画像を表示してもよい。
　以上が、第２の実施形態における撮像画像共有システム１の概要である。
　［撮像画像共有システム１のシステム構成］
　図４に基づいて、第２の実施形態における撮像画像共有システム１のシステム構成について説明する。図４は、本発明の好適な第２の実施形態である撮像画像共有システム１のシステム構成を示す図である。撮像共有システム１は、オペレータ端末１００、情報端末２００、公衆回線網５から構成される。なお、オペレータ端末１００又は情報端末２００は、１つに限らず各々が複数であってもよい。また、各装置は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、オペレータ端末１００又は情報端末２００のいずれか又は双方により実現されてもよい。
　オペレータ端末１００は、上述した第１の実施形態と同様の端末装置である。なお、第２の実施形態において、オペレータ端末１００は、ウェアラブル端末を例として説明する。
　情報端末２００は、上述した第１の実施形態と同様の端末装置である。なお、第２の実施形態において、情報端末２００は、ロボットを例として説明する。
　［各機能の説明］
　図６に基づいて、第２の実施形態における撮像画像共有システム１の機能について説明する。図６は、オペレータ端末１００、情報端末２００の機能ブロック図を示す図である。
　オペレータ端末１００は、上述した第１の実施形態と同様に、制御部１１０、通信部１２０、入出力部１４０を備える。オペレータ端末１００は、上述した第１の実施形態と同様に、上述した各モジュールを実現する。
　情報端末２００は、上述した第１の実施形態と同様に、制御部２１０、通信部２２０、入出力部２４０を備える。情報端末２００は、上述した第１の実施形態と同様に、上述した各モジュールを実現する。
　［撮像画像共有処理］
　図８に基づいて、オペレータ端末１００、情報端末２００が実行する撮像画像共有処理について説明する。図８は、オペレータ端末１００、情報端末２００が実行する撮像画像共有処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　オペレータ端末１００と情報端末２００とは、第１の実施形態におけるステップＳ２０～Ｓ２７の処理を実行する（ステップＳ４０～Ｓ４７）。各処理の詳細は、第１の実施形態と同様であるため、省略する。
　図１２に基づいて、オペレータの視線の検知した状態を示す情報端末２００について説明する。図１２は、視線検知モジュール１７２が、オペレータの視線を検知した状態を示す図である。図１２において、撮像画像表示モジュール１７１は撮像画像６００を表示する。また、視線検知モジュール１７２は、オペレータの視線の方向を、撮像画像６００に重畳させ、視線位置６１０として表示する。視線検知モジュール１７２は、上述した第１の実施形態と同様に、視線の方向を検知する。なお、図１２において、視線位置６１０を模式的に表示しているが、視線検知モジュール１７２は、視線位置６１０を撮像画像６００に重畳させて表示する必要はない。
　撮像方向指示受信モジュール２５２は、変更指示を受信する。撮像方向変更モジュール２７１は、受信した変更指示に基づいて、オペレータ端末１００が検知したオペレータの視線の方向と、撮像する方向とが同じ方向になるように、撮像方向を変更する（ステップＳ４８）。ステップＳ４８において、撮像方向変更モジュール２７１は、自身の体の向きをオペレータの視線の方向に合わせて変更してもよいし、内部に設けられた撮像モジュール２７０を、変更してもよい。ステップＳ４８において、撮像方向変更モジュール２７１は、撮像モジュールが撮像する場所を、変更指示により指定された地点を中心となるように変更することや、変更指示により指定された検知したオペレータの視線の方向の動きに合わせて、撮像モジュール２７０が撮像する場所を変更する。
　図１３に基づいて、情報端末２００が撮像方向を変更する状態について説明する。図１３は、撮像方向変更モジュール２７１が撮像方向を変更した状態を示す情報端末２００を示す図である。図１３において、受信した変更指示に基づいて、撮像方向変更モジュール２７１は、撮像モジュール２７０を駆動させ、検知した地点が、撮像方向の中心となるように、撮像方向を変更する。また、受信した変更指示に基づいて、撮像方向変更モジュール２７１は頭部７００を、駆動させ、検知した地点が、撮像方向の中心となるように、頭部７００に設けられた撮像モジュール２７０の方向を変更するために、頭部７００を回転等させる。また、受信した変更指示に基づいて、撮像方向変更モジュール２７１は、自身の一部又は全てを駆動させ、検知した地点が、撮像方向の中心となるように、自身の一部又は全てを回転等させる。なお、撮像モジュール２７０の位置は適宜変更可能である。
　オペレータ端末１００と情報端末２００とは、第１の実施形態におけるステップＳ２９～Ｓ３１の処理を実行する（ステップＳ４９～Ｓ５１）。各処理の詳細は、第１の実施形態と同様であるため、省略する。
　なお、上述した各処理において、情報端末２００は、オペレータ端末１００に送信する撮像画像及び変更画像を、自身に表示する構成であってもよい。
　図１４に基づいて、撮像画像又は変更画像を表示する情報端末２００について説明する。図１４は、情報端末２００が撮像画像又は変更画像を表示した状態を示す図である。図１４において、情報端末２００は、自身が撮像する画像８００を、ディスプレイ８１０に表示する。この画像８００は、上述した撮像画像又は変更画像である。
　以上が、第２の実施形態における撮像画像共有システム１の説明である。
　［変形例］
　次に、撮像画像共有システム１の変形例について説明する。なお、上述した第１の実施形態又は第２の実施形態と同様の構成については、その詳細な説明は省略する。
　撮像画像共有システム１は、上述した実施形態と同様に、オペレータ端末１００、情報端末２００から構成される。上述した実施形態においては、オペレータの視線を検知し、撮像方向の変更を実施する構成であったが、変形例においては、視線ではなく、オペレータの動きを検知し、撮像方向を変更する。オペレータ端末１００は、第２の実施形態と同様にウェアラブル端末を例とし、情報端末２００は、第２の実施形態と同様にロボットを例として説明する。
　変形例において、オペレータ端末１００と情報端末２００とは、上述したステップＳ２０～Ｓ２４の処理を実行する。
　次に、オペレータ端末１００は、自身が動いた方向を検知する。オペレータ端末１００は、例えば、加速度センサや、コンパス等を用い、自身の動いた方向や移動量を検知する。なお、オペレータ端末１００は、その他の方法により、動いた方向を検知してもよい。
　オペレータ端末１００は、検知した変化に基づいて、変更指示を情報端末２００に送信する。本処理は、上述したステップＳ２７と同様である。
　情報端末２００は、受信した変更指示に基づいて、オペレータ端末１００が検知したオペレータ端末の動いた方向と、撮像する方向とが同じ方向になるように、撮像方向を変更する。本処理は、上述したステップＳ２８及びステップＳ４８と同様である。
　情報端末２００は、変更された撮像方向において、画像を撮像し、この画像を変更画像データとして、オペレータ端末１００に送信する。オペレータ端末１００は、受信した変更画像データに基づいて、変更画像を表示する。本処理は、上述したステップＳ３０及びＳ３１と同様である。
　なお、上述した各処理において、第１の実施形態及び第２の実施形態と同様に、情報端末２００は、オペレータ端末１００と同じ画像を表示させる構成であってもよい。
　以上が、変形例における撮像画像共有システム１の説明である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　撮像画像共有システム、１００　オペレータ端末、２００　情報端末

Claims (9)

  1. 　情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有する撮像画像共有システムであって、
    　前記撮像画像を、前記オペレータ端末に表示する撮像画像表示手段と、
    　前記オペレータの視線の方向が、前記表示された撮像画像のどこを見ているかを検知する視線検知手段と、
    　前記検知されたオペレータの視線の方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更する撮像方向変更手段と、
    　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示する変更画像表示手段と、
    　を備えることを特徴とする撮像画像共有システム。
  2. 　情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが装着するオペレータ端末と共有する撮像画像共有システムであって、
    　前記撮像画像を、前記オペレータ端末に表示する撮像画像表示手段と、
    　前記オペレータ端末が動いた方向を検知する動き検知手段と、
    　前記検知したオペレータ端末の動いた方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更する撮像方向変更手段と、
    　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示する変更画像表示手段と、
    　を備えることを特徴とする撮像画像共有システム。
  3. 　前記情報端末に、前記オペレータ端末に表示された撮像画像と同じ画像を表示する同一画像表示手段と、
    　を備えることを特徴とする請求項１又は２に記載の撮像画像共有システム。
  4. 　前記撮像方向変更手段は、前記検知されたオペレータの視線の方向が、前記情報端末の撮像方向の中心となるように、前記情報端末の撮像方向を変更する、
    　ことを特徴とする請求項１に記載の撮像画像共有システム。
  5. 　前記撮像方向変更手段は、前記検知されたオペレータ端末の動いた方向が、前記情報端末の撮像方向の中心となるように、前記情報端末の撮像方向を変更する、
    　ことを特徴とする請求項２に記載の撮像画像共有システム。
  6. 　情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有する撮像画像共有方法であって、
    　前記撮像画像を、前記オペレータ端末に表示するステップと、
    　前記オペレータの視線の方向が、前記表示された撮像画像のどこを見ているかを検知するステップと、
    　前記検知されたオペレータの視線の方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更するステップと、
    　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示するステップと、
    　を備えることを特徴とする撮像画像共有方法。
  7. 　情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが装着するオペレータ端末と共有する撮像画像共有方法であって、
    　前記撮像画像を、前記オペレータ端末に表示するステップと、
    　前記オペレータ端末が動いた方向を検知するステップと、
    　前記検知したオペレータ端末の動いた方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更するステップと、
    　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示するステップと、
    　を備えることを特徴とする撮像画像共有方法。
  8. 　情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが扱うオペレータ端末と共有する撮像画像共有システムに、
    　前記撮像画像を、前記オペレータ端末に表示するステップ、
    　前記オペレータの視線の方向が、前記表示された撮像画像のどこを見ているかを検知するステップ、
    　前記検知されたオペレータの視線の方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更するステップ、
    　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示するステップ、
    　を実行させることを特徴とするプログラム。
  9. 　情報端末で撮像された撮像画像を、ネットワークを介して遠隔にいるオペレータが装着するオペレータ端末と共有する撮像画像共有システムに、
    　前記撮像画像を、前記オペレータ端末に表示するステップ、
    　前記オペレータ端末が動いた方向を検知するステップ、
    　前記検知したオペレータ端末の動いた方向と、前記情報端末の撮像方向とが同じ方向になるように、前記情報端末の撮像方向を変更するステップ、
    　前記オペレータ端末に、前記撮像方向が変更された撮像画像を表示するステップ、
    　を実行させることを特徴とするプログラム。
PCT/JP2016/060339 2016-03-30 2016-03-30 撮像画像共有システム、撮像画像共有方法及びプログラム WO2017168622A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/060339 WO2017168622A1 (ja) 2016-03-30 2016-03-30 撮像画像共有システム、撮像画像共有方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/060339 WO2017168622A1 (ja) 2016-03-30 2016-03-30 撮像画像共有システム、撮像画像共有方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2017168622A1 true WO2017168622A1 (ja) 2017-10-05

Family

ID=59963717

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060339 WO2017168622A1 (ja) 2016-03-30 2016-03-30 撮像画像共有システム、撮像画像共有方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2017168622A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054595A1 (ja) * 2018-09-11 2020-03-19 ソニー株式会社 手術支援システム、表示制御装置、および表示制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003267295A (ja) * 2002-03-14 2003-09-25 Foundation For Nara Institute Of Science & Technology 遠隔操縦システム
JP2007184891A (ja) * 2005-12-07 2007-07-19 Mitsubishi Electric Corp 映像配信支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003267295A (ja) * 2002-03-14 2003-09-25 Foundation For Nara Institute Of Science & Technology 遠隔操縦システム
JP2007184891A (ja) * 2005-12-07 2007-07-19 Mitsubishi Electric Corp 映像配信支援システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054595A1 (ja) * 2018-09-11 2020-03-19 ソニー株式会社 手術支援システム、表示制御装置、および表示制御方法
US11446113B2 (en) 2018-09-11 2022-09-20 Sony Corporation Surgery support system, display control device, and display control method

Similar Documents

Publication Publication Date Title
US11668938B2 (en) Wearable imaging device
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
EP3598274B1 (en) System and method for hybrid eye tracker
US10999480B2 (en) Methods for camera movement compensation
TWI697655B (zh) 深度感測裝置、用於組態其之方法及機器可讀取媒體
WO2016021252A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
CN114746831A (zh) 用于提供增强现实服务的电子装置及其操作方法
US11016559B2 (en) Display system and display control method of display system
CN104115100A (zh) 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
KR102582863B1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
US11279036B2 (en) Methods and systems for implementing customized motions based on individual profiles for identified users
US20170315367A1 (en) Head-mounted display device and video display system
US11443540B2 (en) Information processing apparatus and information processing method
US9743048B2 (en) Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon
CN106201284B (zh) 用户界面同步系统、方法
US11029753B2 (en) Human computer interaction system and human computer interaction method
US20210160150A1 (en) Information processing device, information processing method, and computer program
WO2015136952A1 (ja) ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末
WO2017168622A1 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
US10389947B2 (en) Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200348749A1 (en) Information processing apparatus, information processing method, and program
US11372473B2 (en) Information processing apparatus and information processing method
WO2017168623A1 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
KR101653591B1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16896842

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11/01/2019)

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16896842

Country of ref document: EP

Kind code of ref document: A1