WO2019230155A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2019230155A1 WO2019230155A1 PCT/JP2019/012156 JP2019012156W WO2019230155A1 WO 2019230155 A1 WO2019230155 A1 WO 2019230155A1 JP 2019012156 W JP2019012156 W JP 2019012156W WO 2019230155 A1 WO2019230155 A1 WO 2019230155A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information processing
- target
- display
- image
- processing apparatus
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Definitions
- the present disclosure relates to an information processing apparatus, an information processing method, and a program.
- Patent Document 1 discloses a technology that supports remote communication by displaying a user's pointer that points to an arbitrary position on a video of the same content from a plurality of remote locations.
- the object pointed to by bidirectional communication via video is not limited to video of the same content.
- the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of intuitively grasping a target indicated by a communication partner in communication via video.
- the bidirectional communication in which the captured image of the communication partner side space acquired from the communication partner side is displayed on the display unit is controlled, and the indicator used by one person and the person instructing
- An information processing apparatus including a control unit that controls to display an image associated with a target is proposed.
- the processor controls the bidirectional communication in which the captured image of the communication partner side space acquired from the communication partner side is displayed on the display unit, the indicator used by one person, and the person An information processing method is proposed, including controlling to display an image associated with the target indicated by
- the computer controls bidirectional communication in which a captured image of the communication partner side space acquired from the communication partner side is displayed on the display unit, and the indicator used by one person and the person A program is proposed for functioning as a control unit that controls to display an image associated with a target.
- FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
- the information processing apparatus 10 is used to provide bidirectional communication communication via video and audio.
- the information processing apparatus 10 includes a window display 131 that is a display unit, and displays images on the communication partner side in real time.
- Such an information processing apparatus 10 is disposed in each space.
- the information processing system 1 when the user A in the space A and the user B in the space B are connected, the information processing system 1 according to the present embodiment is an information processing apparatus 10A and a space B used in the space A as shown in FIG.
- the system configuration includes the information processing apparatus 10B used.
- the information processing apparatus 10A and the information processing apparatus 10B are communicatively connected via the network 3.
- a captured image of the space B (an image showing the user B) is displayed on the window display 131 of the information processing apparatus 10, and sound is collected on the space B side.
- the voice information is output from a speaker 135 (not shown), and a conversation can be performed in a face-to-face state.
- the captured image on the user A side is captured by the camera 123 and transmitted to the information processing apparatus 10B on the user B side.
- the arrangement of the camera 123 shown in FIG. 1 is an example, and the present embodiment is not limited to this.
- the audio information on the user A side is collected by a microphone (hereinafter referred to as a microphone) 125 (not shown) and transmitted to the information processing apparatus 10B on the user B side.
- the user B when pointing to a specific target at a remote location over the display screen, depending on the camera position, May be out of alignment with the target.
- the user B displays the real object 20 on the table on the user A side that is displayed on the display unit on the user B side (the captured image captured by the camera 123 on the user A side is displayed).
- the pointing direction of the user B may deviate from the real object 20 and the user may not know where he is pointing.
- an indicator used by one person for example, a human body part such as a hand or a finger, or an artificial object such as a pen or an indicator stick
- a target pointed by a communication partner By displaying an image associating with a target designated by a person, it is possible to intuitively grasp a target pointed by a communication partner.
- the information processing apparatus 10 is placed on a user B's fingertip shown on the window display 131 and a table on the user A side (that is, the local side) indicated by the user B.
- Control is performed to display the linear image 30 connecting the real object 20 over the window display 131 and the display unit (table display 133) provided on the top plate portion of the table.
- the display unit table display 133
- the table display 133 is used as an example, but the present disclosure is not limited to this, and a linear image may be projected by, for example, a projector (not shown).
- the information processing apparatus 10 projects a linear image portion on the table out of the linear image 30 connecting the indicator (for example, the fingertip of the user B) on the window display 131 and the real object 20 on the table by the projector. And display.
- the “target” pointed to by the user is not limited to a real object, but is displayed on the table display 133 or projected by a projector (referred to as “virtual object” in this specification). ) And a certain range of area such as on the table display 133 is also included.
- 1 and 2 illustrate communication between two points as an example, but the present embodiment is not limited to this, and it is possible to connect three or more points.
- the arrangement configuration of the table display 133 and the window display 131 can be any floor, wall, furniture, or the like in the space (indoor or outdoor). It can also be realized at a place or a notebook PC.
- the information processing system 1 has been described above. Next, a specific configuration of the information processing apparatus 10 included in the information processing system 1 according to the present embodiment will be described with reference to the drawings.
- FIG. 3 is a block diagram illustrating an example of the configuration of the information processing apparatus 10 according to the present embodiment.
- the information processing apparatus 10 includes a control unit 100, a communication unit 110, an input unit 120, an output unit 130, and a storage unit 140.
- Control unit 100 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 10 according to various programs.
- the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
- the control unit 100 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
- ROM Read Only Memory
- RAM Random Access Memory
- the control unit 100 also functions as an input information recognition unit 101, an instruction target recognition unit 102, an instruction target analysis unit 103, an indicator recognition unit 104, a display control unit 105, and a voice output control unit 106. .
- the input information recognition unit 101 analyzes various input information acquired from the input unit 120 and recognizes user input. For example, the input information recognition unit 101 analyzes the uttered voice acquired from the microphone 125 and recognizes the utterance content (voice recognition) by the user. Further, the input information recognition unit 101 recognizes a gesture (user operation) based on information acquired from the sensor unit 121 and the camera 123. The input information recognition unit 101 may also recognize user input performed using an external device such as a remote controller (for example, an IR remote controller) or a mouse based on information acquired from the sensor unit 121 or the communication unit 110. Is possible.
- a remote controller for example, an IR remote controller
- a mouse based on information acquired from the sensor unit 121 or the communication unit 110. Is possible.
- the input information recognition unit 101 is a depth camera, a thermo camera, an RGB camera, a touch sensor, a pressure sensor, a proximity sensor, or a super Analyzes information sensed by a sonic sensor or the like.
- “Gesture (user action)” means, for example, user hand movement, pointing, arm movement, posture (for example, bone information), line of sight, touch operation (specifically, touch, tap, double tap) , Swipe, or drag).
- the input information recognition unit 101 analyzes the captured image and depth information, acquires the position and depth information (in other words, three-dimensional information) of the user's hand and finger located on the display screen of the table display 133, The contact or proximity of the user's hand to the table display 133 in the height direction and the removal of the hand from the table display 133 are detected.
- bringing the operating body such as a hand into contact with or close to the display screen by the user is also simply referred to as “contact”.
- the input information recognition unit 101 recognizes a touch operation on the table display 133, a pointing operation on the window display 131, and the like as gesture information.
- the instruction target recognition unit 102 recognizes a target indicated by the user. For example, when it is recognized that the user is pointing at the window display 131, the instruction target recognition unit 102 is displayed on the window display 131 based on the pointing direction (angle) with respect to the window display 131. From a captured image of a communication partner, a target pointed to by the user (a real object on the communication partner side shown in the image, a virtual object (for example, an image displayed on the table display 133 of the communication partner side), or a certain range Area) is recognized as an instruction target.
- a target pointed to by the user a real object on the communication partner side shown in the image, a virtual object (for example, an image displayed on the table display 133 of the communication partner side), or a certain range Area
- the instruction target recognition unit 102 recognizes an object displayed at a position where an extension line in the pointing direction and a captured image displayed on the window display 131 intersect as an instruction object.
- the instruction target recognition unit 102 may highlight the recognized instruction target and feed it back to the user. Thereby, the user can confirm whether or not the object he / she is pointing to is correctly recognized. When a different object is recognized, the user can make adjustments by shifting the angle of the finger.
- the recognition result by the instruction target recognition unit 102 is transmitted as instruction target information from the communication unit 110 to the information processing apparatus 10 on the communication partner side.
- the instruction target analyzing unit 103 analyzes the target on the user side (local side) instructed by the communication partner based on the information (instruction target information) received from the communication partner side.
- the instruction target information received from the communication partner side includes the recognition result of the pointing target recognized on the basis of the action of the communication partner pointing to the captured image displayed on the user side. Information on the position, shape, etc.).
- the instruction target analysis unit 103 is a user side (local side) target (a real object placed on the table display 133) that the communication partner shown on the window display 131 is pointing over the screen. Body, a virtual object displayed on the table display 133, or a region within a certain range).
- the indicator recognizing unit 104 recognizes an indicator (for example, a hand, a finger, etc.) used by the communication partner from the received captured image of the communication partner.
- the display control unit 105 performs display control according to a user operation recognized by the input information recognition unit 101 and control for displaying a captured image on the communication partner side received from the communication partner side by the communication unit 110. Further, the display control unit 105 performs display control for explicitly indicating the user's instruction target based on the recognition result by the instruction target recognition unit 102, or performs communication based on the analysis result by the instruction target analysis unit 103. Display control is performed to explicitly indicate the local target that the partner is pointing over the screen.
- the display control unit 105 uses a pointing operation or the like to indicate an indicator (such as a fingertip) used by a person who is instructing a certain target and an indication target (real object, virtual object, or specific area). ) Is displayed.
- the display control unit 105 extends across the table display 133 and the window display 131, and the communication partner's fingertip shown on the window display 131 and the local target (the table display 133 placed on the table display 133).
- a linear image that connects a real object being displayed or an image displayed on the table display 133 This makes it possible for the user to intuitively grasp the target indicated by the communication partner.
- the display control unit 105 captures an image on the communication partner side displayed on the window display 131 when the user indicates a target on the communication partner side displayed on the window display 131 according to the recognition result of the instruction target recognition unit 102. Control to highlight the target in the image is performed.
- the display control unit 105 instructs a real object placed on the table display 133 or an image (virtual object) displayed on the table display 133 according to the recognition result of the designation target recognition unit 102. When this is done, control is performed to highlight the target on the table display 133.
- the table display 133 provided in the table is used as an example of the display unit.
- the display on the table may be performed by a projector. That is, for example, when the communication partner indicates a real object placed on the table over the screen, the display control unit 105 highlights the real object by the projector and performs communication displayed on the window display 131. Control is performed so that a linear projection image connected to a linear display image connected to the fingertip of the partner is projected onto the table.
- the sound output control unit 106 controls sound output from the speaker 135.
- the voice output control unit 106 outputs the voice information on the communication partner side received by the communication unit 110.
- the communication unit 110 is a connection device for connecting the information processing apparatus 10 to another device.
- the communication unit 110 is connected to the network 3 by, for example, wired or wireless, and transmits / receives data to / from a communication destination device (information processing device 10).
- the communication unit 110 includes, for example, a wired / wireless local area network (LAN), Wi-Fi (registered trademark), Bluetooth (registered trademark), a mobile communication network (LTE (Long Term Evolution), 3G (third generation mobile communication).
- the communication connection with the network 3 is made by the method)).
- the input unit 120 acquires input information to the information processing apparatus 10.
- the input unit 120 includes a sensor unit 121, a camera 123, and a microphone 125.
- the sensor unit 121 may include, for example, a touch sensor, a pressure sensor, a proximity sensor, an infrared light receiving unit, an ultrasonic sensor, a depth camera, a thermo camera, or an RGB camera, or a physical unit such as a button, a switch, or a lever.
- An operation input unit formed by a general configuration may be included.
- the camera 123 captures an image of a user who performs an operation input (including a pointing operation) on the table display 133 and the window display 131.
- the microphone 125 senses voice information such as a user's voice.
- the output unit 130 presents output information from the information processing apparatus 10 to the user.
- the output unit 130 includes a table display 133, a window display 131, and a speaker 135.
- the speaker 135 outputs voice information such as the voice of the other party received from the communication destination.
- Storage unit 140 is realized by a ROM (Read Only Memory) that stores programs used in the processing of the control unit 100, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
- ROM Read Only Memory
- RAM Random Access Memory
- the storage unit 140 may store the recognition result by the input information recognition unit 101 and the video (captured image) and sound of the communication partner received by the communication unit 110 from the communication partner.
- the configuration of the information processing apparatus 10 has been specifically described above.
- the configuration of the information processing apparatus 10 is not limited to the example illustrated in FIG.
- the information processing apparatus 10 may be configured by a plurality of apparatuses.
- at least a part of each function of the control unit 100 of the information processing apparatus 10 may be realized by an external device (for example, a smartphone, a tablet terminal, a PC, a server, or the like).
- the information processing apparatus 10 may transmit / receive data to / from the communication counterpart via a server (not shown) on the network.
- FIG. 4 is a flowchart illustrating an example of the flow of control processing according to the user's pointing operation according to the present embodiment.
- the input information recognition unit 101 of the information processing apparatus 10 analyzes the image captured by the camera 123 and detects the pointing operation of the user (step S103), and further, the position of the fingertip and the pointing The direction is recognized (step S106).
- the instruction target recognition unit 102 recognizes the recognition result by the input information recognition unit 101, the image on the communication partner side displayed on the window display 131, or the state of the table display 133 (the display position of the virtual object or the table). Based on the position of the real object placed on the display 133, the target pointed by the user (that is, the instruction target) is recognized (step S109).
- the instruction target recognition unit 102 transmits the recognized pointing target information (that is, the instruction target information) from the communication unit 110 to the communication partner side (step S112).
- the display control unit 105 displays an image connecting the user's fingertip and the pointing target (step S115).
- the display control of the instruction target according to the pointing operation from the local side will be described with reference to FIGS. 5A and 5B.
- FIG. 5A and FIG. 5B are diagrams illustrating an example of highlighting of an instruction target when a pointing operation is performed from the local side according to the present embodiment.
- the user B performs a pointing operation on the image on the communication partner side (video on the user A side) displayed on the table display 133 and places it on the table on the communication partner side over the screen.
- the display control unit 105 of the information processing apparatus 10 displays on the window display 131 a display that emphasizes the actual object 20a that is the instruction target (changes the surrounding color or blinks). Etc.).
- FIG. 5A the user B performs a pointing operation on the image on the communication partner side (video on the user A side) displayed on the table display 133 and places it on the table on the communication partner side over the screen.
- the display control unit 105 of the information processing apparatus 10 displays on the window display 131 a display that emphasizes the actual object 20a that is the instruction target (changes the surrounding color or blinks). Etc.).
- the display control unit 105 displays a linear image 30 a that connects the real object 20 a that is the instruction target and the direction of the fingertip of the user B. Thereby, the user B can visually recognize that the object he / she is pointing to is recognized correctly. Further, as shown in FIG. 5B, the user B performs a pointing operation on the communication partner side image (user A side image) displayed on the table display 133, and is placed on the communication partner side table over the screen. The same applies when the placed real object 20b is recognized as an instruction target.
- the display control unit 105 of the information processing apparatus 10 performs a display (such as changing the surrounding color or blinking) that emphasizes the real object 20b that is the indication target on the window display 131, and further displays the real object 20b that is the indication target.
- the linear image 30b connecting the user B's fingertip direction is displayed.
- the target pointed to by the user is not limited to the screen, but may be a real object (an object placed on the table display 133) or a virtual object (an image displayed on the table display 133) existing on the local side.
- the display control unit 105 of the information processing apparatus 10 displays the real object that is the instruction target on the table display 133.
- An image 30c that emphasizes the real object 20c may be displayed around the body 20c.
- FIG. 7 is a flowchart showing an example of the flow of display processing when a pointing operation is performed over the screen from the communication partner side (remote side) according to the present embodiment.
- the instruction target analysis unit 103 of the information processing apparatus 10 points the communication partner reflected on the window display 131 over the screen based on information (instruction target information) received from the communication partner side.
- the local target is analyzed (step S203).
- the indicator recognizing unit 104 of the information processing apparatus 10 recognizes an indicator (for example, a fingertip) in the pointing operation from the image on the communication partner side displayed on the window display 131 (step S206).
- the display control unit 105 of the information processing apparatus 10 performs control to display an image connecting the recognized fingertip and the pointing target over the window display 131 and the table display 133 (step S209).
- a display example corresponding to the pointing operation from the remote side is as shown in FIG. That is, when the user B who is a communication partner reflected on the window display 131 points at the local real object 20 through the screen (window display 131), the display control unit 105 of the information processing apparatus 10 is shown in FIG.
- the image 30 that connects the fingertip of the user B reflected on the window display 131 and the real object 20 on the local side (mounted on the table display 133) to be instructed is transferred to the window display 131 and the table display 133. Control to display.
- FIG. 8 is a diagram illustrating an example of a display indicating the back side of the real object 20d from the local side according to the present embodiment. As shown in FIG. 8, for example, when the user A points to the real object 20d existing on the communication partner side over the screen of the window display 131, the information processing apparatus 10 is on the opposite side or below the real object 20d.
- the image 210 showing the side surface (hidden surface) is superimposed on the real object 20d, and the recognized target (for example, the back side surface 211) is highlighted (for example, the color is changed or blinking) according to the pointing direction of the user. Etc.)
- the display control unit 105 of the information processing apparatus 10 displays a linear image 30d extending from the highlighted side surface 211 in the direction of the fingertip of the user A.
- the image 210 can be generated by the information processing apparatus 10 according to the shape of the object.
- the information processing apparatus 10 may extract and display a captured image of the back side of the object from the past image (for example, when the real object 20d is moved by the user B and the back side is reflected), and is assumed from the appearance shape. You may make it show the hidden line.
- the information processing apparatus 10 can determine whether or not to display the image 210 indicating such a hidden surface in accordance with a user instruction (a specific gesture or voice).
- an instruction on the opposite side or lower side of such a real object is not limited to a gesture by pointing, for example, an instruction by voice May be used in combination.
- the information processing apparatus 10 points to the front side (viewed side) of the real object (displayed on the window display 131), “back side”, “back of this”, and the like. It is possible to adjust the position of the instruction target by speaking.
- the information processing apparatus 10 highlights the position of the instruction target recognized based on the gesture and the voice (for example, the side surface 211 shown in FIG. 8), and feeds back to the user.
- the user can confirm whether or not the instruction target is correctly recognized by the system side by highlighting and feeding back the recognized side surface 211 as shown in FIG. For example, when it is desired to indicate the bottom surface instead of the side surface 211, the user A adjusts the pointing angle so that the bottom surface is recognized and highlighted.
- the information processing apparatus 10 transmits the recognition result of the instruction target (for example, pointing the side surface 211 of the real object 20d) to the communication partner side as the instruction target information.
- FIG. 9 is a diagram illustrating a display example when the back side of the real object 20d is instructed through the screen from the communication partner side (remote side) according to the present embodiment.
- the information processing apparatus 10 analyzes that the side surface 211 of the real object 20d is pointed based on the instruction target information received from the communication partner side, the fingertip of the user A reflected on the window display 131 is shown in FIG. And a linear image 30e connecting the side surface 211 of the real object 20d existing on the local side is displayed over the window display 131 and the table display 133.
- the route of the linear image 30e is not particularly limited. For example, as shown in FIG. 9, the route may reach the side surface 211 around the real object 20d. Further, the information processing apparatus 10 may perform highlighting around the side surface 211 on the table display 133.
- the information processing apparatus 10 may perform display that emphasizes the instruction target by, for example, projecting an image onto the side surface 211 of the real object 20 d using the projector.
- the information processing apparatus 10 can recognize a plurality of instruction targets by a user's specific gesture or voice.
- the information processing apparatus 10 displays, for example, a linear image that connects each of the plurality of objects and the user's fingertip.
- the information processing apparatus 10 crosses the window display 131 and the table display 133 with each of the plurality of targets and the communication partner reflected on the window display 131.
- a linear image connecting the fingertip may be displayed.
- the information processing apparatus 10 can adjust the range of the instruction target in accordance with the user's uttered voice.
- a real object the whole real object or a part of the real object
- the present disclosure is not limited to this and points to a specific range. Is also possible.
- a description will be given with reference to FIG.
- FIG. 10 is a diagram for explaining a case where, for example, user B points to a specific range together with sound over the screen.
- the information processing apparatus 10 recognizes the instruction target in accordance with the user's pointing gesture and speech recognition on the window display 131 and feeds back the recognition result on the window display 131. For example, as illustrated in FIG. 10, when the user points to “there”, the information processing apparatus 10 recognizes a relatively narrow point as the instruction target range, and displays an image 301 in the recognized range. provide feedback. In addition, when the user points to “there is a side”, the information processing apparatus 10 recognizes a range wider than “there” as the range to be instructed, displays the image 302 in the recognized range, and performs feedback. To do.
- the information processing apparatus 10 recognizes a range larger than “there is a side” as the range of the instruction target, displays the image 303 in the recognized range, and performs feedback. To do.
- the size of the range of the indication target can be adjusted according to the instruction word.
- a part of the real object 20 f existing on the communication partner side and the range around the real object 20 f are adjusted by voice.
- the present embodiment is not limited to this, and the real object or virtual Regardless of the presence or absence of an object, it is also possible to indicate a specific range on the counterpart table, a specific range on the local table (table display 133), or a specific range on the window display 131.
- the size of the range of the instruction target according to the instruction word and the instruction word can be arbitrarily set in advance by the user.
- the table at hand that is, the table display 133 on the communication partner side
- the table at hand is set to an angle of view so that it is as if one table (table display 133) is used. You can get a feeling of working around.
- FIG. 12 is a diagram for explaining display control for clarifying an instruction target in the sharing mode according to the present embodiment.
- the information processing apparatus 10 displays the pointing image 310 in a superimposed manner because the user's fingertip (indicator) is not shown in the video of the window display 131.
- a linear image 30g connecting 310 and the virtual object 22a to be designated is displayed across the window display 131 and the table display 133.
- the instruction target information can be determined based on the instruction target information received from the communication partner side.
- an image connecting each fingertip of each user and the instruction target may be displayed.
- a computer program for causing hardware such as a CPU, a ROM, and a RAM built in the information processing apparatus 10 described above to exhibit the functions of the information processing apparatus 10.
- a computer-readable storage medium storing the computer program is also provided.
- this technique can also take the following structures.
- An information processing apparatus comprising: a control unit that controls to display an image that associates an indicator used by one person with a target indicated by the person.
- the controller is The information processing apparatus according to (1), wherein a linear image that connects the indicator and the target is displayed as the associated image.
- the controller is (1) to (3) displaying a linear image connecting a fingertip pointed by a communication partner reflected on the display unit that displays the captured image and the target indicated by the communication partner.
- the information processing apparatus according to any one of the above.
- the object is a real object
- the controller is Control for displaying a linear image connecting the indicator and the real object over the second display unit on which the real object is placed and the first display unit on which the captured image is displayed.
- the information processing apparatus according to any one of (1) to (4), wherein: (6)
- the object is a real object
- the controller is A linear projection image that connects to the linear display image that connects the indicator and the target in the display unit on which the captured image is displayed, and that connects the place where the real object is placed, is The information processing apparatus according to any one of (1) to (4), wherein control for projection is performed.
- the target is a virtual object
- the controller is Control for displaying a linear image connecting the indicator and the virtual object across the second display unit on which the virtual object is displayed and the first display unit on which the captured image is displayed.
- the information processing apparatus according to any one of (1) to (4), wherein the information processing apparatus is performed.
- the controller is Any one of (1) to (7) above, wherein a target existing on the local side, which is indicated by the communication partner reflected on the display unit, is specified based on the instruction target information received from the communication partner side.
- the controller is Based on the instruction target information received from the communication partner side, the target that exists on the local side specified by the communication partner reflected on the display unit is specified, When the indicator is not reflected on the display unit, a virtual image of the indicator is displayed in a superimposed manner, and a control is performed to display a linear image that connects the indicator of the virtual image and the identified target.
- the information processing apparatus according to any one of (1) to (8).
- the controller is A virtual image showing a hidden surface of the target is superimposed and displayed on the target of the communication counterpart on the display unit, 10.
- the information processing apparatus according to any one of (1) to (9), wherein a surface designated by a user is specified based on a user instruction operation on the virtual image.
- the controller is Based on the instruction target information received from the communication partner side, specify the target surface existing on the local side, which is indicated by the communication partner reflected in the display unit, The information processing according to any one of (1) to (10), wherein a linear image that connects the indicator used by the communication partner reflected on the display unit and the identified target surface is displayed. apparatus. (12) The controller is The information processing apparatus according to any one of (1) to (11), wherein a target specified by the user is specified based on a user instruction operation. (13) The display unit The information processing apparatus according to (12), wherein a display that clearly indicates the identified target is performed. (14) The display unit Furthermore, the information processing apparatus according to (12) or (13), wherein a target range designated by the user is specified based on the voice of the user.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来から、テレビ電話を用いた会議システムなど、遠隔地の相手とのコミュニケーションを支援する通信システムが提案されている。
例えば下記特許文献1では、複数の遠隔地から同一コンテンツの映像上の任意の位置を指し示すユーザのポインタを表示することで、遠隔コミュニケーションを支援する技術が開示されている。
しかしながら、映像を介した双方向コミュニケーションで指し示す対象は、同一コンテンツの映像に限られない。
そこで、本開示では、映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御することと、一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御することと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成例
3.動作処理
3-1.ユーザの指差し動作に応じた制御処理
3-2.通信相手側の指差し動作に応じた表示処理
4.他の表示例
4-1.指差し困難な場所の指示
4-2.音声に応じた指示対象の範囲の調整
4-3.共有モード時における表示制御
5.まとめ
1.本開示の一実施形態による情報処理システムの概要
2.構成例
3.動作処理
3-1.ユーザの指差し動作に応じた制御処理
3-2.通信相手側の指差し動作に応じた表示処理
4.他の表示例
4-1.指差し困難な場所の指示
4-2.音声に応じた指示対象の範囲の調整
4-3.共有モード時における表示制御
5.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムでは、情報処理装置10を用いて映像および音声を介した双方向コミュニケーション通信を提供する。情報処理装置10は、図1に示すように、表示部であるウィンドウディスプレイ131を備え、通信相手側の映像がリアルタイムで表示される。このような情報処理装置10は、各空間に配置される。例えば、空間Aに居るユーザAと空間Bに居るユーザBとを繋ぐ場合、本実施形態による情報処理システム1は、図2に示すように、空間Aで用いられる情報処理装置10Aおよび空間Bで用いられる情報処理装置10Bとを有するシステム構成となる。情報処理装置10Aおよび情報処理装置10Bは、ネットワーク3を介して通信接続される。
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムでは、情報処理装置10を用いて映像および音声を介した双方向コミュニケーション通信を提供する。情報処理装置10は、図1に示すように、表示部であるウィンドウディスプレイ131を備え、通信相手側の映像がリアルタイムで表示される。このような情報処理装置10は、各空間に配置される。例えば、空間Aに居るユーザAと空間Bに居るユーザBとを繋ぐ場合、本実施形態による情報処理システム1は、図2に示すように、空間Aで用いられる情報処理装置10Aおよび空間Bで用いられる情報処理装置10Bとを有するシステム構成となる。情報処理装置10Aおよび情報処理装置10Bは、ネットワーク3を介して通信接続される。
ユーザA側から見た場合、図1に示すように、情報処理装置10のウィンドウディスプレイ131に、空間Bの撮像画像(ユーザBが映る画像)が表示されると共に、空間B側で集音された音声情報がスピーカ135(不図示)から出力され、対面した状態で対話を行うことが可能である。
また、ユーザA側の撮像画像は、カメラ123により撮像され、ユーザB側の情報処理装置10Bへ送信される。図1に示すカメラ123の配置は一例であって、本実施形態はこれに限定されない。また、ユーザA側の音声情報は、マイクロホン(以下、マイクと称する)125(不図示)により集音され、ユーザB側の情報処理装置10Bへ送信される。
ここで、このような映像を介した双方向コミュニケーションにおいて、表示画面越しに遠隔地の特定の対象に向けて指さしを行った場合、カメラの位置によっては、遠隔地側から見た際に指差しの方向が対象とずれてしまうことがある。例えば図1に示す例では、ユーザBは、ユーザB側の表示部(ユーザA側のカメラ123で撮像された撮像画像が表示されている)に映るユーザA側のテーブル上の実物体20を指差しているが、ユーザA側から見ると、ユーザBの指差し方向が実物体20とずれて、どこを指しているのか分からない場合がある。
そこで、本実施形態では、映像を介した双方向コミュニケーションにおいて、一方の人物が用いている指示体(例えば、手や指等の人体の部位、またはペンや指示棒等の人工物)と、当該人物が指示している対象とを関連付ける画像を表示することで、通信相手が指し示す対象が直感的に把握できるようにすることを可能とする。
具体的には、例えば図1に示すように、情報処理装置10は、ウィンドウディスプレイ131に映るユーザBの指先と、ユーザBが指し示すユーザA側(すなわち、ローカル側)のテーブルに載置された実物体20とを繋ぐ線状の画像30を、ウィンドウディスプレイ131と、テーブルの天板部分に設けられる表示部(テーブルディスプレイ133)とに渡って表示する制御を行う。このように、指差し方向が異なって見えても、指差ししている指先と対象とを繋ぐ画像が明示されることで、ユーザAは、ユーザBが指し示している対象(ここでは、ローカル側の実物体20)を直感的に把握することができる。
なお、本実施形態では一例としてテーブルディスプレイ133を用いているが、本開示はこれに限定されず、例えばプロジェクタ(不図示)により線状の画像を投影してもよい。例えば情報処理装置10は、ウィンドウディスプレイ131における指示体(例えばユーザBの指先)とテーブル上の実物体20とを繋ぐ線状の画像30のうち、テーブル上の線状画像部分を、プロジェクタにより投影して表示する。
また、本実施形態において、ユーザが指し示す「対象」とは、実物体に限らず、テーブルディスプレイ133に表示される、または、プロジェクタにより投影される画像(本明細書では、「仮想物体」と称す)や、テーブルディスプレイ133上などの一定範囲の領域も含まれる。
また、図1~図2では、一例として2地点間のコミュニケーションについて説明しているが、本実施形態はこれに限定されず、3地点以上を繋ぐことも可能である。
また、テーブルディスプレイ133とウィンドウディスプレイ131の配置構成(略水平方向の表示部と略垂直方向の表示部との組み合わせ)は、空間内(屋内または屋外)における床、壁、または家具等の任意の場所、若しくはノートPC等において実現することも可能である。
以上、本開示の一実施形態による情報処理システム1について説明した。続いて、本実施形態による情報処理システム1に含まれる情報処理装置10の具体的な構成について図面を参照して説明する。
<<2.構成例>>
図3は、本実施形態による情報処理装置10の構成の一例を示すブロック図である。図3に示すように、情報処理装置10は、制御部100、通信部110、入力部120、出力部130、および記憶部140を有する。
図3は、本実施形態による情報処理装置10の構成の一例を示すブロック図である。図3に示すように、情報処理装置10は、制御部100、通信部110、入力部120、出力部130、および記憶部140を有する。
<2-1.制御部100>
制御部100は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部100は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部100は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
制御部100は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部100は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部100は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部100は、入力情報認識部101、指示対象認識部102、指示対象解析部103、指示体認識部104、表示制御部105、および音声出力制御部106としても機能する。
入力情報認識部101は、入力部120から取得した各種入力情報を解析し、ユーザ入力を認識する。例えば入力情報認識部101は、マイク125から取得した発話音声を解析し、ユーザによる発話内容の認識(音声認識)を行う。また、入力情報認識部101は、センサ部121、およびカメラ123から取得した情報に基づいて、ジェスチャ(ユーザ動作)を認識する。また、入力情報認識部101は、センサ部121や通信部110から取得した情報に基づいて、リモートコントローラ(例えばIRリモートコントローラ)やマウス等の外部装置を用いて行われるユーザ入力を認識することも可能である。
ジェスチャ(ユーザ動作)の認識に関し、より具体的には、例えば入力情報認識部101は、入力部120の一例であるデプスカメラ、サーモカメラ、RGBカメラ、タッチセンサ、圧力センサ、近接センサ、または超音波センサ等によりセンシングした情報を解析する。また、「ジェスチャ(ユーザ動作)」とは、例えば、ユーザの手の動き、指差し、腕の動き、姿勢(例えばボーン情報)、視線、タッチ操作(具体的には、タッチ、タップ、ダブルタップ、スワイプ、またはドラッグ)等の情報を含む。例えば入力情報認識部101は、撮像画像やデプス情報を解析して、テーブルディスプレイ133の表示画面上に位置するユーザの手や指の位置や深度情報(換言すると、三次元情報)を取得し、高さ方向におけるテーブルディスプレイ133へのユーザの手の接触若しくは近接、及びテーブルディスプレイ133からの手の離脱を検出する。ここでは、ユーザが表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。
入力情報認識部101は、テーブルディスプレイ133に対するタッチ操作や、ウィンドウディスプレイ131に対する指差し動作等を、ジェスチャ情報として認識する。
指示対象認識部102は、入力情報認識部101により、ユーザの指差し等の指示動作が認識された場合に、ユーザが指示している対象を認識する。例えば指示対象認識部102は、ユーザがウィンドウディスプレイ131に対して指差し動作を行っていると認識された場合、ウィンドウディスプレイ131に対する指差し方向(角度)に基づいて、ウィンドウディスプレイ131に表示されている通信相手側の撮像画像から、ユーザが指差している対象(画像に映る通信相手側の実物体、仮想物体(例えば通信相手側のテーブルディスプレイ133に表示されている画像)、または一定範囲の領域)を指示対象として認識する。例えば指示対象認識部102は、指差し方向の延長線とウィンドウディスプレイ131に表示されている撮像画像とが交差する位置に表示されている対象を、指示対象として認識する。また、指示対象認識部102は、認識した指示対象を強調表示等してユーザにフィードバックしてもよい。これによりユーザは、自身が指差している対象が正しく認識されているかを確認することができる。異なる対象が認識されている場合は、ユーザは、指の角度をずらす等して調整し得る。また、指示対象認識部102による認識結果は、指示対象情報として、通信部110から通信相手側の情報処理装置10に送信される。
指示対象解析部103は、通信相手側から受信した情報(指示対象情報)に基づいて、通信相手が指示しているユーザ側(ローカル側)の対象を解析する。通信相手側から受信した指示対象情報には、通信相手側で表示されている、ユーザ側の撮像画像に対して通信相手が指差した動作に基づいて認識された指差し対象の認識結果(対象の位置、形状等の情報)が含まれる。指示対象解析部103は、当該指示対象情報に基づいて、ウィンドウディスプレイ131に映る通信相手が画面越しに指差しているユーザ側(ローカル側)の対象(テーブルディスプレイ133上に載置されている実物体、テーブルディスプレイ133に表示されている仮想物体、または一定範囲の領域等)を解析する。
指示体認識部104は、受信した通信相手側の撮像画像から、通信相手が用いている指示体(例えば、手、指、等)を認識する。
表示制御部105は、入力情報認識部101により認識されたユーザ操作に応じた表示制御や、通信部110により通信相手側から受信した通信相手側の撮像画像を表示する制御を行う。また、表示制御部105は、指示対象認識部102による認識結果に基づいて、ユーザの指示対象を明示的に示すための表示制御を行ったり、指示対象解析部103による解析結果に基づいて、通信相手が画面越しに指示しているローカル側の指示対象を明示的に示すための表示制御を行ったりする。
具体的には、表示制御部105は、指差し動作等により、ある対象を指示している人物が用いている指示体(指先など)と、指示対象(実物体、仮想物体、または特定の領域)とを関連付ける画像を表示する制御を行う。例えば、表示制御部105は、テーブルディスプレイ133およびウィンドウディスプレイ131に渡って、ウィンドウディスプレイ131に映る通信相手の指先と、当該通信相手が指差しているローカル側の対象(テーブルディスプレイ133上に載置されている実物体、または、テーブルディスプレイ133に表示されている画像等)とを繋ぐ線状の画像を表示する。これにより、通信相手が指し示す対象をユーザに直感的に把握させることが可能となる。
また、表示制御部105は、指示対象認識部102の認識結果に応じて、ユーザがウィンドウディスプレイ131に映る通信相手側の対象を指示している際は、ウィンドウディスプレイ131に映る通信相手側の撮像画像中の当該対象を強調表示する制御を行う。また、表示制御部105は、指示対象認識部102の認識結果に応じて、ユーザがテーブルディスプレイ133上に載置されている実物体またはテーブルディスプレイ133に表示されている画像(仮想物体)を指示している際は、テーブルディスプレイ133において当該対象を強調表示する制御を行う。
なお、ここでは表示部の一例として、テーブルに設けられているテーブルディスプレイ133を用いているが、本実施形態はこれに限定されず、テーブルへの表示は、プロジェクタにより行ってもよい。すなわち、表示制御部105は、例えば通信相手が画面越しにテーブル上に載置されている実物体を指示している場合、プロジェクタにより、当該実物体を強調表示すると共に、ウィンドウディスプレイ131に映る通信相手の指先と繋がる線状の表示画像に繋がる線状の投影画像をテーブルに投影するよう制御する。
音声出力制御部106は、スピーカ135からの音声出力を制御する。例えば音声出力制御部106は、通信部110により受信した通信相手側の音声情報を出力する。
<2-2.通信部110>
通信部110は、情報処理装置10と他の機器とを接続するための接続装置である。通信部110は、例えば有線または無線によりネットワーク3と接続し、通信先装置(情報処理装置10)とデータの送受信を行う。通信部110は、例えば有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等によりネットワーク3と通信接続する。
通信部110は、情報処理装置10と他の機器とを接続するための接続装置である。通信部110は、例えば有線または無線によりネットワーク3と接続し、通信先装置(情報処理装置10)とデータの送受信を行う。通信部110は、例えば有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等によりネットワーク3と通信接続する。
<2-3.入力部120>
入力部120は、情報処理装置10への入力情報を取得する。例えば入力部120は、センサ部121、カメラ123、マイク125を含む。センサ部121は、例えば、タッチセンサ、圧力センサ、近接センサ、赤外線受光部、超音波センサ、デプスカメラ、サーモカメラ、またはRGBカメラ等を含んでもよいし、また、ボタン、スイッチ、およびレバーなど物理的構成により形成される操作入力部を含んでもよい。カメラ123は、テーブルディスプレイ133やウィンドウディスプレイ131に対して操作入力を行っている(指差し動作を含む)ユーザを撮像する。マイク125はユーザの発話音声等、音声情報をセンシングする。
入力部120は、情報処理装置10への入力情報を取得する。例えば入力部120は、センサ部121、カメラ123、マイク125を含む。センサ部121は、例えば、タッチセンサ、圧力センサ、近接センサ、赤外線受光部、超音波センサ、デプスカメラ、サーモカメラ、またはRGBカメラ等を含んでもよいし、また、ボタン、スイッチ、およびレバーなど物理的構成により形成される操作入力部を含んでもよい。カメラ123は、テーブルディスプレイ133やウィンドウディスプレイ131に対して操作入力を行っている(指差し動作を含む)ユーザを撮像する。マイク125はユーザの発話音声等、音声情報をセンシングする。
<2-4.出力部130>
出力部130は、情報処理装置10からの出力情報をユーザに提示する。例えば出力部130は、テーブルディスプレイ133、ウィンドウディスプレイ131、スピーカ135を含む。スピーカ135は、通信先から受信した相手の発話音声等の音声情報を出力する。
出力部130は、情報処理装置10からの出力情報をユーザに提示する。例えば出力部130は、テーブルディスプレイ133、ウィンドウディスプレイ131、スピーカ135を含む。スピーカ135は、通信先から受信した相手の発話音声等の音声情報を出力する。
<2-5.記憶部140>
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
また、記憶部140は、入力情報認識部101による認識結果や、通信部110により通信相手側から受信した通信相手側の映像(撮像画像)や音声を記憶してもよい。
以上、本実施形態による情報処理装置10の構成について具体的に説明した。なお情報処理装置10の構成は、図3に示す例に限定されない。例えば、情報処理装置10が複数の装置により構成されていてもよい。また、情報処理装置10の制御部100の各機能の少なくとも一部が、外部装置(例えば、スマートフォン、タブレット端末、PC、サーバ等)により実現されてもよい。
また、本実施形態による情報処理装置10は、ネットワーク上のサーバ(不図示)を介して、通信相手側とデータの送受信を行ってもよい。
<<3.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
<3-1.ユーザの指差し動作に応じた制御処理>
まず、図4を参照してユーザの(すなわちローカル側からの)指差し動作に応じた制御処理について説明する。図4は、本実施形態によるユーザの指差し動作に応じた制御処理の流れの一例を示すフローチャートである。
まず、図4を参照してユーザの(すなわちローカル側からの)指差し動作に応じた制御処理について説明する。図4は、本実施形態によるユーザの指差し動作に応じた制御処理の流れの一例を示すフローチャートである。
図4に示すように、まず、情報処理装置10の入力情報認識部101は、カメラ123による撮像画像を解析してユーザの指差し動作を検出すると(ステップS103)、さらに指先の位置や指差し方向を認識する(ステップS106)。
次に、指示対象認識部102は、入力情報認識部101による認識結果と、ウィンドウディスプレイ131に表示されている通信相手側の映像、または、テーブルディスプレイ133の状態(仮想物体の表示位置、またはテーブルディスプレイ133に載置されている実物体の位置等)に基づいて、ユーザが指差している対象(すなわち、指示対象)を認識する(ステップS109)。
次いで、指示対象認識部102は、認識した指差し対象の情報(すなわち、指示対象情報)を、通信部110から通信相手側に送信する(ステップS112)。
そして、表示制御部105は、ユーザの指先と指差し対象とを繋ぐ画像を表示する(ステップS115)。ここで、ローカル側からの指差し動作に応じた指示対象の表示制御について、図5Aおよび図5Bを参照して説明する。
図5Aおよび図5Bは、本実施形態によるローカル側から指差し動作を行った場合における指示対象の強調表示例を示す図である。例えば図5Aに示すように、ユーザBがテーブルディスプレイ133に表示された通信相手側の映像(ユーザA側の映像)に対して指差し動作を行い、画面越しに通信相手側のテーブルに載置されている実物体20aが指示対象として認識された場合、情報処理装置10の表示制御部105は、ウィンドウディスプレイ131において、指示対象である実物体20aを強調させる表示(周囲の色を変える、点滅させる等)を行う。さらに、表示制御部105は、図5Aに示すように、指示対象の実物体20aと、ユーザBの指先方向とを繋ぐ線状の画像30aを表示する。これにより、ユーザBは、自身が指差している対象が正しく認識されていることを視認することができる。また、図5Bに示すように、ユーザBがテーブルディスプレイ133に表示された通信相手側の映像(ユーザA側の映像)に対して指差し動作を行い、画面越しに通信相手側のテーブルに載置されている実物体20bが指示対象として認識された場合も同様である。情報処理装置10の表示制御部105は、ウィンドウディスプレイ131において、指示対象である実物体20bを強調させる表示(周囲の色を変える、点滅させる等)を行い、さらに、指示対象の実物体20bと、ユーザBの指先方向とを繋ぐ線状の画像30bを表示する。
なお、ユーザが指し示す対象は画面越しに限らず、ローカル側に存在する実物体(テーブルディスプレイ133に載置された物体)や仮想物体(テーブルディスプレイ133に表示された画像)の場合も想定される。例えば図6に示すように、ユーザBがテーブルディスプレイ133に載置された実物体20cを指差している場合、情報処理装置10の表示制御部105は、テーブルディスプレイ133において、指示対象である実物体20cの周囲に、実物体20cを強調させる画像30cを表示してもよい。
<3-2.通信相手側の指差し動作に応じた表示処理>
続いて、通信相手側(リモート側)から画面越しに指差し動作が行われた場合における表示処理について図7を参照して説明する。図7は、本実施形態による通信相手側(リモート側)から画面越しに指差し動作が行われた場合における表示処理の流れの一例を示すフローチャートである。
続いて、通信相手側(リモート側)から画面越しに指差し動作が行われた場合における表示処理について図7を参照して説明する。図7は、本実施形態による通信相手側(リモート側)から画面越しに指差し動作が行われた場合における表示処理の流れの一例を示すフローチャートである。
図7に示すように、まず、情報処理装置10の指示対象解析部103は、通信相手側から受信した情報(指示対象情報)に基づいて、ウィンドウディスプレイ131に映る通信相手が画面越しに指差しているローカル側の対象を解析する(ステップS203)。
次に、情報処理装置10の指示体認識部104は、ウィンドウディスプレイ131に表示する通信相手側の映像から、指差し動作における指示体(例えば指先)を認識する(ステップS206)。
そして、情報処理装置10の表示制御部105は、認識した指先と、指差し対象とを繋ぐ画像を、ウィンドウディスプレイ131およびテーブルディスプレイ133に渡って表示する制御を行う(ステップS209)。かかるリモート側からの指差し動作に応じた表示例は、図1に示す通りである。すなわち、ウィンドウディスプレイ131に映る通信相手であるユーザBが画面(ウィンドウディスプレイ131)越しにローカル側の実物体20を指差している場合、情報処理装置10の表示制御部105は、図1に示すように、ウィンドウディスプレイ131に映るユーザBの指先と、指示対象であるローカル側の(テーブルディスプレイ133に載置された)実物体20とを繋ぐ画像30を、ウィンドウディスプレイ131およびテーブルディスプレイ133に渡って表示する制御を行う。これにより、ローカル側から見た際に、リモート側の相手が画面越しに指差す方向がローカル側の対象(実物体20)とずれてしまう場合でも、指先と対象とを繋ぐ画像30を表示することで、相手が何を指差しているかを直感的に把握させることが可能となる。
<<4.他の表示例>>
以上説明したように、本実施形態では、リモート側の人物の指先等の指示体と、指示対象とを繋ぐ画像を表示することで、リモート側の人物が指し示す対象を直感的に把握させることを可能とする。指示対象を明示する表示例は、上述した例に限定されず、死角になる場所や範囲を適宜指し示すことも可能である。以下、他の表示例として具体的に説明する。
以上説明したように、本実施形態では、リモート側の人物の指先等の指示体と、指示対象とを繋ぐ画像を表示することで、リモート側の人物が指し示す対象を直感的に把握させることを可能とする。指示対象を明示する表示例は、上述した例に限定されず、死角になる場所や範囲を適宜指し示すことも可能である。以下、他の表示例として具体的に説明する。
<4-1.指差し困難な場所の指示>
本実施形態では、実際には指差すことが困難な場所、具体的には、例えば実物体の裏側、または、複数の対象を同時に指し示すことを可能とする。図8は、本実施形態によるローカル側から実物体20dの裏側を指し示す表示の一例を示す図である。図8に示すように、例えば、ユーザAが、ウィンドウディスプレイ131の画面越しに、通信相手側に存在する実物体20dを指差した場合、情報処理装置10は、実物体20dの反対側や下側の面(隠れ面)を示す画像210を実物体20dに重畳表示し、ユーザの指差し方向に応じて、認識した対象(例えば裏側の側面211)を強調表示する(例えば色を変える、点滅させる等)。また、情報処理装置10の表示制御部105は、強調表示した側面211から、ユーザAの指先の方向に伸びる線状の画像30dを表示する。
本実施形態では、実際には指差すことが困難な場所、具体的には、例えば実物体の裏側、または、複数の対象を同時に指し示すことを可能とする。図8は、本実施形態によるローカル側から実物体20dの裏側を指し示す表示の一例を示す図である。図8に示すように、例えば、ユーザAが、ウィンドウディスプレイ131の画面越しに、通信相手側に存在する実物体20dを指差した場合、情報処理装置10は、実物体20dの反対側や下側の面(隠れ面)を示す画像210を実物体20dに重畳表示し、ユーザの指差し方向に応じて、認識した対象(例えば裏側の側面211)を強調表示する(例えば色を変える、点滅させる等)。また、情報処理装置10の表示制御部105は、強調表示した側面211から、ユーザAの指先の方向に伸びる線状の画像30dを表示する。
これにより、実際には指示することができない実物体の反対側や下側等を指し示すことが可能となる。なお画像210は、情報処理装置10により、物体の形状に応じて生成され得る。情報処理装置10は、例えば過去画像から物体の裏側の撮像画像を抽出して表示してもよいし(実物体20dをユーザBが動かして裏側が映っていた場合等)、外観形状から想定される隠れ線を示すようにしてもよい。情報処理装置10は、このような隠れ面を示す画像210の表示採否を、ユーザ指示(特定のジェスチャまたは音声等)に応じて判断し得る。
また、このような実物体(ウィンドウディスプレイ131に表示される通信相手側に存在する実物体)の反対側や下側等の指示は、指差し等によるジェスチャのみに限定されず、例えば音声による指示を併用してもよい。具体的には、例えば情報処理装置10は、(ウィンドウディスプレイ131に表示される)実物体の前面(見えている側)を指差した状態で、「裏の面」「これの裏」等と発話することで、指示対象の位置の調整を行うことが可能である。情報処理装置10は、ジェスチャと音声に基づいて認識した指示対象の位置(例えば、図8に示す側面211)を、強調表示し、ユーザにフィードバックする。
また、ユーザは、図8に示すように認識した側面211を強調表示してフィードバックすることで、指示対象がシステム側に正しく認識されているか否かを確認し得る。例えば側面211ではなく底面を指示したい場合、ユーザAは、底面が認識されて強調表示されるよう、指差しの角度を調整する。
また、情報処理装置10は、指示対象の認識結果(例えば実物体20dの側面211を指差していること)を、通信相手側へ指示対象情報として送信する。
続いて、上述したようにローカル側から画面越しに実物体の裏側を指示した場合における相手側からの見え方について、図9を参照して説明する。図9は、本実施形態による通信相手側(リモート側)から画面越しに実物体20dの裏側が指示された場合の表示例を示す図である。
情報処理装置10は、通信相手側から受信した指示対象情報に基づいて実物体20dの側面211を指差していると解析した場合、図9に示すように、ウィンドウディスプレイ131に映るユーザAの指先と、ローカル側に存在する実物体20dの側面211とを繋ぐ線状の画像30eを、ウィンドウディスプレイ131およびテーブルディスプレイ133に渡って表示する制御を行う。線状の画像30eのルートは特に限定せず、例えば図9に示すように実物体20dの周囲を回って側面211に到達するようにしてもよい。また、情報処理装置10は、テーブルディスプレイ133上において、側面211の周囲に強調表示を行うようにしてもよい。また、周囲にプロジェクタが設けられている場合、情報処理装置10は、プロジェクタにより実物体20dの側面211に画像を投影する等して指示対象を強調する表示を行うようにしてもよい。
また、本実施形態では、一度に複数の物体に対して指差しを行うことも可能である。例えば、情報処理装置10は、ユーザの特定のジェスチャまたは音声等により、複数の指示対象を認識することが可能である。この場合、情報処理装置10は、例えば複数の対象それぞれと、当該ユーザの指先とを繋げる線状の画像を表示する。また、リモート側から画面越しに複数の対象が指示されている場合は、情報処理装置10は、ウィンドウディスプレイ131およびテーブルディスプレイ133に渡って、複数の対象それぞれと、ウィンドウディスプレイ131に映る通信相手の指先とを繋げる線状の画像を表示するようにしてもよい。
<4-2.音声に応じた指示対象の範囲の調整>
本実施形態による情報処理装置10は、ユーザの発話音声に応じて、指示対象の範囲を調整することが可能である。上述した各実施形態では、一例として実物体(実物体全体、または、実物体の一部)を指差している場合について説明したが、本開示はこれに限定されず、特定の範囲を指し示すことも可能である。以下、図10を参照して説明する。
本実施形態による情報処理装置10は、ユーザの発話音声に応じて、指示対象の範囲を調整することが可能である。上述した各実施形態では、一例として実物体(実物体全体、または、実物体の一部)を指差している場合について説明したが、本開示はこれに限定されず、特定の範囲を指し示すことも可能である。以下、図10を参照して説明する。
図10は、例えばユーザBが画面越しに音声と併せて特定範囲を指し示す場合について説明する図である。情報処理装置10は、ウィンドウディスプレイ131に対するユーザの指差しジェスチャおよび発話音声の認識に応じて指示対象を認識し、ウィンドウディスプレイ131において認識結果をフィードバックする。例えば図10に示すように、ユーザが「そこ」と言って指差した場合、情報処理装置10は、比較的狭い一点を指示対象の範囲と認識し、認識した範囲に画像301を表示してフィードバックする。また、情報処理装置10は、ユーザが「そこら辺」と言って指差した場合、「そこ」よりは広めの範囲を指示対象の範囲として認識し、認識した範囲に画像302を表示してフィードバックする。また、情報処理装置10は、ユーザが「そっちの方」と言って指差した場合、「そこら辺」より広い範囲を指示対象の範囲として認識し、認識した範囲に画像303を表示してフィードバックする。このように、本実施形態では、一例として指示語に応じて指示対象の範囲の大きさを調整することが可能である。
なお、図10に示す例では、通信相手側に存在する実物体20fの一部やその周辺の範囲を、音声により調整しているが、本実施形態はこれに限定されず、実物体や仮想物体の有無に関わらず、相手側のテーブル上の特定範囲や、ローカル側のテーブル(テーブルディスプレイ133)上の特定範囲、または、ウィンドウディスプレイ131上の特定範囲を指し示すことも可能である。
また、指示語に応じた指示対象の範囲の大きさや指示語は、ユーザが予め任意に設定することも可能である。
<4-3.共有モード時における表示制御>
続いて、通信接続される両者のテーブルディスプレイ133の表示が共有される共有モード時における指差し動作に応じた表示制御について説明する。共有モードとは、例えば図11に示すように、通信接続する両者のテーブルディスプレイ133(133A、133B)に同じ画像(仮想物体22)が表示され(仮想物体22の配置は、上下または左右が逆であってもよい)、一方で仮想物体22の表示位置等を操作した場合、他方の同仮想物体22も(リアルタイムで)同様に変化する(操作が相手側に反映される)。これにより、遠隔地に居る複数ユーザが、テーブルディスプレイ133を用いて、より効率的に、共同作業を行うことが可能となる。
続いて、通信接続される両者のテーブルディスプレイ133の表示が共有される共有モード時における指差し動作に応じた表示制御について説明する。共有モードとは、例えば図11に示すように、通信接続する両者のテーブルディスプレイ133(133A、133B)に同じ画像(仮想物体22)が表示され(仮想物体22の配置は、上下または左右が逆であってもよい)、一方で仮想物体22の表示位置等を操作した場合、他方の同仮想物体22も(リアルタイムで)同様に変化する(操作が相手側に反映される)。これにより、遠隔地に居る複数ユーザが、テーブルディスプレイ133を用いて、より効率的に、共同作業を行うことが可能となる。
また、ウィンドウディスプレイ131には、通信相手のみが表示され、手元のテーブル(すなわち、通信相手側のテーブルディスプレイ133)が映り込まない画角とすることで、あたかも1つのテーブル(テーブルディスプレイ133)を取り囲んで作業を行っている感覚を得ることができる。
この場合、互いのテーブルディスプレイ133には同じ画像(仮想物体)が表示されているため、自分の机にあるものを指差した場合、通信相手側から見ると、ローカルのオブジェクトを指差しているように見えないといったことが生じる。そこで、本実施形態では、ローカルのオブジェクトを指差していることを明確にする画像処理を行うことで、共有モードの場合であっても違和感のない指差し動作を実現する。以下、図12を参照して具体的に説明する。
図12は、本実施形態による共有モード時における指示対象を明確にする表示制御について説明する図である。
図12左に示すように、ウィンドウディスプレイ131に映るユーザBが、自分の机(ユーザB側のテーブルディスプレイ133)に表示されている仮想物体を指差している際、手元が画角から外れ、ローカル側(ユーザA側)の仮想物体を指差しているようには見えない。共有モードの際、両者のテーブルディスプレイ133には同じ仮想物体が表示されているため、ユーザBが自分の机に表示されている仮想物体を指差している際は、ユーザA側の机に表示されている同仮想物体(例えば仮想物体22a)を指差しているように見えることが好ましい。
そこで、図12右に示すように、情報処理装置10は、ウィンドウディスプレイ131の映像中にユーザの指先(指示体)が映っていないため、指差し画像310を重畳表示すると共に、当該指差し画像310と、指示対象の仮想物体22aとを繋ぐ線状の画像30gを、ウィンドウディスプレイ131とテーブルディスプレイ133に渡って表示する。指示対象の情報は、通信相手側から受信する指示対象情報に基づいて判断され得る。
これにより、共有モード時において手元が表示されていない場合でも、リモート側(通信相手側)のユーザが何を指差しているかを直感的に把握することが可能となる。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能となる。
上述したように、本開示の実施形態による情報処理システムでは、映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能となる。
また、一方の側から複数人がそれぞれ画面越しに指差ししている場合も同様に、各ユーザの指先と、指示対象とを各々繋ぐ画像を表示するようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置10に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置10の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置。
(2)
前記制御部は、
前記関連付ける画像として、前記指示体と前記対象とを繋ぐ線状の画像を表示する、前記(1)に記載の情報処理装置。
(3)
前記指示体は、前記人物の指である、前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、
前記撮像画像を表示する前記表示部に映る通信相手が指差している指先と、当該通信相手が指示している前記対象とを繋ぐ線状の画像を表示する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記対象は、実物体であって、
前記制御部は、
前記実物体が載置されている第2の表示部と、前記撮像画像が表示される第1の表示部に渡って、前記指示体と前記実物体とを繋ぐ線状の画像を表示する制御を行う、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記対象は、実物体であって、
前記制御部は、
前記撮像画像が表示される前記表示部における前記指示体と前記対象とを繋ぐ線状の表示画像に繋がる、前記実物体が載置されている場所とを繋ぐ線状の投影画像を、プロジェクタにより投影する制御を行う、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(7)
前記対象は、仮想物体であって、
前記制御部は、
前記仮想物体が表示されている第2の表示部と、前記撮像画像が表示される第1の表示部に渡って、前記指示体と前記仮想物体とを繋ぐ線状の画像を表示する制御を行う、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(8)
前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定する、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定し、
前記表示部に前記指示体が映っていない場合、前記指示体の仮想画像を重畳表示し、当該仮想画像の指示体と、前記特定した対象とを繋ぐ線状の画像を表示する制御を行う、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、
前記表示部に映る前記通信相手側の対象に対し、当該対象の隠れ面を示す仮想画像を重畳表示し、
前記仮想画像に対するユーザの指示動作に基づいて、当該ユーザが指示している面を特定する、前記(1)~(9)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象の面を特定し、
前記表示部に映る前記通信相手が用いる前記指示体と前記特定した前記対象の面とを繋ぐ線状の画像を表示する、前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、
ユーザの指示動作に基づいて、当該ユーザが指示している対象を特定する、前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)
前記表示部は、
前記特定した対象を明示する表示を行う、前記(12)に記載の情報処理装置。
(14)
前記表示部は、
さらに前記ユーザの音声に基づいて、前記ユーザが指示している対象の範囲を特定する、前記(12)または(13)に記載の情報処理装置。
(15)
プロセッサが、
通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御することと、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御することと、
を含む、情報処理方法。
(16)
コンピュータを、
通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部、として機能させるための、プログラム。
(1)
通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置。
(2)
前記制御部は、
前記関連付ける画像として、前記指示体と前記対象とを繋ぐ線状の画像を表示する、前記(1)に記載の情報処理装置。
(3)
前記指示体は、前記人物の指である、前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、
前記撮像画像を表示する前記表示部に映る通信相手が指差している指先と、当該通信相手が指示している前記対象とを繋ぐ線状の画像を表示する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記対象は、実物体であって、
前記制御部は、
前記実物体が載置されている第2の表示部と、前記撮像画像が表示される第1の表示部に渡って、前記指示体と前記実物体とを繋ぐ線状の画像を表示する制御を行う、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記対象は、実物体であって、
前記制御部は、
前記撮像画像が表示される前記表示部における前記指示体と前記対象とを繋ぐ線状の表示画像に繋がる、前記実物体が載置されている場所とを繋ぐ線状の投影画像を、プロジェクタにより投影する制御を行う、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(7)
前記対象は、仮想物体であって、
前記制御部は、
前記仮想物体が表示されている第2の表示部と、前記撮像画像が表示される第1の表示部に渡って、前記指示体と前記仮想物体とを繋ぐ線状の画像を表示する制御を行う、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(8)
前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定する、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定し、
前記表示部に前記指示体が映っていない場合、前記指示体の仮想画像を重畳表示し、当該仮想画像の指示体と、前記特定した対象とを繋ぐ線状の画像を表示する制御を行う、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、
前記表示部に映る前記通信相手側の対象に対し、当該対象の隠れ面を示す仮想画像を重畳表示し、
前記仮想画像に対するユーザの指示動作に基づいて、当該ユーザが指示している面を特定する、前記(1)~(9)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象の面を特定し、
前記表示部に映る前記通信相手が用いる前記指示体と前記特定した前記対象の面とを繋ぐ線状の画像を表示する、前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、
ユーザの指示動作に基づいて、当該ユーザが指示している対象を特定する、前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)
前記表示部は、
前記特定した対象を明示する表示を行う、前記(12)に記載の情報処理装置。
(14)
前記表示部は、
さらに前記ユーザの音声に基づいて、前記ユーザが指示している対象の範囲を特定する、前記(12)または(13)に記載の情報処理装置。
(15)
プロセッサが、
通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御することと、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御することと、
を含む、情報処理方法。
(16)
コンピュータを、
通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部、として機能させるための、プログラム。
1 情報処理システム
3 ネットワーク
10 情報処理装置
20 実物体
22 仮想物体
100 制御部
101 入力情報認識部
102 指示対象認識部
103 指示対象解析部
104 指示体認識部
105 表示制御部
106 音声出力制御部
110 通信部
120 入力部
121 センサ部
123 カメラ
125 マイクロホン
130 出力部
131 ウィンドウディスプレイ
133 テーブルディスプレイ
135 スピーカ
140 記憶部
3 ネットワーク
10 情報処理装置
20 実物体
22 仮想物体
100 制御部
101 入力情報認識部
102 指示対象認識部
103 指示対象解析部
104 指示体認識部
105 表示制御部
106 音声出力制御部
110 通信部
120 入力部
121 センサ部
123 カメラ
125 マイクロホン
130 出力部
131 ウィンドウディスプレイ
133 テーブルディスプレイ
135 スピーカ
140 記憶部
Claims (16)
- 通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置。 - 前記制御部は、
前記関連付ける画像として、前記指示体と前記対象とを繋ぐ線状の画像を表示する、請求項1に記載の情報処理装置。 - 前記指示体は、前記人物の指である、請求項1に記載の情報処理装置。
- 前記制御部は、
前記撮像画像を表示する前記表示部に映る通信相手が指差している指先と、当該通信相手が指示している前記対象とを繋ぐ線状の画像を表示する、請求項1に記載の情報処理装置。 - 前記対象は、実物体であって、
前記制御部は、
前記実物体が載置されている第2の表示部と、前記撮像画像が表示される第1の表示部に渡って、前記指示体と前記実物体とを繋ぐ線状の画像を表示する制御を行う、請求項1に記載の情報処理装置。 - 前記対象は、実物体であって、
前記制御部は、
前記撮像画像が表示される前記表示部における前記指示体と前記対象とを繋ぐ線状の表示画像に繋がる、前記実物体が載置されている場所とを繋ぐ線状の投影画像を、プロジェクタにより投影する制御を行う、請求項1に記載の情報処理装置。 - 前記対象は、仮想物体であって、
前記制御部は、
前記仮想物体が表示されている第2の表示部と、前記撮像画像が表示される第1の表示部に渡って、前記指示体と前記仮想物体とを繋ぐ線状の画像を表示する制御を行う、請求項1に記載の情報処理装置。 - 前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定する、請求項1に記載の情報処理装置。 - 前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定し、
前記表示部に前記指示体が映っていない場合、前記指示体の仮想画像を重畳表示し、当該仮想画像の指示体と、前記特定した対象とを繋ぐ線状の画像を表示する制御を行う、請求項1に記載の情報処理装置。 - 前記制御部は、
前記表示部に映る前記通信相手側の対象に対し、当該対象の隠れ面を示す仮想画像を重畳表示し、
前記仮想画像に対するユーザの指示動作に基づいて、当該ユーザが指示している面を特定する、請求項1に記載の情報処理装置。 - 前記制御部は、
前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象の面を特定し、
前記表示部に映る前記通信相手が用いる前記指示体と前記特定した前記対象の面とを繋ぐ線状の画像を表示する、請求項1に記載の情報処理装置。 - 前記制御部は、
ユーザの指示動作に基づいて、当該ユーザが指示している対象を特定する、請求項1に記載の情報処理装置。 - 前記表示部は、
前記特定した対象を明示する表示を行う、請求項12に記載の情報処理装置。 - 前記表示部は、
さらに前記ユーザの音声に基づいて、前記ユーザが指示している対象の範囲を特定する、請求項12に記載の情報処理装置。 - プロセッサが、
通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御することと、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御することと、
を含む、情報処理方法。 - コンピュータを、
通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部、として機能させるための、プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19810546.2A EP3806454A4 (en) | 2018-05-31 | 2019-03-22 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
CN201980034766.2A CN112166601B (zh) | 2018-05-31 | 2019-03-22 | 信息处理设备、信息处理方法和计算机可读介质 |
US17/057,902 US11307670B2 (en) | 2018-05-31 | 2019-03-22 | Information processing apparatus, information processing method, and program |
KR1020207032697A KR20210015780A (ko) | 2018-05-31 | 2019-03-22 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018104642A JP2021141346A (ja) | 2018-05-31 | 2018-05-31 | 情報処理装置、情報処理方法、およびプログラム |
JP2018-104642 | 2018-05-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019230155A1 true WO2019230155A1 (ja) | 2019-12-05 |
Family
ID=68697441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/012156 WO2019230155A1 (ja) | 2018-05-31 | 2019-03-22 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11307670B2 (ja) |
EP (1) | EP3806454A4 (ja) |
JP (1) | JP2021141346A (ja) |
KR (1) | KR20210015780A (ja) |
CN (1) | CN112166601B (ja) |
WO (1) | WO2019230155A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06245207A (ja) * | 1993-02-16 | 1994-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 投影機能を有するテレビ電話装置 |
JP2006041884A (ja) | 2004-07-27 | 2006-02-09 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
US20060149495A1 (en) * | 2005-01-05 | 2006-07-06 | Massachusetts Institute Of Technology | Method for object identification and sensing in a bounded interaction space |
JP2015060579A (ja) * | 2013-09-20 | 2015-03-30 | ヤフー株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
WO2015198729A1 (ja) * | 2014-06-25 | 2015-12-30 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
WO2018074262A1 (ja) * | 2016-10-20 | 2018-04-26 | ソニー株式会社 | 通信装置および通信方法、並びにプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
WO2012054231A2 (en) * | 2010-10-04 | 2012-04-26 | Gerard Dirk Smits | System and method for 3-d projection and enhancements for interactivity |
JP6056178B2 (ja) * | 2012-04-11 | 2017-01-11 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
WO2014076236A1 (en) * | 2012-11-15 | 2014-05-22 | Steen Svendstorp Iversen | Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor |
JP6318542B2 (ja) * | 2013-10-24 | 2018-05-09 | 富士通株式会社 | 表示制御方法、表示制御プログラムおよび情報処理装置 |
US9883138B2 (en) | 2014-02-26 | 2018-01-30 | Microsoft Technology Licensing, Llc | Telepresence experience |
-
2018
- 2018-05-31 JP JP2018104642A patent/JP2021141346A/ja active Pending
-
2019
- 2019-03-22 EP EP19810546.2A patent/EP3806454A4/en active Pending
- 2019-03-22 KR KR1020207032697A patent/KR20210015780A/ko not_active IP Right Cessation
- 2019-03-22 CN CN201980034766.2A patent/CN112166601B/zh active Active
- 2019-03-22 US US17/057,902 patent/US11307670B2/en active Active
- 2019-03-22 WO PCT/JP2019/012156 patent/WO2019230155A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06245207A (ja) * | 1993-02-16 | 1994-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 投影機能を有するテレビ電話装置 |
JP2006041884A (ja) | 2004-07-27 | 2006-02-09 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
US20060149495A1 (en) * | 2005-01-05 | 2006-07-06 | Massachusetts Institute Of Technology | Method for object identification and sensing in a bounded interaction space |
JP2015060579A (ja) * | 2013-09-20 | 2015-03-30 | ヤフー株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
WO2015198729A1 (ja) * | 2014-06-25 | 2015-12-30 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
WO2018074262A1 (ja) * | 2016-10-20 | 2018-04-26 | ソニー株式会社 | 通信装置および通信方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN112166601A (zh) | 2021-01-01 |
EP3806454A4 (en) | 2021-08-04 |
US11307670B2 (en) | 2022-04-19 |
JP2021141346A (ja) | 2021-09-16 |
KR20210015780A (ko) | 2021-02-10 |
CN112166601B (zh) | 2023-09-15 |
EP3806454A1 (en) | 2021-04-14 |
US20210208687A1 (en) | 2021-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9986206B2 (en) | User experience for conferencing with a touch screen display | |
US7092001B2 (en) | Video conferencing system with physical cues | |
EP3047356B1 (en) | Configuration of a touch screen display for conferencing | |
US10088909B2 (en) | Sessionless pointing user interface | |
JP5260643B2 (ja) | ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 | |
US20220229524A1 (en) | Methods for interacting with objects in an environment | |
WO2016027536A1 (ja) | 情報処理装置および制御方法 | |
WO2014208168A1 (ja) | 情報処理装置、制御方法、プログラム、および記憶媒体 | |
US20150139483A1 (en) | Interactive Controls For Operating Devices and Systems | |
US11076125B2 (en) | Information processing apparatus and information processing method | |
EP3170162B1 (en) | Method of obtaining gesture zone definition data for a control system based on user input | |
WO2017085974A1 (ja) | 情報処理装置 | |
WO2019077897A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019079204A (ja) | 情報入出力制御システムおよび方法 | |
WO2019230155A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11221684B2 (en) | Information processing device, information processing method, and recording medium | |
CN116420989B (zh) | 一种智能办公工作站 | |
EP4400942A1 (en) | Touchless user interface control method, system, computer program and computer-readable medium | |
EP4400955A1 (en) | Touchless user interface control method for presentations | |
WO2023286316A1 (ja) | 入力装置、システム、および制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19810546 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019810546 Country of ref document: EP Effective date: 20210111 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |