WO2019230155A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2019230155A1
WO2019230155A1 PCT/JP2019/012156 JP2019012156W WO2019230155A1 WO 2019230155 A1 WO2019230155 A1 WO 2019230155A1 JP 2019012156 W JP2019012156 W JP 2019012156W WO 2019230155 A1 WO2019230155 A1 WO 2019230155A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
target
display
image
processing apparatus
Prior art date
Application number
PCT/JP2019/012156
Other languages
English (en)
French (fr)
Inventor
龍正 小池
佳恵 永野
康次 佐藤
浩司 古澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19810546.2A priority Critical patent/EP3806454A4/en
Priority to CN201980034766.2A priority patent/CN112166601B/zh
Priority to US17/057,902 priority patent/US11307670B2/en
Priority to KR1020207032697A priority patent/KR20210015780A/ko
Publication of WO2019230155A1 publication Critical patent/WO2019230155A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses a technology that supports remote communication by displaying a user's pointer that points to an arbitrary position on a video of the same content from a plurality of remote locations.
  • the object pointed to by bidirectional communication via video is not limited to video of the same content.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of intuitively grasping a target indicated by a communication partner in communication via video.
  • the bidirectional communication in which the captured image of the communication partner side space acquired from the communication partner side is displayed on the display unit is controlled, and the indicator used by one person and the person instructing
  • An information processing apparatus including a control unit that controls to display an image associated with a target is proposed.
  • the processor controls the bidirectional communication in which the captured image of the communication partner side space acquired from the communication partner side is displayed on the display unit, the indicator used by one person, and the person An information processing method is proposed, including controlling to display an image associated with the target indicated by
  • the computer controls bidirectional communication in which a captured image of the communication partner side space acquired from the communication partner side is displayed on the display unit, and the indicator used by one person and the person A program is proposed for functioning as a control unit that controls to display an image associated with a target.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing apparatus 10 is used to provide bidirectional communication communication via video and audio.
  • the information processing apparatus 10 includes a window display 131 that is a display unit, and displays images on the communication partner side in real time.
  • Such an information processing apparatus 10 is disposed in each space.
  • the information processing system 1 when the user A in the space A and the user B in the space B are connected, the information processing system 1 according to the present embodiment is an information processing apparatus 10A and a space B used in the space A as shown in FIG.
  • the system configuration includes the information processing apparatus 10B used.
  • the information processing apparatus 10A and the information processing apparatus 10B are communicatively connected via the network 3.
  • a captured image of the space B (an image showing the user B) is displayed on the window display 131 of the information processing apparatus 10, and sound is collected on the space B side.
  • the voice information is output from a speaker 135 (not shown), and a conversation can be performed in a face-to-face state.
  • the captured image on the user A side is captured by the camera 123 and transmitted to the information processing apparatus 10B on the user B side.
  • the arrangement of the camera 123 shown in FIG. 1 is an example, and the present embodiment is not limited to this.
  • the audio information on the user A side is collected by a microphone (hereinafter referred to as a microphone) 125 (not shown) and transmitted to the information processing apparatus 10B on the user B side.
  • the user B when pointing to a specific target at a remote location over the display screen, depending on the camera position, May be out of alignment with the target.
  • the user B displays the real object 20 on the table on the user A side that is displayed on the display unit on the user B side (the captured image captured by the camera 123 on the user A side is displayed).
  • the pointing direction of the user B may deviate from the real object 20 and the user may not know where he is pointing.
  • an indicator used by one person for example, a human body part such as a hand or a finger, or an artificial object such as a pen or an indicator stick
  • a target pointed by a communication partner By displaying an image associating with a target designated by a person, it is possible to intuitively grasp a target pointed by a communication partner.
  • the information processing apparatus 10 is placed on a user B's fingertip shown on the window display 131 and a table on the user A side (that is, the local side) indicated by the user B.
  • Control is performed to display the linear image 30 connecting the real object 20 over the window display 131 and the display unit (table display 133) provided on the top plate portion of the table.
  • the display unit table display 133
  • the table display 133 is used as an example, but the present disclosure is not limited to this, and a linear image may be projected by, for example, a projector (not shown).
  • the information processing apparatus 10 projects a linear image portion on the table out of the linear image 30 connecting the indicator (for example, the fingertip of the user B) on the window display 131 and the real object 20 on the table by the projector. And display.
  • the “target” pointed to by the user is not limited to a real object, but is displayed on the table display 133 or projected by a projector (referred to as “virtual object” in this specification). ) And a certain range of area such as on the table display 133 is also included.
  • 1 and 2 illustrate communication between two points as an example, but the present embodiment is not limited to this, and it is possible to connect three or more points.
  • the arrangement configuration of the table display 133 and the window display 131 can be any floor, wall, furniture, or the like in the space (indoor or outdoor). It can also be realized at a place or a notebook PC.
  • the information processing system 1 has been described above. Next, a specific configuration of the information processing apparatus 10 included in the information processing system 1 according to the present embodiment will be described with reference to the drawings.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 100, a communication unit 110, an input unit 120, an output unit 130, and a storage unit 140.
  • Control unit 100 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 10 according to various programs.
  • the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 100 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 100 also functions as an input information recognition unit 101, an instruction target recognition unit 102, an instruction target analysis unit 103, an indicator recognition unit 104, a display control unit 105, and a voice output control unit 106. .
  • the input information recognition unit 101 analyzes various input information acquired from the input unit 120 and recognizes user input. For example, the input information recognition unit 101 analyzes the uttered voice acquired from the microphone 125 and recognizes the utterance content (voice recognition) by the user. Further, the input information recognition unit 101 recognizes a gesture (user operation) based on information acquired from the sensor unit 121 and the camera 123. The input information recognition unit 101 may also recognize user input performed using an external device such as a remote controller (for example, an IR remote controller) or a mouse based on information acquired from the sensor unit 121 or the communication unit 110. Is possible.
  • a remote controller for example, an IR remote controller
  • a mouse based on information acquired from the sensor unit 121 or the communication unit 110. Is possible.
  • the input information recognition unit 101 is a depth camera, a thermo camera, an RGB camera, a touch sensor, a pressure sensor, a proximity sensor, or a super Analyzes information sensed by a sonic sensor or the like.
  • “Gesture (user action)” means, for example, user hand movement, pointing, arm movement, posture (for example, bone information), line of sight, touch operation (specifically, touch, tap, double tap) , Swipe, or drag).
  • the input information recognition unit 101 analyzes the captured image and depth information, acquires the position and depth information (in other words, three-dimensional information) of the user's hand and finger located on the display screen of the table display 133, The contact or proximity of the user's hand to the table display 133 in the height direction and the removal of the hand from the table display 133 are detected.
  • bringing the operating body such as a hand into contact with or close to the display screen by the user is also simply referred to as “contact”.
  • the input information recognition unit 101 recognizes a touch operation on the table display 133, a pointing operation on the window display 131, and the like as gesture information.
  • the instruction target recognition unit 102 recognizes a target indicated by the user. For example, when it is recognized that the user is pointing at the window display 131, the instruction target recognition unit 102 is displayed on the window display 131 based on the pointing direction (angle) with respect to the window display 131. From a captured image of a communication partner, a target pointed to by the user (a real object on the communication partner side shown in the image, a virtual object (for example, an image displayed on the table display 133 of the communication partner side), or a certain range Area) is recognized as an instruction target.
  • a target pointed to by the user a real object on the communication partner side shown in the image, a virtual object (for example, an image displayed on the table display 133 of the communication partner side), or a certain range Area
  • the instruction target recognition unit 102 recognizes an object displayed at a position where an extension line in the pointing direction and a captured image displayed on the window display 131 intersect as an instruction object.
  • the instruction target recognition unit 102 may highlight the recognized instruction target and feed it back to the user. Thereby, the user can confirm whether or not the object he / she is pointing to is correctly recognized. When a different object is recognized, the user can make adjustments by shifting the angle of the finger.
  • the recognition result by the instruction target recognition unit 102 is transmitted as instruction target information from the communication unit 110 to the information processing apparatus 10 on the communication partner side.
  • the instruction target analyzing unit 103 analyzes the target on the user side (local side) instructed by the communication partner based on the information (instruction target information) received from the communication partner side.
  • the instruction target information received from the communication partner side includes the recognition result of the pointing target recognized on the basis of the action of the communication partner pointing to the captured image displayed on the user side. Information on the position, shape, etc.).
  • the instruction target analysis unit 103 is a user side (local side) target (a real object placed on the table display 133) that the communication partner shown on the window display 131 is pointing over the screen. Body, a virtual object displayed on the table display 133, or a region within a certain range).
  • the indicator recognizing unit 104 recognizes an indicator (for example, a hand, a finger, etc.) used by the communication partner from the received captured image of the communication partner.
  • the display control unit 105 performs display control according to a user operation recognized by the input information recognition unit 101 and control for displaying a captured image on the communication partner side received from the communication partner side by the communication unit 110. Further, the display control unit 105 performs display control for explicitly indicating the user's instruction target based on the recognition result by the instruction target recognition unit 102, or performs communication based on the analysis result by the instruction target analysis unit 103. Display control is performed to explicitly indicate the local target that the partner is pointing over the screen.
  • the display control unit 105 uses a pointing operation or the like to indicate an indicator (such as a fingertip) used by a person who is instructing a certain target and an indication target (real object, virtual object, or specific area). ) Is displayed.
  • the display control unit 105 extends across the table display 133 and the window display 131, and the communication partner's fingertip shown on the window display 131 and the local target (the table display 133 placed on the table display 133).
  • a linear image that connects a real object being displayed or an image displayed on the table display 133 This makes it possible for the user to intuitively grasp the target indicated by the communication partner.
  • the display control unit 105 captures an image on the communication partner side displayed on the window display 131 when the user indicates a target on the communication partner side displayed on the window display 131 according to the recognition result of the instruction target recognition unit 102. Control to highlight the target in the image is performed.
  • the display control unit 105 instructs a real object placed on the table display 133 or an image (virtual object) displayed on the table display 133 according to the recognition result of the designation target recognition unit 102. When this is done, control is performed to highlight the target on the table display 133.
  • the table display 133 provided in the table is used as an example of the display unit.
  • the display on the table may be performed by a projector. That is, for example, when the communication partner indicates a real object placed on the table over the screen, the display control unit 105 highlights the real object by the projector and performs communication displayed on the window display 131. Control is performed so that a linear projection image connected to a linear display image connected to the fingertip of the partner is projected onto the table.
  • the sound output control unit 106 controls sound output from the speaker 135.
  • the voice output control unit 106 outputs the voice information on the communication partner side received by the communication unit 110.
  • the communication unit 110 is a connection device for connecting the information processing apparatus 10 to another device.
  • the communication unit 110 is connected to the network 3 by, for example, wired or wireless, and transmits / receives data to / from a communication destination device (information processing device 10).
  • the communication unit 110 includes, for example, a wired / wireless local area network (LAN), Wi-Fi (registered trademark), Bluetooth (registered trademark), a mobile communication network (LTE (Long Term Evolution), 3G (third generation mobile communication).
  • the communication connection with the network 3 is made by the method)).
  • the input unit 120 acquires input information to the information processing apparatus 10.
  • the input unit 120 includes a sensor unit 121, a camera 123, and a microphone 125.
  • the sensor unit 121 may include, for example, a touch sensor, a pressure sensor, a proximity sensor, an infrared light receiving unit, an ultrasonic sensor, a depth camera, a thermo camera, or an RGB camera, or a physical unit such as a button, a switch, or a lever.
  • An operation input unit formed by a general configuration may be included.
  • the camera 123 captures an image of a user who performs an operation input (including a pointing operation) on the table display 133 and the window display 131.
  • the microphone 125 senses voice information such as a user's voice.
  • the output unit 130 presents output information from the information processing apparatus 10 to the user.
  • the output unit 130 includes a table display 133, a window display 131, and a speaker 135.
  • the speaker 135 outputs voice information such as the voice of the other party received from the communication destination.
  • Storage unit 140 is realized by a ROM (Read Only Memory) that stores programs used in the processing of the control unit 100, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 140 may store the recognition result by the input information recognition unit 101 and the video (captured image) and sound of the communication partner received by the communication unit 110 from the communication partner.
  • the configuration of the information processing apparatus 10 has been specifically described above.
  • the configuration of the information processing apparatus 10 is not limited to the example illustrated in FIG.
  • the information processing apparatus 10 may be configured by a plurality of apparatuses.
  • at least a part of each function of the control unit 100 of the information processing apparatus 10 may be realized by an external device (for example, a smartphone, a tablet terminal, a PC, a server, or the like).
  • the information processing apparatus 10 may transmit / receive data to / from the communication counterpart via a server (not shown) on the network.
  • FIG. 4 is a flowchart illustrating an example of the flow of control processing according to the user's pointing operation according to the present embodiment.
  • the input information recognition unit 101 of the information processing apparatus 10 analyzes the image captured by the camera 123 and detects the pointing operation of the user (step S103), and further, the position of the fingertip and the pointing The direction is recognized (step S106).
  • the instruction target recognition unit 102 recognizes the recognition result by the input information recognition unit 101, the image on the communication partner side displayed on the window display 131, or the state of the table display 133 (the display position of the virtual object or the table). Based on the position of the real object placed on the display 133, the target pointed by the user (that is, the instruction target) is recognized (step S109).
  • the instruction target recognition unit 102 transmits the recognized pointing target information (that is, the instruction target information) from the communication unit 110 to the communication partner side (step S112).
  • the display control unit 105 displays an image connecting the user's fingertip and the pointing target (step S115).
  • the display control of the instruction target according to the pointing operation from the local side will be described with reference to FIGS. 5A and 5B.
  • FIG. 5A and FIG. 5B are diagrams illustrating an example of highlighting of an instruction target when a pointing operation is performed from the local side according to the present embodiment.
  • the user B performs a pointing operation on the image on the communication partner side (video on the user A side) displayed on the table display 133 and places it on the table on the communication partner side over the screen.
  • the display control unit 105 of the information processing apparatus 10 displays on the window display 131 a display that emphasizes the actual object 20a that is the instruction target (changes the surrounding color or blinks). Etc.).
  • FIG. 5A the user B performs a pointing operation on the image on the communication partner side (video on the user A side) displayed on the table display 133 and places it on the table on the communication partner side over the screen.
  • the display control unit 105 of the information processing apparatus 10 displays on the window display 131 a display that emphasizes the actual object 20a that is the instruction target (changes the surrounding color or blinks). Etc.).
  • the display control unit 105 displays a linear image 30 a that connects the real object 20 a that is the instruction target and the direction of the fingertip of the user B. Thereby, the user B can visually recognize that the object he / she is pointing to is recognized correctly. Further, as shown in FIG. 5B, the user B performs a pointing operation on the communication partner side image (user A side image) displayed on the table display 133, and is placed on the communication partner side table over the screen. The same applies when the placed real object 20b is recognized as an instruction target.
  • the display control unit 105 of the information processing apparatus 10 performs a display (such as changing the surrounding color or blinking) that emphasizes the real object 20b that is the indication target on the window display 131, and further displays the real object 20b that is the indication target.
  • the linear image 30b connecting the user B's fingertip direction is displayed.
  • the target pointed to by the user is not limited to the screen, but may be a real object (an object placed on the table display 133) or a virtual object (an image displayed on the table display 133) existing on the local side.
  • the display control unit 105 of the information processing apparatus 10 displays the real object that is the instruction target on the table display 133.
  • An image 30c that emphasizes the real object 20c may be displayed around the body 20c.
  • FIG. 7 is a flowchart showing an example of the flow of display processing when a pointing operation is performed over the screen from the communication partner side (remote side) according to the present embodiment.
  • the instruction target analysis unit 103 of the information processing apparatus 10 points the communication partner reflected on the window display 131 over the screen based on information (instruction target information) received from the communication partner side.
  • the local target is analyzed (step S203).
  • the indicator recognizing unit 104 of the information processing apparatus 10 recognizes an indicator (for example, a fingertip) in the pointing operation from the image on the communication partner side displayed on the window display 131 (step S206).
  • the display control unit 105 of the information processing apparatus 10 performs control to display an image connecting the recognized fingertip and the pointing target over the window display 131 and the table display 133 (step S209).
  • a display example corresponding to the pointing operation from the remote side is as shown in FIG. That is, when the user B who is a communication partner reflected on the window display 131 points at the local real object 20 through the screen (window display 131), the display control unit 105 of the information processing apparatus 10 is shown in FIG.
  • the image 30 that connects the fingertip of the user B reflected on the window display 131 and the real object 20 on the local side (mounted on the table display 133) to be instructed is transferred to the window display 131 and the table display 133. Control to display.
  • FIG. 8 is a diagram illustrating an example of a display indicating the back side of the real object 20d from the local side according to the present embodiment. As shown in FIG. 8, for example, when the user A points to the real object 20d existing on the communication partner side over the screen of the window display 131, the information processing apparatus 10 is on the opposite side or below the real object 20d.
  • the image 210 showing the side surface (hidden surface) is superimposed on the real object 20d, and the recognized target (for example, the back side surface 211) is highlighted (for example, the color is changed or blinking) according to the pointing direction of the user. Etc.)
  • the display control unit 105 of the information processing apparatus 10 displays a linear image 30d extending from the highlighted side surface 211 in the direction of the fingertip of the user A.
  • the image 210 can be generated by the information processing apparatus 10 according to the shape of the object.
  • the information processing apparatus 10 may extract and display a captured image of the back side of the object from the past image (for example, when the real object 20d is moved by the user B and the back side is reflected), and is assumed from the appearance shape. You may make it show the hidden line.
  • the information processing apparatus 10 can determine whether or not to display the image 210 indicating such a hidden surface in accordance with a user instruction (a specific gesture or voice).
  • an instruction on the opposite side or lower side of such a real object is not limited to a gesture by pointing, for example, an instruction by voice May be used in combination.
  • the information processing apparatus 10 points to the front side (viewed side) of the real object (displayed on the window display 131), “back side”, “back of this”, and the like. It is possible to adjust the position of the instruction target by speaking.
  • the information processing apparatus 10 highlights the position of the instruction target recognized based on the gesture and the voice (for example, the side surface 211 shown in FIG. 8), and feeds back to the user.
  • the user can confirm whether or not the instruction target is correctly recognized by the system side by highlighting and feeding back the recognized side surface 211 as shown in FIG. For example, when it is desired to indicate the bottom surface instead of the side surface 211, the user A adjusts the pointing angle so that the bottom surface is recognized and highlighted.
  • the information processing apparatus 10 transmits the recognition result of the instruction target (for example, pointing the side surface 211 of the real object 20d) to the communication partner side as the instruction target information.
  • FIG. 9 is a diagram illustrating a display example when the back side of the real object 20d is instructed through the screen from the communication partner side (remote side) according to the present embodiment.
  • the information processing apparatus 10 analyzes that the side surface 211 of the real object 20d is pointed based on the instruction target information received from the communication partner side, the fingertip of the user A reflected on the window display 131 is shown in FIG. And a linear image 30e connecting the side surface 211 of the real object 20d existing on the local side is displayed over the window display 131 and the table display 133.
  • the route of the linear image 30e is not particularly limited. For example, as shown in FIG. 9, the route may reach the side surface 211 around the real object 20d. Further, the information processing apparatus 10 may perform highlighting around the side surface 211 on the table display 133.
  • the information processing apparatus 10 may perform display that emphasizes the instruction target by, for example, projecting an image onto the side surface 211 of the real object 20 d using the projector.
  • the information processing apparatus 10 can recognize a plurality of instruction targets by a user's specific gesture or voice.
  • the information processing apparatus 10 displays, for example, a linear image that connects each of the plurality of objects and the user's fingertip.
  • the information processing apparatus 10 crosses the window display 131 and the table display 133 with each of the plurality of targets and the communication partner reflected on the window display 131.
  • a linear image connecting the fingertip may be displayed.
  • the information processing apparatus 10 can adjust the range of the instruction target in accordance with the user's uttered voice.
  • a real object the whole real object or a part of the real object
  • the present disclosure is not limited to this and points to a specific range. Is also possible.
  • a description will be given with reference to FIG.
  • FIG. 10 is a diagram for explaining a case where, for example, user B points to a specific range together with sound over the screen.
  • the information processing apparatus 10 recognizes the instruction target in accordance with the user's pointing gesture and speech recognition on the window display 131 and feeds back the recognition result on the window display 131. For example, as illustrated in FIG. 10, when the user points to “there”, the information processing apparatus 10 recognizes a relatively narrow point as the instruction target range, and displays an image 301 in the recognized range. provide feedback. In addition, when the user points to “there is a side”, the information processing apparatus 10 recognizes a range wider than “there” as the range to be instructed, displays the image 302 in the recognized range, and performs feedback. To do.
  • the information processing apparatus 10 recognizes a range larger than “there is a side” as the range of the instruction target, displays the image 303 in the recognized range, and performs feedback. To do.
  • the size of the range of the indication target can be adjusted according to the instruction word.
  • a part of the real object 20 f existing on the communication partner side and the range around the real object 20 f are adjusted by voice.
  • the present embodiment is not limited to this, and the real object or virtual Regardless of the presence or absence of an object, it is also possible to indicate a specific range on the counterpart table, a specific range on the local table (table display 133), or a specific range on the window display 131.
  • the size of the range of the instruction target according to the instruction word and the instruction word can be arbitrarily set in advance by the user.
  • the table at hand that is, the table display 133 on the communication partner side
  • the table at hand is set to an angle of view so that it is as if one table (table display 133) is used. You can get a feeling of working around.
  • FIG. 12 is a diagram for explaining display control for clarifying an instruction target in the sharing mode according to the present embodiment.
  • the information processing apparatus 10 displays the pointing image 310 in a superimposed manner because the user's fingertip (indicator) is not shown in the video of the window display 131.
  • a linear image 30g connecting 310 and the virtual object 22a to be designated is displayed across the window display 131 and the table display 133.
  • the instruction target information can be determined based on the instruction target information received from the communication partner side.
  • an image connecting each fingertip of each user and the instruction target may be displayed.
  • a computer program for causing hardware such as a CPU, a ROM, and a RAM built in the information processing apparatus 10 described above to exhibit the functions of the information processing apparatus 10.
  • a computer-readable storage medium storing the computer program is also provided.
  • this technique can also take the following structures.
  • An information processing apparatus comprising: a control unit that controls to display an image that associates an indicator used by one person with a target indicated by the person.
  • the controller is The information processing apparatus according to (1), wherein a linear image that connects the indicator and the target is displayed as the associated image.
  • the controller is (1) to (3) displaying a linear image connecting a fingertip pointed by a communication partner reflected on the display unit that displays the captured image and the target indicated by the communication partner.
  • the information processing apparatus according to any one of the above.
  • the object is a real object
  • the controller is Control for displaying a linear image connecting the indicator and the real object over the second display unit on which the real object is placed and the first display unit on which the captured image is displayed.
  • the information processing apparatus according to any one of (1) to (4), wherein: (6)
  • the object is a real object
  • the controller is A linear projection image that connects to the linear display image that connects the indicator and the target in the display unit on which the captured image is displayed, and that connects the place where the real object is placed, is The information processing apparatus according to any one of (1) to (4), wherein control for projection is performed.
  • the target is a virtual object
  • the controller is Control for displaying a linear image connecting the indicator and the virtual object across the second display unit on which the virtual object is displayed and the first display unit on which the captured image is displayed.
  • the information processing apparatus according to any one of (1) to (4), wherein the information processing apparatus is performed.
  • the controller is Any one of (1) to (7) above, wherein a target existing on the local side, which is indicated by the communication partner reflected on the display unit, is specified based on the instruction target information received from the communication partner side.
  • the controller is Based on the instruction target information received from the communication partner side, the target that exists on the local side specified by the communication partner reflected on the display unit is specified, When the indicator is not reflected on the display unit, a virtual image of the indicator is displayed in a superimposed manner, and a control is performed to display a linear image that connects the indicator of the virtual image and the identified target.
  • the information processing apparatus according to any one of (1) to (8).
  • the controller is A virtual image showing a hidden surface of the target is superimposed and displayed on the target of the communication counterpart on the display unit, 10.
  • the information processing apparatus according to any one of (1) to (9), wherein a surface designated by a user is specified based on a user instruction operation on the virtual image.
  • the controller is Based on the instruction target information received from the communication partner side, specify the target surface existing on the local side, which is indicated by the communication partner reflected in the display unit, The information processing according to any one of (1) to (10), wherein a linear image that connects the indicator used by the communication partner reflected on the display unit and the identified target surface is displayed. apparatus. (12) The controller is The information processing apparatus according to any one of (1) to (11), wherein a target specified by the user is specified based on a user instruction operation. (13) The display unit The information processing apparatus according to (12), wherein a display that clearly indicates the identified target is performed. (14) The display unit Furthermore, the information processing apparatus according to (12) or (13), wherein a target range designated by the user is specified based on the voice of the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来から、テレビ電話を用いた会議システムなど、遠隔地の相手とのコミュニケーションを支援する通信システムが提案されている。
　例えば下記特許文献１では、複数の遠隔地から同一コンテンツの映像上の任意の位置を指し示すユーザのポインタを表示することで、遠隔コミュニケーションを支援する技術が開示されている。
特開２００６－４１８８４号公報
　しかしながら、映像を介した双方向コミュニケーションで指し示す対象は、同一コンテンツの映像に限られない。
　そこで、本開示では、映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御することと、一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御することと、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部、として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態によるユーザの指差し動作に応じた制御処理の流れの一例を示すフローチャートである。 本実施形態によるローカル側から指差しを行った場合における指示対象の強調表示例を示す図である。 本実施形態によるローカル側から指差しを行った場合における指示対象の強調表示例を示す図である。 本実施形態によるローカル側においてローカル側に存在する実物体を指差した場合における指示対象の強調表示例を示す図である。 本実施形態による本実施形態による通信相手側から画面越しに指差し動作が行われた場合における表示処理の流れの一例を示すフローチャートである。 本実施形態によるローカル側から実物体の裏側を指し示す表示の一例を示す図である。 本実施形態による通信相手側（リモート側）から画面越しに実物体の裏側が指示された場合の表示例を示す図である。 本実施形態による画面越しに音声と併せて特定範囲を指し示す場合について説明する図である。 本実施形態によるテーブルディスプレイの表示が共有される共有モードについて説明する図である。 本実施形態による共有モード時における指示対象を明確にする表示制御について説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　３．動作処理
　　３－１．ユーザの指差し動作に応じた制御処理
　　３－２．通信相手側の指差し動作に応じた表示処理
　４．他の表示例
　　４－１．指差し困難な場所の指示
　　４－２．音声に応じた指示対象の範囲の調整
　　４－３．共有モード時における表示制御
　５．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムでは、情報処理装置１０を用いて映像および音声を介した双方向コミュニケーション通信を提供する。情報処理装置１０は、図１に示すように、表示部であるウィンドウディスプレイ１３１を備え、通信相手側の映像がリアルタイムで表示される。このような情報処理装置１０は、各空間に配置される。例えば、空間Ａに居るユーザＡと空間Ｂに居るユーザＢとを繋ぐ場合、本実施形態による情報処理システム１は、図２に示すように、空間Ａで用いられる情報処理装置１０Ａおよび空間Ｂで用いられる情報処理装置１０Ｂとを有するシステム構成となる。情報処理装置１０Ａおよび情報処理装置１０Ｂは、ネットワーク３を介して通信接続される。
　ユーザＡ側から見た場合、図１に示すように、情報処理装置１０のウィンドウディスプレイ１３１に、空間Ｂの撮像画像（ユーザＢが映る画像）が表示されると共に、空間Ｂ側で集音された音声情報がスピーカ１３５（不図示）から出力され、対面した状態で対話を行うことが可能である。
　また、ユーザＡ側の撮像画像は、カメラ１２３により撮像され、ユーザＢ側の情報処理装置１０Ｂへ送信される。図１に示すカメラ１２３の配置は一例であって、本実施形態はこれに限定されない。また、ユーザＡ側の音声情報は、マイクロホン（以下、マイクと称する）１２５（不図示）により集音され、ユーザＢ側の情報処理装置１０Ｂへ送信される。
　ここで、このような映像を介した双方向コミュニケーションにおいて、表示画面越しに遠隔地の特定の対象に向けて指さしを行った場合、カメラの位置によっては、遠隔地側から見た際に指差しの方向が対象とずれてしまうことがある。例えば図１に示す例では、ユーザＢは、ユーザＢ側の表示部（ユーザＡ側のカメラ１２３で撮像された撮像画像が表示されている）に映るユーザＡ側のテーブル上の実物体２０を指差しているが、ユーザＡ側から見ると、ユーザＢの指差し方向が実物体２０とずれて、どこを指しているのか分からない場合がある。
　そこで、本実施形態では、映像を介した双方向コミュニケーションにおいて、一方の人物が用いている指示体（例えば、手や指等の人体の部位、またはペンや指示棒等の人工物）と、当該人物が指示している対象とを関連付ける画像を表示することで、通信相手が指し示す対象が直感的に把握できるようにすることを可能とする。
　具体的には、例えば図１に示すように、情報処理装置１０は、ウィンドウディスプレイ１３１に映るユーザＢの指先と、ユーザＢが指し示すユーザＡ側（すなわち、ローカル側）のテーブルに載置された実物体２０とを繋ぐ線状の画像３０を、ウィンドウディスプレイ１３１と、テーブルの天板部分に設けられる表示部（テーブルディスプレイ１３３）とに渡って表示する制御を行う。このように、指差し方向が異なって見えても、指差ししている指先と対象とを繋ぐ画像が明示されることで、ユーザＡは、ユーザＢが指し示している対象（ここでは、ローカル側の実物体２０）を直感的に把握することができる。
　なお、本実施形態では一例としてテーブルディスプレイ１３３を用いているが、本開示はこれに限定されず、例えばプロジェクタ（不図示）により線状の画像を投影してもよい。例えば情報処理装置１０は、ウィンドウディスプレイ１３１における指示体（例えばユーザＢの指先）とテーブル上の実物体２０とを繋ぐ線状の画像３０のうち、テーブル上の線状画像部分を、プロジェクタにより投影して表示する。
　また、本実施形態において、ユーザが指し示す「対象」とは、実物体に限らず、テーブルディスプレイ１３３に表示される、または、プロジェクタにより投影される画像（本明細書では、「仮想物体」と称す）や、テーブルディスプレイ１３３上などの一定範囲の領域も含まれる。
　また、図１～図２では、一例として２地点間のコミュニケーションについて説明しているが、本実施形態はこれに限定されず、３地点以上を繋ぐことも可能である。
　また、テーブルディスプレイ１３３とウィンドウディスプレイ１３１の配置構成（略水平方向の表示部と略垂直方向の表示部との組み合わせ）は、空間内（屋内または屋外）における床、壁、または家具等の任意の場所、若しくはノートＰＣ等において実現することも可能である。
　以上、本開示の一実施形態による情報処理システム１について説明した。続いて、本実施形態による情報処理システム１に含まれる情報処理装置１０の具体的な構成について図面を参照して説明する。
　＜＜２．構成例＞＞
　図３は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図３に示すように、情報処理装置１０は、制御部１００、通信部１１０、入力部１２０、出力部１３０、および記憶部１４０を有する。
　＜２－１．制御部１００＞
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部１００は、入力情報認識部１０１、指示対象認識部１０２、指示対象解析部１０３、指示体認識部１０４、表示制御部１０５、および音声出力制御部１０６としても機能する。
　入力情報認識部１０１は、入力部１２０から取得した各種入力情報を解析し、ユーザ入力を認識する。例えば入力情報認識部１０１は、マイク１２５から取得した発話音声を解析し、ユーザによる発話内容の認識（音声認識）を行う。また、入力情報認識部１０１は、センサ部１２１、およびカメラ１２３から取得した情報に基づいて、ジェスチャ（ユーザ動作）を認識する。また、入力情報認識部１０１は、センサ部１２１や通信部１１０から取得した情報に基づいて、リモートコントローラ（例えばＩＲリモートコントローラ）やマウス等の外部装置を用いて行われるユーザ入力を認識することも可能である。
　ジェスチャ（ユーザ動作）の認識に関し、より具体的には、例えば入力情報認識部１０１は、入力部１２０の一例であるデプスカメラ、サーモカメラ、ＲＧＢカメラ、タッチセンサ、圧力センサ、近接センサ、または超音波センサ等によりセンシングした情報を解析する。また、「ジェスチャ（ユーザ動作）」とは、例えば、ユーザの手の動き、指差し、腕の動き、姿勢（例えばボーン情報）、視線、タッチ操作（具体的には、タッチ、タップ、ダブルタップ、スワイプ、またはドラッグ）等の情報を含む。例えば入力情報認識部１０１は、撮像画像やデプス情報を解析して、テーブルディスプレイ１３３の表示画面上に位置するユーザの手や指の位置や深度情報（換言すると、三次元情報）を取得し、高さ方向におけるテーブルディスプレイ１３３へのユーザの手の接触若しくは近接、及びテーブルディスプレイ１３３からの手の離脱を検出する。ここでは、ユーザが表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。
　入力情報認識部１０１は、テーブルディスプレイ１３３に対するタッチ操作や、ウィンドウディスプレイ１３１に対する指差し動作等を、ジェスチャ情報として認識する。
　指示対象認識部１０２は、入力情報認識部１０１により、ユーザの指差し等の指示動作が認識された場合に、ユーザが指示している対象を認識する。例えば指示対象認識部１０２は、ユーザがウィンドウディスプレイ１３１に対して指差し動作を行っていると認識された場合、ウィンドウディスプレイ１３１に対する指差し方向（角度）に基づいて、ウィンドウディスプレイ１３１に表示されている通信相手側の撮像画像から、ユーザが指差している対象（画像に映る通信相手側の実物体、仮想物体（例えば通信相手側のテーブルディスプレイ１３３に表示されている画像）、または一定範囲の領域）を指示対象として認識する。例えば指示対象認識部１０２は、指差し方向の延長線とウィンドウディスプレイ１３１に表示されている撮像画像とが交差する位置に表示されている対象を、指示対象として認識する。また、指示対象認識部１０２は、認識した指示対象を強調表示等してユーザにフィードバックしてもよい。これによりユーザは、自身が指差している対象が正しく認識されているかを確認することができる。異なる対象が認識されている場合は、ユーザは、指の角度をずらす等して調整し得る。また、指示対象認識部１０２による認識結果は、指示対象情報として、通信部１１０から通信相手側の情報処理装置１０に送信される。
　指示対象解析部１０３は、通信相手側から受信した情報（指示対象情報）に基づいて、通信相手が指示しているユーザ側（ローカル側）の対象を解析する。通信相手側から受信した指示対象情報には、通信相手側で表示されている、ユーザ側の撮像画像に対して通信相手が指差した動作に基づいて認識された指差し対象の認識結果（対象の位置、形状等の情報）が含まれる。指示対象解析部１０３は、当該指示対象情報に基づいて、ウィンドウディスプレイ１３１に映る通信相手が画面越しに指差しているユーザ側（ローカル側）の対象（テーブルディスプレイ１３３上に載置されている実物体、テーブルディスプレイ１３３に表示されている仮想物体、または一定範囲の領域等）を解析する。
　指示体認識部１０４は、受信した通信相手側の撮像画像から、通信相手が用いている指示体（例えば、手、指、等）を認識する。
　表示制御部１０５は、入力情報認識部１０１により認識されたユーザ操作に応じた表示制御や、通信部１１０により通信相手側から受信した通信相手側の撮像画像を表示する制御を行う。また、表示制御部１０５は、指示対象認識部１０２による認識結果に基づいて、ユーザの指示対象を明示的に示すための表示制御を行ったり、指示対象解析部１０３による解析結果に基づいて、通信相手が画面越しに指示しているローカル側の指示対象を明示的に示すための表示制御を行ったりする。
　具体的には、表示制御部１０５は、指差し動作等により、ある対象を指示している人物が用いている指示体（指先など）と、指示対象（実物体、仮想物体、または特定の領域）とを関連付ける画像を表示する制御を行う。例えば、表示制御部１０５は、テーブルディスプレイ１３３およびウィンドウディスプレイ１３１に渡って、ウィンドウディスプレイ１３１に映る通信相手の指先と、当該通信相手が指差しているローカル側の対象（テーブルディスプレイ１３３上に載置されている実物体、または、テーブルディスプレイ１３３に表示されている画像等）とを繋ぐ線状の画像を表示する。これにより、通信相手が指し示す対象をユーザに直感的に把握させることが可能となる。
　また、表示制御部１０５は、指示対象認識部１０２の認識結果に応じて、ユーザがウィンドウディスプレイ１３１に映る通信相手側の対象を指示している際は、ウィンドウディスプレイ１３１に映る通信相手側の撮像画像中の当該対象を強調表示する制御を行う。また、表示制御部１０５は、指示対象認識部１０２の認識結果に応じて、ユーザがテーブルディスプレイ１３３上に載置されている実物体またはテーブルディスプレイ１３３に表示されている画像（仮想物体）を指示している際は、テーブルディスプレイ１３３において当該対象を強調表示する制御を行う。
　なお、ここでは表示部の一例として、テーブルに設けられているテーブルディスプレイ１３３を用いているが、本実施形態はこれに限定されず、テーブルへの表示は、プロジェクタにより行ってもよい。すなわち、表示制御部１０５は、例えば通信相手が画面越しにテーブル上に載置されている実物体を指示している場合、プロジェクタにより、当該実物体を強調表示すると共に、ウィンドウディスプレイ１３１に映る通信相手の指先と繋がる線状の表示画像に繋がる線状の投影画像をテーブルに投影するよう制御する。
　音声出力制御部１０６は、スピーカ１３５からの音声出力を制御する。例えば音声出力制御部１０６は、通信部１１０により受信した通信相手側の音声情報を出力する。
　＜２－２．通信部１１０＞
　通信部１１０は、情報処理装置１０と他の機器とを接続するための接続装置である。通信部１１０は、例えば有線または無線によりネットワーク３と接続し、通信先装置（情報処理装置１０）とデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式））等によりネットワーク３と通信接続する。
　＜２－３．入力部１２０＞
　入力部１２０は、情報処理装置１０への入力情報を取得する。例えば入力部１２０は、センサ部１２１、カメラ１２３、マイク１２５を含む。センサ部１２１は、例えば、タッチセンサ、圧力センサ、近接センサ、赤外線受光部、超音波センサ、デプスカメラ、サーモカメラ、またはＲＧＢカメラ等を含んでもよいし、また、ボタン、スイッチ、およびレバーなど物理的構成により形成される操作入力部を含んでもよい。カメラ１２３は、テーブルディスプレイ１３３やウィンドウディスプレイ１３１に対して操作入力を行っている（指差し動作を含む）ユーザを撮像する。マイク１２５はユーザの発話音声等、音声情報をセンシングする。
　＜２－４．出力部１３０＞
　出力部１３０は、情報処理装置１０からの出力情報をユーザに提示する。例えば出力部１３０は、テーブルディスプレイ１３３、ウィンドウディスプレイ１３１、スピーカ１３５を含む。スピーカ１３５は、通信先から受信した相手の発話音声等の音声情報を出力する。
　＜２－５．記憶部１４０＞
　記憶部１４０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。
　また、記憶部１４０は、入力情報認識部１０１による認識結果や、通信部１１０により通信相手側から受信した通信相手側の映像（撮像画像）や音声を記憶してもよい。
　以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお情報処理装置１０の構成は、図３に示す例に限定されない。例えば、情報処理装置１０が複数の装置により構成されていてもよい。また、情報処理装置１０の制御部１００の各機能の少なくとも一部が、外部装置（例えば、スマートフォン、タブレット端末、ＰＣ、サーバ等）により実現されてもよい。
　また、本実施形態による情報処理装置１０は、ネットワーク上のサーバ（不図示）を介して、通信相手側とデータの送受信を行ってもよい。
　＜＜３．動作処理＞＞
　続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
　　＜３－１．ユーザの指差し動作に応じた制御処理＞
　まず、図４を参照してユーザの（すなわちローカル側からの）指差し動作に応じた制御処理について説明する。図４は、本実施形態によるユーザの指差し動作に応じた制御処理の流れの一例を示すフローチャートである。
　図４に示すように、まず、情報処理装置１０の入力情報認識部１０１は、カメラ１２３による撮像画像を解析してユーザの指差し動作を検出すると（ステップＳ１０３）、さらに指先の位置や指差し方向を認識する（ステップＳ１０６）。
　次に、指示対象認識部１０２は、入力情報認識部１０１による認識結果と、ウィンドウディスプレイ１３１に表示されている通信相手側の映像、または、テーブルディスプレイ１３３の状態（仮想物体の表示位置、またはテーブルディスプレイ１３３に載置されている実物体の位置等）に基づいて、ユーザが指差している対象（すなわち、指示対象）を認識する（ステップＳ１０９）。
　次いで、指示対象認識部１０２は、認識した指差し対象の情報（すなわち、指示対象情報）を、通信部１１０から通信相手側に送信する（ステップＳ１１２）。
　そして、表示制御部１０５は、ユーザの指先と指差し対象とを繋ぐ画像を表示する（ステップＳ１１５）。ここで、ローカル側からの指差し動作に応じた指示対象の表示制御について、図５Ａおよび図５Ｂを参照して説明する。
　図５Ａおよび図５Ｂは、本実施形態によるローカル側から指差し動作を行った場合における指示対象の強調表示例を示す図である。例えば図５Ａに示すように、ユーザＢがテーブルディスプレイ１３３に表示された通信相手側の映像（ユーザＡ側の映像）に対して指差し動作を行い、画面越しに通信相手側のテーブルに載置されている実物体２０ａが指示対象として認識された場合、情報処理装置１０の表示制御部１０５は、ウィンドウディスプレイ１３１において、指示対象である実物体２０ａを強調させる表示（周囲の色を変える、点滅させる等）を行う。さらに、表示制御部１０５は、図５Ａに示すように、指示対象の実物体２０ａと、ユーザＢの指先方向とを繋ぐ線状の画像３０ａを表示する。これにより、ユーザＢは、自身が指差している対象が正しく認識されていることを視認することができる。また、図５Ｂに示すように、ユーザＢがテーブルディスプレイ１３３に表示された通信相手側の映像（ユーザＡ側の映像）に対して指差し動作を行い、画面越しに通信相手側のテーブルに載置されている実物体２０ｂが指示対象として認識された場合も同様である。情報処理装置１０の表示制御部１０５は、ウィンドウディスプレイ１３１において、指示対象である実物体２０ｂを強調させる表示（周囲の色を変える、点滅させる等）を行い、さらに、指示対象の実物体２０ｂと、ユーザＢの指先方向とを繋ぐ線状の画像３０ｂを表示する。
　なお、ユーザが指し示す対象は画面越しに限らず、ローカル側に存在する実物体（テーブルディスプレイ１３３に載置された物体）や仮想物体（テーブルディスプレイ１３３に表示された画像）の場合も想定される。例えば図６に示すように、ユーザＢがテーブルディスプレイ１３３に載置された実物体２０ｃを指差している場合、情報処理装置１０の表示制御部１０５は、テーブルディスプレイ１３３において、指示対象である実物体２０ｃの周囲に、実物体２０ｃを強調させる画像３０ｃを表示してもよい。
　　＜３－２．通信相手側の指差し動作に応じた表示処理＞
　続いて、通信相手側（リモート側）から画面越しに指差し動作が行われた場合における表示処理について図７を参照して説明する。図７は、本実施形態による通信相手側（リモート側）から画面越しに指差し動作が行われた場合における表示処理の流れの一例を示すフローチャートである。
　図７に示すように、まず、情報処理装置１０の指示対象解析部１０３は、通信相手側から受信した情報（指示対象情報）に基づいて、ウィンドウディスプレイ１３１に映る通信相手が画面越しに指差しているローカル側の対象を解析する（ステップＳ２０３）。
　次に、情報処理装置１０の指示体認識部１０４は、ウィンドウディスプレイ１３１に表示する通信相手側の映像から、指差し動作における指示体（例えば指先）を認識する（ステップＳ２０６）。
　そして、情報処理装置１０の表示制御部１０５は、認識した指先と、指差し対象とを繋ぐ画像を、ウィンドウディスプレイ１３１およびテーブルディスプレイ１３３に渡って表示する制御を行う（ステップＳ２０９）。かかるリモート側からの指差し動作に応じた表示例は、図１に示す通りである。すなわち、ウィンドウディスプレイ１３１に映る通信相手であるユーザＢが画面（ウィンドウディスプレイ１３１）越しにローカル側の実物体２０を指差している場合、情報処理装置１０の表示制御部１０５は、図１に示すように、ウィンドウディスプレイ１３１に映るユーザＢの指先と、指示対象であるローカル側の（テーブルディスプレイ１３３に載置された）実物体２０とを繋ぐ画像３０を、ウィンドウディスプレイ１３１およびテーブルディスプレイ１３３に渡って表示する制御を行う。これにより、ローカル側から見た際に、リモート側の相手が画面越しに指差す方向がローカル側の対象（実物体２０）とずれてしまう場合でも、指先と対象とを繋ぐ画像３０を表示することで、相手が何を指差しているかを直感的に把握させることが可能となる。
　＜＜４．他の表示例＞＞
　以上説明したように、本実施形態では、リモート側の人物の指先等の指示体と、指示対象とを繋ぐ画像を表示することで、リモート側の人物が指し示す対象を直感的に把握させることを可能とする。指示対象を明示する表示例は、上述した例に限定されず、死角になる場所や範囲を適宜指し示すことも可能である。以下、他の表示例として具体的に説明する。
　＜４－１．指差し困難な場所の指示＞
　本実施形態では、実際には指差すことが困難な場所、具体的には、例えば実物体の裏側、または、複数の対象を同時に指し示すことを可能とする。図８は、本実施形態によるローカル側から実物体２０ｄの裏側を指し示す表示の一例を示す図である。図８に示すように、例えば、ユーザＡが、ウィンドウディスプレイ１３１の画面越しに、通信相手側に存在する実物体２０ｄを指差した場合、情報処理装置１０は、実物体２０ｄの反対側や下側の面（隠れ面）を示す画像２１０を実物体２０ｄに重畳表示し、ユーザの指差し方向に応じて、認識した対象（例えば裏側の側面２１１）を強調表示する（例えば色を変える、点滅させる等）。また、情報処理装置１０の表示制御部１０５は、強調表示した側面２１１から、ユーザＡの指先の方向に伸びる線状の画像３０ｄを表示する。
　これにより、実際には指示することができない実物体の反対側や下側等を指し示すことが可能となる。なお画像２１０は、情報処理装置１０により、物体の形状に応じて生成され得る。情報処理装置１０は、例えば過去画像から物体の裏側の撮像画像を抽出して表示してもよいし（実物体２０ｄをユーザＢが動かして裏側が映っていた場合等）、外観形状から想定される隠れ線を示すようにしてもよい。情報処理装置１０は、このような隠れ面を示す画像２１０の表示採否を、ユーザ指示（特定のジェスチャまたは音声等）に応じて判断し得る。
　また、このような実物体（ウィンドウディスプレイ１３１に表示される通信相手側に存在する実物体）の反対側や下側等の指示は、指差し等によるジェスチャのみに限定されず、例えば音声による指示を併用してもよい。具体的には、例えば情報処理装置１０は、（ウィンドウディスプレイ１３１に表示される）実物体の前面（見えている側）を指差した状態で、「裏の面」「これの裏」等と発話することで、指示対象の位置の調整を行うことが可能である。情報処理装置１０は、ジェスチャと音声に基づいて認識した指示対象の位置（例えば、図８に示す側面２１１）を、強調表示し、ユーザにフィードバックする。
　また、ユーザは、図８に示すように認識した側面２１１を強調表示してフィードバックすることで、指示対象がシステム側に正しく認識されているか否かを確認し得る。例えば側面２１１ではなく底面を指示したい場合、ユーザＡは、底面が認識されて強調表示されるよう、指差しの角度を調整する。
　また、情報処理装置１０は、指示対象の認識結果（例えば実物体２０ｄの側面２１１を指差していること）を、通信相手側へ指示対象情報として送信する。
　続いて、上述したようにローカル側から画面越しに実物体の裏側を指示した場合における相手側からの見え方について、図９を参照して説明する。図９は、本実施形態による通信相手側（リモート側）から画面越しに実物体２０ｄの裏側が指示された場合の表示例を示す図である。
　情報処理装置１０は、通信相手側から受信した指示対象情報に基づいて実物体２０ｄの側面２１１を指差していると解析した場合、図９に示すように、ウィンドウディスプレイ１３１に映るユーザＡの指先と、ローカル側に存在する実物体２０ｄの側面２１１とを繋ぐ線状の画像３０ｅを、ウィンドウディスプレイ１３１およびテーブルディスプレイ１３３に渡って表示する制御を行う。線状の画像３０ｅのルートは特に限定せず、例えば図９に示すように実物体２０ｄの周囲を回って側面２１１に到達するようにしてもよい。また、情報処理装置１０は、テーブルディスプレイ１３３上において、側面２１１の周囲に強調表示を行うようにしてもよい。また、周囲にプロジェクタが設けられている場合、情報処理装置１０は、プロジェクタにより実物体２０ｄの側面２１１に画像を投影する等して指示対象を強調する表示を行うようにしてもよい。
　また、本実施形態では、一度に複数の物体に対して指差しを行うことも可能である。例えば、情報処理装置１０は、ユーザの特定のジェスチャまたは音声等により、複数の指示対象を認識することが可能である。この場合、情報処理装置１０は、例えば複数の対象それぞれと、当該ユーザの指先とを繋げる線状の画像を表示する。また、リモート側から画面越しに複数の対象が指示されている場合は、情報処理装置１０は、ウィンドウディスプレイ１３１およびテーブルディスプレイ１３３に渡って、複数の対象それぞれと、ウィンドウディスプレイ１３１に映る通信相手の指先とを繋げる線状の画像を表示するようにしてもよい。
　＜４－２．音声に応じた指示対象の範囲の調整＞
　本実施形態による情報処理装置１０は、ユーザの発話音声に応じて、指示対象の範囲を調整することが可能である。上述した各実施形態では、一例として実物体（実物体全体、または、実物体の一部）を指差している場合について説明したが、本開示はこれに限定されず、特定の範囲を指し示すことも可能である。以下、図１０を参照して説明する。
　図１０は、例えばユーザＢが画面越しに音声と併せて特定範囲を指し示す場合について説明する図である。情報処理装置１０は、ウィンドウディスプレイ１３１に対するユーザの指差しジェスチャおよび発話音声の認識に応じて指示対象を認識し、ウィンドウディスプレイ１３１において認識結果をフィードバックする。例えば図１０に示すように、ユーザが「そこ」と言って指差した場合、情報処理装置１０は、比較的狭い一点を指示対象の範囲と認識し、認識した範囲に画像３０１を表示してフィードバックする。また、情報処理装置１０は、ユーザが「そこら辺」と言って指差した場合、「そこ」よりは広めの範囲を指示対象の範囲として認識し、認識した範囲に画像３０２を表示してフィードバックする。また、情報処理装置１０は、ユーザが「そっちの方」と言って指差した場合、「そこら辺」より広い範囲を指示対象の範囲として認識し、認識した範囲に画像３０３を表示してフィードバックする。このように、本実施形態では、一例として指示語に応じて指示対象の範囲の大きさを調整することが可能である。
　なお、図１０に示す例では、通信相手側に存在する実物体２０ｆの一部やその周辺の範囲を、音声により調整しているが、本実施形態はこれに限定されず、実物体や仮想物体の有無に関わらず、相手側のテーブル上の特定範囲や、ローカル側のテーブル（テーブルディスプレイ１３３）上の特定範囲、または、ウィンドウディスプレイ１３１上の特定範囲を指し示すことも可能である。
　また、指示語に応じた指示対象の範囲の大きさや指示語は、ユーザが予め任意に設定することも可能である。
　＜４－３．共有モード時における表示制御＞
　続いて、通信接続される両者のテーブルディスプレイ１３３の表示が共有される共有モード時における指差し動作に応じた表示制御について説明する。共有モードとは、例えば図１１に示すように、通信接続する両者のテーブルディスプレイ１３３（１３３Ａ、１３３Ｂ）に同じ画像（仮想物体２２）が表示され（仮想物体２２の配置は、上下または左右が逆であってもよい）、一方で仮想物体２２の表示位置等を操作した場合、他方の同仮想物体２２も（リアルタイムで）同様に変化する（操作が相手側に反映される）。これにより、遠隔地に居る複数ユーザが、テーブルディスプレイ１３３を用いて、より効率的に、共同作業を行うことが可能となる。
　また、ウィンドウディスプレイ１３１には、通信相手のみが表示され、手元のテーブル（すなわち、通信相手側のテーブルディスプレイ１３３）が映り込まない画角とすることで、あたかも１つのテーブル（テーブルディスプレイ１３３）を取り囲んで作業を行っている感覚を得ることができる。
　この場合、互いのテーブルディスプレイ１３３には同じ画像（仮想物体）が表示されているため、自分の机にあるものを指差した場合、通信相手側から見ると、ローカルのオブジェクトを指差しているように見えないといったことが生じる。そこで、本実施形態では、ローカルのオブジェクトを指差していることを明確にする画像処理を行うことで、共有モードの場合であっても違和感のない指差し動作を実現する。以下、図１２を参照して具体的に説明する。
　図１２は、本実施形態による共有モード時における指示対象を明確にする表示制御について説明する図である。
　図１２左に示すように、ウィンドウディスプレイ１３１に映るユーザＢが、自分の机（ユーザＢ側のテーブルディスプレイ１３３）に表示されている仮想物体を指差している際、手元が画角から外れ、ローカル側（ユーザＡ側）の仮想物体を指差しているようには見えない。共有モードの際、両者のテーブルディスプレイ１３３には同じ仮想物体が表示されているため、ユーザＢが自分の机に表示されている仮想物体を指差している際は、ユーザＡ側の机に表示されている同仮想物体（例えば仮想物体２２ａ）を指差しているように見えることが好ましい。
　そこで、図１２右に示すように、情報処理装置１０は、ウィンドウディスプレイ１３１の映像中にユーザの指先（指示体）が映っていないため、指差し画像３１０を重畳表示すると共に、当該指差し画像３１０と、指示対象の仮想物体２２ａとを繋ぐ線状の画像３０ｇを、ウィンドウディスプレイ１３１とテーブルディスプレイ１３３に渡って表示する。指示対象の情報は、通信相手側から受信する指示対象情報に基づいて判断され得る。
　これにより、共有モード時において手元が表示されていない場合でも、リモート側（通信相手側）のユーザが何を指差しているかを直感的に把握することが可能となる。
　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、映像を介したコミュニケーションにおいて通信相手が指し示す対象を直感的に把握することが可能となる。
　また、一方の側から複数人がそれぞれ画面越しに指差ししている場合も同様に、各ユーザの指先と、指示対象とを各々繋ぐ画像を表示するようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
　一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置。
（２）
　前記制御部は、
　　前記関連付ける画像として、前記指示体と前記対象とを繋ぐ線状の画像を表示する、前記（１）に記載の情報処理装置。
（３）
　前記指示体は、前記人物の指である、前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、
　　前記撮像画像を表示する前記表示部に映る通信相手が指差している指先と、当該通信相手が指示している前記対象とを繋ぐ線状の画像を表示する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記対象は、実物体であって、
　前記制御部は、
　　前記実物体が載置されている第２の表示部と、前記撮像画像が表示される第１の表示部に渡って、前記指示体と前記実物体とを繋ぐ線状の画像を表示する制御を行う、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記対象は、実物体であって、
　前記制御部は、
　　前記撮像画像が表示される前記表示部における前記指示体と前記対象とを繋ぐ線状の表示画像に繋がる、前記実物体が載置されている場所とを繋ぐ線状の投影画像を、プロジェクタにより投影する制御を行う、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（７）
　前記対象は、仮想物体であって、
　前記制御部は、
　　前記仮想物体が表示されている第２の表示部と、前記撮像画像が表示される第１の表示部に渡って、前記指示体と前記仮想物体とを繋ぐ線状の画像を表示する制御を行う、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（８）
　前記制御部は、
　　前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定する、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記制御部は、
　　前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定し、
　　前記表示部に前記指示体が映っていない場合、前記指示体の仮想画像を重畳表示し、当該仮想画像の指示体と、前記特定した対象とを繋ぐ線状の画像を表示する制御を行う、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記制御部は、
　　前記表示部に映る前記通信相手側の対象に対し、当該対象の隠れ面を示す仮想画像を重畳表示し、
　　前記仮想画像に対するユーザの指示動作に基づいて、当該ユーザが指示している面を特定する、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記制御部は、
　　前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象の面を特定し、
　　前記表示部に映る前記通信相手が用いる前記指示体と前記特定した前記対象の面とを繋ぐ線状の画像を表示する、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記制御部は、
　　ユーザの指示動作に基づいて、当該ユーザが指示している対象を特定する、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記表示部は、
　　前記特定した対象を明示する表示を行う、前記（１２）に記載の情報処理装置。
（１４）
　前記表示部は、
　　さらに前記ユーザの音声に基づいて、前記ユーザが指示している対象の範囲を特定する、前記（１２）または（１３）に記載の情報処理装置。
（１５）
　プロセッサが、
　通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御することと、
　一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御することと、
を含む、情報処理方法。
（１６）
　コンピュータを、
　通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
　一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部、として機能させるための、プログラム。
　１　情報処理システム
　３　ネットワーク
　１０　情報処理装置
　２０　実物体
　２２　仮想物体
　１００　制御部
　１０１　入力情報認識部
　１０２　指示対象認識部
　１０３　指示対象解析部
　１０４　指示体認識部
　１０５　表示制御部
　１０６　音声出力制御部
　１１０　通信部
　１２０　入力部
　１２１　センサ部
　１２３　カメラ
　１２５　マイクロホン
　１３０　出力部
　１３１　ウィンドウディスプレイ
　１３３　テーブルディスプレイ
　１３５　スピーカ
　１４０　記憶部

Claims (16)

  1. 　通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
    　一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部を備える、情報処理装置。
  2. 　前記制御部は、
    　　前記関連付ける画像として、前記指示体と前記対象とを繋ぐ線状の画像を表示する、請求項１に記載の情報処理装置。
  3. 　前記指示体は、前記人物の指である、請求項１に記載の情報処理装置。
  4. 　前記制御部は、
    　　前記撮像画像を表示する前記表示部に映る通信相手が指差している指先と、当該通信相手が指示している前記対象とを繋ぐ線状の画像を表示する、請求項１に記載の情報処理装置。
  5. 　前記対象は、実物体であって、
    　前記制御部は、
    　　前記実物体が載置されている第２の表示部と、前記撮像画像が表示される第１の表示部に渡って、前記指示体と前記実物体とを繋ぐ線状の画像を表示する制御を行う、請求項１に記載の情報処理装置。
  6. 　前記対象は、実物体であって、
    　前記制御部は、
    　　前記撮像画像が表示される前記表示部における前記指示体と前記対象とを繋ぐ線状の表示画像に繋がる、前記実物体が載置されている場所とを繋ぐ線状の投影画像を、プロジェクタにより投影する制御を行う、請求項１に記載の情報処理装置。
  7. 　前記対象は、仮想物体であって、
    　前記制御部は、
    　　前記仮想物体が表示されている第２の表示部と、前記撮像画像が表示される第１の表示部に渡って、前記指示体と前記仮想物体とを繋ぐ線状の画像を表示する制御を行う、請求項１に記載の情報処理装置。
  8. 　前記制御部は、
    　　前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定する、請求項１に記載の情報処理装置。
  9. 　前記制御部は、
    　　前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象を特定し、
    　　前記表示部に前記指示体が映っていない場合、前記指示体の仮想画像を重畳表示し、当該仮想画像の指示体と、前記特定した対象とを繋ぐ線状の画像を表示する制御を行う、請求項１に記載の情報処理装置。
  10. 　前記制御部は、
    　　前記表示部に映る前記通信相手側の対象に対し、当該対象の隠れ面を示す仮想画像を重畳表示し、
    　　前記仮想画像に対するユーザの指示動作に基づいて、当該ユーザが指示している面を特定する、請求項１に記載の情報処理装置。
  11. 　前記制御部は、
    　　前記通信相手側から受信した指示対象情報に基づいて、前記表示部に映る通信相手が指示している、ローカル側に存在する対象の面を特定し、
    　　前記表示部に映る前記通信相手が用いる前記指示体と前記特定した前記対象の面とを繋ぐ線状の画像を表示する、請求項１に記載の情報処理装置。
  12. 　前記制御部は、
    　　ユーザの指示動作に基づいて、当該ユーザが指示している対象を特定する、請求項１に記載の情報処理装置。
  13. 　前記表示部は、
    　　前記特定した対象を明示する表示を行う、請求項１２に記載の情報処理装置。
  14. 　前記表示部は、
    　　さらに前記ユーザの音声に基づいて、前記ユーザが指示している対象の範囲を特定する、請求項１２に記載の情報処理装置。
  15. 　プロセッサが、
    　通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御することと、
    　一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御することと、
    を含む、情報処理方法。
  16. 　コンピュータを、
    　通信相手側から取得した通信相手側空間の撮像画像を表示部に表示する双方向通信を制御し、
    　一方の人物が用いている指示体と、当該人物が指示している対象とを関連付ける画像を表示するよう制御する制御部、として機能させるための、プログラム。
PCT/JP2019/012156 2018-05-31 2019-03-22 情報処理装置、情報処理方法、およびプログラム WO2019230155A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19810546.2A EP3806454A4 (en) 2018-05-31 2019-03-22 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN201980034766.2A CN112166601B (zh) 2018-05-31 2019-03-22 信息处理设备、信息处理方法和计算机可读介质
US17/057,902 US11307670B2 (en) 2018-05-31 2019-03-22 Information processing apparatus, information processing method, and program
KR1020207032697A KR20210015780A (ko) 2018-05-31 2019-03-22 정보 처리 장치, 정보 처리 방법 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018104642A JP2021141346A (ja) 2018-05-31 2018-05-31 情報処理装置、情報処理方法、およびプログラム
JP2018-104642 2018-05-31

Publications (1)

Publication Number Publication Date
WO2019230155A1 true WO2019230155A1 (ja) 2019-12-05

Family

ID=68697441

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012156 WO2019230155A1 (ja) 2018-05-31 2019-03-22 情報処理装置、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US11307670B2 (ja)
EP (1) EP3806454A4 (ja)
JP (1) JP2021141346A (ja)
KR (1) KR20210015780A (ja)
CN (1) CN112166601B (ja)
WO (1) WO2019230155A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245207A (ja) * 1993-02-16 1994-09-02 Nippon Telegr & Teleph Corp <Ntt> 投影機能を有するテレビ電話装置
JP2006041884A (ja) 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US20060149495A1 (en) * 2005-01-05 2006-07-06 Massachusetts Institute Of Technology Method for object identification and sensing in a bounded interaction space
JP2015060579A (ja) * 2013-09-20 2015-03-30 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
WO2015198729A1 (ja) * 2014-06-25 2015-12-30 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2018074262A1 (ja) * 2016-10-20 2018-04-26 ソニー株式会社 通信装置および通信方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
WO2014076236A1 (en) * 2012-11-15 2014-05-22 Steen Svendstorp Iversen Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
JP6318542B2 (ja) * 2013-10-24 2018-05-09 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
US9883138B2 (en) 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245207A (ja) * 1993-02-16 1994-09-02 Nippon Telegr & Teleph Corp <Ntt> 投影機能を有するテレビ電話装置
JP2006041884A (ja) 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US20060149495A1 (en) * 2005-01-05 2006-07-06 Massachusetts Institute Of Technology Method for object identification and sensing in a bounded interaction space
JP2015060579A (ja) * 2013-09-20 2015-03-30 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
WO2015198729A1 (ja) * 2014-06-25 2015-12-30 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2018074262A1 (ja) * 2016-10-20 2018-04-26 ソニー株式会社 通信装置および通信方法、並びにプログラム

Also Published As

Publication number Publication date
CN112166601A (zh) 2021-01-01
EP3806454A4 (en) 2021-08-04
US11307670B2 (en) 2022-04-19
JP2021141346A (ja) 2021-09-16
KR20210015780A (ko) 2021-02-10
CN112166601B (zh) 2023-09-15
EP3806454A1 (en) 2021-04-14
US20210208687A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US9986206B2 (en) User experience for conferencing with a touch screen display
US7092001B2 (en) Video conferencing system with physical cues
EP3047356B1 (en) Configuration of a touch screen display for conferencing
US10088909B2 (en) Sessionless pointing user interface
JP5260643B2 (ja) ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
US20220229524A1 (en) Methods for interacting with objects in an environment
WO2016027536A1 (ja) 情報処理装置および制御方法
WO2014208168A1 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
US20150139483A1 (en) Interactive Controls For Operating Devices and Systems
US11076125B2 (en) Information processing apparatus and information processing method
EP3170162B1 (en) Method of obtaining gesture zone definition data for a control system based on user input
WO2017085974A1 (ja) 情報処理装置
WO2019077897A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019079204A (ja) 情報入出力制御システムおよび方法
WO2019230155A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11221684B2 (en) Information processing device, information processing method, and recording medium
CN116420989B (zh) 一种智能办公工作站
EP4400942A1 (en) Touchless user interface control method, system, computer program and computer-readable medium
EP4400955A1 (en) Touchless user interface control method for presentations
WO2023286316A1 (ja) 入力装置、システム、および制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810546

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019810546

Country of ref document: EP

Effective date: 20210111

NENP Non-entry into the national phase

Ref country code: JP