WO2017199483A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017199483A1
WO2017199483A1 PCT/JP2017/004476 JP2017004476W WO2017199483A1 WO 2017199483 A1 WO2017199483 A1 WO 2017199483A1 JP 2017004476 W JP2017004476 W JP 2017004476W WO 2017199483 A1 WO2017199483 A1 WO 2017199483A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
processing apparatus
communication
captured image
Prior art date
Application number
PCT/JP2017/004476
Other languages
English (en)
French (fr)
Inventor
祐介 阪井
大輔 三木
厚史 泉原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/099,812 priority Critical patent/US10659728B2/en
Priority to EP17798921.7A priority patent/EP3461125B1/en
Priority to JP2018518079A priority patent/JP6950685B2/ja
Publication of WO2017199483A1 publication Critical patent/WO2017199483A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a display device, a camera, a microphone, and a speaker are provided at each location, and video and audio acquired at one location are transmitted in real time to the other location and output from the display device and the speaker.
  • Patent Literature 1 describes a line-of-sight video conference system in which a camera is installed behind the screen using a half mirror or the like.
  • Japanese Patent Application Laid-Open No. 2004-228561 describes a method of fixing a camera at the center of a display screen.
  • Patent Document 1 has a problem that the entire system is enlarged due to the configuration.
  • Patent Document 2 has a problem because the cameras overlap on the screen.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of more naturally grasping the other party's line of sight in video communication connecting remote locations.
  • a receiving unit that receives a captured image of a video communication partner from a communication destination device, and a control unit that controls to display the received captured image on a display unit
  • the control unit includes: Based on the information indicating that the communication partner appearing in the captured image is looking at the user displayed on the communication destination device, the line of sight of the communication partner appearing on the captured image is directed to the user looking at the display unit.
  • An information processing apparatus is proposed that displays the captured image after image processing so that the image appears to be present.
  • a processor receives a captured image of a video communication partner from a communication destination device, controls to display the received captured image on a display unit, and a communication partner reflected in the captured image Based on the information indicating that the user displayed on the communication destination device is being viewed, the imaging is performed so that the line of sight of the communication partner in the captured image appears to be facing the user who is viewing the display unit.
  • An information processing method including displaying an image after image processing is proposed.
  • the computer functions as a receiving unit that receives a captured image of a video communication partner from a communication destination device, and a control unit that controls to display the received captured image on a display unit, and the control
  • the communication partner in the captured image looks at the display unit based on information indicating that the communication partner in the captured image is looking at the user displayed on the communication destination device.
  • the present invention proposes a program for processing and displaying the captured image so as to be suitable for a user.
  • FIG. 7 is a sequence diagram showing an operation process following the operation process shown in FIG. 6. It is a figure explaining the outline
  • FIG. 7 is a sequence diagram showing an operation process following the operation process shown in FIG. 6. It is a figure explaining the outline
  • FIG. 11 is a sequence diagram illustrating an operation process according to another embodiment of the present disclosure. It is a figure explaining judgment of a gaze object by other embodiments of this indication. It is a figure explaining an example of management of a look status by other embodiments of this indication. It is a figure which shows the example of a screen display in the information processing apparatus by other embodiment of this indication. It is a figure which shows the example of a screen display in the information processing apparatus by other embodiment of this indication. It is a figure which shows the example of a screen display in the information processing apparatus by other embodiment of this indication. It is a figure which shows the example of a screen display in the information processing apparatus by other embodiment of this indication. It is a figure which shows the example of a screen display in the information processing apparatus by other embodiment of this indication.
  • the images of the remote locations are captured by the camera 12, but even though they are watching each other's users appearing on the display due to the effects of positional displacement between the camera 12 and the display 11.
  • the user B reflected on the display 11 in FIG. 2 is actually looking at the user A, the line of sight of the user B appears to be out of the user A due to the positional deviation between the display on the user B side and the camera.
  • the user A looks at the user B reflected on the display 11, but it seems that the line of sight of the user A is off from the user B due to the positional deviation between the display 11 and the camera 12.
  • each information processing device 10 detects the user's line of sight, determines whether or not the other user is looking at, and the information processing device 10 synchronizes the result of the determination.
  • Each information processing apparatus 10 performs image processing so that, when the other user displayed on the display is looking at the user, the other user's line of sight looks toward the user. Thereby, natural communication such as line-of-sight matching in the same space can be realized in remote communication.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 100, an input unit 101, an operation I / F (interface) 102, an output unit 103, a communication unit 104, and a storage unit 105.
  • the control unit 100 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 10 according to various programs.
  • the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 100 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input unit 101 has a function of inputting spatial information.
  • the input unit 101 is realized by a camera 1011, a microphone (hereinafter referred to as a microphone) 1012, and a line-of-sight sensor 1013.
  • the camera 1011 is provided around the display 1031, for example, and captures the forward direction of the display 1031 to obtain a captured image (also referred to as “video” in this specification).
  • the microphone 1012 is provided around the display 1031, for example, and acquires surrounding sounds.
  • the microphone 1012 may be a plurality of microphone arrays.
  • the microphone 1012 may be provided near the user.
  • the line-of-sight sensor 1013 is provided, for example, around the display 1031 and tracks the line of sight of the user who views the display 1031 (also referred to as a line-of-sight tracker).
  • the line-of-sight sensor 1013 detects the line of sight with respect to the display 1031 from the position of the user's head and face, the eyeball, and the pupil.
  • the line-of-sight sensor 1013 has a plurality of infrared LEDs, irradiates infrared rays toward the user's eyeball, and based on the positional relationship between the position of the reflection point (light spot) of the eyeball and the pupil center point. It is possible to calculate the line-of-sight direction.
  • the line-of-sight sensor 1013 is not limited to a device provided around the display 1031.
  • the line-of-sight sensor 1013 is not limited to a device provided around the display 1031.
  • the line-of-sight sensor 1013 is not limited to a device provided around the display 1031.
  • the position of the user's eyeball specifically, the black eye (including the iris and pupil portions)
  • the movement of the gazing point on the display viewed from the side may be on the display of a see-through glasses type device.
  • the movement of the gazing point on the display in the head-mounted device is detected based on the change in the position of the eyeball, which is provided in the head-mounted device worn by the user and is also measured from a very short distance. Is also possible.
  • the operation I / F 102 receives an operation input from the user and outputs it to the control unit 100.
  • the operation I / F 102 can be realized by a keyboard, a mouse, a touch panel, a button, a switch, or the like.
  • the operation I / F 102 can be used to specify content to be shared with the other user and to operate the displayed content.
  • the output unit 103 has a function of presenting various types of information output from the control unit 100 to the user.
  • the output unit 103 includes a display 1031, a speaker 1032, and an indicator 1033.
  • a display 1031 displays a video of a partner user (remote space) and shared content.
  • the speaker 1032 reproduces the voice of the partner user (remote space).
  • the indicator 1033 is realized by LED illumination used as a signal, for example.
  • the indicator 1033 is provided in the outer frame of the display 1031 and lights up when notifying some user.
  • the communication unit 104 is connected to another information processing apparatus 10 via the network 20 and transmits / receives data.
  • the communication unit 104 transmits the captured image captured by the camera 1011, the audio data collected by the microphone 1012, and the content data to be shared (such as conference material data) to the information processing apparatus 10 that is the communication destination. Further, the communication unit 104 receives video, audio data, content data, and the like from the information processing apparatus 10 that is the communication destination.
  • the storage unit 105 stores programs and parameters for the control unit 100 to execute each function. Further, the storage unit 105 according to the present embodiment may store data transmitted / received via the communication unit 104.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the control unit 100 according to the present embodiment.
  • the control unit 100 includes a video / audio acquisition unit 100a, an operation information acquisition unit 100b, a content acquisition unit 100c, a transmission control unit 100d, a gaze position specifying unit 100e, a partner video analysis unit 100f, and a gaze target determination.
  • the video / audio acquisition unit 100a acquires a captured image (video) captured by the camera 1011 and audio information collected by the microphone 1012 and outputs the acquired audio information to the transmission control unit 100d.
  • the video / audio acquisition unit 100a may perform various processing such as noise processing and compression processing on the acquired video and audio information and output the information to the transmission control unit 100d.
  • the operation information acquisition unit 100b acquires the operation information input from the operation I / F 102 and outputs it to the transmission control unit 100d.
  • the content acquisition unit 100c acquires content information shared by the information processing system 1, such as conference material data, and outputs the content information to the transmission control unit 100d.
  • the transmission control unit 100d controls the communication unit 104 to transmit video, audio data, operation information, content information, and the like to the communication destination information processing apparatus 10 via the network 20.
  • the gaze position specifying unit 100e specifies the gaze position on the display (for example, coordinate information corresponding to the display screen) based on the user's gaze detected by the gaze sensor 1013.
  • the partner video analysis unit 100f analyzes video (image analysis, object recognition) received from the information processing apparatus 10 that is the communication destination via the communication unit 104. For example, the partner video analysis unit 100f performs face recognition of a person (partner user) shown in the video and recognizes an area around the eyes.
  • the gaze target determination unit 100g determines the user's gaze target in the video displayed on the display 1031.
  • the gaze target determination unit 100g includes a gaze point P (specified by the gaze position specifying unit 100e) of the user A's line of sight with respect to the display 1031 and a user B shown in the video displayed on the display 1031. Is compared with a region E around the eyes (recognized by the partner video analysis unit 100f), and the target of user A's gaze is determined. In the example shown in FIG. 5, it can be determined whether or not the user A is looking at the user B.
  • the gaze target determination unit 100 g determines which part of the content the user A is gazing at.
  • the gaze information management unit 100h manages the determination result by the gaze target determination unit 100g as gaze information (gaze status management).
  • the determination result by the gaze target determination unit 100g is, for example, “User A is looking at User B”, “User A is looking at the coordinates (x, y) of the document image”, “User A is looking at User B The contents are not.
  • the gaze information management unit 100 h stores the gaze information of the user A in the storage unit 105.
  • the gaze information management unit 100h outputs the gaze information of the user A to the transmission control unit 100d, and the transmission control unit 100d synchronizes the gaze information with the information processing apparatus 10 that is the communication destination.
  • the transmission control unit 100d transmits gaze information of the user A from the communication unit 104 to the information processing apparatus 10 that is the communication destination via the network.
  • the user's gaze information is synchronized with each other in each information processing apparatus 10, and the gaze information management unit 100h also manages the gaze information of the other user transmitted from the information processing apparatus 10 that is the communication destination.
  • the gaze information management part 100h can grasp
  • the gaze information management unit 100h can determine whether or not the line of sight of both is the same based on the gaze information of the user A and the user B.
  • the partner video processing unit 100i performs predetermined image processing on the partner video based on the gaze information managed by the gaze information management unit 100h. For example, when the gaze information indicates that the other user is gazing at the user, the other video processing unit 100i performs image processing so that the other user's line of sight reflected in the other video appears to the user. As described above, the line of sight is shifted due to a camera position shift or the like even though the other user is looking at the user on the display. Therefore, the gaze information indicates that the other user is pointing at the user. If it is, the other user's line of sight reflected in the other party's video is processed so that it looks to the user.
  • the position of the other user's black eye, the position of both eyes, the orientation of the head (face), etc., shown in the other party image are optimally processed.
  • the processing method is not particularly limited, but for example, a method using a 2D image, a 3D model-based 2D image, a 3D model image, or the like is possible.
  • the partner user's 3D model data is generated and transmitted, for example, by the information processing apparatus 10 on the partner side.
  • the other video processing unit 100i uses an RGB-D camera (a camera equipped with a distance sensor) provided in the information processing apparatus 10 on the other side. Obtain real-time partner face model data for the other user.
  • the partner video processing unit 100i rotates the face model in a predetermined direction (for example, the front) and colors it, and synthesizes it with a composite original image (the face part of the partner user shown in the partner video) to optimize the seam, An image in which the direction of the face of the other user is changed can be generated in real time.
  • a predetermined direction for example, the front
  • a composite original image the face part of the partner user shown in the partner video
  • the partner video processing unit 100i appears as if the partner user is directing his / her line of sight when the captured partner video is directly displayed on the display. It is also possible to process so as to remove the user's line of sight.
  • the partner video processing unit 100i can optimize the display system in conjunction with the communication state. For example, it is determined that the communication path between users whose line of sight matches based on gaze information has high priority, and the mutual video area is enlarged, the image quality is improved, the highlight display is performed, etc. Interlocked display control can be performed. On the other hand, the other user's video with a low priority in which neither the other party nor the user is looking at each other may be displayed with a low resolution and a small size.
  • the display information generation unit 100j generates information to be displayed on the display 1031. For example, the display information generation unit 100j generates a screen on which the line-of-sight processed partner video generated by the partner video processing unit 100i and the shared content information are arranged. Further, the display information generation unit 100j may generate a screen on which the other party video is arranged when the line-of-sight processing by the other party video processing unit 100i is unnecessary.
  • the gaze information presentation control unit 100k presents gaze information to the user based on the gaze information managed by the gaze information management unit 100h. For example, when the other user in the video displayed on the display 1031 looks at the user, the fact is displayed on the display 1031 or the indicator 1033 is turned on.
  • control unit 100 The functional configuration of the control unit 100 according to the present embodiment has been specifically described above.
  • the control unit 100 according to the present embodiment is not limited to the optimization of the display system according to the line-of-sight match, and can also optimize the acoustic system in conjunction with the communication state, for example.
  • the control part 100 makes it easy to hear the voice of the other party who watched by making the voice between users given priority by line-of-sight coincidence clear and loud.
  • the voice of the other party whose priority is low may be unclear and low in volume. Thereby, smoother communication can be promoted.
  • FIG. 6 is a sequence diagram showing operation processing according to the present embodiment.
  • the video communication between the user A and the user B performed between the information processing apparatuses 10A and 10B will be described as an example.
  • the information processing apparatus 10A makes a video conversation connection request to the information processing apparatus 10B (step S103), obtains connection permission from the information processing apparatus 10B (step S106), and both Is established (video conversation connection processing).
  • the connection request is made from the information processing apparatus 10A, but it is naturally not limited to this, and the connection request may be made from the information processing apparatus 10B to the information processing apparatus 10A.
  • the information processing apparatus 10A acquires a video image of the user A in front of the display 1031 (step S109) and transmits it to the information processing apparatus 10B that is the communication destination (step S112).
  • the information processing apparatus 10B similarly acquires the image of the user B (step S115) and transmits it to the information processing apparatus 10A (step S118).
  • each information processing apparatus 10 arranges and displays the transmitted partner video on the screen (steps S119 and S120).
  • Such video display processing (steps S109 to S120) is continuously performed, and video communication between the user A and the user B can be performed in real time.
  • video is shown here, audio data can also be transmitted / received and output together.
  • the information processing apparatus 10A analyzes the partner video transmitted from the information processing apparatus 10B by the partner video analysis unit 100f (step S121). Specifically, the information processing apparatus 10A performs image analysis, object recognition, and the like of the partner video, and recognizes a region around the eyes of the user B shown in the partner video.
  • the information processing apparatus 10A tracks the viewpoint (gaze point) of the user A on the display 1031 by the line-of-sight sensor 1013 (step S124).
  • the partner video transmitted from the information processing apparatus 10 ⁇ / b> B is displayed in real time.
  • the information processing apparatus 10A compares and collates the tracked viewpoint position of the user A with the area around the eyes of the user B shown in the partner video by the gaze target determination unit 100g, and the user A gazes at the user B. It is determined whether or not (step S127).
  • step S127 it has been described that it is determined whether or not the user B (the other user) is viewed as a gaze target.
  • the gaze target determination unit 100 g It can also be determined which part of the conference material the user A is watching.
  • the information processing apparatus 10A transmits gaze information to the information processing apparatus 10B (step S130).
  • Such synchronization processing of gaze information is similarly performed in the information processing apparatus 10B (steps S136 to S145).
  • FIG. 7 is a sequence diagram showing an operation process following the operation process shown in FIG. 6
  • the information processing apparatus 10 ⁇ / b> A next determines whether the other user (user B) is watching the user A based on the gaze information transmitted from the information processing apparatus 10 ⁇ / b> B (step S ⁇ b> 7). S151).
  • the partner video processing unit 100i performs processing for gazing (step S154). For example, when the line of sight of the user B shown in the partner video is shifted as shown in FIG. 2, the partner video processing unit 100i displays the position of the user B's black eyes, the position of both eyes, and the head (face) orientation. By processing and directing it to the front by processing, it is possible to perform processing that looks like the user B's line of sight is facing the user A facing the display. Further, the partner video processing unit 100i may perform a process of superimposing and displaying a notification display such as “I'm watching user A” on the partner video.
  • the gaze information presentation control unit 100k may notify the user A of the gaze state by blinking an indicator or the like (step S157).
  • the partner video processing unit 100i performs a process without gazing (step S160).
  • the partner video processing unit 100i processes the user B's black eye position, binocular position, and head (face) orientation shown in the partner video by image processing and directs the user B's line of sight to other than the front. It can be made clear that it is not suitable for the user A facing the display.
  • the partner video processing unit 100i may not perform any processing when there is no gaze.
  • Such line-of-sight processing is similarly performed in the information processing apparatus 10B (steps S163 to S172).
  • the line-of-sight processing described above is performed by both the information processing apparatus 10A and the information processing apparatus 10B, so that the user A and the user B can match each other's line of sight in video communication connecting remote locations, and smooth communication is achieved. Can be realized.
  • the information processing apparatus 10A makes a video conversation end request to the information processing apparatus 10B (step S175), and if accepted by the information processing apparatus 10B, the video conversation ends (step S178).
  • the end request is made from the information processing apparatus 10A, but of course, the present invention is not limited to this, and the end request may be made from the information processing apparatus 10B to the information processing apparatus 10A.
  • FIG. 8 is a diagram illustrating an overview of the information processing system 2 according to another embodiment of the present disclosure.
  • the information processing system 2 includes information processing apparatuses 10 ⁇ / b> A, 10 ⁇ / b> B, 10 ⁇ / b> C, and 10 ⁇ / b> D and a processing server 30.
  • the information processing apparatuses 10A, 10B, 10C, and 10D and the processing server 30 can be connected to each other via the network 20 to transmit and receive data.
  • the processing server 30 may synchronize the gaze information of each user in video communication between the two parties. In the video communication between three or more users, the processing server 30 may synchronize the gaze information of each user.
  • the processing server 30 synchronizes the gaze information of each information processing apparatus 10 in the system by transmitting the gaze information received from the one information processing apparatus 10 to the other information processing apparatus 10.
  • FIG. 9 is a sequence diagram illustrating an operation process according to another embodiment of the present disclosure.
  • a video conversation connection process is performed between the information processing apparatuses 10A to 10D (step S203).
  • one information processing apparatus 10 makes a video conversation connection request to another information processing apparatus 10 and is permitted by the other information processing apparatus 10. Connection is established.
  • step S206 video display processing is performed between the information processing apparatuses 10A to 10D (step S206).
  • the video display process is performed by transmitting the video of the user acquired by each information processing apparatus 10 to the other information processing apparatus 10 and other information on the communication destination in each information processing apparatus 10. The image of the other user acquired by the information processing apparatus 10 is displayed.
  • the processing server 30 performs gaze information synchronization processing between the information processing apparatuses 10A to 10D.
  • the information processing apparatus 10A analyzes the partner video (step S209), tracks the viewpoint of the user A (step S212), and recognizes the area around the eyes of the partner user recognized by the video analysis and the user A. Are compared with each other's viewpoint position to determine the user A's gaze target (step S215).
  • the determination of the gaze target will be described with reference to FIG. For example, as shown on the left side of FIG. 10, when the images of the users B and C who are communication partners are arranged on the screen of the display 1031a, the information processing apparatus 10A displays the regions E 1 , E around the eyes in each image.
  • the information processing apparatus 10 ⁇ / b> A
  • the user recognizes the document image E 3 and the area E 4 around the eyes of the user B, compares them with the viewpoint position of the user A, and is watching the document image, watching the user B, or both. Judge whether there is.
  • the information processing apparatus 10A transmits a determination result, that is, gaze information, to the processing server 30 (step S218).
  • the processing server 30 transmits the gaze information transmitted from the information processing apparatus 10A to another information processing apparatus 10, in this case, the information processing apparatus 10B, the information processing apparatus 10C, and the information processing apparatus 10D (step S221). , Step S224, Step S227).
  • the processing server 30 performs gaze information synchronization processing.
  • the processing server 30 is configured to process the information processing apparatus 10B, the information processing apparatus 10C, and the information processing apparatus 10D.
  • the gaze information transmitted from is also transmitted to the other information processing apparatus 10 and synchronized in the system.
  • each information processing apparatus 10 can recognize what the other user is currently viewing (for example, whether or not the user appears on the display). Further, the processing server 30 can manage the line-of-sight status based on the gaze information transmitted from each information processing apparatus 10, and can also synchronize with each information processing apparatus 10 by including the line-of-sight status in the gaze information.
  • FIG. 11 shows a diagram for explaining an example of management of the gaze status. The example shown in FIG. 11 shows an example of line-of-sight status management when, for example, video communication is performed between four users, user A, user B, user C, and user D, and contents such as document images are shared. .
  • the processing server 30 acquires gaze information indicating that “user A is watching user B” from the information processing apparatus 10A of the user A, and “user B is the user A from the information processing apparatus 10B of the user B”. Gaze information indicating that “I am watching” is acquired. Also, gaze information indicating that “user C is viewing the coordinate (x, y) of the shared content” is acquired from information processing apparatus 10C of user C, and “user D is the user Gaze information indicating that “I am watching B” is acquired. In this case, as shown in FIG.
  • the processing server 30 matches the line of sight of the user A and the user B, and the line of sight of the user D and the user B is A line-of-sight status such as a mismatch can be recognized.
  • the processing server 30 synchronizes the gaze status information with each information processing apparatus 10 in addition to the gaze information. For example, the processing server 30 indicates to the information processing apparatus 10C of the user C that “user A is watching the user B”, “user B is watching the user A”, “user D is watching the user B”, etc.
  • gaze status information such as “gaze match: user A and user B” and “gaze mismatch: user D and user B” is transmitted.
  • the present embodiment is not limited to this, and the gaze information management unit 100h of each information processing apparatus 10 can also perform the line-of-sight status management.
  • step S230 the information processing apparatuses 10A to 10D perform line-of-sight processing.
  • each information processing apparatus 10 performs a process with or without gaze based on the synchronized gaze information.
  • a specific screen display example in which the line-of-sight processing is performed will be described later with reference to FIGS.
  • the information processing apparatuses 10A to 10D perform video conversation end processing (step S233).
  • the video conversation end process as in steps S172 to S178 in FIG. 7, one information processing apparatus 10 makes a video conversation end request to another information processing apparatus 10 and is accepted by the other information processing apparatus 10. The connection is broken.
  • FIG. 12 is a diagram showing a screen display example in the information processing apparatus 10A according to the present embodiment.
  • a user B video 40, a user C video 41, a user D video 42, and a document image 43 that is shared content are arranged in parallel on the screen of the display 1031 ⁇ / b> A of the information processing apparatus 10 ⁇ / b> A. Is displayed.
  • the information processing apparatus 10 ⁇ / b> A performs line-of-sight processing for the user B in the video 40 based on the gaze information “User B is watching the user A” for the video 40 of the user B.
  • the information processing apparatus 10 ⁇ / b> A has an image in which the line of sight is shifted although the user B is looking at the user A due to the position shift of the camera.
  • the user B in the video is processed so that the position of the black eye of the user B, the position of both eyes, or the head (face) is directed to the front, and the user B of the video 40 directs his / her line of sight to the user A as shown in FIG. Make it visible.
  • the user A has a line of sight that matches the user B, and can perform smoother video communication.
  • the information processing apparatus 10 ⁇ / b> A may superimpose a notification display such as “I am watching A” on the video 40.
  • the information processing apparatus 10 ⁇ / b> A displays a notification display such as “I am looking at the material” on the video 41 in which the user C is captured based on the gaze information that “User C is looking at the coordinates (x, y) of the material”. Superimposed display.
  • the information processing apparatus 10 ⁇ / b> A shows the line of sight of the user D shown in the video 42 on the screen as shown in FIG. 12 based on the gaze information that “the user D is looking at the user B”.
  • the image 40 is processed so as to be directed in the direction in which the image 40 is arranged.
  • the information processing apparatus 10 ⁇ / b> A displays a display indicating the gaze position at the coordinates (x, y) on the material image 43 based on the gaze information “User C is viewing the coordinates (x, y) of the material”. By displaying the icon in a superimposed manner, it is clearly shown where the user C is viewing the material.
  • FIG. 13 is a diagram illustrating a screen display example in the information processing apparatus 10B according to the present embodiment.
  • the user A video 44, the user C video 45, the user D video 46, and the document image 47 that is shared content are arranged in parallel on the screen of the display 1031 ⁇ / b> B of the information processing apparatus 10 ⁇ / b> B. Is displayed.
  • the information processing apparatus 10 ⁇ / b> B performs the line-of-sight processing of the user A on the video 44 on the video 44 of the user A based on gaze information that “the user A is watching the user B”. Specifically, as in the case described above with reference to FIG. 2, the image is shifted in line of sight although the user A is looking at the user B due to the position shift of the camera. 10B is processed so that the position of the black eye, the position of both eyes, or the direction of the head (face) of the user A in the video is directed to the front, and the user A of the video 44 looks toward the user B as shown in FIG. Make it visible. As a result, the user B can see the user A and the line of sight and can perform smoother video communication. Further, the information processing apparatus 10 ⁇ / b> B may superimpose a notification display such as “I am watching B” on the video 44.
  • the information processing apparatus 10B displays a notification display such as “I am looking at the material” on the video 45 in which the user C is captured based on the gaze information that “User C is looking at the coordinates (x, y) of the material”. Superimposed display.
  • the information processing apparatus 10 ⁇ / b> B determines the position of the eye of the user D, the position of both eyes, or the direction of the head (face) of the user D shown in the video 46 based on the gaze information that “user D is watching user B”. Is made to face the front so that the user D of the video 46 can see the user B with the line of sight as shown in FIG.
  • the information processing apparatus 10 ⁇ / b> B displays, based on the gaze information “User C is looking at the coordinates (x, y) of the material”, a display indicating the gaze position at the coordinates (x, y) on the material image 47.
  • the icon By displaying the icon in a superimposed manner, it is clearly shown where the user C is viewing the material.
  • FIG. 14 is a diagram illustrating a screen display example in the information processing apparatus 10 ⁇ / b> C according to the present embodiment.
  • the user A video 48, the user B video 49, the user D video 50, and the document image 51 as shared content are arranged in parallel on the screen of the display 1031 ⁇ / b> C of the information processing apparatus 10 ⁇ / b> C. Is displayed.
  • the information processing apparatus 10 ⁇ / b> C performs line-of-sight processing for the user A of the video 48 and the user B of the video 49 based on the line-of-sight status of “line-of-sight match: user A and user B”. Specifically, the information processing apparatus 10 ⁇ / b> C sets the position of the black eye of the user A, the position of both eyes, or the direction of the head (face) in the video 48 in the direction of the video 49 of the user B arranged on the right side. Further, the position of the eye of user B in the video 49, the position of both eyes, or the direction of the head (face) is processed so as to face the video 48 of the user A arranged on the left side. Thereby, as shown in FIG. 14, the lines of sight of the user A and the user B can be expressed on the screen. Further, the information processing apparatus 10 ⁇ / b> C may superimpose and display a notification display such as “match gaze” on the video 48 and the video 49.
  • the information processing apparatus 10 ⁇ / b> C determines the position of the eye of the user D, the position of both eyes, or the direction of the head (face) of the user D shown in the video 50 based on the gaze information that “user D is watching user B”. Is directed to the direction in which the video 49 of the user B on the left side of the screen is arranged so that the user D of the video 50 can see the user B in the direction of the user B as shown in FIG.
  • FIG. 15 is a diagram illustrating a screen display example in the information processing apparatus 10D according to the present embodiment.
  • FIG. 15 is a diagram illustrating a screen display example in the information processing apparatus 10D according to the present embodiment.
  • the user A video 52, the user B video 53, the user C video 54, and the document image 55 as shared content are arranged in parallel on the screen of the display 1031 ⁇ / b> C of the information processing apparatus 10 ⁇ / b> D. Is displayed.
  • the information processing apparatus 10 ⁇ / b> D performs line-of-sight processing for the user A of the video 52 and the user B of the video 53 based on the line-of-sight status of “line-of-sight match: user A and user B”. Specifically, the information processing apparatus 10D sets the position of the eye of user A in the image 52, the position of both eyes, or the direction of the head (face) in the direction of the image 53 of the user B arranged on the right side. Further, the position of the eye of the user B in the video 53, the position of both eyes, or the direction of the head (face) is processed so as to be directed to the video 52 of the user A arranged on the left side. Thereby, as shown in FIG. 15, the line of sight of the user A and the user B can be expressed on the screen. Further, the information processing apparatus 10 ⁇ / b> D may superimpose and display a notification display such as “match gaze” on the video 52 and the video 53.
  • the user D can see that the user B who is looking at the user B is looking at the user A, not the user A, and the user A and the line of sight are in agreement.
  • the information processing apparatus 10D displays a notification display such as “I am looking at the material” on the video 54 showing the user C based on the gaze information that “User C is looking at the coordinates (x, y) of the material”. Superimposed display.
  • the information processing apparatus 10D displays a display indicating the gaze position at the coordinates (x, y) on the material image 55 based on the gaze information that “the user C is viewing the coordinates (x, y) of the material”. By displaying the icon in a superimposed manner, it is clearly shown where the user C is viewing the material.
  • the information processing apparatus 10 or the hardware (CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory)) incorporated in the information processing apparatus 10 or the processing server 30 described above, or A computer program for demonstrating the function of the processing server 30 can also be created.
  • a computer-readable storage medium storing the computer program is also provided.
  • this technique can also take the following structures.
  • the control unit is configured such that the line of sight of the communication partner in the captured image looks at the display unit based on information indicating that the communication partner in the captured image is looking at the user displayed on the communication destination device.
  • An information processing apparatus that displays the captured image by performing image processing so that the user looks like it is facing the user.
  • the information processing apparatus further including a transmission unit that transmits a captured image obtained by capturing a user who is looking at the display unit to the communication destination apparatus.
  • the controller is Detecting a user's line of sight to the display unit to calculate a gaze position on the screen of the display unit; Comparing the calculated gaze position with the area around the eyes of the communication partner displayed on the display unit to determine whether the user is looking at the communication partner;
  • the information processing apparatus according to any one of (1) to (3), wherein based on the determination, control is performed to transmit information indicating that the user is looking at a communication partner to the communication destination apparatus. .
  • the controller is Determining whether the communication partner and the user are looking at each other; The information processing apparatus according to (4), wherein based on the determination, control is performed so that information indicating that both lines of sight coincide with each other is transmitted to the communication destination apparatus.
  • the receiving unit receives captured images of each video communication partner from a plurality of communication destination devices, The controller is Controlling the received captured image to be displayed side by side on a display; Determining which communication partner the user is viewing on the display; The information processing apparatus according to (5), wherein information indicating which communication partner the user is looking at is synchronized with the plurality of communication destination apparatuses based on the determination.
  • the control unit based on information indicating that the lines of sight of the plurality of communication partners displayed on the display unit match, the plurality of communication partners so that the plurality of communication partners seem to be in line of sight.
  • the information processing apparatus according to (6) wherein the position of the pupil of the communication partner, the position of both eyes, or the orientation of the head is processed.
  • the controller is Controlling to display the material image on the display unit; Comparing the calculated gaze position of the user on the screen with the document image displayed on the display unit to determine whether the user is viewing the document image;
  • the information processing apparatus according to any one of (4) to (7), wherein based on the determination, control is performed to transmit information indicating that the user is viewing a document image to the communication destination apparatus. .
  • the control unit is gazing at the communication partner on the document image displayed side by side on the display unit based on information indicating that the communication partner displayed on the display unit is viewing the document image.
  • the information processing apparatus according to (8), wherein a display that clearly indicates a position is superimposed and displayed.
  • the control unit performs processing so that the line of sight of the communication partner in the captured image is directed to a direction other than the front based on information indicating that the communication partner is not looking at the user.
  • the information processing apparatus according to any one of claims.
  • the information processing apparatus includes a communication unit, Any one of (1) to (10), wherein the communication unit receives information indicating that a communication partner reflected in the captured image is looking at a user displayed on the communication destination device from a server.
  • the information processing apparatus described in 1. (12) The information processing apparatus according to (11), wherein the communication unit transmits information regarding the line of sight of the user with respect to the display unit to the server. (13) Processor Receiving a captured image of a video communication partner from a communication destination device; Controlling the received captured image to be displayed on a display unit; Based on information indicating that the communication partner appearing in the captured image is looking at the user displayed on the communication destination device, the line of sight of the communication partner appearing on the captured image is suitable for the user looking at the display unit. Processing and displaying the captured image so that it looks like Including an information processing method.
  • Computer A receiving unit for receiving a captured image of a video communication partner from a communication destination device; A control unit that controls to display the received captured image on a display unit; Function as The control unit is configured such that the line of sight of the communication partner in the captured image looks at the display unit based on information indicating that the communication partner in the captured image is looking at the user displayed on the communication destination device.
  • a program for processing and displaying the captured image so as to appear to be suitable for a user.
  • Information processing system 10 (10A to 10D) Information processing device 20 Network 30 Processing server 100 Control unit 100a Video / audio acquisition unit 100b Operation information acquisition unit 100c Content acquisition unit 100d Transmission control unit 100e Gaze position specifying unit 100f Analysis unit 100g Gaze target determination unit 100h Gaze information management unit 100i Opponent video processing unit 100j Display information generation unit 100k Gaze information presentation control unit 101 Input unit 1011 Camera 1012 Microphone 1013 Gaze sensor 102 Operation I / F DESCRIPTION OF SYMBOLS 103 Output part 1031 Display 1032 Speaker 1033 Indicator 104 Communication part 105 Storage part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Image Processing (AREA)

Abstract

【課題】遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】通信先装置からビデオ通信相手の撮像画像を受信する受信部と、前記受信した撮像画像を表示部に表示するよう制御する制御部と、を備え、前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年の通信技術の発達により、遠隔地を映像と音声で結ぶテレビ会議システムが提案されている。具体的には、例えば表示装置、カメラ、マイク、およびスピーカが各場所に設けられ、一方の場所で取得された映像および音声がリアルタイムで他方の場所に送信され、表示装置およびスピーカから出力される。
　テレビ会議等の対面会話では、視聴者と表示画面上の相手方との視線が合わないと臨場感等が失われ会議等の効率が落ちる。そのため、視線一致を実現したカメラ一体型ディスプレイ装置が種々に提案されている。例えば下記特許文献１では、ハーフミラー等を用いて画面の後方にカメラを設置する視線一致ビデオ会議システムが記載されている。また、下記特許文献２では、表示画面の中央にカメラを固定する方式が記載されている。
特開平６－２４５２０９号公報 特開平８－１６３４１６号公報
　しかしながら、上述した特許文献１に記載の技術では、構成上、システム全体が大型化してしまう問題があった。また、上述した特許文献２に記載の技術では、画面上にカメラが重なるため、不具合があった。
　そこで、本開示では、遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、通信先装置からビデオ通信相手の撮像画像を受信する受信部と、前記受信した撮像画像を表示部に表示するよう制御する制御部と、を備え、前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、情報処理装置を提案する。
　本開示によれば、プロセッサが、通信先装置からビデオ通信相手の撮像画像を受信することと、前記受信した撮像画像を表示部に表示するよう制御することと、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示すること、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、通信先装置からビデオ通信相手の撮像画像を受信する受信部と、前記受信した撮像画像を表示部に表示するよう制御する制御部と、として機能させ、前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、プログラムを提案する。
　以上説明したように本開示によれば、遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 遠隔地をつなぐ映像コミュニケーションにおける視線ずれについて説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 図３に示す情報処理装置における制御部の機能構成の一例を示すブロック図である。 本実施形態による注視対象の判断について説明する図である。 本実施形態による動作処理を示すシーケンス図である。 図６に示す動作処理に続く動作処理を示すシーケンス図である。 本開示の他の実施形態による情報処理システムの概要について説明する図である。 本開示の他の実施形態による動作処理を示すシーケンス図である。 本開示の他の実施形態による注視対象の判断について説明する図である。 本開示の他の実施形態による視線ステータスの管理の一例について説明する図である。 本開示の他の実施形態による情報処理装置における画面表示例を示す図である。 本開示の他の実施形態による情報処理装置における画面表示例を示す図である。 本開示の他の実施形態による情報処理装置における画面表示例を示す図である。 本開示の他の実施形態による情報処理装置における画面表示例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．情報処理装置の構成
　３．動作処理
　４．他の実施形態
　　４－１．概要
　　４－２．動作処理
　　４－３．画面表示例
　５．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　本開示の一実施形態による情報処理システム１の概要について図１を参照して説明する。本実施形態による情報処理システム１は、遠隔地にある情報処理装置１０Ａ、１０Ｂが、ネットワーク２０を介して接続し、映像や、音声、さらに共有するコンテンツ等を送受信することで、遠隔地をつなぐ映像コミュニケーションを実現する。
　ここで、図２に示すように、各遠隔地の映像はカメラ１２により撮像されるが、カメラ１２とディスプレイ１１の位置ずれ等の影響で、互いにディスプレイに映る相手ユーザを見ているにも関わらず視線がずれてしまうという問題が生じる。図２のディスプレイ１１に映るユーザＢは、実際にはユーザＡを見ているが、ユーザＢ側のディスプレイとカメラの位置ずれにより、ユーザＢの視線がユーザＡから外れているように見える。また、ユーザＡはディスプレイ１１に映るユーザＢを見ているが、ディスプレイ１１とカメラ１２の位置ずれにより、ユーザＢからはユーザＡの視線が外れているように見える。
　そこで、本実施形態による情報処理システムでは、遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることを可能とする。具体的には、各情報処理装置１０においてユーザの視線検出を行い、相手ユーザを見ているか否かを判断し、かかる判断の結果を各情報処理装置１０で同期する。そして、各情報処理装置１０は、ディスプレイに表示する相手ユーザがユーザを見ている場合に、当該相手ユーザの視線がユーザに向いて見えるよう画像処理を行う。これにより、同一空間における視線一致といった自然なコミュニケーションを遠隔地コミュニケーションにおいて実現することができる。
　＜＜２．情報処理装置の構成＞＞
　続いて、本実施形態による情報処理装置１０の構成について図３を参照して説明する。図３は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図３に示すように、情報処理装置１０は、制御部１００、入力部１０１、操作Ｉ／Ｆ（インタフェース）１０２、出力部１０３、通信部１０４、および記憶部１０５を有する。
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。制御部１００の具体的な機能構成については図４を参照して後述する。
　入力部１０１は、空間情報を入力する機能を有する。例えば入力部１０１は、カメラ１０１１、マイクロホン（以下、マイクと称す）１０１２、および視線センサ１０１３により実現される。カメラ１０１１は、例えばディスプレイ１０３１の周辺に設けられ、ディスプレイ１０３１の前方方向を撮像し、撮像画像（本明細書では「映像」とも称す）を取得する。マイク１０１２は、例えばディスプレイ１０３１の周辺に設けられ、周辺の音声を取得する。なおマイク１０１２は、複数から成るマイクアレイであってもよい。また、マイク１０１２は、ユーザの付近に設けられていてもよい。
　視線センサ１０１３は、例えばディスプレイ１０３１の周辺に設けられ、ディスプレイ１０３１を見るユーザの視線を追跡する（視線トラッカーとも称される）。例えば視線センサ１０１３は、ユーザの頭部や顔の向き、眼球、瞳孔の位置からディスプレイ１０３１に対する視線を検出する。また、例えば視線センサ１０１３は、複数の赤外線ＬＥＤを有し、赤外線をユーザの眼球に向けて照射し、眼球の反射点（光点）の位置と瞳孔中心点との位置関係に基づいてユーザの視線方向を算出することが可能である。なお視線センサ１０１３はディスプレイ１０３１周辺に設けられるデバイスに限定されない。例えばユーザが装着するシースルーメガネ型の装置に設けられ、極近距離から測定したユーザの眼球（具体的には黒目（虹彩部分と瞳孔部分を含む）等）の位置の変化に基づいて、その視点から見たディスプレイ上（シースルーメガネ型の装置のディスプレイ上でもよい）の注視点の動きを検出することも可能である。また、ユーザが装着するヘッドマウント型の装置に設けられ、同様に極近距離から測定した眼球の位置の変化に基づいて、ヘッドマウント型の装置内のディスプレイ上の注視点の動きを検出することも可能である。
　操作Ｉ／Ｆ１０２は、ユーザからの操作入力を受け付け、制御部１００へ出力する。操作Ｉ／Ｆ１０２は、キーボード、マウス、タッチパネル、ボタン、スイッチ等により実現され得る。例えば、操作Ｉ／Ｆ１０２を用いて、相手ユーザと共有するコンテンツの指定や、表示されたコンテンツへの操作等が行われ得る。
　出力部１０３は、制御部１００から出力される各種情報をユーザに提示する機能を有する。例えば出力部１０３は、ディスプレイ１０３１、スピーカ１０３２、およびインジケータ１０３３を有する。ディスプレイ１０３１は、相手ユーザ（遠隔地空間）の映像や共有されるコンテンツを表示する。スピーカ１０３２は、相手ユーザ（遠隔地空間）の音声を再生する。また、インジケータ１０３３は、例えばシグナルとして用いられるＬＥＤ照明により実現される。例えばインジケータ１０３３は、ディスプレイ１０３１の外枠フレームに設けられ、何らかのユーザへの通知を行う場合に点灯する。
　通信部１０４は、ネットワーク２０を介して他の情報処理装置１０と接続し、データの送受信を行う。例えば通信部１０４は、カメラ１０１１により撮像された撮像画像、マイク１０１２により収音された音声データ、および共有するコンテンツデータ（会議の資料データ等）を、通信先の情報処理装置１０へ送信する。また、通信部１０４は、通信先の情報処理装置１０から、映像や、音声データ、コンテンツデータ等を受信する。
　記憶部１０５は、制御部１００が各機能を実行するためのプログラムやパラメータを格納する。また、本実施形態による記憶部１０５は、通信部１０４を介して送受信されるデータを記憶してもよい。
　続いて、図４を参照して制御部１００の具体的な機能構成について説明する。図４は、本実施形態による制御部１００の機能構成の一例を示すブロック図である。
　図４に示すように、制御部１００は、映像・音声取得部１００ａ、操作情報取得部１００ｂ、コンテンツ取得部１００ｃ、送信制御部１００ｄ、注視位置特定部１００ｅ、相手映像解析部１００ｆ、注視対象判断部１００ｇ、注視情報管理部１００ｈ、相手映像処理部１００ｉ、表示情報生成部１００ｊ、および注視情報提示制御部１００ｋとして機能する。
　映像・音声取得部１００ａは、カメラ１０１１により撮像される撮像画像（映像）、およびマイク１０１２により収音される音声情報を取得し、送信制御部１００ｄに出力する。なお映像・音声取得部１００ａは、取得した映像および音声情報に対して、ノイズ処理や圧縮処理等の各種処理を行った上で送信制御部１００ｄに出力してもよい。
　操作情報取得部１００ｂは、操作Ｉ／Ｆ１０２から入力された操作情報を取得し、送信制御部１００ｄに出力する。
　コンテンツ取得部１００ｃは、会議資料データ等、情報処理システム１で共有するコンテンツ情報を取得し、送信制御部１００ｄに出力する。
　送信制御部１００ｄは、通信部１０４からネットワーク２０を介して通信先の情報処理装置１０に、映像、音声データ、操作情報、コンテンツ情報等を送信するよう制御する。
　注視位置特定部１００ｅは、視線センサ１０１３により検出されたユーザの視線に基づいて、ディスプレイ上の注視位置（例えば表示画面に対応する座標情報）を特定する。
　相手映像解析部１００ｆは、通信部１０４を介して通信先の情報処理装置１０から受信した映像を解析（画像解析、物体認識）する。例えば相手映像解析部１００ｆは、映像に映る人物（相手ユーザ）の顔認識を行い、眼周辺の領域を認識する。
　注視対象判断部１００ｇは、ディスプレイ１０３１に表示された映像におけるユーザの注視対象を判断する。例えば注視対象判断部１００ｇは、図５に示すように、ディスプレイ１０３１に対するユーザＡの視線の注視点Ｐ（注視位置特定部１００ｅにより特定される）と、ディスプレイ１０３１に表示される映像に映るユーザＢの眼周辺の領域Ｅ（相手映像解析部１００ｆにより認識される）とを比較、照合し、ユーザＡの注視対象を判断する。図５に示す例では、ユーザＡがユーザＢを見ているか否かが判断され得る。なおディスプレイ１０３１に会議資料データ等のコンテンツが表示されている場合、注視対象判断部１００ｇは、ユーザＡがコンテンツのどの部分を注視しているかを判断する。
　注視情報管理部１００ｈは、注視対象判断部１００ｇによる判断結果を注視情報として管理する（視線ステータスの管理）。注視対象判断部１００ｇによる判断結果は、例えば「ユーザＡはユーザＢを見ている」、「ユーザＡは資料画像の座標（x,y）を見ている」、「ユーザＡはユーザＢを見ていない」といった内容が挙げられる。また、注視情報管理部１００ｈは、ユーザＡの注視情報を記憶部１０５に格納する。また、注視情報管理部１００ｈは、ユーザＡの注視情報を送信制御部１００ｄに出力し、送信制御部１００ｄにより通信先の情報処理装置１０と注視情報を同期させる。具体的には、送信制御部１００ｄは、通信部１０４からネットワークを介して通信先の情報処理装置１０にユーザＡの注視情報を送信する。なお、ユーザの注視情報の同期は各情報処理装置１０において互いに行われ、注視情報管理部１００ｈは、通信先の情報処理装置１０から送信された相手ユーザの注視情報も管理する。これにより、注視情報管理部１００ｈは、例えば相手ユーザＢがユーザＡを見ているか否かを把握することができる。さらに、注視情報管理部１００ｈは、ユーザＡとユーザＢの注視情報に基づいて、両者の視線が一致しているか否かを判断することができる。
　相手映像処理部１００ｉは、注視情報管理部１００ｈにより管理される注視情報に基づいて、相手映像に対して所定の画像処理を行う。例えば相手映像処理部１００ｉは、注視情報において相手ユーザがユーザを注視していることが示されている場合、相手映像に映る相手ユーザの視線がユーザに向いて見えるよう画像処理を行う。上述したように、カメラ位置のずれ等により、相手ユーザがディスプレイに映るユーザを見ているにも関わらず視線がずれてしまうため、注視情報で相手ユーザがユーザに視線を向けていることが示されている場合、相手映像に映る相手ユーザの視線がユーザに向いて見えるよう加工する。具体的には、例えば相手映像に映る相手ユーザの黒目の位置や両眼の位置、頭部（顔）の向きなどを最適に加工する。加工手法については特に限定しないが、例えば２Ｄ画像、３Ｄモデルベースの２Ｄ画像、または３Ｄモデル画像等を用いる手法が可能である。相手ユーザの３Ｄモデルデータは、例えば相手側の情報処理装置１０において生成され、送信される。例えば３Ｄモデル画像を用いて相手ユーザの頭部の向きを加工する場合、相手映像処理部１００ｉは、相手側の情報処理装置１０に設けられたＲＧＢ－Ｄカメラ（距離センサを搭載したカメラ）から得られたリアルタイムの相手ユーザの顔モデルのデータを取得する。次いで、相手映像処理部１００ｉは、顔モデルを所定の向き（例えば正面）に回転した上で着色し、合成元画像（相手映像に映る相手ユーザの顔部分）に合成して継ぎ目を最適化し、相手ユーザの顔の向きを変えた画像をリアルタイムで生成することができる。
　また、このような視線加工の処理を相互に行うことで、ユーザと相手ユーザの視線が一致する自然なコミュニケーションを実現することができる。
　また、相手映像処理部１００ｉは、相手ユーザの視線がカメラに向いている場合、撮像された相手映像をそのままディスプレイに表示すると相手ユーザがこちらに視線を向けているように見えてしまうため、相手ユーザの視線を外すよう加工することも可能である。
　また、相手映像処理部１００ｉは、コミュニケーション状態に連動して表示システムを最適化し得る。例えば注視情報に基づいて互いの視線が一致しているユーザ同士のコミュニケーションパスは優先度が高いと判断し、相互の映像領域を拡大したり、高画質にしたり、ハイライト表示したりする等の連動した表示制御を行い得る。一方、相手側もユーザも互いに視線を向けていない優先度が低い相手ユーザの映像は低解像度で小さく表示する等してもよい。
　表示情報生成部１００ｊは、ディスプレイ１０３１に表示する情報を生成する。例えば表示情報生成部１００ｊは、相手映像処理部１００ｉにより生成された視線加工済みの相手映像と、共有されるコンテンツ情報とを配置した画面を生成する。また、表示情報生成部１００ｊは、相手映像処理部１００ｉによる視線加工が不要な場合、そのままの相手映像を配置した画面を生成してもよい。
　注視情報提示制御部１００ｋは、注視情報管理部１００ｈが管理する注視情報に基づいて、注視情報をユーザへ提示する。例えばディスプレイ１０３１に表示される映像内の相手ユーザがユーザを見ている場合、その旨をディスプレイ１０３１に表示したり、インジケータ１０３３を点灯させたりする。
　以上、本実施形態による制御部１００の機能構成について具体的に説明した。なお本実施形態による制御部１００は、視線一致に応じた表示システムの最適化に限定されず、例えばコミュニケーション状態に連動して音響システムを最適化することも可能である。具体的には、制御部１００は、視線一致により優先するユーザ間の音声を明朗で大きい音量にすることで、注視した相手の声を聞こえ易くする。一方、優先度が低い相手の声は、不明瞭で小さい音量にしてもよい。これにより、さらに円滑なコミュニケーションを促すことができる。
　＜＜３．動作処理＞＞
　続いて、本実施形態による動作処理について図６を参照して説明する。図６は、本実施形態による動作処理を示すシーケンス図である。ここでは、情報処理装置１０Ａ、１０Ｂ間で行われるユーザＡとユーザＢの映像コミュニケーションを例に説明する。
　図６に示すように、まず、情報処理装置１０Ａは、情報処理装置１０Ｂに対してビデオ会話の接続要求を行い（ステップＳ１０３）、情報処理装置１０Ｂから接続許可を得て（ステップＳ１０６）、両者間の通信が確立する（ビデオ会話接続処理）。なおここでは情報処理装置１０Ａから接続要求を行っているが、当然、これに限定されず、情報処理装置１０Ｂから情報処理装置１０Ａに接続要求を行ってもよい。
　次に、情報処理装置１０Ａは、ディスプレイ１０３１の前に居るユーザＡを撮像した映像を取得し（ステップＳ１０９）、通信先である情報処理装置１０Ｂに送信する（ステップＳ１１２）。一方、情報処理装置１０Ｂも同様にユーザＢの映像を取得し（ステップＳ１１５）、情報処理装置１０Ａへ送信する（ステップＳ１１８）。
　次いで、各情報処理装置１０は、送信された相手映像を画面上に配置し、表示する（ステップＳ１１９、Ｓ１２０）。このような映像表示処理（ステップＳ１０９～Ｓ１２０）が継続的に行われ、ユーザＡとユーザＢの映像コミュニケーションがリアルタイムに行われ得る。なおここでは「映像」のみを示しているが、音声データも併せて送受信および出力され得る。
　続いて、情報処理装置１０Ａは、相手映像解析部１００ｆにより、情報処理装置１０Ｂから送信された相手映像の解析を行う（ステップＳ１２１）。具体的には、情報処理装置１０Ａは、相手映像の画像解析、物体認識等を行い、相手映像に映るユーザＢの眼周辺の領域を認識する。
　次に、情報処理装置１０Ａは、視線センサ１０１３によりディスプレイ１０３１上のユーザＡの視点（注視点）をトラッキングする（ステップＳ１２４）。ディスプレイ１０３１には、情報処理装置１０Ｂから送信された相手映像がリアルタイムで表示されている。
　次いで、情報処理装置１０Ａは、注視対象判断部１００ｇにより、トラッキングしたユーザＡの視点位置と、相手映像に映るユーザＢの眼周辺の領域とを比較、照合し、ユーザＡがユーザＢを注視しているか否かを判断する（ステップＳ１２７）。ここでは注視対象としてユーザＢ（相手ユーザ）を見ているか否かを判断する旨を説明したが、ディスプレイ１０３１に会議資料等のコンテンツデータも配置され表示されている場合、注視対象判断部１００ｇは、ユーザＡが会議資料のどの部分を注視しているかも判断し得る。
　次に、情報処理装置１０Ａは、注視情報を情報処理装置１０Ｂへ送信する（ステップＳ１３０）。
　このような注視情報の同期処理は、情報処理装置１０Ｂにおいても同様に行われる（ステップＳ１３６～Ｓ１４５）。
　続いて、図７を参照して図６に示す動作処理の続きを説明する。図７は、図６に示す動作処理に続く動作処理を示すシーケンス図である。
　図７に示すように、次に情報処理装置１０Ａは、情報処理装置１０Ｂから送信された注視情報に基づいて、相手ユーザ（ユーザＢ）がユーザＡを注視しているか否かを判断する（ステップＳ１５１）。
　注視している場合（ステップＳ１５１／Ｙｅｓ）、相手映像処理部１００ｉは、注視あり用の加工を行う（ステップＳ１５４）。例えば相手映像処理部１００ｉは、相手映像に映るユーザＢの視線が図２に示すようにずれている場合に、ユーザＢの黒目の位置や両眼の位置、頭部（顔）の向きを画像処理により加工して正面に向けることで、ユーザＢの視線がディスプレイに対面するユーザＡに向いているように見える加工を行うことができる。また、相手映像処理部１００ｉは、「ユーザＡを見ています」といった通知表示を、相手映像に重畳表示する処理を行ってもよい。
　次いで、注視情報提示制御部１００ｋは、インジケータを点滅させる等により注視状態をユーザＡに通知してもよい（ステップＳ１５７）。
　一方、注視していない場合（ステップＳ１５１／Ｎｏ）、相手映像処理部１００ｉは、注視なし用の加工を行う（ステップＳ１６０）。例えば相手映像処理部１００ｉは、相手映像に映るユーザＢの黒目の位置や両眼の位置、頭部（顔）の向きを画像処理により加工して正面以外に向けることで、ユーザＢの視線がディスプレイに対面するユーザＡに向いていないことが明白になるようにすることができる。なお相手映像処理部１００ｉは、注視なしの場合には何ら加工を行わないようにしてもよい。
　このような視線加工処理は、情報処理装置１０Ｂにおいても同様に行われる（ステップＳ１６３～Ｓ１７２）。
　以上説明した視線加工処理が情報処理装置１０Ａと情報処理装置１０Ｂの両者で行われることで、遠隔地を結ぶ映像コミュニケーションにおいてユーザＡとユーザＢが互いに視線を一致させることができ、円滑なコミュニケーションを実現することができる。
　そして、情報処理装置１０Ａがビデオ会話終了要求を情報処理装置１０Ｂに対して行い（ステップＳ１７５）、情報処理装置１０Ｂにより受諾されると、ビデオ会話が終了する（ステップＳ１７８）。なおここでは情報処理装置１０Ａから終了要求を行っているが、当然、これに限定されず、情報処理装置１０Ｂから情報処理装置１０Ａに終了要求を行ってもよい。
　　＜＜４．他の実施形態＞＞
　上述した実施形態では、情報処理装置１０Ａと情報処理装置１０Ｂの二者間における映像コミュニケーションを例に説明したが、本実施形態はこれに限定されず、三者以上の映像コミュニケーションにおいても同様に注視情報の同期および視線加工の処理を行うことで、円滑なコミュニケーションを実現することが可能である。以下、処理サーバ３０により各ユーザの注視情報が同期される実施形態について図８～図１５を参照して具体的に説明する。
　　＜４－１．概要＞
　図８は、本開示の他の実施形態による情報処理システム２の概要について説明する図である。図８に示すように、他の実施形態による情報処理システム２は、情報処理装置１０Ａ、１０Ｂ、１０Ｃ、１０Ｄと、処理サーバ３０とを含む。情報処理装置１０Ａ、１０Ｂ、１０Ｃ、１０Ｄと、処理サーバ３０は、ネットワーク２０を介して互いに接続し、データの送受信を行うことが可能である。なおここでは一例として情報処理装置１０を４つ用いるが、本実施形態はこれに限定されず、２者間の映像コミュニケーションにおいて処理サーバ３０により各ユーザの注視情報が同期される場合もあれば、３人以上のユーザ間の映像コミュニケーションにおいて処理サーバ３０により各ユーザの注視情報が同期される場合もある。
　情報処理装置１０Ａ～１０Ｄの構成は、図３および図４で説明した上記実施形態と同様であるため、ここでの詳細は省略する。
　処理サーバ３０は、一の情報処理装置１０から受信した注視情報を他の情報処理装置１０に送信することで、各情報処理装置１０の注視情報をシステム内で同期させる。
　このような本実施形態による情報処理システム２の具体的な動作処理について、以下図９を参照して説明する。
　　＜４－２．動作処理＞
　図９は、本開示の他の実施形態による動作処理を示すシーケンス図である。図９に示すように、まず、情報処理装置１０Ａ～１０Ｄの間で、ビデオ会話接続処理が行われる（ステップＳ２０３）。ビデオ会話接続処理は、図６のステップＳ１０３～Ｓ１０６と同様に、一の情報処理装置１０が他の情報処理装置１０へビデオ会話接続要求を行い、他の情報処理装置１０により許可されることで接続が確立する。
　次に、情報処理装置１０Ａ～１０Ｄの間で、映像表示処理が行われる（ステップＳ２０６）。映像表示処理は、図６のステップＳ１０９～Ｓ１２０と同様に、各情報処理装置１０で取得されたユーザの映像が他の情報処理装置１０に送信され、各情報処理装置１０において通信先の他の情報処理装置１０で取得された相手ユーザの映像が表示される。
　次いで、処理サーバ３０により情報処理装置１０Ａ～１０Ｄの間で注視情報の同期処理が行われる。具体的には、例えば情報処理装置１０Ａが相手映像の解析を行い（ステップＳ２０９）、さらにユーザＡの視点をトラッキングし（ステップＳ２１２）、映像解析により認識した相手ユーザの眼周辺の領域とユーザＡの視点位置とを比較照合し、ユーザＡの注視対象を判断する（ステップＳ２１５）。ここで、図１０を参照して注視対象の判断について説明する。例えば図１０左側に示すように、ディスプレイ１０３１ａの画面上に通信相手であるユーザＢとユーザＣの映像が配置されている場合、情報処理装置１０Ａは、各映像における眼周辺の領域Ｅ１、Ｅ２を認識し、ユーザＡの視点位置と比較照合し、ユーザＢを注視しているか、ユーザＣを注視しているか、若しくはいずれも見ていないかを判断する。また、例えば図１０右側に示すように、ディスプレイ１０３１ｂの画面上に、共有しているコンテンツである資料画像と通信相手であるユーザＢの映像が並列に配置されている場合、情報処理装置１０Ａは、資料画像Ｅ３とユーザＢの眼周辺の領域Ｅ４を認識し、ユーザＡの視点位置と比較照合し、資料画像を注視しているか、ユーザＢを注視しているか、若しくはいずれも見ていないかを判断する。
　続いて、情報処理装置１０Ａは、判断結果すなわち注視情報を処理サーバ３０に送信する（ステップＳ２１８）。
　次に、処理サーバ３０は、情報処理装置１０Ａから送信された注視情報を、他の情報処理装置１０、ここでは情報処理装置１０Ｂ、情報処理装置１０Ｃ、および情報処理装置１０Ｄに送信する（ステップＳ２２１、ステップＳ２２４、ステップＳ２２７）。このように、処理サーバ３０は、注視情報の同期処理を行う。なおここでは一例として情報処理装置１０Ａから送信された注視情報を他の情報処理装置１０に送信する場合について説明したが、処理サーバ３０は、情報処理装置１０Ｂや情報処理装置１０Ｃ、情報処理装置１０Ｄから送信された注視情報も同様に他の情報処理装置１０に送信し、システム内で同期させる。これらの処理はリアルタイムに行われ、各情報処理装置１０は、現在相手ユーザが何を見ているか（例えばディスプレイに映るユーザを見ているか否か）を認識することができる。また、処理サーバ３０は、各情報処理装置１０から送信された注視情報に基づいて、視線ステータスを管理し、視線ステータスも注視情報に含めて各情報処理装置１０に同期させることが可能である。ここで、図１１に視線ステータスの管理の一例について説明する図を示す。図１１に示す例では、例えばユーザＡ、ユーザＢ、ユーザＣ、ユーザＤの４者間で映像コミュニケーションが行われ、さらに資料画像等のコンテンツが共有されている場合における視線ステータス管理の一例を示す。この場合、各情報処理装置１０のディスプレイ１０３１の画面上には、通信相手３名の各映像と共有コンテンツの画像が配置されている。次いで、処理サーバ３０は、例えばユーザＡの情報処理装置１０Ａから「ユーザＡはユーザＢを見ている」ことを示す注視情報を取得し、ユーザＢの情報処理装置１０Ｂから「ユーザＢはユーザＡを見ている」ことを示す注視情報を取得する。また、ユーザＣの情報処理装置１０Ｃから「ユーザＣは共有コンテンツの座標（x,y）を見ている」ことを示す注視情報を取得し、ユーザＤの情報処理装置１０Ｄから「ユーザＤはユーザＢを見ている」ことを示す注視情報を取得する。この場合、図１１に示すように、各情報処理装置１０から取得した注視情報を総合すると、処理サーバ３０は、ユーザＡとユーザＢの視線が一致していて、ユーザＤとユーザＢの視線は不一致であるといった視線ステータスを認識することができる。処理サーバ３０は、注視情報に加えてかかる視線ステータス情報も各情報処理装置１０に同期させる。例えば処理サーバ３０は、ユーザＣの情報処理装置１０Ｃに「ユーザＡはユーザＢを見ている」、「ユーザＢはユーザＡを見ている」、「ユーザＤはユーザＢを見ている」といった他の情報処理装置１０から取得した注視情報に加えて、「視線一致：ユーザＡとユーザＢ」、「視線不一致：ユーザＤとユーザＢ」といった視線ステータス情報を送信する。
　以上、視線ステータスの管理が処理サーバ３０で行われる場合を例に説明したが、本実施形態はこれに限定されず、各情報処理装置１０の注視情報管理部１００ｈで行うことも可能である。
　次いで、図９に戻り、情報処理装置１０Ａ～１０Ｄは、視線加工処理を行う（ステップＳ２３０）。視線加工処理は、図７のステップＳ１５１～Ｓ１７２と同様に、各情報処理装置１０において、同期された注視情報に基づいて注視あり用の加工や注視なし用の加工を行う。視線加工を行った具体的な画面表示例については、図１２～図１５を参照して後述する。
　そして、情報処理装置１０Ａ～１０Ｄは、ビデオ会話終了処理を行う（ステップＳ２３３）。ビデオ会話終了処理は、図７のステップＳ１７２～Ｓ１７８と同様に、一の情報処理装置１０が他の情報処理装置１０へビデオ会話終了要求を行い、他の情報処理装置１０により受諾されることで接続が切断する。
　　＜４－３．画面表示例＞
　上述した他の実施形態による視線加工を行った具体的な画面表示例について、以下、図１２～図１５を参照して説明する。
　（表示例１）
　図１２は、本実施形態による情報処理装置１０Ａにおける画面表示例を示す図である。図１２に示す例では、情報処理装置１０Ａのディスプレイ１０３１Ａの画面上に、ユーザＢの映像４０、ユーザＣの映像４１、ユーザＤの映像４２、および共有コンテンツである資料画像４３が並列に配置され、表示されている。
　情報処理装置１０Ａは、ユーザＢの映像４０に対し、「ユーザＢがユーザＡを見ている」という注視情報に基づき、映像４０のユーザＢの視線加工を行う。具体的には、図２を参照して上述したように、カメラの位置ずれによりユーザＢがユーザＡを見ているにも関わらず視線がずれた映像となってしまうため、情報処理装置１０Ａは、映像内のユーザＢの黒目の位置、両眼の位置、または頭部（顔）の向きを正面に向けるよう加工し、図１２に示すように映像４０のユーザＢがユーザＡに視線を向けて見えるようにする。これにより、ユーザＡはユーザＢと視線が一致し、より円滑な映像コミュニケーションを行うことができる。さらに、情報処理装置１０Ａは、映像４０に「Ａを見ています」といった通知表示を重畳表示してもよい。
　また、情報処理装置１０Ａは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、ユーザＣが写る映像４１に「資料を見ています」といった通知表示を重畳表示する。
　また、情報処理装置１０Ａは、「ユーザＤはユーザＢを見ている」という注視情報に基づいて、映像４２に映るユーザＤの視線を、図１２に示すように、画面上でユーザＢが写る映像４０が配置されている方向へ向けるよう加工する。
　また、情報処理装置１０Ａは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、資料画像４３上の座標（x,y）に注視位置を示す表示やアイコンを重畳表示することで、ユーザＣが資料のどこを見ているかを明示する。
　（表示例２）
　図１３は、本実施形態による情報処理装置１０Ｂにおける画面表示例を示す図である。図１３に示す例では、情報処理装置１０Ｂのディスプレイ１０３１Ｂの画面上に、ユーザＡの映像４４、ユーザＣの映像４５、ユーザＤの映像４６、および共有コンテンツである資料画像４７が並列に配置され、表示されている。
　情報処理装置１０Ｂは、ユーザＡの映像４４に対し、「ユーザＡがユーザＢを見ている」という注視情報に基づき、映像４４のユーザＡの視線加工を行う。具体的には、図２を参照して上述した場合と同様に、カメラの位置ずれによりユーザＡがユーザＢを見ているにも関わらず視線がずれた映像となってしまうため、情報処理装置１０Ｂは、映像内のユーザＡの黒目の位置、両眼の位置、または頭部（顔）の向きを正面に向けるよう加工し、図１３に示すように映像４４のユーザＡがユーザＢに視線を向けて見えるようにする。これにより、ユーザＢはユーザＡと視線が一致し、より円滑な映像コミュニケーションを行うことができる。さらに、情報処理装置１０Ｂは、映像４４に「Ｂを見ています」といった通知表示を重畳表示してもよい。
　また、情報処理装置１０Ｂは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、ユーザＣが写る映像４５に「資料を見ています」といった通知表示を重畳表示する。
　また、情報処理装置１０Ｂは、「ユーザＤはユーザＢを見ている」という注視情報に基づいて、映像４６に映るユーザＤの黒目の位置、両眼の位置、または頭部（顔）の向きを正面に向けるよう加工し、図１３に示すように映像４６のユーザＤがユーザＢに視線を向けて見えるようにする。
　また、情報処理装置１０Ｂは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、資料画像４７上の座標（x,y）に注視位置を示す表示やアイコンを重畳表示することで、ユーザＣが資料のどこを見ているかを明示する。
　（表示例３）
　図１４は、本実施形態による情報処理装置１０Ｃにおける画面表示例を示す図である。図１４に示す例では、情報処理装置１０Ｃのディスプレイ１０３１Ｃの画面上に、ユーザＡの映像４８、ユーザＢの映像４９、ユーザＤの映像５０、および共有コンテンツである資料画像５１が並列に配置され、表示されている。
　情報処理装置１０Ｃは、「視線一致：ユーザＡとユーザＢ」という視線ステータスに基づき、映像４８のユーザＡおよび映像４９のユーザＢの視線加工を行う。具体的には、情報処理装置１０Ｃは、映像４８内のユーザＡの黒目の位置、両眼の位置、または頭部（顔）の向きを、右側に配置されたユーザＢの映像４９の方向に向け、また、映像４９内のユーザＢの黒目の位置、両眼の位置、または頭部（顔）の向きを、左側に配置されたユーザＡの映像４８の方向に向けるよう加工する。これにより、図１４に示すように、ユーザＡとユーザＢの視線が画面上で一致して表現され得る。さらに、情報処理装置１０Ｃは、映像４８および映像４９に「視線一致」といった通知表示を重畳表示してもよい。
　また、情報処理装置１０Ｃは、「ユーザＤはユーザＢを見ている」という注視情報に基づいて、映像５０に映るユーザＤの黒目の位置、両眼の位置、または頭部（顔）の向きを、画面左のユーザＢの映像４９が配置されている方向に向けるよう加工し、図１４に示すように映像５０のユーザＤがユーザＢの方向に視線を向けて見えるようにする。
　（表示例４）
　図１５は、本実施形態による情報処理装置１０Ｄにおける画面表示例を示す図である。図１５は、本実施形態による情報処理装置１０Ｄにおける画面表示例を示す図である。図１５に示す例では、情報処理装置１０Ｄのディスプレイ１０３１Ｃの画面上に、ユーザＡの映像５２、ユーザＢの映像５３、ユーザＣの映像５４、および共有コンテンツである資料画像５５が並列に配置され、表示されている。
　情報処理装置１０Ｄは、「視線一致：ユーザＡとユーザＢ」という視線ステータスに基づき、映像５２のユーザＡおよび映像５３のユーザＢの視線加工を行う。具体的には、情報処理装置１０Ｄは、映像５２内のユーザＡの黒目の位置、両眼の位置、または頭部（顔）の向きを、右側に配置されたユーザＢの映像５３の方向に向け、また、映像５３内のユーザＢの黒目の位置、両眼の位置、または頭部（顔）の向きを、左側に配置されたユーザＡの映像５２の方向に向けるよう加工する。これにより、図１５に示すように、ユーザＡとユーザＢの視線が画面上で一致して表現され得る。さらに、情報処理装置１０Ｄは、映像５２および映像５３に「視線一致」といった通知表示を重畳表示してもよい。
　これにより、ユーザＤは、自身が視線を向けているユーザＢが、自分ではなくユーザＡを見ており、さらにユーザＡと視線が一致している状態であることが分かる。
　また、情報処理装置１０Ｄは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、ユーザＣが写る映像５４に「資料を見ています」といった通知表示を重畳表示する。
　また、情報処理装置１０Ｄは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、資料画像５５上の座標（x,y）に注視位置を示す表示やアイコンを重畳表示することで、ユーザＣが資料のどこを見ているかを明示する。
　　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることを可能とする。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１０、または処理サーバ３０に内蔵されるＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、およびＲＡＭ（Random　Access　Memory）等のハードウェアに、情報処理装置１０、または処理サーバ３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　通信先装置からビデオ通信相手の撮像画像を受信する受信部と、
　前記受信した撮像画像を表示部に表示するよう制御する制御部と、
を備え、
　前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、情報処理装置。
（２）
　前記制御部は、前記撮像画像に写る通信相手の顔画像における瞳孔の位置、両目の位置、または頭部の向きを正面に向けるよう加工する、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、前記表示部を見ているユーザを撮像した撮像画像を前記通信先装置へ送信する送信部をさらに備える、前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、
　前記表示部に対するユーザの視線を検出して前記表示部の画面上における注視位置を算出し；
　算出した注視位置と前記表示部に表示されている通信相手の眼周辺の領域とを比較して、前記ユーザが前記通信相手を見ているか否かを判断し；
　前記判断に基づいて、前記ユーザが通信相手を見ていることを示す情報を前記通信先装置に送信するよう制御する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記制御部は、
　前記通信相手およびユーザが互いに相手を見ている状態か否かを判断し；
　前記判断に基づいて、両者の視線が一致していることを示す情報を前記通信先装置に送信するよう制御する、前記（４）に記載の情報処理装置。
（６）
　前記受信部は、複数の通信先装置から各ビデオ通信相手の撮像画像を受信し、
　前記制御部は、
　前記受信した撮像画像を表示部に並べて表示するよう制御し；
　前記ユーザが前記表示部に表示されたどの通信相手を見ているかを判断し；
　前記判断に基づいて、前記ユーザがどの通信相手を見ているかを示す情報を、前記複数の通信先装置と同期するよう制御する、前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記表示部に表示された複数の通信相手の視線が一致していることを示す情報に基づいて、前記複数の通信相手が視線を合わせているように見えるよう、前記複数の通信相手の瞳孔の位置、両目の位置、または頭部の向きを加工する、前記（６）に記載の情報処理装置。
（８）
　前記制御部は、
　資料画像を前記表示部に表示するよう制御し；
　前記算出した画面上におけるユーザの注視位置と前記表示部に表示される資料画像とを比較して、前記ユーザが前記資料画像を見ているか否かを判断し；
　前記判断に基づいて、前記ユーザが資料画像を見ていることを示す情報を前記通信先装置に送信するよう制御する、前記（４）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記制御部は、前記表示部に表示された通信相手が資料画像を見ていることを示す情報に基づいて、前記表示部に並べて表示される資料画像上に、前記通信相手が注視している位置を明示する表示を重畳表示する、前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記通信相手がユーザを見ていないことを示す情報に基づいて、前記撮像画像に写る前記通信相手の視線を正面以外に向けるよう加工する、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記情報処理装置は、通信部を備え、
　前記通信部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報をサーバから受信する、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記通信部は、前記表示部に対する前記ユーザの視線に関する情報を前記サーバに送信する、前記（１１）に記載の情報処理装置。
（１３）
　プロセッサが、
　通信先装置からビデオ通信相手の撮像画像を受信することと、
　前記受信した撮像画像を表示部に表示するよう制御することと、
　前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示すること、
を含む、情報処理方法。
（１４）
　コンピュータを、
　通信先装置からビデオ通信相手の撮像画像を受信する受信部と、
　前記受信した撮像画像を表示部に表示するよう制御する制御部と、
として機能させ、
　前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、プログラム。
　１、２　　情報処理システム
　１０（１０Ａ～１０Ｄ）　　情報処理装置
　２０　ネットワーク
　３０　処理サーバ
　１００制御部
　　１００ａ　映像・音声取得部
　　１００ｂ　操作情報取得部
　　１００ｃ　コンテンツ取得部
　　１００ｄ　送信制御部
　　１００ｅ　注視位置特定部
　　１００ｆ　相手映像解析部
　　１００ｇ　注視対象判断部
　　１００ｈ　注視情報管理部
　　１００ｉ　相手映像処理部
　　１００ｊ　表示情報生成部
　　１００ｋ　注視情報提示制御部
　１０１　入力部
　　１０１１　カメラ
　　１０１２　マイク
　　１０１３　視線センサ
　１０２　操作Ｉ／Ｆ
　１０３　出力部
　　１０３１　ディスプレイ
　　１０３２　スピーカ
　　１０３３　インジケータ
　１０４　通信部
　１０５　記憶部

Claims (14)

  1. 　通信先装置からビデオ通信相手の撮像画像を受信する受信部と、
    　前記受信した撮像画像を表示部に表示するよう制御する制御部と、
    を備え、
    　前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、情報処理装置。
  2. 　前記制御部は、前記撮像画像に写る通信相手の顔画像における瞳孔の位置、両目の位置、または頭部の向きを正面に向けるよう加工する、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、前記表示部を見ているユーザを撮像した撮像画像を前記通信先装置へ送信する送信部をさらに備える、請求項１に記載の情報処理装置。
  4. 　前記制御部は、
    　前記表示部に対するユーザの視線を検出して前記表示部の画面上における注視位置を算出し；
    　算出した注視位置と前記表示部に表示されている通信相手の眼周辺の領域とを比較して、前記ユーザが前記通信相手を見ているか否かを判断し；
    　前記判断に基づいて、前記ユーザが通信相手を見ていることを示す情報を前記通信先装置に送信するよう制御する、請求項１に記載の情報処理装置。
  5. 　前記制御部は、
    　前記通信相手およびユーザが互いに相手を見ている状態か否かを判断し；
    　前記判断に基づいて、両者の視線が一致していることを示す情報を前記通信先装置に送信するよう制御する、請求項４に記載の情報処理装置。
  6. 　前記受信部は、複数の通信先装置から各ビデオ通信相手の撮像画像を受信し、
    　前記制御部は、
    　前記受信した撮像画像を表示部に並べて表示するよう制御し；
    　前記ユーザが前記表示部に表示されたどの通信相手を見ているかを判断し；
    　前記判断に基づいて、前記ユーザがどの通信相手を見ているかを示す情報を、前記複数の通信先装置と同期するよう制御する、請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記表示部に表示された複数の通信相手の視線が一致していることを示す情報に基づいて、前記複数の通信相手が視線を合わせているように見えるよう、前記複数の通信相手の瞳孔の位置、両目の位置、または頭部の向きを加工する、請求項６に記載の情報処理装置。
  8. 　前記制御部は、
    　資料画像を前記表示部に表示するよう制御し；
    　前記算出した画面上におけるユーザの注視位置と前記表示部に表示される資料画像とを比較して、前記ユーザが前記資料画像を見ているか否かを判断し；
    　前記判断に基づいて、前記ユーザが資料画像を見ていることを示す情報を前記通信先装置に送信するよう制御する、請求項４に記載の情報処理装置。
  9. 　前記制御部は、前記表示部に表示された通信相手が資料画像を見ていることを示す情報に基づいて、前記表示部に並べて表示される資料画像上に、前記通信相手が注視している位置を明示する表示を重畳表示する、請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記通信相手がユーザを見ていないことを示す情報に基づいて、前記撮像画像に写る前記通信相手の視線を正面以外に向けるよう加工する、請求項１に記載の情報処理装置。
  11. 　前記情報処理装置は、通信部を備え、
    　前記通信部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報をサーバから受信する、請求項１に記載の情報処理装置。
  12. 　前記通信部は、前記表示部に対する前記ユーザの視線に関する情報を前記サーバに送信する、請求項１１に記載の情報処理装置。
  13. 　プロセッサが、
    　通信先装置からビデオ通信相手の撮像画像を受信することと、
    　前記受信した撮像画像を表示部に表示するよう制御することと、
    　前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示すること、
    を含む、情報処理方法。
  14. 　コンピュータを、
    　通信先装置からビデオ通信相手の撮像画像を受信する受信部と、
    　前記受信した撮像画像を表示部に表示するよう制御する制御部と、
    として機能させ、
    　前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、プログラム。
PCT/JP2017/004476 2016-05-18 2017-02-08 情報処理装置、情報処理方法、およびプログラム WO2017199483A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/099,812 US10659728B2 (en) 2016-05-18 2017-02-08 Information processing apparatus and information processing method
EP17798921.7A EP3461125B1 (en) 2016-05-18 2017-02-08 Information processing apparatus, information processing method, and program
JP2018518079A JP6950685B2 (ja) 2016-05-18 2017-02-08 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016099565 2016-05-18
JP2016-099565 2016-05-18

Publications (1)

Publication Number Publication Date
WO2017199483A1 true WO2017199483A1 (ja) 2017-11-23

Family

ID=60324957

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004476 WO2017199483A1 (ja) 2016-05-18 2017-02-08 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10659728B2 (ja)
EP (1) EP3461125B1 (ja)
JP (1) JP6950685B2 (ja)
WO (1) WO2017199483A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146118A (ja) * 2018-02-23 2019-08-29 沖電気工業株式会社 コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステム
JP2020064380A (ja) * 2018-10-15 2020-04-23 東京瓦斯株式会社 コミュニケーションシステムおよびプログラム
WO2020162035A1 (ja) * 2019-02-07 2020-08-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023195488A1 (ja) * 2022-04-06 2023-10-12 国立大学法人千葉大学 双方向視線位置判定装置、双方向視線位置判定方法およびトレーニング方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491127B (zh) * 2020-04-21 2021-06-29 新石器慧通（北京）科技有限公司 基于无人车远程驾驶的视频通话方法及系统
US11647158B2 (en) 2020-10-30 2023-05-09 Microsoft Technology Licensing, Llc Eye gaze adjustment
US11871147B2 (en) 2021-06-09 2024-01-09 Microsoft Technology Licensing, Llc Adjusting participant gaze in video conferences
EP4113982A1 (en) * 2021-06-30 2023-01-04 Eyeware Tech SA Method for sensing and communicating visual focus of attention in a video conference
WO2021207747A2 (en) * 2021-08-10 2021-10-14 Futurewei Technologies, Inc. System and method for 3d depth perception enhancement for interactive video conferencing
CN115834813A (zh) * 2021-09-15 2023-03-21 中兴通讯股份有限公司 终端设备、视频通话的方法
US11798204B2 (en) 2022-03-02 2023-10-24 Qualcomm Incorporated Systems and methods of image processing based on gaze detection
WO2023191814A1 (en) * 2022-04-01 2023-10-05 Hewlett-Packard Development Company, L.P. Audience configurations of audiovisual signals

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245209A (ja) 1993-02-19 1994-09-02 Sony Corp カメラ一体型ディスプレイ装置
JPH08163416A (ja) 1994-11-30 1996-06-21 Canon Inc 画像通信装置
JP2001136501A (ja) * 1999-11-10 2001-05-18 Nec Corp 視線一致テレビ会議装置
JP2010239583A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 通信端末装置、通信端末装置の通信制御方法、通信制御プログラム
JP2011097447A (ja) * 2009-10-30 2011-05-12 Sharp Corp コミュニケーションシステム
JP2012070081A (ja) * 2010-09-21 2012-04-05 Fuji Xerox Co Ltd 画像表示装置、画像表示プログラム及び画像表示システム
JP2015142168A (ja) * 2014-01-27 2015-08-03 大和ハウス工業株式会社 画像表示システム及び画像表示方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5208810B2 (ja) * 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US8416715B2 (en) * 2009-06-15 2013-04-09 Microsoft Corporation Interest determination for auditory enhancement
US8723915B2 (en) * 2010-04-30 2014-05-13 International Business Machines Corporation Multi-participant audio/video communication system with participant role indicator
US9141875B2 (en) * 2010-05-26 2015-09-22 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
US9294722B2 (en) * 2010-10-19 2016-03-22 Microsoft Technology Licensing, Llc Optimized telepresence using mobile device gestures
US8581956B2 (en) * 2011-04-29 2013-11-12 Hewlett-Packard Development Company, L.P. Methods and systems for communicating focus of attention in a video conference
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US8947493B2 (en) * 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9369667B2 (en) * 2012-04-11 2016-06-14 Jie Diao Conveying gaze information in virtual conference
US8976224B2 (en) * 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
US9041766B1 (en) * 2013-03-14 2015-05-26 Ca, Inc. Automated attention detection
US9407871B2 (en) * 2014-03-31 2016-08-02 Electronics And Telecommunications Research Instit Apparatus and method for controlling eye-to-eye contact function
US9300916B1 (en) * 2015-02-10 2016-03-29 International Business Machines Corporation Natural gazes during online video conversations
KR102317021B1 (ko) * 2015-06-26 2021-10-25 삼성전자주식회사 디스플레이 장치 및 이의 영상 보정 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245209A (ja) 1993-02-19 1994-09-02 Sony Corp カメラ一体型ディスプレイ装置
JPH08163416A (ja) 1994-11-30 1996-06-21 Canon Inc 画像通信装置
JP2001136501A (ja) * 1999-11-10 2001-05-18 Nec Corp 視線一致テレビ会議装置
JP2010239583A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 通信端末装置、通信端末装置の通信制御方法、通信制御プログラム
JP2011097447A (ja) * 2009-10-30 2011-05-12 Sharp Corp コミュニケーションシステム
JP2012070081A (ja) * 2010-09-21 2012-04-05 Fuji Xerox Co Ltd 画像表示装置、画像表示プログラム及び画像表示システム
JP2015142168A (ja) * 2014-01-27 2015-08-03 大和ハウス工業株式会社 画像表示システム及び画像表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3461125A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146118A (ja) * 2018-02-23 2019-08-29 沖電気工業株式会社 コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステム
JP7035613B2 (ja) 2018-02-23 2022-03-15 沖電気工業株式会社 コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステム
JP2020064380A (ja) * 2018-10-15 2020-04-23 東京瓦斯株式会社 コミュニケーションシステムおよびプログラム
JP7194554B2 (ja) 2018-10-15 2022-12-22 東京瓦斯株式会社 コミュニケーションシステムおよびプログラム
WO2020162035A1 (ja) * 2019-02-07 2020-08-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11979545B2 (en) 2019-02-07 2024-05-07 Sony Group Corporation Information processing apparatus and information processing method
WO2023195488A1 (ja) * 2022-04-06 2023-10-12 国立大学法人千葉大学 双方向視線位置判定装置、双方向視線位置判定方法およびトレーニング方法

Also Published As

Publication number Publication date
EP3461125A1 (en) 2019-03-27
US10659728B2 (en) 2020-05-19
JPWO2017199483A1 (ja) 2019-03-14
EP3461125B1 (en) 2024-10-09
EP3461125A4 (en) 2019-05-22
JP6950685B2 (ja) 2021-10-13
US20190110023A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
WO2017199483A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US9842433B2 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
CN111052043B (zh) 使用现实界面控制外部设备
US10171792B2 (en) Device and method for three-dimensional video communication
CN110413108B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
WO2016092950A1 (ja) 医療用眼鏡型表示装置、情報処理装置及び情報処理方法
US20150049001A1 (en) Enabling remote screen sharing in optical see-through head mounted display with augmented reality
US8902280B2 (en) Communicating visual representations in virtual collaboration systems
JP2016529773A (ja) マルチリアリティ環境における役割交渉のためのシステム及び方法
JP2014099854A (ja) ソーシャルネットワークサービス提供装置及び方法
JP2010206307A (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
WO2017051570A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2009246408A (ja) 対話装置、画像処理モジュール、画像処理方法およびプログラム
WO2021145878A1 (en) Mobile application platform projected on a secondary display with intelligent gesture interactions
JP2021009647A (ja) 仮想現実制御装置、仮想現実ヘッドセット、仮想現実制御方法およびプログラム
CN105446580B (zh) 一种控制方法及便携式电子设备
US11589001B2 (en) Information processing apparatus, information processing method, and program
JP7128473B2 (ja) キャラクター表示方法
US10828560B2 (en) Systems and methods for stereoscopic vision with head mounted display
WO2023275781A1 (en) Method for sensing and communicating visual focus of attention in a video conference
WO2017098999A1 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム
GB2569576A (en) Audio generation system
US20230269407A1 (en) Apparatus and method
US11979545B2 (en) Information processing apparatus and information processing method
US20240012472A1 (en) Vergence based gaze matching for mixed-mode immersive telepresence application

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018518079

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17798921

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017798921

Country of ref document: EP

Effective date: 20181218