WO2017199592A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2017199592A1
WO2017199592A1 PCT/JP2017/013070 JP2017013070W WO2017199592A1 WO 2017199592 A1 WO2017199592 A1 WO 2017199592A1 JP 2017013070 W JP2017013070 W JP 2017013070W WO 2017199592 A1 WO2017199592 A1 WO 2017199592A1
Authority
WO
WIPO (PCT)
Prior art keywords
talk room
level
information
user
communication
Prior art date
Application number
PCT/JP2017/013070
Other languages
English (en)
French (fr)
Inventor
倉田　雅友
荘太 松澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/300,351 priority Critical patent/US11019113B2/en
Publication of WO2017199592A1 publication Critical patent/WO2017199592A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G06Q10/1095—Meeting or appointment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 describes a chat system capable of centrally managing chat rooms in which the client can participate on the client device side.
  • chat room chat room
  • a communication level acquisition unit that acquires a level of communication between users, and a talk room that a plurality of users access to provide or acquire information via a terminal are generated based on the level
  • an information processing apparatus including a talk room control unit.
  • acquiring a level of communication between users and generating a talk room that the plurality of users access to provide or acquire information via a terminal based on the level There is provided an information processing method.
  • means for acquiring a level of communication between users means for generating a talk room that is accessed by a plurality of users to provide or acquire information via a terminal based on the level ,
  • a program for causing a computer to function is provided.
  • a group is automatically generated on a social network service (SNS) on the Internet between users who have approached or communicated in the real world. Then, a system is provided in which information can be shared between groups only for a certain period after that, and when there is no explicit instruction from each user, the group is automatically deleted.
  • SNS social network service
  • a talk room (chat space) that can share information between groups is generated. After a group event, the group talk room disappears after a certain period of time. This makes it possible to realize a new communication tool that automatically reflects real-world encounters in the virtual space while also considering user privacy.
  • the type of talk room on the network service (communication method) is automatically selected according to the proximity conditions (for example, distance, signal level, communication level, etc.) between users. Communication is possible under certain conditions.
  • Communication level which is one of the proximity conditions between users, is the conversation excitement (speech volume, laughter, smile level), action matching level (running together, playing tennis), emotion (biological information to emotion level), etc. Sought from the context between users during a real-world event.
  • the types of talk rooms include the social network service itself and the types of messages that can be used on the service (stamp, text chat, voice, video chat, presence sharing, photo sharing, biometric information sharing, action reproduction by avatar), etc. It is done.
  • Certain conditions that enable communication are also automatically determined based on proximity conditions between users during the event. Also, certain conditions may change step by step.
  • FIG. 1 is a schematic diagram illustrating a system configuration example. As shown in FIG. 1, the system 1000 includes a terminal 200, a server 300, and a social network server 400.
  • the terminal 200 is a wearable terminal such as a smartphone, a tablet terminal, or an HMD.
  • the terminal 200 includes various sensors 100, a proximity determination unit 210, a communication level determination unit 220, and a user interface (UI) unit 250.
  • the proximity determination unit 210 and the communication level determination unit 220 may be provided on the server 200 side.
  • the server 300 may include a proximity determination server 310 and an authentication server 320.
  • the proximity determination unit 210 is provided in the proximity determination server 310 when provided on the server 200 side.
  • the proximity determination server 310 and the authentication server 320 may be configured separately.
  • the terminal 200 is configured to be able to communicate with each of the server 300 and the social network server 400.
  • a communication method various methods by wire or wireless can be adopted, and the method is not particularly limited.
  • the social network server 400 provides the entire social network service to the terminal 200.
  • the social network server 400 provides a talk room for the terminal 200.
  • the social network server 400 has a talk room control unit 410.
  • the talk room control unit 410 includes a communication level acquisition unit 411, a communication technique selection unit 412, and a talk room end condition determination unit 414.
  • the social network server 400 may be configured integrally with the server 300.
  • the talk room control unit 410 generates a talk room after an event such as an event in which users have an actual conversation according to the communication level. For this reason, the communication level acquisition unit 411 acquires the communication level determined by the communication level determination unit 220. The communication technique selection unit 412 selects a communication technique according to the communication level. The talk room end condition determination unit 414 determines whether or not a talk room end condition has occurred. When the talk room end condition has occurred, the talk room control unit 410 ends the talk room. The talk room control unit 410 transmits information regarding the generated talk room to the terminal 200. When receiving information related to the talk room, the terminal 200 displays the talk room on the UI unit 250.
  • those other than the various sensors 100 are configured by a circuit (hardware) or a central processing unit such as a CPU and a program (software) for causing the central processing unit to function. it can.
  • the program can be recorded on a recording medium such as a memory provided in the terminal 200 or the servers 300 and 400, or a recording medium connected to these devices from the outside.
  • the various sensors 100 include a camera 110, a microphone (microphone) 120, a motion sensor 130, a position sensor 140, a proximity wireless communication unit 150, an environment sensor 160, and a biological sensor 170.
  • the proximity determination by the proximity determination unit 210 is performed according to the detection results by the various sensors 100.
  • the camera 110 may be a stereo camera. In this case, the distance to the subject (the conversation partner) can be acquired based on the parallax between the left and right images.
  • the motion sensor 130 includes an acceleration sensor, a gyro sensor, a vibration sensor, and the like.
  • the position sensor 140 performs position detection by a method such as GPS or Wi-Fi.
  • the proximity wireless communication unit 150 performs wireless communication with the server 300 or another terminal 200 by Bluetooth (registered trademark), NFC, or the like.
  • the environmental sensor 160 acquires information such as geomagnetism, atmospheric pressure, humidity, and temperature.
  • the biological sensor 170 acquires biological information such as the user's heart rate, blood flow, and pupil size.
  • the user interface (UI) unit 250 includes a touch panel including a liquid crystal display and a touch sensor.
  • the proximity determination unit 210 determines whether a plurality of arbitrary users are close to each other. Specifically, the proximity determination unit 210 determines whether A) is within a certain distance range, B) is in the same facility, C) is participating in the same event, or D) there is a face-to-face conversation regarding a plurality of users. , Etc.
  • the proximity determination unit 210 performs proximity determination based on information obtained from the various sensors 100. The following is mentioned as a determination method in the proximity determination unit 210. -Absolute position-based determination using GNSS (Global Navigation Satellite System), Wi-Fi, etc. In this method, a) Distance between users is calculated from the positioning coordinates (latitude, longitude, altitude information) of each user, and proximity Make a decision. In addition, b) mapping the positioning coordinates to map information such as the section of the facility, and performing a determination considering whether the user is in the same facility.
  • GNSS Global Navigation Satellite System
  • c) by referring to the event facility and event time obtained from each user's calendar, schedule, Web event information, etc., it is also possible to make a determination in combination with a) and b) above. For example, when an event in the user's schedule is described, it can be determined from the event information and time whether or not the user is at the event facility (venue).
  • a) TOF Time Of The determination is made by calculating the distance between each user (distance of relative position coordinates) based on the (Flight) method (TOA method) and the RSSI (Received Signal Strength Indicator) radio wave level.
  • TOF Time Of The determination is made by calculating the distance between each user (distance of relative position coordinates) based on the (Flight) method (TOA method) and the RSSI (Received Signal Strength Indicator) radio wave level.
  • b) based on the map information such as the section of the facility and the information obtained from the proximity sensor installed on the facility side, a determination is made considering whether the user is in the same facility. Further, c) by referring to the event facility and event time obtained from each user's calendar, schedule, Web event information, etc., the determination can be made in combination with a) and b) above.
  • -Proximity determination by environmental sound matching Based on the correlation of the acoustic feature quantity of the environmental sound recorded by the microphone 120 of each user's terminal 200, proximity is determined from the possibility of the same sound source.
  • -Person detection by image From the image information recorded by the camera 110 of each user's terminal 200, it is determined whether there is a person to be faced by face identification or human body identification, and who is the person to face. With this method, any of the determinations A) to D) can be performed.
  • -Proximity determination by motion sensor or environment sensor Based on the correlation of the feature quantities acquired by the motion sensor 130 and environment sensor 160 of each user's terminal 200, each user is moving the same or getting on the same moving object Or whether it is in the same environmental facility. As a result, the above determinations B) and C) can be made.
  • each terminal 200 When each terminal 200 includes the proximity determination unit 210, the proximity determination unit 210 of each terminal 200 performs proximity determination by exchanging the various information described above and the identification information (ID) of each terminal 200 with each other. I do. Further, when the proximity determination unit 210 is provided in the server 300, each terminal 200 sends the various types of information described above to the server 300, and the proximity determination unit 210 of the server 300 performs the proximity determination. For example, in the case of human detection based on an image, each terminal 200 sends the face information of the owner of the terminal 200 registered in each terminal 200 and the identification information (ID) of each terminal 200 to other terminals 200.
  • ID identification information
  • each terminal 200 collates the face information of the person who has been photographed by the camera 110 with the face information sent from the other terminal 200, and when both match, the matching face image and identification information (ID ) Can be determined to be close to the terminal 200 that has sent
  • ID the matching face image and identification information
  • the server 300 side for example, the face information of the owner of the terminal 200 registered in each terminal 200 and the face information of the person facing each other photographed by the camera 110 of each terminal 200 are stored in each terminal. It is sent to the server 300 together with 200 identification information (ID).
  • ID identification information
  • the server 300 side if the face information captured by the first terminal 200 matches the face information registered by the second terminal 200, the first terminal 200 and the second terminal 200 are close to each other. Can be determined.
  • LVd (i, j) level of distance
  • Proximity distance estimation (GNSS high-precision positioning, UWB and laser TOA methods, estimation using Wi-Fi, AP three-point surveying, etc.) in the proximity determination described above estimates the distance between each user (ij) Direction, line of sight, posture, gestures, etc .: LVa (i, j) (level of attention) Estimate the face, line of sight, and posture of the nearby user (j) from the image information recorded on the terminal 200 of the user (i), and estimate the attention level from the person (j) facing the user (i) Presence / absence, frequency, total time, etc .: LVc (i, j) (level of conversion) Estimate the presence / absence, frequency, total time, and conversation contents of the user (j) with the adjacent user (j) from the acoustic information recorded on the terminal 200 of each user (i).
  • LVe (i, j) level of emotion
  • the degree of concentration and the degree of excitement are estimated, and the emotion level of each user (i) with respect to the person (j) facing the person is estimated.
  • the communication method selection unit 230 automatically selects the type of talk room on the network service (SNS type / communication method) according to the proximity condition (communication level LVcm (i, j)) between the adjacent users.
  • the communication technique selection unit 230 selects the type of talk room according to the communication level LVcm (i, j) as follows, for example.
  • LVcm ⁇ X0 Exchange of stamps LVcm ⁇ X1> X0: Text chat LVcm ⁇ X2> X1: Voice chat LVcm ⁇ X3> X2 &&LVa> Y0: Video chat LVcm ⁇ X4> X3 &&LVc> Y1: Presence / location sharing LVcm ⁇ X5> X4 && LVe > Y2: Biological information sharing LVcm ⁇ X6> X5: Virtual space
  • the type of talk room may be changed according to the moving means (behavior, vehicle type, speed) after the event.
  • the moving means behavior, vehicle type, speed
  • it is difficult to make a voice so participation in a talk room by text input is made.
  • participation in a talk room by video chat is assumed.
  • FIG. 2 is a flowchart showing processing performed by the system 1000.
  • the proximity determination unit 210 performs a proximity determination.
  • step S16 the communication level determination unit 220 determines the communication level.
  • an SNS or communication method is selected based on the communication level LVcm (i, j).
  • step S19 1 is set. After step S19, the process returns to step S12.
  • D 0, and therefore, the process proceeds to the processes after step S16 as a result of the determination in step S14. Steps S16 and S18 are not performed and the process does not proceed to step S20 and subsequent steps.
  • step S20 If the condition of step S14 is satisfied, the process proceeds to step S20. In this case, since the users are not close to each other, the event such as an event in which the users actually communicate with each other has ended, and hence the talk room generation process and the end process are performed.
  • step S20 profile information is shared between users.
  • step S22 the end condition of the talk room is determined.
  • step S24 it is determined whether or not the talk room is to be ended based on the determination result in step S22, and if it is to be ended, the process is ended (END). On the other hand, if the talk room is not terminated, the process proceeds to step S26. In step S26, users communicate with each other in the talk room. After step S26, the process returns to step S22, and the talk room end condition is determined again.
  • FIG. 3 is a schematic diagram illustrating an example in which proximity determination is performed by P2P communication between terminals 200.
  • the terminals 200 are connected without using a server.
  • step S40 utterance determination is performed based on voice information acquired by the microphone 120, face detection is performed from image information acquired by the camera 110, and voice feature information and / or face image information is acquired during the utterance period. get.
  • step S42 the proximity person is determined from the voice feature information and / or the face image information in the utterance section.
  • each terminal 200 voice feature information / face image information of another terminal 200 is registered in advance together with a terminal ID, and the voice feature information / face image information of the communication partner acquired by P2P communication is compared. A neighbor is determined based on the result. Thus, proximity determination can also be performed by P2P communication between terminals 200 without using a server.
  • FIG. 4 is a schematic diagram illustrating another example in which proximity determination is performed by P2P communication between terminals 200.
  • each terminal 200 receives a broadcast by BT, UWB, RF, ultrasonic waves, or the like.
  • a relative position with respect to the communication partner terminal 200 is obtained by BT, UWB, RF, ultrasonic waves, etc., and proximity determination is performed.
  • FIG. 5 is a schematic diagram illustrating an example in which proximity determination is performed in cooperation with the proximity determination server 310.
  • each terminal 200 acquires at least one piece of information of GNSS / WiFi / BT / UWB / RF and transmits it to the proximity determination server 310.
  • the proximity determination server 310 performs an absolute position-based proximity determination by GNSS / Wi-Fi.
  • the proximity determination server 310 performs proximity determination of the relative position by WiFi / BT / UWB / RF.
  • each terminal 200 extracts the acoustic feature quantity of the environmental sound acquired by the microphone 120 and transmits it to the proximity determination server 310.
  • the proximity determination server 310 performs proximity determination by environmental sound matching.
  • each terminal 200 makes an utterance determination based on the audio information acquired by the microphone 120, performs face detection from the image information acquired by the camera 110, and performs audio feature information and / or during the utterance interval. Alternatively, the face image information is transmitted to the proximity determination server 310.
  • the proximity determination server 310 determines a proximity person from the voice feature information and / or the face image information in the utterance section. Note that it is not necessary to perform all the proximity determinations shown in FIG.
  • FIG. 6 is a schematic diagram illustrating an example of performing communication level determination in cooperation with the proximity determination server 310.
  • each terminal 200 acquires at least one piece of information of GNSS / WiFi / BT / UWB / RF and transmits it to the proximity determination server 310.
  • the proximity determination server 310 performs communication level determination by proximity determination by GNSS / Wi-Fi (LVd).
  • each terminal 200 extracts the acoustic feature amount of the environmental sound acquired by the microphone 120 and transmits it to the proximity determination server 310.
  • the proximity determination server 310 performs communication level determination by proximity determination based on environmental sound matching (LVc).
  • each terminal 200 performs utterance determination / image face detection / biometric information acquisition, and transmits the voice feature and / or face image and / or biological information in the utterance section to the proximity determination server 310.
  • the proximity determination server 310 performs a communication level determination (LVc, LVe) using the voice feature in the utterance section transmitted in step S88.
  • the proximity determination server 310 performs communication level determination (LVa) from the face image information transmitted in step S88.
  • the proximity determination server 310 performs communication level determination (LVe) from the biological information transmitted in step S88.
  • FIG. 7 is a schematic diagram showing a sequence when sharing profile information in step S20 of FIG.
  • a case where the proximity determination server 310 performs proximity determination will be described as an example.
  • step S ⁇ b> 100 subscription is started, and each terminal 200 sends proximity determination information to the proximity determination server 310.
  • the proximity determination information includes information necessary for user ID, proximity determination, and communication level determination.
  • the user ID is identification information assigned to the terminal 200 of each user.
  • the proximity determination server 310 performs proximity determination and communication level determination based on information transmitted from each terminal 200, and registers information of the group determined to have a high communication level in the authentication server 320.
  • profile information such as a group ID, a user ID list, a communication level information list, a time limit, and an application ID can be cited.
  • the authentication server 320 checks the user ID, transmits profile information and SNS information to the terminal 200, and each terminal 200 receives the profile information and SNS information.
  • the profile information is also transmitted to the social network server 400.
  • the talk room control part 410 of the social network server 400 produces
  • the profile information and SNS information corresponding to the user ID of the terminal 200 are sent to the terminal 200 and the social network server 400, it is possible to browse the display screen based on the communication level LVcm and to transmit information as described above. It becomes.
  • the authentication server 320 transmits an end notification to the terminal 200.
  • the end notification is also transmitted to the social network server 400, and the talk room end condition determination unit 414 determines the end.
  • the talk room ends.
  • the terminal 200 ends the subscription.
  • FIG. 8 is a schematic diagram showing another sequence when sharing profile information.
  • the proximity determination device A registers information such as a user ID, profile information, SNS information, a time limit, a unique token, and an application ID in the authentication server 320.
  • the proximity determination device A broadcasts a time-limited unique token and application by wireless communication or dedicated communication used for proximity determination.
  • the proximity determination device B receives a dedicated communication after a proximity determination wireless communication or a separate proximity determination is performed. In the next step S136, the proximity determination device B receives a unique token. In the next step S138, the proximity determination device B sends the user ID, Ttl, unique tone, and application ID to the authentication server 320, and makes a subscription request.
  • the authentication server 320 checks the application ID and token and transmits profile information and SNS information.
  • the proximity determination device B receives the profile information and SNS information.
  • the proximity determination device A sends the user ID, the unique token, and the application ID to the authentication server 320, and registers the end of publishing.
  • the authentication server 320 notifies the proximity determination device B that the publishing is completed or the time limit (Ttl) is ended, and in the next step S148, the proximity determination device B receives a notification of the end.
  • the proximity determination device B ends the subscription.
  • FIG. 9 is a schematic diagram illustrating an example in which a talk room is set by the talk room control unit 410.
  • Michael, Billy, and Jack are determined to be neighbors and are participating in the talk room, and each user communicates with stamps, text, audio, and video (video messages) It shows a state.
  • the time limit until the end of the talk room is 12 hours, and the time limit is communicated to each user by the reading voice by the system.
  • the volume can be reduced as the time limit is approached.
  • the resolution may be lowered as the time limit is approached.
  • FIG. 10 is a schematic diagram illustrating an example in which a talk room is set, and shows a state in which information that can be viewed in the talk room and information that can be transmitted in the talk room differ depending on the communication level LVcm.
  • FIG. 10 First, as shown in a screen 500, a communication method is selected based on the communication level LVcm (i, j), and a list of neighbors (Nearby List) is displayed.
  • the case where three persons, Michael, Billy, and Jack, are determined to be neighbors is shown, and the example shown in FIG. 10 shows a display example on the Michael terminal 200.
  • the screen 510 shows a state where the talk room has started. Since Michael has a high communication level LVcm, the transmission method that can be selected is text + stamp. On the other hand, since Jack has a low communication level LVcm, the only transmission method that can be selected is a stamp.
  • the screen 520 shows that a user with a low communication level LVcm disappears from the talk room after a predetermined time has elapsed.
  • Jack's communication level LVcm is low, it disappears from the talk room after a predetermined time.
  • Michael since Michael has a high communication level LVcm, the talk room can be viewed until the system setting time limit.
  • the screen 530 shows a state where the talk room is finished. When the talk room is terminated, a message to that effect is displayed and the subsequent talk room cannot be used.
  • FIG. 11 shows a display example on Jack's terminal 200 in the same talk room as FIG. Similar to FIG. 10, first, as shown in a screen 500, a communication method is selected based on the communication level LVcm (i, j), and a near list of neighbors is displayed.
  • a communication method is selected based on the communication level LVcm (i, j), and a near list of neighbors is displayed.
  • the display on Jack's terminal 200 since the communication level LVcm is low, only the names of Michael and Billy are displayed, and the address and mail address are not displayed.
  • the screen 510 in FIG. 11 shows a state in which the talk room has started. Since Jack has a low communication level LVcm, the only transmission method that can be selected is a stamp, and text input is not possible.
  • Screen 520 shows that a user with a low communication level LVcm disappears from the talk room after a certain period of time. Since Jack has a low communication level LVcm, the message “Talk room has ended” is displayed. At this stage, Jack can no longer see the talk room.
  • a screen 530 shows a display in a state where the talk room is finished. The display of the screen 530 on the Jack terminal 200 is the same as the screen 520.
  • FIG. 12 shows an example of switching SNS in a talk room. Similar to FIG. 10, first, as shown on a screen 500, a communication method is selected based on the communication level LVcm (i, j), and the near list 1 of the neighbors is displayed. Next, the screen 540 shows a state in which a stamp-type SNS is selected including a user with a low communication level LVcm. In this case, each user can communicate with the stamp.
  • the near list 2 can be selected.
  • a communication method is selected based on the communication level LVcm (i, j), and a list of neighbors is displayed.
  • screen 560 shows that SNS with video chat is selected only by a user with a high communication level LVcm. In this case, only users (Michael and Billy) with a high communication level LVcm can perform video chat communication.
  • step S22 of FIG. 2 the end of the talk room is determined according to whether or not a predetermined time has elapsed since the end of the event.
  • the predetermined time may be changed according to proximity conditions (distance, signal level, communication level) during the event.
  • a predetermined time until the talk room ends may be set according to the communication level LVcm.
  • a predetermined time F (LVcm) [seconds].
  • the type of talk room may be changed in stages according to the proximity conditions (distance, signal level, communication level) during the event. For example, as the distance D between both users increases, the talk room is switched under the condition of LVcm ⁇ X (D). As an example, the talk room is switched as follows: video ⁇ audio ⁇ text ⁇ stamp. X is a predetermined function.
  • the predetermined time may be determined based on conditions defined between neighbors during the event. For example, the talk room may be terminated when all the neighbors set the schedule for the next participation. Further, the talk room may be terminated when someone speaks a specific keyword in the talk room. Further, the talk room may be terminated when the user leaves the designated location area.
  • a communication level acquisition unit for acquiring a level of communication between users; Based on the level, a talk room controller that generates a talk room that is accessed by a plurality of the users to provide or obtain information via a terminal;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the talk room control unit generates the talk room after an event in which users actually communicate with each other. (3) The information processing apparatus according to (1) or (2), wherein the talk room control unit ends the talk room when a predetermined condition is satisfied. (4) The information processing apparatus according to any one of (1) to (3), wherein the talk room control unit varies use conditions of the talk room according to the level of each user.
  • the information processing apparatus includes a communication method selection unit that selects a communication method in the talk room according to the level of each user.
  • the information processing apparatus includes a communication method selection unit that selects a communication method in the talk room according to the level of each user.
  • the talk room control unit increases the amount of information that can be acquired from the talk room as the user has a higher level.
  • the information processing apparatus increases the amount of information that can be provided to the talk room as the user has a higher level.
  • the information processing apparatus according to any one of (1) to (7), further including a communication level determination unit that determines the level.
  • the communication level determination unit is based on at least one of a distance between users, a user's face orientation, a user's line of sight, a user's posture, a user's movement, a user's voice related to communication, and a user's biological information.
  • the information processing apparatus according to (8), wherein the level is determined.
  • the information processing apparatus according to (8), wherein the communication level determination unit determines the level when users are close to each other in an event in which users actually communicate with each other.
  • the information processing apparatus according to (10) further including a proximity determination unit that determines whether or not users are close to each other.
  • the talk room control unit generates the talk room based on identification information of the terminal of the user and the level so that the terminal having the level equal to or higher than a predetermined value can provide or acquire the information.
  • the information processing apparatus according to (1). (13) acquiring the level of communication between users; Based on the level, generating a talk room that the plurality of users access to provide or obtain information via a terminal; An information processing method comprising: (14) Means for acquiring the level of communication between users, Means for generating a talk room to be accessed by a plurality of users to provide or obtain information via a terminal based on the level; As a program to make the computer function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】現場で実際に話をした人と事後的にトークルームを構成できる仕組みを提供する。 【解決手段】本開示に係る情報処理装置は、ユーザー相互のコミュニケーションのレベルを取得するコミュニケーションレベル取得部と、前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成するトークルーム制御部と、を備える。この構成により、現場で実際に話をした人と事後的にトークルームを構成できる仕組みを提供することが可能となる。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　従来、例えば下記の特許文献１には、自己が参加可能なチャットルームをクライアント装置側で一元的に管理することが可能なチャットシステムが記載されている。
特開２０１０－２２４８４２号公報
　例えば、イベント、交流会等の催しに複数の人が集まった場合に、これらのイベントや交流会等が終了した後にチャットルーム（トークルーム）を生成すれば、事後的なコミュニケーションを行うことができる。
　しかしながら、イベントや交流会等に参加している人は、その現場で全ての人と会話するわけではなく、気の合う人、その場で仲良くなった人と会話をするのが通常である。このため、実際のイベントや交流会で会話をしていない人同士が、事後的に生成されたチャットルームに入ったとしても、相手のことが分からないため、チャットルームを利用して相互にコミュニケーションをとる機会は殆ど無いと考えられる。
　従って、現場で実際に話をした人と事後的にトークルームを構成できる仕組みが望まれていた。
　本開示によれば、ユーザー相互のコミュニケーションのレベルを取得するコミュニケーションレベル取得部と、前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成するトークルーム制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、ユーザー相互のコミュニケーションのレベルを取得することと、前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成することと、を備える、情報処理方法が提供される。
　また、本開示によれば、ユーザー相互のコミュニケーションのレベルを取得する手段、前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成する手段、としてコンピュータを機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、現場で実際に会話をした人と事後的にトークルームを構成できる仕組みを提供することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係るシステムの構成例を示す模式図である。 システムで行われる処理を示すフローチャートである。 端末同士のＰ２Ｐ通信により近接判定を行う例を示す模式図である。 端末同士のＰ２Ｐ通信により近接判定を行う他の例を示す模式図である。 近接判定サーバと連携して近接判定を行う例を示す模式図である。 近接判定サーバと連携してコミュニケーションレベル判定を行う例を示す模式図である。 図２のステップＳ２０において、プロファイル情報を共有する際のシーケンスを示す模式図である。 プロファイル情報を共有する際の別のシーケンスを示す模式図である。 トークルームが設定された例を示す模式図である。 コミュニケーションレベルＬＶｃｍに応じて、トークルームで見ることのできる情報、トークルームで発信することのできる情報が異なる様子を示す模式図である。 図１０と同じトークルームにおいて、異なる端末における表示例を示す模式図である。 トークルームにおいて、ＳＮＳの切り換えを行う例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システムの概要
　２．システムの構成例
　３．近接判定の手法
　４．コミュニケーションレベル判定の手法
　５．本実施形態のシステムで行われる処理
　６．近接判定の処理の具体例
　７．コミュニケーションレベル判定の具体例
　８．プロファイル情報共有のためのシーケンス
　９．トークルームの画面表示例
　１０．トークルーム終了判定
　１．システムの概要
　本実施形態では、実世界で接近もしくはコミュニケーションしたユーザー間で、インターネット上のソーシャルネットワークサービス（ＳＮＳ）上に自動的にグループを生成する。そして、その後一定期間だけグループ間で情報共有を可能とし、各ユーザーから明示的な指示がない場合は自動的にグループが削除されるシステムを提供する。
　各ユーザーを近接技術によって検出して、一つのイベント単位でグループを自動生成することで、グループ間で情報共有できるトークルーム(チャットスペース)を生成する。グループのイベント終了後、一定時間が経過するとグループのトークルームは消滅する。これにより、ユーザーのプライバシーも考慮しつつ、実世界の出会いをバーチャル空間に自動的に反映する新しいコミュニケーションツールが実現できる。
　実世界で複数ユーザーが参加するイベント中に、ユーザー間の近接条件（例えば、距離、信号レベル、コミュニケーションレベル等)に応じて、ネットワークサービス上のトークルームの種類（コミュニケーション手法）が自動で選択され、コミュニケーションが一定条件で可能となる。
　ユーザー間の近接条件の１つである「コミュニケーションレベル」は、会話の盛り上がり（発話量、笑い声、笑顔度）、行動一致度（一緒に走る、テニスする）、感情（生体情報から情動レベル）など、実世界のイベント中のユーザー間のコンテキストから求まる。
　トークルームの種類としては、ソーシャルネットワークサービス自体や、そのサービス上で使えるメッセージの種類（スタンプ、テキストチャット、音声、ビデオチャット、プレゼンス共有、写真共有、生体情報共有、アバターによる行動再現）などが挙げられる。
　コミュニケーションが可能となる一定条件も、イベント中のユーザー間の近接条件によって自動的に決定する。また一定条件が段階的に変わることもある。
　２．システムの構成例
　図１は、システム１０００の構成例を示す模式図である。図１に示すように、このシステム１０００は、端末２００、サーバ３００、ソーシャルネットワークサーバ４００を有して構成されている。
　一例として、端末２００は、スマートフォン、タブレット端末、ＨＭＤ等のウェアラブル端末である。端末２００は、各種センサ１００、近接判定部２１０、コミュニケーションレベル判定部２２０、ユーザーインターフェース（ＵＩ）部２５０を含む。なお、端末２００の構成要素のうち、近接判定部２１０、コミュニケーションレベル判定部２２０は、サーバ２００側に設けられていても良い。
　また、サーバ３００は、近接判定サーバ３１０と認証サーバ３２０を含むものであっても良い。近接判定部２１０は、サーバ２００側に設けられる場合、近接判定サーバ３１０に設けられる。近接判定サーバ３１０と認証サーバ３２０は別体に構成されていても良い。
　端末２００は、サーバ３００、ソーシャルネットワークサーバ４００のそれぞれと通信可能に構成されている。通信の方法は、有線又は無線による各種方法を採用することができ、特に限定されるものではない。
　ソーシャルネットワークサーバ４００は、端末２００に対してソーシャルネットワークサービスの全般を提供する。特に、本実施形態において、ソーシャルネットワークサーバ４００は、端末２００に対してトークルームを提供する。このため、ソーシャルネットワークサーバ４００は、トークルーム制御部４１０を有している。トークルーム制御部４１０は、コミュニケーションレベル取得部４１１、コミュニケーション手法選定部４１２、トークルーム終了条件判定部４１４を有して構成されている。なお、ソーシャルネットワークサーバ４００は、サーバ３００と一体に構成されていても良い。
　トークルーム制御部４１０は、コミュニケーションレベルに応じて、ユーザー同士が実際の会話を行うイベントなどの催しの終了後にトークルームを生成する。このため、コミュニケーションレベル取得部４１１は、コミュニケーションレベル判定部２２０が判定したコミュニケーションレベルを取得する。コミュニケーション手法選定部４１２は、コミュニケーションレベルに応じて、コミュニケーションの手法を選定する。トークルーム終了条件判定部４１４は、トークルームの終了条件が発生したか否かを判定し、トークルームの終了条件が発生した場合、トークルーム制御部４１０は、トークルームを終了させる。トークルーム制御部４１０は、生成したトークルームに関する情報を端末２００に送信する。端末２００は、トークルームに関する情報を受信すると、トークルームをＵＩ部２５０に表示させる。
　図１に示す各構成要素のうち、各種センサ１００を除くものは、回路（ハードウェア）、または、ＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。また、そのプログラムは、端末２００、又はサーバ３００，４００が備えるメモリ等の記録媒体、又はこれらの機器に外部から接続される記録媒体に記録されることができる。
　各種センサ１００は、カメラ１１０、マイク（マイクロフォン）１２０、モーションセンサ１３０、位置センサ１４０、近接無線通信部１５０、環境センサ１６０、生体センサ１７０を含む。近接判定部２１０による近接判定は、各種センサ１００による検出結果に応じて行われる。ここで、カメラ１１０は、ステレオカメラであっても良く、この場合、左右の画像の視差に基づいて被写体（会話の相手）との距離を取得することができる。
　モーションセンサ１３０は、加速度センサ、ジャイロセンサ、振動センサ等を含む。位置センサ１４０は、ＧＰＳ、Ｗｉ－Ｆｉ等の手法により位置検出を行う。近接無線通信部１５０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等によりサーバ３００又は他の端末２００と無線通信を行う。環境センサ１６０は、地磁気、気圧、湿度、温度などの情報を取得する。生体センサ１７０は、ユーザーの心拍数、血流量、瞳孔の大きさ等の生体情報を取得する。
　ユーザーインターフェース（ＵＩ）部２５０は、一例として、液晶ディスプレイとタッチセンサからなるタッチパネルから構成される。
　近接判定部２１０は、任意の複数のユーザーが近接した位置にいるかを判定する。具体的に、近接判定部２１０は、複数のユーザーに関し、Ａ）一定距離の範囲内にいるか、Ｂ）同一施設内にいるか、Ｃ）同一イベントに参加しているか、Ｄ）対面対話があるか、等を判定する。
　３．近接判定の手法
　近接判定部２１０は、各種センサ１００から得られた情報に基づいて、近接判定を行う。近接判定部２１０における判定手法として、以下のものが挙げられる。
・ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）、Ｗｉ－Ｆｉ等を利用した絶対位置ベースの判定
　この方法では、ａ）各ユーザーの測位座標(緯度、経度、高度情報)からユーザー間の距離を算出し、近接判定を行う。また、ｂ）施設の区画などの地図情報に測位座標をマッピングし、ユーザーが同一施設内にいるかどうかを考慮した判定を行う。また、ｃ）各ユーザーのカレンダー、スケジュール、Ｗｅｂのイベント情報等から得られるイベントの施設、イベントの時間を参照して、上記ａ），ｂ）と組み合わせて判定することもできる。例えば、ユーザーのスケジュールにあるイベントが記載されている場合、イベント情報と時刻から当該ユーザーがイベントの施設（会場）にいるか否かを判別できる。
・Ｗｉ－Ｆｉ、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）、ＲＦ等の通信、または画像から得られる情報を利用した相対位置ベースの判定
　この方法では、ａ）ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）法（ＴＯＡ法）やＲＳＳＩ（Ｒｅｃｅｉｖｅｄ　Ｓｉｇｎａｌ　Ｓｔｒｅｎｇｔｈ　Ｉｎｄｉｃａｔｏｒ）電波レベルにより各ユーザー間の距離(相対位置座標の距離)を算出して判定を行う。画像から得られる情報を用いる場合、上述したようにステレオ画像における左右画像の視差から会話相手との距離を求めることができる。また、ｂ）施設の区画などの地図情報と施設側に設置された近接センサから得られる情報に基づいて、ユーザーが同一施設内いるかどうかを考慮した判定を行う。また、ｃ）各ユーザーのカレンダー、スケジュール、Ｗｅｂのイベント情報等から得られるイベントの施設、イベントの時間を参照して、上記ａ），ｂ）と組み合わせて判定を行うこともできる。
・環境音マッチングによる近接判定
　各ユーザーの端末２００のマイク１２０で記録した環境音の音響特徴量の相関に基づいて、同一音源可能性から近接を判定する。
・画像による人検出
　各ユーザーの端末２００のカメラ１１０で記録した画像情報から、顔識別、人体識別で対面する人物がいるかどうか、対面する人物が誰であるかを判定する。この方法により、上記Ａ）～Ｄ）のいずれの判定も行うことができる。
・モーションセンサや環境センサによる近接判定
　各ユーザーの端末２００のモーションセンサ１３０、環境センサ１６０が取得した特徴量の相関に基づいて、各ユーザーが同一の動きをしているか、同一の動体へ乗車しているか、同一環境施設にいるかどうか等を判定する。これにより、特に上記Ｂ），Ｃ）の判定を行うことができる。
　各端末２００が近接判定部２１０を備えている場合、上述した各種情報と各端末２００の識別情報（ＩＤ）を各端末２００同士がやり取りすることで、各端末２００の近接判定部２１０が近接判定を行う。また、サーバ３００に近接判定部２１０が設けられている場合、各端末２００が上述した各種情報をサーバ３００に送り、サーバ３００の近接判定部２１０が近接判定を行う。例えば、画像による人検出の場合、各端末２００は、各端末２００に登録されているその端末２００の持ち主の顔情報と各端末２００の識別情報（ＩＤ）を、他の端末２００へ送る。これにより、各端末２００は、カメラ１１０で撮影した対面する人物の顔情報と他の端末２００から送られた顔情報を照合し、両者が一致する場合は、一致する顔画像及び識別情報（ＩＤ）を送った端末２００と近接していると判定できる。また、サーバ３００側で近接を判定する場合、例えば、各端末２００に登録されているその端末２００の持ち主の顔情報と各端末２００のカメラ１１０が撮影した対面する人物の顔情報を、各端末２００の識別情報（ＩＤ）とともにサーバ３００へ送るようにする。サーバ３００側では、第１の端末２００が撮影した顔情報と、第２の端末２００が登録している顔情報が一致すれば、第１の端末２００と第２の端末２００が近接していると判定できる。
　４．コミュニケーションレベル判定の手法
　コミュニケーションレベル判定部２２０は、近接条件下における近接ユーザー間の親密度、盛り上がり度、重要度を判定する。コミュニケーションレベル判定部２２０は、近接判定部２１０により近接判定がされた場合に、下記に示す判定手法例を使って、コミュニケーションレベルＬＶｃｍ（ｉ,ｊ）＝Ｆ（ＬＶｄ（ｉ,ｊ）,ＬＶａ（ｉ,ｊ）,ＬＶｃ（ｉ,ｊ）,ＬＶｅ（ｉ,ｊ））を推定する。なお、Ｆは所定の関数を示しており、（ｉ,ｊ）は任意のユーザー間（ｉ－ｊ）を示している。
・近接距離(信号レベル)：ＬＶｄ（ｉ,ｊ）（ｌｅｖｅｌ　ｏｆ　ｄｉｓｔａｎｃｅ）
　上述した近接判定における近接距離推定(ＧＮＳＳ高精度測位、ＵＷＢやレーザーのＴＯＡ手法やＷｉ－Ｆｉ、ＡＰの三点測量による推定など)で、各ユーザー間（ｉ－ｊ）の距離を推定
・顔の向き、視線、姿勢、ジェスチャーなど：ＬＶａ（ｉ,ｊ）(ｌｅｖｅｌ　ｏｆ　ａｔｔｅｎｔｉｏｎ)
　ユーザー（ｉ）の端末２００で記録した画像情報から、近接するユーザー（ｊ）の顔、視線、姿勢を推定して、ユーザー（ｉ）の対面者（ｊ）からの注目レベルを推定
・会話の有り無し、頻度、総時間など：ＬＶｃ（ｉ,ｊ）（ｌｅｖｅｌ　ｏｆ　ｃｏｎｖｅｒｓａｔｉｏｎ）
　各ユーザー（ｉ）の端末２００で記録した音響情報から、近接するユーザー（ｊ）との会話の有無、頻度、総時間、会話内容を推定して、ユーザー（ｉ）と対面者（ｊ）との会話レベルを推定
・笑い声、歓声、情動(集中度)、興奮度など：ＬＶｅ（ｉ,ｊ）（ｌｅｖｅｌ　ｏｆ　ｅｍｏｔｉｏｎ）
　各ユーザー（ｉ）の端末２００で記録した画像情報、音響情報や、発汗、心拍、血中分泌物濃度、脳波などの生体情報、モーション情報から、近接するユーザー（ｊ）と近接状態における盛り上がり度、集中度、興奮度を推定して、各ユーザー（ｉ）の対面者（ｊ）に対する感情レベルを推定する。
　コミュニケーション手法選定部２３０は、近接ユーザー間の近接条件（コミュニケーションレベルＬＶｃｍ（ｉ,ｊ）)に応じて、ネットワークサービス上のトークルームの種類（ＳＮＳの種類／コミュニケーション手法）を自動で選択する。コミュニケーション手法選定部２３０は、例えば以下のようにして、コミュニケーションレベルＬＶｃｍ（ｉ,ｊ）に応じて、トークルームの種類を選択する。
トークルームの種類と条件の例：
ＬＶｃｍ≧Ｘ０：　　　　　　　　　　　　スタンプのやりとり
ＬＶｃｍ≧Ｘ１＞Ｘ０：　　　　　　　　　テキストチャット
ＬＶｃｍ≧Ｘ２＞Ｘ１：　　　　　　　　　音声チャット
ＬＶｃｍ≧Ｘ３＞Ｘ２＆＆ＬＶａ＞Ｙ０：　ビデオチャット
ＬＶｃｍ≧Ｘ４＞Ｘ３＆＆ＬＶｃ＞Ｙ１：　プレゼンス/位置共有
ＬＶｃｍ≧Ｘ５＞Ｘ４＆＆ＬＶｅ＞Ｙ２：　生体情報共有
ＬＶｃｍ≧Ｘ６＞Ｘ５：　　　　　　　　　バーチャル空間
　また、イベント後の移動手段（行動、乗り物種類、速度）に応じてトークルームの種類が変わるようにしても良い。例えば、徒歩、車移動の場合は端末２００の表示画面を参照することは難しいため、音声によるトークルームへの参加とする。一方、電車移動の場合は、音声を発し難いことから、テキスト入力によるトークルームへの参加とする。また、滞留時には、ビデオチャットによるトークルームへの参加とする。
　５．本実施形態のシステムで行われる処理
　図２は、システム１０００で行われる処理を示すフローチャートである。先ず、ステップＳ１０では、フラグＤの値をＤ＝０に設定する。次のステップＳ１２では、近接判定部２１０が近接判定を行う。次のステップＳ１４では、近接でなく且つＤ＞０であるか否かを判定し、この条件が成立しない場合、すなわち、近接しているか、又はＤ＝０の場合はステップＳ１６へ進む。ステップＳ１６では、コミュニケーションレベル判定部２２０が、コミュニケーションレベルの判定を行う。次のステップＳ１８では、コミュニケーションレベルＬＶｃｍ（ｉ,ｊ）に基づいて、ＳＮＳまたはコミュニケーションの手法を選定する。次のステップＳ１９では、Ｄ＝１に設定する。ステップＳ１９の後はステップＳ１２へ戻る。
　このように、ステップＳ１６，Ｓ１８の処理が行われると、Ｄ＝１に設定され、以降のステップＳ１４の処理で近接でないと判定される場合は、Ｄ＝１のためステップＳ２０以降の処理へ進む。一方、ステップＳ１６，Ｓ１８の処理が行われていない場合は、Ｄ＝０であるため、ステップＳ１４の判定の結果、ステップＳ１６以降の処理へ進む。ステップＳ１６，Ｓ１８の処理が行われていない状態でステップＳ２０以降の処理に進むことはない。
　また、ステップＳ１４の条件が成立する場合は、ステップＳ２０へ進む。この場合、ユーザー同士が近接していないため、ユーザー同士が実際に合ってコミュニケーションを行うイベント等の催しは終了しているため、以降はトークルームの生成処理、終了処理を行う。ステップＳ２０では、ユーザー間でプロファイル情報を共有する。次のステップＳ２２では、トークルームの終了条件を判定する。次のステップＳ２４では、ステップＳ２２の判定の結果に基づいてトークルームを終了するか否かを判定し、終了する場合は処理を終了する（ＥＮＤ）。一方、トークルームを終了しない場合はステップＳ２６へ進む。ステップＳ２６では、トークルームによりユーザー同士がコミュニケーションを行う。ステップＳ２６の後はステップＳ２２へ戻り、トークルームの終了条件を再度判定する。
　６．近接判定の処理の具体例
　次に、近接判定の具体例について説明する。図３は、端末２００同士のＰ２Ｐ通信により近接判定を行う例を示す模式図である。この例では、各端末２００同士がサーバを介することなく接続されている。先ず、ステップＳ４０では、マイク１２０が取得した音声情報に基づいて発話判定を行うとともに、カメラ１１０で取得した画像情報から顔検出を行い、発話区間の間、音声特徴情報及び／又は顔画像情報を取得する。次のステップＳ４２では、発話区間における音声特徴情報及び／又は顔画像情報から近接者を判定する。なお、各端末２００では、予め他の端末２００の音声特徴情報／顔画像情報を端末ＩＤとともに登録しておき、Ｐ２Ｐ通信で取得した通信相手の音声特徴情報／顔画像情報を比較し、比較の結果に基づいて近接者を判定する。このように、サーバを使わずに、端末２００同士のＰ２Ｐ通信により近接判定を行うこともできる。
　図４は、端末２００同士のＰ２Ｐ通信により近接判定を行う他の例を示す模式図である。先ず、ステップＳ５０では、各端末２００が、ＢＴ、ＵＷＢ、ＲＦ、超音波等によりブロードキャストを受信する。次のステップＳ５２では、ＢＴ、ＵＷＢ、ＲＦ、超音波等により通信相手の端末２００との相対位置を求め、近接判定を行う。
　図５は、近接判定サーバ３１０と連携して近接判定を行う例を示す模式図である。先ず、ステップＳ６０では、各端末２００が、ＧＮＳＳ／ＷｉＦｉ／ＢＴ／ＵＷＢ／ＲＦの少なくとも１つの情報を取得して近接判定サーバ３１０へ送信する。次のステップＳ６２では、近接判定サーバ３１０が、ＧＮＳＳ／Ｗｉ－Ｆｉにより絶対位置ベースの近接判定を行う。次のステップＳ６４では、近接判定サーバ３１０が、ＷｉＦｉ／ＢＴ／ＵＷＢ／ＲＦにより、相対位置の近接判定を行う。次のステップＳ６６では、各端末２００が、マイク１２０で取得した環境音の音響特徴量を抽出して近接判定サーバ３１０へ送信する。次のステップＳ６８では、近接判定サーバ３１０が、環境音マッチングによる近接判定を行う。次のステップＳ７０では、各端末２００が、マイク１２０が取得した音声情報に基づいて発話判定を行うとともに、カメラ１１０で取得した画像情報から顔検出を行い、発話区間の間、音声特徴情報及び／又は顔画像情報を近接判定サーバ３１０へ送信する。次のステップＳ７２では、近接判定サーバ３１０が、発話区間における音声特徴情報及び／又は顔画像情報から近接者を判定する。なお、図５に示す近接判定の全てを行う必要はない。
　７．コミュニケーションレベル判定の具体例
　図６は、近接判定サーバ３１０と連携してコミュニケーションレベル判定を行う例を示す模式図である。先ず、ステップＳ８０では、各端末２００が、ＧＮＳＳ／ＷｉＦｉ／ＢＴ／ＵＷＢ／ＲＦの少なくとも１つの情報を取得して近接判定サーバ３１０へ送信する。次のステップＳ８２では、近接判定サーバ３１０が、ＧＮＳＳ／Ｗｉ－Ｆｉによる近接判定によりコミュニケーションレベル判定を行う（ＬＶｄ）。次のステップＳ８４では、各端末２００が、マイク１２０で取得した環境音の音響特徴量を抽出して近接判定サーバ３１０へ送信する。次のステップＳ８６では、近接判定サーバ３１０が、環境音マッチングによる近接判定によりコミュニケーションレベル判定を行う（ＬＶｃ）。次のステップＳ８８では、各端末２００が、発話判定／画像顔検出／生体情報取得を行い、発話区間における音声特徴及び／又は顔画像及び／又は生体情報を近接判定サーバ３１０へ送信する。次のステップＳ９０では、近接判定サーバ３１０が、ステップＳ８８で送信された発話区間における音声特徴を使ったコミュニケーションレベル判定（ＬＶｃ,ＬＶｅ）を行う。次のステップＳ９２では、近接判定サーバ３１０が、ステップＳ８８で送信された顔画像情報からコミュニケーションレベル判定（ＬＶａ）を行う。次のステップＳ９４では、近接判定サーバ３１０が、ステップＳ８８で送信された生体情報からコミュニケーションレベル判定（ＬＶｅ）を行う。
　８．プロファイル情報共有のためのシーケンス
　近接判定で双方デバイスが近接条件を満たしたあと、双方デバイスが持つユーザーのプロファイル情報を共有することで、近接条件が終了した後のトークルームのコミュニケーションサービスの確立のための設定がされる。
　図７は、図２のステップＳ２０において、プロファイル情報を共有する際のシーケンスを示す模式図である。ここでは、近接判定サーバ３１０が近接判定を行う場合を例に挙げて説明する。先ず、ステップＳ１００では、サブスクライブを開始し、各端末２００が近接判定サーバ３１０に近接判定用情報を送る。近接判定用情報は、ユーザーＩＤ、近接判定及びコミュニケーションレベル判定に必要な情報を含む。なお、ユーザーＩＤは、各ユーザーの端末２００に付与された識別情報である。
　ステップＳ１０２では、近接判定サーバ３１０が、各端末２００から送られた情報に基づいて近接判定、コミュニケーションレベル判定を行い、コミュニケーションレベルが高いと判定されたグループの情報を認証サーバ３２０に登録する。ここで、登録する情報として、グループＩＤ、ユーザーＩＤリスト、コミュニケーションレベル情報リスト、制限時間、アプリケーションＩＤ等のプロファイル情報が挙げられる。
　次のステップＳ１０４では、認証サーバ３２０が、ユーザーＩＤをチェックして、プロファイル情報やＳＮＳ情報を端末２００へ送信し、各端末２００がプロファイル情報、ＳＮＳ情報を受け取る。プロファイル情報は、ソーシャルネットワークサーバ４００に対しても送信される。これにより、ソーシャルネットワークサーバ４００のトークルーム制御部４１０がトークルームを生成し、各ユーザーの端末２００からトークルームへのアクセスが可能となる。ここで、端末２００のユーザーＩＤに応じたプロファイル情報、ＳＮＳ情報が端末２００、ソーシャルネットワークサーバ４００に送られるため、上述したような、コミュニケーションレベルＬＶｃｍに基づく表示画面の閲覧、及び情報の発信が可能となる。
　次のステップＳ１０６では、制限時間Ｔｔｌが経過すると、認証サーバ３２０が端末２００に対して終了通知を送信する。終了通知はソーシャルネットワークサーバ４００にも送信され、トークルーム終了条件判定部４１４が終了判定を行う。これにより、トークルームが終了する。次のステップＳ１０８では、端末２００がサブスクライブを終了する。
　図８は、プロファイル情報を共有する際の別のシーケンスを示す模式図である。端末２００として近接判定デバイスＡと近接判定デバイスＢの２つが存在する場合について説明する。先ず、ステップＳ１３０では、近接判定デバイスＡが、ユーザーＩＤ、プロファイル情報、ＳＮＳ情報、制限時間、ユニークトークン、アプリケーションＩＤ等の情報を認証サーバ３２０に登録する。次のステップＳ１３２では、近接判定デバイスＡが、近接判定に使用する無線通信もしくは専用の通信で、時間制限付きユニークトークン、アプリをブロードキャストする。
　次のステップＳ１３４では、近接判定デバイスＢが、近接判定の無線通信、若しくは、別途近接判定が行われた後、専用の通信を受ける。次のステップＳ１３６では、近接判定デバイスＢが、ユニークなトークンを受け取る。次のステップＳ１３８では、近接判定デバイスＢが、認証サーバ３２０へユーザＩＤ、Ｔｔｌ、ユニークトーン、アプリケーションＩＤを送り、サブスクライブの申請を行う。
　次のステップＳ１４０では、認証サーバ３２０が、アプリケーションＩＤとトークンをチェックして、プロファイル情報やＳＮＳ情報を送信し、次のステップＳ１４２では、近接判定デバイスＢが、プロファイル情報、ＳＮＳ情報を受け取る。
　次のステップＳ１４４では、近接判定デバイスＡが、ユーザＩＤ、ユニークトークン、アプリケーションＩＤを認証サーバ３２０へ送り、パブリッシング終了の登録を行う。次のステップＳ１４６では、認証サーバ３２０が、パブリッシング終了、又は制限時間（Ｔｔｌ）で終了すること近接判定デバイスＢへ通知し、次のステップＳ１４８では、近接判定デバイスＢが終了の通知を受け取る。次のステップＳ１５０では、近接判定デバイスＢがサブスクライブを終了させる。
　９．トークルームの画面表示例
　図９は、トークルーム制御部４１０によりトークルームが設定された例を示す模式図である。ここでは、Ｍｉｃｈａｅｌ,　Ｂｉｌｌｙ,　Ｊａｃｋの３名が近接者と判定されてトークルームに参加している状態を示しており、各ユーザーが、スタンプ、テキスト、音声、ビデオ（ビデオメッセージ）によりコミュニケーションを行う様子を示している。なお、図９に示す音声の例では、トークルームの終了までの制限時間が１２時間とされ、制限時間はシステムによる読み上げ音声によって各ユーザーに伝えられる。この例では、制限時間に近づくほど音量が小さくなるように構成することができる。また、ビデオの例では、制限時間に近づくほど解像度を低下させるようにしても良い。
　図１０は、トークルームが設定された例を示す模式図であって、コミュニケーションレベルＬＶｃｍに応じて、トークルームで見ることのできる情報、トークルームで発信することのできる情報が異なる様子を示す模式図である。先ず、画面５００に示すように、コミュニケーションレベルＬＶｃｍ（ｉ,ｊ）に基づいてコミュニケーションの手法が選定され、近接者のリスト（ニヤバイリスト（Ｎｅａｒｂｙ　Ｌｉｓｔ））が表示される。ここでも、Ｍｉｃｈａｅｌ,　Ｂｉｌｌｙ,　Ｊａｃｋの３名が近接者と判定された場合を示しており、図１０に示す例は、Ｍｉｃｈａｅｌの端末２００における表示例を示している。
　画面５００では、「ＸＸの会」という集まりでＭｉｃｈａｅｌ,　Ｂｉｌｌｙ,　Ｊａｃｋの３名が近接したことにより、この３名が近接者としてニヤバイリスト（Ｎｅａｒｂｙ　Ｌｉｓｔ）に表示されている。画面５００に示すように、ＭｉｃｈａｅｌのコミュニケーションレベルＬＶｃｍは９５、ＢｉｌｌｙのコミュニケーションレベルＬＶｃｍは６６、ＪａｃｋのコミュニケーションレベルＬＶｃｍは２５である。この場合、ＭｉｃｈａｅｌはコミュニケーションレベルＬＶｃｍが比較的高いため、トークルームで見ることができるプロファイル情報が多くなる。
　画面５１０は、トークルームがスタートした状態を示している。Ｍｉｃｈａｅｌは、コミュニケーションレベルＬＶｃｍが高いため、選択できる発信方法はテキスト＋スタンプとなる。一方、ＪａｃｋはコミュニケーションレベルＬＶｃｍが低いため、選択できる発信方法はスタンプのみとなる。
　画面５２０は、一定時間経過後にコミュニケーションレベルＬＶｃｍが小さいユーザーがトークルームから消える様子を示している。この例では、ＪａｃｋのコミュニケーションレベルＬＶｃｍが低いため、一定時間経過後にトークルームから消えている。一方、ＭｉｃｈａｅｌはコミュニケーションレベルＬＶｃｍが高いため、システム設定の制限時間までトークルームを見ることができる。
　画面５３０は、トークルームが終了した状態を示している。トークルームが終了すると、その旨が表示され、以降のトークルームの利用はできなくなる。
　図１１は、図１０と同じトークルームにおいて、Ｊａｃｋの端末２００における表示例を示している。図１０と同様、先ず、画面５００に示すように、コミュニケーションレベルＬＶｃｍ（ｉ,ｊ）に基づいてコミュニケーションの手法が選定され、近接者のニヤバイリストが表示される。ここで、Ｊａｃｋの端末２００における表示では、コミュニケーションレベルＬＶｃｍが低いため、Ｍｉｃｈａｅｌ,　Ｂｉｌｌｙの名前のみが表示され、住所やメールアドレスは表示されない。
　図１０と同様、図１１の画面５１０は、トークルームがスタートした状態を示している。ＪａｃｋはコミュニケーションレベルＬＶｃｍが低いため、選択できる発信方法はスタンプのみとなり、テキスト入力はできない。
　画面５２０は、一定時間経過後にコミュニケーションレベルＬＶｃｍが小さいユーザーがトークルームから消える様子を示しており、ＪａｃｋはコミュニケーションレベルＬＶｃｍが低いため、「トークルームは終了しました」とのメッセージが表示され、この段階でＪａｃｋはトークルームを見ることができなくなる。画面５３０は、トークルームが終了した状態での表示を示している。Ｊａｃｋの端末２００における画面５３０の表示は、画面５２０と同様である。
　以上のように、近接判定がなされたユーザー間でトークルームを生成した場合に、ユーザーのコミュニケーションレベルＬＶｃｍに応じてトークルームで見ることのできる情報が異なることになる。また、ユーザーのコミュニケーションレベルＬＶｃｍに応じてトークルームで発信することのできる情報が異なることになる。
　図１２は、トークルームにおいて、ＳＮＳの切り換えを行う例を示している。図１０と同様に、先ず画面５００に示すように、コミュニケーションレベルＬＶｃｍ（ｉ,ｊ）に基づいてコミュニケーションの手法が選定され、近接者のニヤバイリスト１が表示される。次に、画面５４０では、コミュニケーションレベルＬＶｃｍが低いユーザーも含めて、スタンプ系のＳＮＳが選択された様子を示している。この場合、各ユーザーはスタンプによってコミュニケーションを行うことができる。
　また、ＭｉｃｈａｅｌとＢｉｌｌｙはコミュニケーションレベルＬＶｃｍ（ｉ,ｊ）が比較的高いため、ニヤバイリスト２を選択することができる。ニヤバイリスト２では、画面５５０に示すように、コミュニケーションレベルＬＶｃｍ（ｉ,ｊ）に基づいてコミュニケーションの手法が選定され、近接者のリストが表示される。次に、画面５６０では、コミュニケーションレベルＬＶｃｍが高いユーザーだけでビデオチャット付ＳＮＳが選択された様子を示している。この場合、コミュニケーションレベルＬＶｃｍが高いユーザー（ＭｉｃｈａｅｌとＢｉｌｌｙ）のみで、ビデオチャットによるコミュニケーションを行うことができる。
　１０．トークルーム終了判定
　次に、トークルームの終了判定について説明する。図２のステップＳ２２では、イベント終了から所定時間が経過したか否かに応じてトークルームの終了を判定する。所定時間が経過した場合はトークルームを終了させるが、イベント中の近接条件（距離・信号レベル・コミュニケーションレベル)に応じて所定時間を変化させても良い。例えば、コミュニケーションレベルＬＶｃｍに応じて、トークルームが終了するまでの所定時間を設定しても良い。一例として、所定時間＝Ｆ（ＬＶｃｍ）[秒]とする。
　また、イベント中の近接条件（距離・信号レベル・コミュニケーションレベル)に応じてトークルームの種類が段階的に変わるようにしても良い。例えば、ユーザー双方の距離Ｄが離れるに従って、ＬＶｃｍ≧Ｘ（Ｄ）の条件でトークルームが切り換わるようにする。一例として、ビデオ⇒音声⇒テキスト⇒スタンプのようにトークルームが切り換わるようにする。なお、Ｘは所定の関数である。
　また、イベント中に近接者間で定義した条件で所定時間が決まるようにしても良い。例えば、近接者全員が次回参加のスケジュールを設定した時点でトークルームを終了させても良い。また、トークルームで誰かが特定のキーワードを発言した時点でトークルームを終了させても良い。また、ユーザーが指定された場所エリアから出た時点でトークルームを終了させても良い。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　ユーザー相互のコミュニケーションのレベルを取得するコミュニケーションレベル取得部と、
　前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成するトークルーム制御部と、
　を備える、情報処理装置。
（２）　前記トークルーム制御部は、ユーザー相互が実際にコミュニケーションを行う催しの終了後に前記トークルームを生成する、前記（１）に記載の情報処理装置。
（３）　前記トークルーム制御部は、所定の条件が成立した場合に前記トークルームを終了する、前記（１）又は（２）に記載の情報処理装置。
（４）　前記トークルーム制御部は、個々のユーザーの前記レベルに応じて前記トークルームの利用条件を異ならせる、前記（１）～（３）のいずれかに記載の情報処理装置。
（５）　前記トークルーム制御部は、個々のユーザーの前記レベルに応じて前記トークルームにおけるコミュニケーションの手法を選定するコミュニケーション手法選定部を含む、前記（４）に記載の情報処理装置。
（６）　前記トークルーム制御部は、前記レベルが高いユーザーほど前記トークルームから取得できる情報量を多くする、前記（４）に記載の情報処理装置。
（７）　前記トークルーム制御部は、前記レベルが高いユーザーほど前記トークルームに提供できる情報量を多くする、前記（４）に記載の情報処理装置。
（８）　前記レベルを判定するコミュニケーションレベル判定部を備える、前記（１）～（７）のいずれかに記載の情報処理装置。
（９）　前記コミュニケーションレベル判定部は、ユーザー同士の距離、ユーザーの顔の向き、ユーザーの視線、ユーザーの姿勢、ユーザーの動き、コミュニケーションに係るユーザーの音声及びユーザーの生体情報の少なくとも１つに基づいて前記レベルを判定する、前記（８）に記載の情報処理装置。
（１０）　前記コミュニケーションレベル判定部は、ユーザー相互が実際にコミュニケーションを行う催しにおいて、ユーザー相互が近接している場合に前記レベルを判定する、前記（８）に記載の情報処理装置。
（１１）　ユーザー相互が近接しているか否かを判定する近接判定部を備える、前記（１０）に記載の情報処理装置。
（１２）　前記トークルーム制御部は、ユーザーの前記端末の識別情報と前記レベルに基づいて、前記レベルが所定値以上の前記端末が前記情報を提供又は取得できるように、前記トークルームを生成する、前記（１）に記載の情報処理装置。
（１３）　ユーザー相互のコミュニケーションのレベルを取得することと、
　前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成することと、
　を備える、情報処理方法。
（１４）　ユーザー相互のコミュニケーションのレベルを取得する手段、
　前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成する手段、
　としてコンピュータを機能させるためのプログラム。
　２１０　　近接判定部
　２２０　　コミュニケーションレベル判定部
　４１０　　トークルーム制御部
　４１１　　コミュニケーションレベル取得部

Claims (14)

  1. 　ユーザー相互のコミュニケーションのレベルを取得するコミュニケーションレベル取得部と、
    　前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成するトークルーム制御部と、
    　を備える、情報処理装置。
  2. 　前記トークルーム制御部は、ユーザー相互が実際にコミュニケーションを行う催しの終了後に前記トークルームを生成する、請求項１に記載の情報処理装置。
  3. 　前記トークルーム制御部は、所定の条件が成立した場合に前記トークルームを終了する、請求項１に記載の情報処理装置。
  4. 　前記トークルーム制御部は、個々のユーザーの前記レベルに応じて前記トークルームの利用条件を異ならせる、請求項１に記載の情報処理装置。
  5. 　前記トークルーム制御部は、個々のユーザーの前記レベルに応じて前記トークルームにおけるコミュニケーションの手法を選定するコミュニケーション手法選定部を含む、請求項４に記載の情報処理装置。
  6. 　前記トークルーム制御部は、前記レベルが高いユーザーほど前記トークルームから取得できる情報量を多くする、請求項４に記載の情報処理装置。
  7. 　前記トークルーム制御部は、前記レベルが高いユーザーほど前記トークルームに提供できる情報量を多くする、請求項４に記載の情報処理装置。
  8. 　前記レベルを判定するコミュニケーションレベル判定部を備える、請求項１に記載の情報処理装置。
  9. 　前記コミュニケーションレベル判定部は、ユーザー同士の距離、ユーザーの顔の向き、ユーザーの視線、ユーザーの姿勢、ユーザーの動き、コミュニケーションに係るユーザーの音声及びユーザーの生体情報の少なくとも１つに基づいて前記レベルを判定する、請求項８に記載の情報処理装置。
  10. 　前記コミュニケーションレベル判定部は、ユーザー相互が実際にコミュニケーションを行う催しにおいて、ユーザー相互が近接している場合に前記レベルを判定する、請求項８に記載の情報処理装置。
  11. 　ユーザー相互が近接しているか否かを判定する近接判定部を備える、請求項１０に記載の情報処理装置。
  12. 　前記トークルーム制御部は、ユーザーの前記端末の識別情報と前記レベルに基づいて、前記レベルが所定値以上の前記端末が前記情報を提供又は取得できるように、前記トークルームを生成する、請求項１に記載の情報処理装置。
  13. 　ユーザー相互のコミュニケーションのレベルを取得することと、
    　前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成することと、
    　を備える、情報処理方法。
  14. 　ユーザー相互のコミュニケーションのレベルを取得する手段、
    　前記レベルに基づいて、複数の前記ユーザーが端末を介して情報を提供又は取得するためにアクセスするトークルームを生成する手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2017/013070 2016-05-19 2017-03-29 情報処理装置、情報処理方法及びプログラム WO2017199592A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/300,351 US11019113B2 (en) 2016-05-19 2017-03-29 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-100684 2016-05-19
JP2016100684A JP2017207974A (ja) 2016-05-19 2016-05-19 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2017199592A1 true WO2017199592A1 (ja) 2017-11-23

Family

ID=60326560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013070 WO2017199592A1 (ja) 2016-05-19 2017-03-29 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11019113B2 (ja)
JP (1) JP2017207974A (ja)
WO (1) WO2017199592A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7176321B2 (ja) * 2018-09-25 2022-11-22 富士フイルムビジネスイノベーション株式会社 制御装置及び制御プログラム
US20200259779A1 (en) * 2019-02-12 2020-08-13 Global Elmeast Inc. Super chat
WO2020188908A1 (ja) 2019-03-18 2020-09-24 株式会社Ｊｖｃケンウッド 情報配信装置、情報配信方法、情報配信プログラム
US11838450B2 (en) 2020-02-26 2023-12-05 Dish Network L.L.C. Devices, systems and processes for facilitating watch parties
US11606597B2 (en) 2020-09-03 2023-03-14 Dish Network Technologies India Private Limited Devices, systems, and processes for facilitating live and recorded content watch parties
US11758245B2 (en) 2021-07-15 2023-09-12 Dish Network L.L.C. Interactive media events
JPWO2023286249A1 (ja) * 2021-07-15 2023-01-19
US11849171B2 (en) 2021-12-07 2023-12-19 Dish Network L.L.C. Deepfake content watch parties
US11974005B2 (en) 2021-12-07 2024-04-30 Dish Network L.L.C. Cell phone content watch parties
US11973999B2 (en) * 2022-08-19 2024-04-30 Dish Network L.L.C. User chosen watch parties

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215064A (ja) * 2003-01-07 2004-07-29 Sony Corp 端末装置および方法、記録媒体、並びにプログラム
JP2008177713A (ja) * 2007-01-17 2008-07-31 Nec Corp 携帯端末装置、移動通信システム及びそれらに用いる多人数コミュニケーション促進方法
JP2010140245A (ja) * 2008-12-11 2010-06-24 Sharp Corp 情報処理装置
JP2015133651A (ja) * 2014-01-15 2015-07-23 アイシン・エィ・ダブリュ株式会社 グループ会話システム、方法およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143428B1 (en) * 1999-04-21 2006-11-28 Microsoft Corporation Concurrent viewing of a video programming and of text communications concerning the video programming
US20040176025A1 (en) * 2003-02-07 2004-09-09 Nokia Corporation Playing music with mobile phones
WO2006049905A2 (en) * 2004-10-29 2006-05-11 Mangala Iyer Method and apparatus for targeted event networking
US20090215469A1 (en) * 2008-02-27 2009-08-27 Amit Fisher Device, System, and Method of Generating Location-Based Social Networks
US9451092B2 (en) * 2009-01-29 2016-09-20 Rick Qureshi Mobile device messaging application
JP5162508B2 (ja) 2009-03-23 2013-03-13 株式会社ソニー・コンピュータエンタテインメント クライアント装置、画像表示方法、画像処理プログラム、画像処理プログラムが記憶された記憶媒体
US20110004501A1 (en) * 2009-07-02 2011-01-06 Pradhan Shekhar S Methods and Apparatus for Automatically Generating Social Events
US20120124508A1 (en) * 2010-11-12 2012-05-17 Path, Inc. Method And System For A Personal Network
WO2012094235A2 (en) * 2011-01-03 2012-07-12 MONTOYA, David Geo-location systems and methods
WO2012155144A1 (en) * 2011-05-12 2012-11-15 John Devecka An interactive mobile-optimized icon-based profile display and associated social network functionality
US20130007864A1 (en) * 2011-06-29 2013-01-03 nCommon LLC System and method for location-aware social networking authentication
KR101640222B1 (ko) * 2014-12-31 2016-07-15 라인 가부시키가이샤 위치 공유 서비스 제공 장치, 방법 및 컴퓨터 프로그램
WO2016189350A1 (en) * 2015-05-23 2016-12-01 Yogesh Chunilal Rathod Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s)
US10558339B1 (en) * 2015-09-11 2020-02-11 Palantir Technologies Inc. System and method for analyzing electronic communications and a collaborative electronic communications user interface
US10237308B2 (en) * 2016-11-23 2019-03-19 Valeriy Arzunian Real-time communication network application based on a shared specific location
US10580274B2 (en) * 2017-02-15 2020-03-03 International Business Machines Corporation Auto-learning generation and use of objects checklist based on proximity control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215064A (ja) * 2003-01-07 2004-07-29 Sony Corp 端末装置および方法、記録媒体、並びにプログラム
JP2008177713A (ja) * 2007-01-17 2008-07-31 Nec Corp 携帯端末装置、移動通信システム及びそれらに用いる多人数コミュニケーション促進方法
JP2010140245A (ja) * 2008-12-11 2010-06-24 Sharp Corp 情報処理装置
JP2015133651A (ja) * 2014-01-15 2015-07-23 アイシン・エィ・ダブリュ株式会社 グループ会話システム、方法およびプログラム

Also Published As

Publication number Publication date
US20190166167A1 (en) 2019-05-30
JP2017207974A (ja) 2017-11-24
US11019113B2 (en) 2021-05-25

Similar Documents

Publication Publication Date Title
WO2017199592A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11665505B2 (en) Identifying and locating users on a mobile network
US6681108B1 (en) Network and method for identifying entities sharing a common network location
US10103934B2 (en) Setting a reminder that is triggered by a target user device
US8014763B2 (en) Wireless communications with proximal targets identified visually, aurally, or positionally
US9264104B2 (en) Sharing of information common to two mobile device users over a near-field communication (NFC) link
US20150350262A1 (en) Causation of establishment of a location sharing group
US20150142891A1 (en) Anticipatory Environment for Collaboration and Data Sharing
US11700168B2 (en) Setting a reminder that is triggered by a target user device
CN105247877A (zh) 显示控制器、显示控制方法以及计算机程序
WO2005086502A1 (en) Wireless communications with visually-identified targets
US10257129B2 (en) Information processing apparatus, information processing method, program, recording medium, and information processing system for selecting an information poster and displaying a view image of the selected information poster
WO2016199457A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN113518198B (zh) 会话界面显示方法、会议界面显示方法、装置及电子设备
WO2017154352A1 (ja) 情報提示方法、情報提示プログラム、及び情報提示装置
CN106209791B (zh) 数据处理方法、装置和电子设备
WO2013184334A2 (en) Setting a reminder that is triggered by a target user device
AU2013203926B2 (en) Identifying and locating users on a mobile network
JP2023047000A (ja) 仮想休憩室提供システム、および仮想休憩室提供方法
KR20160112819A (ko) 복수 사용자의 위치기반 메시징 서비스 시스템 및 방법
JP2016004376A (ja) 対象特定装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17799026

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17799026

Country of ref document: EP

Kind code of ref document: A1