WO2020194828A1 - 情報処理システム、情報処理装置、および情報処理方法 - Google Patents

情報処理システム、情報処理装置、および情報処理方法 Download PDF

Info

Publication number
WO2020194828A1
WO2020194828A1 PCT/JP2019/042079 JP2019042079W WO2020194828A1 WO 2020194828 A1 WO2020194828 A1 WO 2020194828A1 JP 2019042079 W JP2019042079 W JP 2019042079W WO 2020194828 A1 WO2020194828 A1 WO 2020194828A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
receiver
sender
processing
communication
Prior art date
Application number
PCT/JP2019/042079
Other languages
English (en)
French (fr)
Inventor
正 對馬
千嘉夫 長坂
Original Assignee
ディライトワークス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディライトワークス株式会社 filed Critical ディライトワークス株式会社
Priority to JP2021508709A priority Critical patent/JPWO2020194828A1/ja
Publication of WO2020194828A1 publication Critical patent/WO2020194828A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Definitions

  • the present invention relates to an information processing system, an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses a technique for adjusting the resolution and frame rate according to whether or not there is a person in the image data in order to keep the amount of image data to be transmitted within the network band in the video conferencing system. Has been done.
  • the present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for assisting smooth communication between a sender and a receiver of information.
  • the information processing system of one aspect of the present invention is an information processing system used for a predetermined method of communication between a sender and a receiver, and is described by the sender by the predetermined method.
  • the processing means includes means, a processing means for processing the original information based on the method, and a presenting means for presenting the information processed by the processing means to the receiver. At least a part of the original information is changed as the receiver prefers, without changing the content itself that the sender wants to convey by a predetermined communication.
  • the information processing system of another aspect of the present invention is used for communication of a predetermined method between a sender and a receiver, and in the communication, at least the receiver uses a device for realizing the predetermined method.
  • information acquisition means for acquiring information about an object transmitted from the sender to the receiver by the predetermined method as original information from the sender, and the original information so as to be compatible with the receiver.
  • a determination means for determining a method for processing at least a part, a processing means for processing the original information based on the method, and information processed by the processing means are presented to the receiver by the apparatus.
  • the processing means changes at least a part of the original information as the receiver prefers, without changing the content itself that the sender wants to convey by the predetermined communication.
  • the information processing device of one aspect of the present invention is an information processing device that is used for a predetermined method of communication between a sender and a receiver and can communicate with a device used by the receiver in the communication.
  • the processing means includes a means for transmitting the processed information to the device, and the processing means does not change the content itself that the sender wants to convey by the predetermined communication, and the acquired information as the receiver prefers. At least a part of the above is modified, and the transmitted processed information is presented to the receiver by the apparatus.
  • the information processing device of another aspect of the present invention is an information processing device used by the receiver in a predetermined method of communication between the sender and the receiver, and the information processing device from the sender to the receiver by the predetermined method.
  • the processing means does not change the content itself that the sender wants to convey by the predetermined communication, and changes at least a part of the acquired information as the receiver prefers.
  • the information processing device of one aspect of the present invention is used for predetermined communication between the sender and the receiver, and in the communication, the first device used by the sender and the second device used by the receiver.
  • An information processing device capable of communicating with both of the above and the first device, which is input by the sender by the transmission method of the first form and indicates original information indicating the contents to be transmitted from the sender to the receiver.
  • FIG. 1 It is a figure which shows the outline of the service to which the information processing system of one Embodiment of this invention is applied. It is a figure which shows the example different from the example of FIG. 1 about the service which applied the information processing system of one Embodiment of this invention. It is a system block diagram of the information processing system of one Embodiment of this invention. It is a hardware block diagram of the server of one Embodiment of this invention. It is a functional block diagram of the server of one Embodiment of this invention. It is a flowchart explaining an example of the personalization process of one Embodiment of this invention. It is a figure which shows the example different from the example of FIG. 1 and FIG.
  • FIG. 2 about the service to which the information processing system of one Embodiment of this invention is applied. It is a figure which shows the example different from the example of FIG. 1, FIG. 2, and FIG. 7 about the service to which the information processing system of one Embodiment of this invention is applied. It is a figure which shows the outline of the service to which the information processing system of one Embodiment of this invention is applied. It is a figure which shows the specific example of personalization in a personalization service. It is a system block diagram of the information processing system of one Embodiment of this invention. It is a functional block diagram of the server of one Embodiment of this invention. It is a figure which shows the outline of the service to which the information processing system of one Embodiment of this invention is applied.
  • FIG. 1 is a diagram showing an outline of a service (hereinafter, referred to as “the service”) to which the information processing system according to the embodiment of the present invention is applied.
  • the service communication between the sender S and the receiver R of information utilizing a device (interface) for realizing a predetermined information transmission method (video conference, telephone, e-mail, chat, etc.).
  • a predetermined device is utilized in the above communication, and the elements related to the communication from the sender S (the facial expression and gesture of the sender S, the transmission medium (voice).
  • Such services include, for example, video and audio communication services such as video conferencing services and virtual assistants, audio communication services such as telephone services, text communication services such as e-mail services and chat, and even text communication services. Examples include services in which video, audio, and text are appropriately mixed. Furthermore, this service can also be applied to communication in which the receiver wears smart glasses, a head-mounted display, or a hearable device (including a hearing aid) and directly confronts the sender S.
  • this service provides at least a part of the original information IS, which is information about an object (hereinafter referred to as "original information") transmitted from the sender S to the receiver R by the method of information transmission used. It is a service that processes according to a processing method (hereinafter, referred to as "processing method") determined according to the receiver R (preferably based on a mode suitable for the receiver R) and presents it to the receiver R.
  • processing method a processing method
  • the object to be transmitted is, for example, when the method of information transmission is a video conference, a physical mode (facial expression, gesture, etc.) at the time of communication, and a voice indicating the content to be transmitted. Further, when the method of information transmission is a telephone, the object to be transmitted is a voice indicating the content of transmission. Further, when the method of information transmission is e-mail or chat, the target to be transmitted is a character string (sentence or the like) indicating the content of transmission.
  • the original information includes the information indicating the transmission content and the information emitted by the sender S in the communication of the corresponding method, although it does not necessarily represent the transmission content itself.
  • the form of the original information IS is not particularly limited, and various forms may be included.
  • an image (including a "moving image” and a “still image") showing at least a part of the body (face, upper body, whole body, etc.) of the sender S in a certain communication, a sound emitted by the sender S, and the like.
  • Information about a sentence or the like indicating the content that the sender S wants to convey is included in the original information IS.
  • the receiver R in communication with the sender S, the receiver R does not acquire the original information IS transmitted from the sender S as it is, but is determined to suit itself (for example, according to his / her taste). Acquires the processed original information IS (hereinafter referred to as "post-processed information"). As a result, for example, even if the original information IS transmitted from the sender S contains content that causes stress to the receiver R, the receiver R is processed so that the stress is less likely to be felt by the processed information IP. Therefore, the recipient R can reduce the stress felt by himself / herself in the target communication.
  • step SS1 the receiver R inputs the information regarding the request for the processing method desired by itself to the receiving terminal 2a described later as the request information IR, and the receiving terminal 2a transmits the information to the server 1a described later.
  • the request information IR is defined as "information instructing the sender S to change the face to a smile".
  • the method in which the receiver R inputs the request information IR and the content of the specific request are not particularly limited, but for example, the receiver R may select from the presented list via an application described later. You may. In this case, for example, if the receiver R is selected from the list in which the processing items such as "replace the head of the sender S with the head of the character A" and "change the facial expression of the sender S to a smile" are listed. good. Further, when the head is replaced with another, the character A may also be selected by the receiver R. Specific examples of the processing method and the contents of the request information IR will be described later with reference to FIG.
  • step SS2 the server 1a determines the processing method of the original information IS based on the request information IR transmitted from the receiving terminal 2a.
  • the processing method changes the face detected in the predetermined image to a smile. ..
  • step SS3 the sender S executes an operation for communication with the receiver R by using the transmission terminal 3a (determined for each type of service) as an interface related to the service to be utilized. Since it is a video conference in FIG. 1, when the sender S talks in front of the camera provided in the transmitting terminal 3a, the camera photographs the sender S, and the transmitting terminal 3a captures the image obtained by the imaging and The voice is acquired as original information, and the information is transmitted to the server 1a. The server 1a acquires the original information IS transmitted from the transmission terminal 3a.
  • the sender S inputs voice to the microphone of the transmitting terminal 3a, and if the service is mail or chat, the sender S is the input unit (keyboard) of the transmitting terminal 3a.
  • the transmission terminal 3a acquires the original information by inputting the transmission content via the touch panel).
  • step SS4 the server 1a processes the original information IS acquired in step SS3 according to the processing method determined in step SS2 (hereinafter, referred to as "personalization processing").
  • the server 1a processes the image included in the original information. For example, the server 1a performs face detection processing on the image included in the acquired original information, and changes the detected face to a smile. At this time, facial expression analysis is performed, and if the face detected in the original information is originally a smile, this change does not have to be performed. Further, it may be changed to a smile when a predetermined facial expression (expressionlessness, anger, etc.) is obtained by facial expression analysis.
  • the server 1a transmits the processed original information IS as the processed information IP to the receiving terminal 2a, which is a device utilized by the receiver R during this service.
  • step SS5 the receiving terminal 2a receives the processed information IP transmitted from the server 1a, and presents the received processed information IP to the receiver R along with this service.
  • the above is the outline of this service.
  • the image IS1 included in the original information IS transmitted from the sender S has the expressionless sender S. Will be included in the captured image.
  • the image IP1 corresponding to the image IS1 included in the processed information IP acquired by the receiver R is the sender. The image that S laughed at will be included. That is, in the example of FIG.
  • the image taken by the expressionless sender S is processed into an image showing the laughing sender S based on the request of the receiver R, and is presented to the receiver R. .. Therefore, the receiver R sees the image of the laughing sender S instead of the image of the expressionless sender S, so he says what he is thinking with no expression. As a result, stress can be reduced without having to worry about unnecessary things. Further, such an effect is useful because even from the standpoint of the sender S, it is possible to give a good impression to the receiver R without giving an extra anxiety.
  • a predetermined application (hereinafter referred to as "application") provided by the provider of this service or the like is installed in each of the receiving terminal 2a and the transmitting terminal 3a in advance, and the service including the server 1a is provided. It is assumed that various information required for provision is stored in a DB or the like (not shown in advance). For example, when this service is a video conference, the applications installed on the receiving terminal 2a and the transmitting terminal 3a are related to the video conference.
  • FIG. 2 is a diagram showing an example different from the example of FIG. 1 with respect to a service to which the information processing system of one embodiment of the present invention is applied.
  • FIG. 2 shows an example of the image as a result of processing the image IS1 included in the original information IS as a modification of the image IP1 of FIG.
  • the image IP2 processed to "replace the head of the sender S with the head of the character A" is displayed.
  • the receiver R When such a processing method is desired, for example, when the receiver R has an aversion to the face of the sender S and an image in which the face of the sender S is photographed is presented, the receiver R , The motivation for communication may be diminished. That is, in such a case, the receiver R can use a processing method of replacing the head of the sender S with the head of the favorite character A as a countermeasure against the diminished motivation for communication.
  • the image IP3 processed to “mask the eye portion of the sender S” is displayed.
  • the receiver R may request such a processing method when, for example, the face of the sender S feels intimidating due to the sharp eyes of the captured image. That is, the receiver R can aim at the effect of removing the cause of feeling intimidating and increasing the concentration on communication by hiding the eye portion of the image in which the face of the sender S is captured.
  • the image IP4 processed to "add a gesture of dynamically moving the hand as the movement of the sender S" is displayed.
  • Such processing can be requested, for example, when the receiver R receives a bad impression on the sender S who speaks lightly without moving his / her body, removes the bad impression on the sender S, and reduces stress related to communication. Useful in terms of points.
  • the specific processing method may be determined in step SS1 according to the desire of the receiver R, or the server. 1a may be randomly determined.
  • the specific processing examples in this service have been described above. Summarizing these, when the original information IS is information about an image in which the head of the sender S is presumed to include an image taken, the processing method can be roughly classified into five types. That is, a process of changing at least a part of the body of the sender S, a process of replacing at least a part of the body of the sender S, a process of hiding at least a part of the body of the sender S, and a process of changing the movement of the sender S.
  • processing to perform processing There are five types of processing: processing to perform processing and processing to add something to the body of the sender S.
  • these examples are merely examples, and the provider of this service may adopt any other processing method in this service.
  • the original information IS is information related to voice or information related to characters will be described later with reference to FIGS. 7 and 8.
  • FIG. 3 is a system configuration diagram of an information processing system according to an embodiment of the present invention.
  • the information processing system shown in FIG. 1 is an information processing system including a server 1a managed by a provider of the present service, a receiving terminal 2a used by a receiver R, and a transmitting terminal 3a used by a sender S. Is.
  • the exchange of information may be interactive (for example, video conferencing, telephone, etc.).
  • the side that sends the information becomes the sender S, the side that receives the information becomes the receiver R, and the sender S and the receiver R are interchanged depending on the situation. Therefore, in the system shown in FIG.
  • the receiving terminal 2a may be the transmitting terminal, and the transmitting terminal 3a may be the receiving terminal. That is, in the present specification, the "reception terminal” and the “transmission terminal” do not mean reception-only and transmission-only devices, respectively (of course, they may be), and information at a certain timing of communication is used.
  • the device on the transmitting side is referred to as a transmitting terminal, and the device on the side receiving information at that time is referred to as a receiving terminal. Also, when using a head-mounted display or hearable device, the transmitting terminal may not exist.
  • the server 1a, the receiving terminal 2a, and the transmitting terminal 3a are connected to each other via a predetermined network N such as the Internet.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the server 1a in the information processing system according to the embodiment of the present invention.
  • the server 1a includes a CPU (Central Processing Unit) 11a, a ROM (Read Only Memory) 12a, a RAM (Random Access Memory) 13a, a bus 14a, an input / output interface 15a, an output unit 16a, and an input unit 17a.
  • a storage unit 18a, a communication unit 19a, and a drive 20a are provided.
  • the CPU 11a executes various processes according to the program recorded in the ROM 12a or the program loaded from the storage unit 18a into the RAM 13a. Information necessary for the CPU 11a to execute various processes is also appropriately stored in the RAM 13a.
  • the CPU 11a, ROM 12a and RAM 13a are connected to each other via the bus 14a.
  • An input / output interface 15a is also connected to the bus 14a.
  • An output unit 16a, an input unit 17a, a storage unit 18a, a communication unit 19a, and a drive 20a are connected to the input / output interface 15a.
  • the Drive 20a is provided as needed.
  • the drive 20a is composed of a magnetic disk or the like, and a removable media 31a is appropriately mounted.
  • the program read from the removable media 31a by the drive 20a is installed in the storage unit 18a as needed.
  • FIG. 5 is a block diagram showing an example of a functional configuration capable of executing personalization processing among the functional configurations of the server 1a, the receiving terminal 2a, and the transmitting terminal 3a of FIG.
  • the communication methods are video conferencing (video chat), voice call, and chat, and the application installed on the receiving terminal 2a and the transmitting terminal 3a realizes each of the above three methods. It should be possible. Therefore, the sender S and the receiver R select the method to be utilized this time at a predetermined timing (for example, at the start) of the desired communication.
  • a predetermined timing for example, at the start
  • each terminal of the reference numerals 2a and 3a becomes a receiving terminal or a transmitting terminal depending on the situation. Will be.
  • the request information receiving unit 111a, the processing method determining unit 112a, the original information acquisition unit 113a, the processing unit 114a, and the presenting unit 115a function.
  • a processing information DB 200a is provided in one area of the storage unit 18a of the server 1a.
  • the receiving terminal 2a transmits the request information IR for the processing method input by the receiver R to the server 1a. Therefore, the request information receiving unit 111a of the server 1a acquires the request information IR transmitted from the receiving terminal 2a via the communication unit 19a.
  • the method in which the receiver R inputs the request information IR and the specific form thereof are not particularly limited, and the provider of this service can arbitrarily determine the content.
  • the processing method determination unit 112a determines the processing method of the original information IS, which will be described later, based on the condition finally presented to the receiver R (when the receiver R actually recognizes the transmitted content by the receiving terminal 2a). .. That is, the processing method determination unit 112a determines the processing method of the original information IS, which will be described later, based on the request information IR transmitted from the receiving terminal 2a.
  • the mode presented to the receiver R is, for example, an explicit request for a processing method by the receiver R. However, this is merely an example, and the mode presented to the receiver R includes all information about the receiver R that contributes to the determination of the processing method.
  • the processing method determination unit 112a acquires the specific content of the processing (for example, a predetermined algorithm for processing) associated with each of the above selected contents in advance from the processing information DB 200a. By doing so, the processing method of the original information IS is determined.
  • the processing information DB 200a may include a specific algorithm or the like that can be used for processing associated with the content of the request that the receiver R can select, regardless of the form or the specific format. It is stored.
  • the method of associating such a request with the specific content of processing is not particularly limited.
  • the receiving terminal 2a may generate an ID (Identification) that uniquely identifies the specific content of the processing, and the ID may be transmitted from the receiving terminal 2a to the server 1a.
  • the original information acquisition unit 113a acquires information about what should be transmitted from the sender side to the receiver side from the sender S as the original information IS by the communication of the method selected by the user. That is, the original information acquisition unit 113a acquires the original information IS transmitted from the transmission terminal 3a via the communication unit 19a.
  • the original information IS may include any form of information, including information about images, sounds, characters and the like. That is, specifically, for example, the original information IS is information about a video of a sender S attending a video conference, information about a voice emitted by the sender S at a telephone or video conference, or sent by e-mail or chat. Information about sentences written by hand S.
  • the processing unit 114a processes the original information IS acquired by the original information acquisition unit 113a based on the processing method determined by the processing method determination unit 112a, and acquires the information as the post-processing information IP.
  • the processing unit 114a is provided with an image processing unit 121a, a voice processing unit 122a, and a character processing unit 123a. As described above, in the present embodiment, one is selected from the three methods in each communication, but the one that functions for each function after the image processing unit 121a, the voice processing unit 122a, and the character processing unit 123a is different. Hereinafter, the functions of these functional blocks will be described in detail.
  • the request information IR transmitted to the request information reception unit 111a can be "processed into the voice spoken by the character B".
  • the voice processing unit 122a processes the voice presumed to include the voice of the sender S into the voice of the character B, and further processes the voice into the voice of the character B, and further, the sentence described by the words is Kansai dialect Features (including, for example, first-person nouns "Washi” and “Uchi”, endings "Nen” and “Yan”, etc.) can be added.
  • the estimation of whether or not the sender S includes the voice and the specific method of processing the voice are not particularly limited, and the provider of this service provides voice recognition, sentence analysis, and language analysis. Any technology related to such can be adopted.
  • the character processing unit 123a processes the characters included in the original information IS acquired by the original information acquisition unit 113a, and functions in chat. Specifically, for example, when the request of the receiver R is "change the ending of the sentence to" dechu "", the character processing unit 123a executes the following series of processing. That is, the character processing unit 123a extracts a portion corresponding to the ending of the sentence from the information of the sentence by using the technique of sentence analysis. The character processing unit 123a further acquires the information of the sentence in which the extracted part is changed to "dechu" as the processed information IP.
  • the processing unit 114a generates a post-processing information IP based on various information appropriately processed by the image processing unit 121a, the voice processing unit 122a, and the character processing unit 123a, and acquires the information.
  • the presentation unit 115a causes the receiver R to present the processed information IP acquired by the processing unit 114a to a device (for example, a display or a speaker in the case of a video conference) according to the selected method.
  • a device for example, a display or a speaker in the case of a video conference
  • the terminals 2a and 3a transmit the information indicating the necessity to the server 1a.
  • a person to be personalized may be registered in advance, and the personalization process may be executed when the person appears (for example, when a predetermined person is detected by image recognition). .. That is, it is not limited to the selection of the execution of the personalization process itself, and the personalization process may be executed when a predetermined condition is satisfied.
  • the terminals 2a and 3a may prompt the user to input them and transmit the input information to the server 1a.
  • this personalization process may be executed without fail in a predetermined communication.
  • the user of the terminal 2a is referred to as the receiver R, and the terminal 2a is described as the receiving terminal 2a (the terminal 2a receives the personalization processing).
  • the user of the terminal 3a is referred to as the sender S, and the terminal 3a is referred to as the transmitting terminal 3a. That is, the person who receives the personalized processing according to the present invention is the receiver R, and the terminal that outputs the personalized content (post-processed information) is the receiving terminal 2a.
  • the receiving terminal 2a since only the user (receiver R) of the receiving terminal 2a selects the personalization process in the video conference, the receiving terminal 2a displays the request information input screen for the receiving terminal R. And prompt the input of request information IR.
  • the receiving terminal 2a transmits the input request information IR to the server 1a.
  • the request information receiving unit 111a acquires the request information IR transmitted from the receiving terminal 2a via the communication unit 19a.
  • the processing method determination unit 112a determines the processing method for the original information IS based on the request information IR acquired in step S11.
  • the original information acquisition unit 113a acquires the original information IS acquired and transmitted by the transmission terminal 3a via the communication unit 19a. Since the video conference is selected as the communication method here, in this step, the original information acquisition unit 113a acquires a still image corresponding to one frame of the moving image in the video conference.
  • the processing unit 114a processes the original information IS acquired in step S13 based on the processing method determined in step S12, and acquires the information as post-processing information IP. For example, when the determined processing method is "change the face of the sender S to a smile", the image processing unit 121a changes the still image corresponding to one frame included in the original information. Is processed.
  • the actual words uttered by the sender S and the words presented to the receiver R may be changed. Specifically, for example, even if the sender S actually utters the word " ⁇ ", the receiver R may be presented with the voice " ⁇ dechu". That is, the meaning and content of the voice itself is not processed, but is processed to the extent that the impression of the receiver R is changed, so that the impression received by the receiver R and the stress that can be applied to the receiver R are changed while communicating. is important.
  • one of the problems premised on the present invention is, for example, to improve the impression of the recipient (for example, to reduce the stress of the recipient of the information) in communication with the sender of the information.
  • such communication between two parties is generally performed through an interface that is responsible for acquiring and presenting information regarding, for example, images, sounds, and characters. That is, the information sent by the sender is presented through the interface of the receiver.
  • the information emitted by the sender is adapted to the receiver (eg, based on the preferences of the receiver) before being presented through the interface of the receiver. It is a thing.
  • the recipient side has on elements other than the content to be transmitted by the above communication (for example, the sender itself, the facial expression of the sender, the intonation of the sender's voice, etc.), and the content other than the content to be transmitted. It is possible to reduce the obstacles to communication caused by the above factors (for example, in the case of a person who is not good at sending, it is not possible to concentrate on communication just because of communication from that person). Therefore, communication can proceed more smoothly. In addition, usually, for example, when the receiver side feels uncomfortable with the sender side in communication, it is necessary for the receiver side to endure or ask the sender side to improve the unpleasant factor. ..
  • a subject that transmits information via some information transmission means can also be a sender.
  • some information transmission means for example, a smartphone, a tablet, a webcam, a computer, a smart speaker, a telephone, etc.
  • the sender is a predetermined program or artificial intelligence (virtual assistant or the like)
  • an information processing device server or the like
  • the present invention focuses on the receiver side that receives the information sent by the sender in a certain communication, and the information transmission itself of the sender is not a problem. That is, as described above, it does not matter whether the sender utilizes any device, and the sender does not have to use any information transmitting means.
  • the sender may speak directly to the receiver equipped with the hearable device or the head-mounted display.
  • the means by which the recipient of the information receives the information is not particularly limited. That is, for example, a subject that receives information via some information receiving means (for example, a smartphone, a tablet, a personal computer, a telephone, a smart speaker, a hearable device, a head-mounted display, etc.) can also be a receiver.
  • the recipient must use some kind of information receiving means in the target communication in order to benefit from the personalized processing according to the present invention.
  • the above interface may be connected to, for example, the receiving terminal 2a or the transmitting terminal 3a as an external device, or may be structurally integrated with the receiving terminal 2a or the transmitting terminal 3a.
  • the information processing system including the server 1a, the receiving terminal 2a, and the transmitting terminal 3a of FIG. 3 appropriately acquires the original information IS and presents the processed information IP as the entire information processing system. It's enough if possible.
  • the concept of the service in the present invention is further supplemented.
  • the "elements” that characterize the sender presented via a predetermined interface are processed to suit the recipient (for example, according to the taste of the recipient), or depending on the place and purpose of communication.
  • the element means a unit or a set of specific information that can be processed in any form of information including images, sounds, and characters.
  • the head, facial expression, eye part, movement of the person in the information about the image, and the voice itself, speed, high and low, tone, intonation, dialect, ending, in the voice information And the endings, punctuation marks, etc. in the character information are examples of elements. However, these examples are merely examples and are not particularly limited.
  • the machining method is determined based on the elements recommended by the server 1a and the machining destination, regardless of the sender, or the elements to be machined only for the first time by the receiver or the elements thereof. It is assumed that the processing destination is determined, and from the second time onward, the processing method is automatically adjusted according to the default processing method. In any case, it is possible to process the elements related to the sender's communication (image, sound, text, etc.) so that the shape reflects the taste of the recipient and the impression that the recipient feels is improved as much as possible. is important.
  • the mode presented to the recipient can be broadly divided into not only the mode that is consciously determined by the recipient and presented to the recipient, but also all aspects related to the recipient that can be acquired regardless of the recipient. It may include a mode that is determined based on information and presented to the recipient. Specifically, for example, a person who is not necessarily a recipient (for example, server 1a) can acquire various information about the recipient's intention and the receiver, determine the form presented to the receiver, and determine the processing method. ..
  • a specific symbol may be presented on the screen. For example, if the sender touches the tie, an exclamation mark may be presented on the screen.
  • the recipient can obtain information such as that the sender is a person who cares about clothes, and can help build a relationship with the sender by sending a tie on the sender's birthday. it can.
  • visual elements that characterize the sender for example, information about what the sender is wearing may be presented on the screen. For example, information such as brand names and product names of sender's clothes, eyeglasses, watches, and prices may be presented on the screen.
  • the receiver can obtain detailed information on the hobbies and tastes of the sender, for example, which can be useful for building a relationship with the sender.
  • the sender does not actually move his hand, but the processed information presented to the receiver presents an image that seems to move his hand dynamically.
  • An example of improving the impression of the recipient (reducing the stress of the recipient) has been described in the above embodiment.
  • the sender may present a nodding image in response to the content of the voice or words uttered by the receiver. This gives the recipient the impression that the sender is listening to and trying to understand his or her own words, and as a result, the stress of the recipient is reduced and smoother communication can be achieved.
  • the function of the voice processing unit 122a for acquiring a sentence described by voice with the functions of sentence analysis, language analysis, machine learning, etc. to obtain a new function.
  • the minutes and summary of the contents of the meeting may be automatically generated.
  • the person who made the statement may be specified by using the functions of image recognition and facial expression recognition, and the emotion of the person at the time of the statement may be estimated.
  • information for example, a person, a statement, and an emotion associated with the statement may be acquired. Such information makes it possible to analyze the person more deeply, which can be useful, for example, in building a relationship with the person.
  • this service does not aim to faithfully reproduce the actions actually taken by the parties involved in communication, as in ordinary video conferencing, but to ensure smooth communication (at least the recipient). It is important to process the movement of the other party (to relieve stress and engage in the communication).
  • the request that can be selected by the receiver is described on the premise that an algorithm or the like required for processing is set in advance in association with the request and stored in the processing information DB 200a.
  • the processing method determination unit 112a may automatically determine the processing method by the feedback of the receiver or the sender.
  • the processing method may be determined (such as changing the character to be processed) according to the vital data of the recipient (heartbeat, pulse, body temperature, sweating amount, etc.).
  • a sensor for acquiring them may be provided separately, or they may be acquired by image processing of the recipient's face.
  • acquisition of vital data itself is not essential, so any method for acquiring them may be used. More specifically, for example, when the recipient's vital data is low (for example, when he is sleepy), he changes to a character that raises the tension, and when the vital data is high (for example, when he is impatient), he has a calm impression. It may be changed to the character of.
  • the processing method determination unit 112a may estimate the recipient's preference from the character selected by the receiver in the past, and determine the processing method based on the result. In that case, information (characters, etc.) that can be candidates for selection may be stored in a database or the like that cannot be shown in advance, or crawling may be performed using the Internet or the like.
  • the processing method determination unit 112a may be able to automatically determine the processing method according to the past history (behavior history and processing history) of the receiver, and may determine the state of the receiver or the sender.
  • the processing method may be automatically determined according to the detected result.
  • the server 1a accumulates the past history of a predetermined receiver and uses a combination of various technologies related to AI (Artificial Intelligence) including machine learning, image analysis, facial expression recognition, voice recognition, language analysis, and the like. can do.
  • AI Artificial Intelligence
  • the processing method determination unit 112a may not only determine the processing method, but may determine whether or not to process, the degree of processing, and the conditions for executing the processing according to the partner and the situation. .. Specifically, for example, a person to be processed may be registered in advance among the senders, and the processing method may be automatically or manually determined only when the communication partner is the registered person. Also, for example, if the sender is a person who is not particularly good at receiving (a person who does not want to see the face), the entire face should be processed, or if only the voice is not good, the face should be processed. Instead, only the voice may be processed, or if the recipient is not good at an expressionless person, only the facial expression may be changed to a smile.
  • the setting that does not process the original information IS from the sender may be adopted to prioritize the accuracy of communication.
  • the provider or recipient of this service can proceed with communication more smoothly by properly using these settings.
  • the provider of this service may take the following measures. Can also be taken. Specifically, for example, the provider of this service presents two images, for example, an image in which the actual state of the sender is photographed and an image after processing in which the personalization process is executed, on two screens. Alternatively, the specifications may be switched and presented. At this time, for example, only one of an image in which the actual state is taken and an image after processing may be presented in a small size.
  • the provider of this service presents the processed image to the receiver and at the same time, the sender. It is also possible to record the video of the other party so that the situation of the other party can be confirmed later at an arbitrary timing. At this time, the voice of the other party and the text of the e-mail may also be recorded.
  • a request regarding a processing method is input by selection from a receiver, and a specific processing method is determined based on the request in the processing method determination unit 112a.
  • the request from the receiver does not have to be input by selection, it may be input in any format, and the request input from the receiver does not necessarily have to be the request, and the processing method determination unit 112a , Anything that can determine the processing method is sufficient.
  • the processing method determination unit 112a automatically determines the processing method as described above, the request itself does not need to be input, and the server 1a is presented to the receiver as described above. As a mode, it is sufficient to be able to acquire the behavior history of the receiver and sender, context information, vital data, and so on.
  • the context information of the receiver and the sender refers to all the internal and external states of the receiver and the sender.
  • the internal state of the receiver or sender is the state in which the receiver or sender can be sensed. Specifically, for example, height, weight, age, physical condition (body temperature, pulse, etc.) and emotions (emotions, emotions, etc.) of the receiver or sender are examples of the internal state of the receiver or sender.
  • the external state regarding the receiver and the sender is a state in which the environment around the receiver and the sender can be sensed. Specifically, for example, weather, temperature, room temperature, temperature, spatial or temporal arrangement position (including forecast) (temporal arrangement position means, for example, the current time), as well as a receiver and a sender.
  • a predetermined state distributed in at least one of the spatial direction and the time direction around the hand is an example of the external state of the receiver and the sender.
  • the processing method determination unit 112a has been described as determining a single processing method based on a request from the receiver, but the present invention is not particularly limited to this. That is, for example, the processing method determination unit 112a may select a plurality of processing methods. In this case, for example, the presentation unit 115a may present the processed information of a plurality of types to the receiver, or may present only one of the types of information to the receiver. Specifically, the processing method determination unit 112a automatically temporarily determines at least one or a plurality of processing methods according to, for example, the vital data of the recipient and the past history of the recipient, and determines one or more processing methods that have been provisionally determined.
  • the receiver selects one processing method that he / she desires from the presented processing method candidates.
  • the processing method determination unit 112a determines the processing method 1 selected by the receiver from the processing method candidates
  • the character processing unit 123a processes the original information IS based on the processing method determined by the processing method determination unit 112a. ..
  • the receiver can select not to process by not selecting any of the processing method candidates.
  • the timing at which the processing method determination unit 112a presents (recommends) a processing method candidate to the receiver may be, for example, at the start or in the middle of communication.
  • the processing method determination unit 112a may select a different processing method for each time depending on the content and situation of communication. As a result, the recipient can more effectively reduce the stress of communication without getting bored.
  • the above-mentioned series of processes can be executed by hardware or software.
  • the functional configuration of FIG. 5 is merely an example and is not particularly limited. That is, it is sufficient that the information processing system is provided with a function capable of executing the above-mentioned series of processes as a whole, and what kind of functional block is used to realize this function is not particularly limited to the example of FIG.
  • the location of the functional block is not particularly limited to FIG. 5, and may be arbitrary.
  • the functional block of the server 1a may be transferred to a receiving terminal 2a, a transmitting terminal 3a, or the like.
  • the functional block of the receiving terminal 2a or the transmitting terminal 3a may be transferred to the server 1a or the like.
  • one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
  • the recording medium containing such a program is not only composed of a removable medium (not shown) distributed separately from the main body of the device in order to provide the program to the receiving terminal 2a or the transmitting terminal 3a, but also is preliminarily attached to the main body of the device. It is composed of a recording medium or the like provided to the receiving terminal 2a or the transmitting terminal 3a in the incorporated state.
  • text data as original information is converted into post-processed information consisting of audio data and image data (conversion from a text transmission method to a voice and video transmission method).
  • text data Converting text data as original information into post-processed information consisting of text data and image data (conversion from text transmission method to text and video transmission method)
  • post-processed information consisting of text data and image data
  • text data is converted into text data.
  • Processed information consisting of voice data and image data (conversion from text transmission method to text, voice and video transmission method), (5) Voice data as original information, text and voice data Processed information consisting of image data (conversion from voice transmission method to text, voice and video transmission method), (6) Image data and voice data as original information, text data and voice data Post-processing information consisting of (conversion from video transmission method to text and voice transmission method), (7) Original information audio data to post-processing information consisting of audio data and image data (Conversion from a voice transmission method to a voice and video transmission method). Further, as a mode of personalization, (8) text data as original information is converted into post-processed information which is voice data (conversion from text transmission method to voice transmission method), (9) original information.
  • converting the voice data as text data into post-processed information conversion from a voice transmission method to a text transmission method.
  • “processing” does not change the content that the sender wants to convey in a predetermined transmission (meaning of thought or expression to be transmitted, subject, etc.) to another content. That is, the "processing” of the present invention may change the way of expression, but it does not change the content itself to be conveyed, but changes the transmission method which is the means of communication.
  • the “processing” of the present invention also includes changing the way of expression as long as the content itself is not changed.
  • the AI artificial intelligence
  • the transmission method so as to match the receiver R regarding the situation at that time in a certain communication, so that the situation information includes at least the request information.
  • step SS1 the sender S inputs the original information as the information of the first form by operating the sender terminal 2b or the like.
  • step SS2 the sender terminal 2b transmits the original information input in step SS1 to the server 1b based on the operation of the sender S or automatically.
  • step SS3 the server 1b acquires the status information transmitted from the receiving terminal 3b.
  • step SS4 the server 1b acquires the original information transmitted from the sender terminal 2b, and a predetermined mode determined based on the situation information (a transmission method suitable for the receiver, for example, designated by the receiver R). Personalization is performed according to the mode and the mode according to the taste and condition of the recipient.
  • the input original information can be expressed with the situation of the receiver R (for example, the personality, values, tastes, mood, physical condition, surrounding environment, or sender of the receiver R). It will be personalized and output to the post-processing information corresponding to (power balance, etc.).
  • a message (text data) indicating denial such as "NO” or "No” is output to the receiver R side as post-processing information together with a predetermined image.
  • the transmission method is based on text input, but when the sender R reaches the receiver R, the transmission method is converted to a text and an image.
  • the image is a character preferred by the receiver R. Therefore, according to this example, for example, even if the transmitted content input by the sender S is unfavorable to the receiver R, or the sender S itself is not good at the receiver R, that is, the input is input by the sender S.
  • the sender S suffers disadvantages such as stress, emotional, depressedness, and illness.
  • the receiver R When the receiver R comes into contact with the transmitted content, the receiver R can be made to feel as if the message is from the character C that the receiver R likes. Therefore, the disadvantage that the receiver R due to the sender S side may receive can be reduced. As a result, comfortable communication can be realized not only for the receiver R but also for both parties including the sender S.
  • FIG. 11 is a system configuration diagram of an information processing system according to an embodiment of the present invention.
  • the information processing system shown in FIG. 11 is configured to include a server 1b, a sender terminal 2b, and a receiver terminal 3b.
  • the server 1b, the sender terminal 2b, and the receiver terminal 3b are each connected to each other via a predetermined network N such as the Internet.
  • the server 1b is managed by the service provider G, and executes various processes for realizing the personalized service while appropriately communicating with the sender terminal 2b and the receiver terminal 3b.
  • the sender terminal 2b is an information processing device operated by the sender S, and is, for example, a personal computer, a smartphone, a tablet, or the like.
  • the receiver terminal 3b is an information processing device operated by the receiver R, and is, for example, a personal computer, a smartphone, a tablet, or the like.
  • the hardware configurations of the server 1b, the sender terminal 2b, and the receiver terminal 3b can be basically the same as the hardware configuration of the server 1a in FIG.
  • FIG. 12 is a functional block diagram of the server 1b for executing the personalization process.
  • the status acquisition unit 101b, the mode determination unit 102b, the original information acquisition unit 103b, the personalization unit 104b, and the presentation control unit 105b function.
  • a processing information DB 181b is provided in one area of the storage unit 18b of the server 1b.
  • the exchange of information may be interactive (for example, video conferencing, telephone, etc.).
  • the side that sends the information becomes the sender S
  • the side that receives the information becomes the receiver R
  • the sender S and the receiver R are interchanged depending on the situation. Therefore, in the system shown in FIG.
  • the receiver terminal 3b transmits the status information including the request information indicating the request regarding the mode of personalization input by the receiver R to the server 1b.
  • the receiver terminal 3b may acquire the request information based on the desired personalization mode (transmission method of the change destination) input by the receiver R, and the usage status of the sensor and the receiver terminal 3b provided by the receiver R, currently Request information may be determined by automatically acquiring the personalization mode from the application or the like being used.
  • the request information includes, for example, "replace the head of the sender S with the head of the character C”, “change the word spoken by the sender S to Kansai dialect”, and “end the sentence with” dechu " It is possible to include a request for a personalization mode regarding a change in a specific expression method such as "change to”.
  • the original information acquisition unit 103b acquires the information by the transmission method of the first form input by the sender S as the original information. Specifically, when the original information input to the sender terminal 2b is transmitted to the server 1b, the original information acquisition unit 103b acquires the original information via the communication unit 19b.
  • the original information can include any form of information including text data, audio data, and image data. Specifically, for example, text data related to a message input by sender S in an email or chat, audio data related to voice emitted by sender S in a telephone or video conference, and an image related to a photographed image of sender S attending a video conference.
  • the data and the like are all examples of original information.
  • the personalization unit 104b executes control for personalizing the original information acquired by the original information acquisition unit 103b based on the personalization mode determined by the mode determination unit 102b, and outputs post-processing information. ..
  • the processing control unit 140b, the text processing unit 141b, the voice processing unit 142b, and the image processing unit 143b function.
  • the processing control unit 140b has a text processing unit 141b and a voice processing unit 142b so as to be a transmission method when presenting the content of the original information to the receiver R based on the personalization mode determined by the mode determination unit 102b.
  • the image processing unit 143b is appropriately controlled.
  • the processing control unit 140b is a necessary processing unit among the text processing unit 141b, the voice processing unit 142b, and the image processing unit 143b, according to the transmission method of the change destination determined by the mode determination unit 102b. Is selected, and the selected processing unit is made to execute the necessary processing.
  • the processing control unit 140 is the original acquired by the original information acquisition unit 103b in the corresponding processing unit. The above new data is generated based on the information.
  • the processing control unit 140b causes the corresponding processing unit to process the original information acquired by the original information acquisition unit 103b.
  • the presentation control unit 105b executes a control of presenting the processed information processed under the control of the personalization unit 104b to the receiver R. Specifically, the presentation control unit 105b executes a control for causing the receiving terminal 3b to present the processed information. For example, the presentation control unit 105b executes control for presenting processed information to various devices (for example, a display or a speaker in the case of a video conference) according to a method selected by the receiver R. Regarding the configuration illustrated in FIG. 12, for example, the sender S inputs the transmission content by a text-type transmission method such as an email, while the receiver R is different from the above text method for the mail from the sender S.
  • a text-type transmission method such as an email
  • the presentation control unit 105b transmits the processed information to the receiver terminal 3b, and causes the display of the receiver terminal 3b to display a text indicating the content input by the sender S.
  • the transmission by voice from the sender S is performed. Since the recipient R of the content is recognized by text (the input of the receiver R is voice), the receiver R can recognize the transmitted content from the sender S without lowering or turning off the volume of the content. Therefore, the receiver R can perform interactive communication while viewing the music content or the video content without impairing the way of enjoying the content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

情報の送り手と受け手とのコミュニケーションを、より円滑に進めることを補助する技術を提供すること。 オリジナル情報取得部113aは、前記送り手から前記受け手への送信を希望する情報を、オリジナル情報として前記送り手より取得する。加工方法決定部112aは、前記受け手に提示される様態に基づいて、前記オリジナル情報を加工する方法を決定する。加工部114aは、前記方法に基づいて、前記オリジナル情報を加工する。提示部115aは、前記加工手段により加工された前記オリジナル情報を、前記受け手に対して、提示する。

Description

情報処理システム、情報処理装置、および情報処理方法
 本発明は、情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。
 従来より、コミュニケーションの目的でデータを送受信するシステムにおいて、当事者間の円滑なコミュニケーションを補助する技術が存在する。特許文献1では、テレビ会議システムにおいて、送信対象の画像データのデータ量をネットワークの帯域内に抑えるために、当該画像データに人物がいるか否かに応じて解像度やフレームレートを調整する技術が開示されている。
特開2012-80518号公報
 しかしながら、上記の特許文献1を含む従来技術のみでは、送信対象の画像データの内容に応じて、データ送信のパラメータを調整することはできるものの、送り手からの一方向的なコミュニケーションの手段であることに変わりはなく、当事者間の円滑なコミュニケーションを実現するには十分なものではなかった。
 本発明は、このような状況に鑑みてなされたものであり、情報の送り手と受け手とのコミュニケーションを、より円滑に進めることを補助する技術を提供することを目的とする。
 上記目的を達成するため、本発明の一態様の情報処理システムは、送り手と受け手との所定の方式のコミュニケーションに利用される情報処理システムであって、前記所定の方式によって前記送り手から前記受け手へ伝達される対象に関する情報を、オリジナル情報として前記送り手より取得する情報取得手段と、前記受け手に提示される様態に基づいて、前記オリジナル情報の少なくとも一部を加工する方法を決定する決定手段と、前記方法に基づいて、前記オリジナル情報を加工する加工手段と、前記加工手段により加工された情報を、前記受け手に対して、提示する提示手段と、を備え、前記加工手段は、前記所定のコミュニケーションにより前記送り手が伝えたい内容自体は変えないようにして、前記受け手が好むように前記オリジナル情報の少なくとも一部を変更する。
 また、本発明の他の態様の情報処理システムは、送り手と受け手との所定の方式のコミュニケーションに利用され、該コミュニケーションにおいて少なくとも前記受け手は前記所定の方式を実現するための装置を用いる情報処理システムであって、前記所定の方式によって前記送り手から前記受け手へ伝達される対象に関する情報を、オリジナル情報として前記送り手より取得する情報取得手段と、前記受け手に適合するように前記オリジナル情報の少なくとも一部を加工する方法を決定する決定手段と、前記方法に基づいて、前記オリジナル情報を加工する加工手段と、前記加工手段により加工された情報を、前記受け手に対して、前記装置によって提示させる提示手段と、を備え、前記加工手段は、前記所定のコミュニケーションにより前記送り手が伝えたい内容自体は変えないようにして、前記受け手が好むように前記オリジナル情報の少なくとも一部を変更する。
 また、本発明の一態様の情報処理装置は、送り手と受け手との所定の方式のコミュニケーションに利用され、該コミュニケーションにおいて前記受け手により用いられる装置と通信可能な情報処理装置であって、前記送り手が発した、前記所定の方式によって前記送り手から前記受け手へ伝達される対象に関する情報を取得する手段と、前記受け手に適合するよう前記取得した情報の少なくとも一部を加工する手段と、前記加工された情報を前記装置に送信する手段とを備え、前記加工する手段は、前記所定のコミュニケーションにより前記送り手が伝えたい内容自体は変えないようにして、前記受け手が好むように前記取得した情報の少なくとも一部を変更し、前記送信された加工された情報は前記装置にて前記受け手に提示される。
 さらに、本発明の他の態様の情報処理装置は、送り手と受け手との所定の方式のコミュニケーションにおいて前記受け手にて用いられる情報処理装置であって、前記所定の方式によって前記送り手から前記受け手へ伝達される対象に関する情報を取得する手段と、前記受け手に適合するよう前記取得した情報の少なくとも一部を加工する手段と、前記加工された情報を前記受け手に提示させる手段とを備え、前記加工する手段は、前記所定のコミュニケーションにより前記送り手が伝えたい内容自体は変えないようにして、前記受け手が好むように前記取得した情報の少なくとも一部を変更する。
 また、本発明の一態様の情報処理装置は、送り手と受け手との所定のコミュニケーションに利用され、該コミュニケーションにおいて、前記送り手により用いられる第1の装置と前記受け手により用いられる第2の装置との双方と通信可能な情報処理装置であって、前記送り手により第1形態の伝達方式によって入力された、前記送り手から前記受け手へ伝達すべき内容を示すオリジナル情報を前記第1の装置より取得する手段と、前記受け手の状況を示す状況情報を前記第2の装置より取得する手段と、前記取得された状況情報に基づいて前記オリジナル情報を加工して、前記第1形態の伝達方式と異なる第2形態の伝達方式の加工後情報を生成する手段と、前記加工後情報を前記第2の装置に送信する手段とを備える。
 また、本発明の一態様の情報処理方法は、送り手と受け手との所定のコミュニケーションに利用される情報処理方法であって、第1形態の伝達方式によって前記送り手から前記受け手へ伝達すべき内容を示すオリジナル情報を前記送り手より取得する工程と、前記受け手の状況示す状況情報を取得する工程と、前記取得された状況情報に基づいて前記オリジナル情報を加工して、前記第1形態の伝達方式と異なる第2形態の伝達方式の加工後情報を生成する工程と、前記生成された加工後情報の内容を前記受け手に認識させる工程とを有する。
 本発明によれば、情報の送り手と受け手とのコミュニケーションを、より円滑に進めることを補助する技術を提供することができる。
本発明の一実施形態の情報処理システムの適用対象となるサービスの概要を示す図である。 本発明の一実施形態の情報処理システムを適用したサービスについて、図1の例とは異なる例を示す図である。 本発明の一実施形態の情報処理システムのシステム構成図である。 本発明の一実施形態のサーバのハードウェアブロック図である。 本発明の一実施形態のサーバの機能ブロック図である。 本発明の一実施形態のパーソナライズ処理の一例を説明するフローチャートである。 本発明の一実施形態の情報処理システムを適用したサービスについて、図1および図2の例とは異なる例を示す図である。 本発明の一実施形態の情報処理システムを適用したサービスについて、図1、図2、および図7の例とは異なる例を示す図である。 本発明の一実施形態の情報処理システムの適用対象となるサービスの概要を示す図である。 パーソナライズサービスにおけるパーソナライズの具体例を示す図である。 本発明の一実施形態の情報処理システムのシステム構成図である。 本発明の一実施形態のサーバの機能ブロック図である。 本発明の一実施形態の情報処理システムの適用対象となるサービスの概要を示す図である。
 以下、本発明の実施形態について、図面を用いて説明する。
 [実施形態A]
 図1は、本発明の一実施形態の情報処理システムの適用対象となるサービス(以下、「本サービス」と呼ぶ)の概要を示す図である。
 ここで、本サービスは、所定の情報伝達の方式(テレビ会議、電話、電子メールやチャットなど)を実現するための装置(インターフェース)が活用された、情報の送り手Sと受け手Rとのコミュニケーションに利用されるサービスである。すなわち、本実施形態に係る情報処理システムでは、上記コミュニケーションにおいて所定の装置が活用されることが前提であり、送り手Sからのコミュニケーションに係る要素(送り手Sの表情や身振り、伝達媒体(声や伝達内容に関する文章)、伝達内容自体など)の少なくとも1つが受け手Rに直接伝わるのではなく、上記所定の装置を介して受け手Rに伝わるのである。このようなサービスとしては、例えば、テレビ会議サービス、バーチャルアシスタントといった映像や音声を使ったコミュニケーションサービス、電話サービスといった音声を使ったコミュニケーションサービス、電子メールサービスやチャットといったテキストを使ったコミュニケーションサービス、さらには映像、音声、テキストを適宜混合したサービスなどが挙げられる。さらには、本サービスは、スマートグラスやヘッドマウントディスプレイやヒアラブルデバイス(補聴器も含む)を受け手側が装着して送り手Sと直接対峙してのコミュニケーションにも適用できる。この場合も、ヘッドマウントディスプレイなどであれば、送り手Sの表情や身振りがグラス部分やディスプレイを介して受け手Rに伝わり、ヒアラブルデバイスであれば、送り手Sが発した音声がマイク/スピーカを介して受け手Rに伝わる。
 さて具体的に例えば、本サービスは、用いる情報伝達の方式によって送り手Sから受け手Rへ伝達される対象に関する情報(以下、「オリジナル情報」と呼ぶ)であるオリジナル情報ISの少なくとも一部を、受け手Rに応じて(好ましくは、受け手Rに適合した様態に基づいて)決定される加工の方法(以下、「加工方法」と呼ぶ)に従って加工し、受け手Rに提示するサービスである。
 上記伝達される対象としては、例えば情報伝達の方式がテレビ会議である場合は、コミュニケーション時における身体的態様(表情や身振りなど)、および伝達内容を示す音声である。また、情報伝達の方式が電話である場合の上記伝達される対象は、伝達内容を示す音声である。さらに、情報伝達の方式が電子メールやチャットである場合の上記伝達される対象は、伝達内容を示す文字列(文章など)である。
 このように、オリジナル情報には、伝達内容を示すものと、必ずしも伝達内容自体を表すものでは無いが該当する方式のコミュニケーションにおいて送り手Sが発するものとが含まれる。
 なお、上記のオリジナル情報ISの形態は、特に限定されず、各種各様の形態が含まれ得る。具体的に例えば、あるコミュニケーションにおける送り手Sの身体の少なくとも一部(顔、上半身、全身など)を示す画像(「動画像」と「静止画像」を含む)、送り手Sが発した音声、送り手Sが伝達したい内容を示す文章などに関する情報などは、オリジナル情報ISに含まれる。
 本サービスにおいて、受け手Rは、送り手Sとのコミュニケーションにおいて、送り手Sから送信されたオリジナル情報ISをそのまま取得するのではなく、自身に適合するよう(例えば、自身の嗜好に応じて決定された様態に)加工されたオリジナル情報IS(以下、「加工後情報」と呼ぶ)を取得する。
 これにより、例えば、送り手Sから送信されたオリジナル情報ISに、受け手Rにとってストレスを感じる内容が含まれていたとしても、受け手Rは、そのストレスが感じにくいように加工された加工後情報IPを取得することができるため、受け手Rは、対象となるコミュニケーションにおいて自身が感じるストレスを低減することができる。
 以下、本サービスの具体的な流れについて説明する。なお、図1においては、本サービスとしてテレビ会議について説明する。
 ステップSS1において、受け手Rは、自身の希望する加工方法についての要望に関する情報を、要望情報IRとして後述する受信端末2aに入力し、受信端末2aはその情報を、後述するサーバ1aに送信する。ここでは、要望情報IRを、「送り手Sの顔を笑顔に変更することを指示する情報」とする。
 ここで、受け手Rが要望情報IRを入力する方法や、その具体的な要望の内容は特に限定されないが、例えば、受け手Rが、後述するアプリケーションを介して、提示されたリストから選択するようにしても良い。
 この場合は例えば、「送り手Sの頭部をキャラクタAの頭部に置換」、「送り手Sの表情を笑顔に変更」などの加工項目が列挙されたリストから受け手Rに選択させれば良い。また、上記頭部を他に置換する場合は、上記キャラクタAも受け手Rに選択させても良い。なお、加工方法や要望情報IRの内容の具体例については、図2などを用いて、後述する。
 ステップSS2において、サーバ1aは、受信端末2aから送信された要望情報IRに基づいて、オリジナル情報ISの加工方法を決定する。ここでは、要望情報IRが「送り手Sの顔を笑顔に変更」することを指示するものであるので、加工方法は、所定の画像の中で検出された顔を笑顔に変更するものとなる。
 ステップSS3において、送り手Sは、活用するサービスに係るインターフェースとしての送信端末3a(サービスの種類毎に決まっている)を用いて、受け手Rに対するコミュニケーションのための動作を実行する。図1においてはテレビ会議であるので、送り手Sが送信端末3aが備えるカメラの前で会話をすることにより該カメラは送り手Sを撮影し、送信端末3aは、撮影により得られた画像および音声をオリジナル情報として取得し、その情報を、サーバ1aに送信する。サーバ1aは、送信端末3aから送信されたオリジナル情報ISを取得する。
 なお、本サービスが電話であれば、送り手Sが送信端末3aのマイクに対して音声を入力したり、本サービスがメールやチャットであれば、送り手Sが送信端末3aの入力部(キーボードやタッチパネル)を介して伝達内容を打ち込んだりすることによって、送信端末3aはオリジナル情報を取得する。
 ステップSS4において、サーバ1aは、ステップSS3で取得されたオリジナル情報ISを、ステップSS2で決定された加工方法に従って加工する(以下、「パーソナライズ処理」という)。ここでは要望情報IRが「送り手Sの顔を笑顔に変更することを示す情報」であるので、サーバ1aは、オリジナル情報に含まれる画像に対して加工を施す。例えば、サーバ1aは、上記取得されたオリジナル情報に含まれる画像において顔検出処理を行い、検出された顔を笑顔に変更する。このとき、表情解析を行い、オリジナル情報において検出された顔が元々笑顔である場合は本変更を行わなくても良い。また、表情解析により所定の表情(無表情や怒りなど)の時に笑顔に変更するようにしても良い。サーバ1aは、加工したオリジナル情報ISを、加工後情報IPとして、受け手Rが本サービス時に活用する装置である受信端末2aに送信する。
 ステップSS5において、受信端末2aは、サーバ1aから送信された加工後情報IPを受信し、該受信した加工後情報IPを本サービスに沿って受け手Rに提示する。
 以上が本サービスの概要である。ここで、図1を見ると、本サービスの使用中において送り手Sが無表情である場合は、送り手Sから送信されるオリジナル情報ISに含まれる画像IS1には、無表情の送り手Sが撮影された画像が含まれることになる。本実施形態では、ステップSS4にて送り手Sの顔を笑顔に変更する加工が施されるので、受け手Rが取得する加工後情報IPに含まれる上記画像IS1に対応する画像IP1は、送り手Sが笑った画像が含まれることになる。
 すなわち、図1の例では、無表情の送り手Sが撮影された画像が、受け手Rの要望に基づいて、笑っている送り手Sが映る画像に加工されて、受け手Rに提示されている。
 そのため、受け手Rは、無表情の送り手Sが撮影された画像ではなく、笑っている送り手Sが映っている画像を見ることになるので、無表情で何を考えているのだろうと言った不要な心配をすることがなく、結果としてストレスを低減することができる。また、このような効果は、送り手Sの立場からしても、受け手Rに対して、余計な不安を与えることもなく、好印象を与えることができるため有用である。
 なお、受信端末2aおよび送信端末3aのそれぞれは、事前に本サービスの提供者などによって提供される所定のアプリケーション(以下、「アプリ」と呼ぶ)がインストールされ、サーバ1aを含めて、本サービスの提供に必要となる各種情報は、予め図示せぬDBなどに格納されているものとする。例えば、本サービスがテレビ会議である場合は、受信端末2a、送信端末3aにインストールされているアプリはテレビ会議に関するものとなる。
 ここで、テレビ会議に関する本サービスにおける加工は、必ずしも、無表情の表情で撮影された画像を笑っている表情の画像に加工することに限定されるものではない。そこで、図2を参照しつつ、他の具体的な加工の例についていくつか説明する。
 図2は、本発明の一実施形態の情報処理システムを適用したサービスについて、図1の例とは異なる例を示す図である。
 図2の(a)乃至(d)のそれぞれは、図1の画像IP1の変形例として、オリジナル情報ISに含まれる画像IS1が加工された結果の画像の一例を示している。
 図2(a)には、「送り手Sの頭部をキャラクタAの頭部に置換する」加工が施された画像IP2が表示されている。
 このような加工方法が要望される場合としては、例えば、受け手Rが送り手Sの顔に嫌悪感を抱いており、送り手Sの顔が撮影された画像が提示された場合、受け手Rの、コミュニケーションに対する意欲が減退する場合などがあり得る。
 すなわち、そのような場合、受け手Rは、送り手Sの頭部を、好きなキャラクタAの頭部に置換する加工方法を、自身の、コミュニケーションに対する意欲の減退への対抗手段として用い得る。
 図2(b)には、「送り手Sの目の部分をマスクする」加工が施された画像IP3が表示されている。
 ここで受け手Rは、例えば、送り手Sの顔が撮影された画像の鋭い目つきに威圧感を感じる場合などに、このような加工方法を要望し得る。
 すなわち、受け手Rは、送り手Sの顔が撮影された画像の目の部分を隠すことで、威圧感を感じる原因を取り除き、コミュニケーションに対する集中力を高めるといった効果を狙い得る。
 図2(c)には、「送り手Sの動きとしてダイナミックに手を動かす身振りを加える」加工が施された画像IP4が表示されている。
 このような加工は、例えば、受け手Rが身体を動かさず淡々としゃべる送り手Sに対して悪い印象を受ける場合に要望し、送り手Sに対する悪い印象を取り除き、コミュニケーションに係るストレスを低減し得る点で有用である。
 図2(d)には、「送り手Sの頭部に花を付する」加工が施された画像IP5が提示されている。
 このような加工は、例えば、送り手Sおよび受け手Rを含む複数人でのテレビ会議などにおいて、議論が白熱し過ぎてしまった場合や、議論が煮詰まってしまった場合などに、コミュニケーションの場を和ませることで、受け手Rの精神を安定させてリラックスさせる効果や、議論自体の質を高める効果を発揮し得る。
 なお、図2(a)~(d)に示した例を含む様々な加工方法があるが、具体的な加工方法はステップSS1にて受け手Rの所望に応じて決定されても良いし、サーバ1aがランダムに決定しても良い。
 以上、本サービスにおける具体的な加工の例について説明した。これらをまとめると、オリジナル情報ISが、送り手Sの頭部が撮影された画像を含むと推測される画像に関する情報であった場合の、加工方法は、概ね5種類に分類できる。
 すなわち、送り手Sの身体の少なくとも一部を変更する加工、送り手Sの身体の少なくとも一部を置換する加工、送り手Sの身体の少なくとも一部を隠す加工、送り手Sの動きを変更する加工、および送り手Sの身体に何かを追加する加工の5種類である。
 ただし、これらの例は、あくまでも例示であり、本サービスの提供者は、本サービスにおいて、その他のあらゆる加工方法を採用し得る。
 また、オリジナル情報ISが、音声に関する情報や文字に関する情報であった場合の例については、図7および図8などを参照しつつ、後述する。
 図3は、本発明の一実施形態の情報処理システムのシステム構成図である。
 図1に示す情報処理システムは、本サービスの提供者などにより管理されるサーバ1aと、受け手Rにより使用される受信端末2aと、送り手Sにより使用される送信端末3aとを含む情報処理システムである。なお、用いるコミュニケーションの方式によっては、情報のやり取りはインタラクティブになる場合(例えば、テレビ会議、電話など)もある。この場合は、情報を発信している側が送り手Sとなり、その情報を受ける側が受け手Rとなり、状況に応じて送り手Sと受け手Rは入れ替わる。よって、図3におけるシステムにおいても、受信端末2aが送信端末になることもあるし、送信端末3aが受信端末になることもある。すなわち、本明細書において、「受信端末」、「送信端末」はそれぞれ、受信専用、送信専用の装置を意味するものでは無く(もちろんそうであっても良い)、あるコミュニケーションのあるタイミングにおける情報を発信する側の装置を送信端末と称し、その時に情報を受信する側の装置を受信端末と称するのである。また、ヘッドマウントディスプレイやヒアラブルデバイスを用いる場合は、送信端末は存在しない場合もある。
 サーバ1aと、受信端末2aと、送信端末3aとは、インターネットなどの所定のネットワークNを介して相互に接続されている。
 図4は、本発明の一実施形態の情報処理システムのうち、サーバ1aのハードウェア構成の一例を示すブロック図である。
 サーバ1aは、CPU(Central Processing Unit)11aと、ROM(Read Only Memory)12aと、RAM(Random Access Memory)13aと、バス14aと、入出力インターフェース15aと、出力部16aと、入力部17aと、記憶部18aと、通信部19aと、ドライブ20aとを備えている。
 CPU11aは、ROM12aに記録されているプログラム、または、記憶部18aからRAM13aにロードされたプログラムに従って各種の処理を実行する。
 RAM13aには、CPU11aが各種の処理を実行する上において必要な情報なども適宜記憶される。
 CPU11a、ROM12aおよびRAM13aは、バス14aを介して相互に接続されている。このバス14aにはまた、入出力インターフェース15aも接続されている。入出力インターフェース15aには、出力部16a、入力部17a、記憶部18a、通信部19aおよびドライブ20aが接続されている。
 出力部16aは、液晶ディスプレイやスピーカなどの各種ハードウェアで構成され、各種情報を出力する。
 入力部17aは、キーボードやマウスなど各種ハードウェアで構成され、各種情報を入力する。
 記憶部18aは、ハードディスクやDRAM(Dynamic Random Access Memory)などで構成され、各種情報を記憶する。
 通信部19aは、インターネットを含むネットワークNを介して他の装置(例えば、図3の例で言えば、受信端末2aや送信端末3aなど)との間で行う通信を制御する。
 ドライブ20aは、必要に応じて設けられる。ドライブ20aには磁気ディスクなどからなり、リムーバブルメディア31aが適宜装着される。ドライブ20aによってリムーバブルメディア31aから読み出されたプログラムは、必要に応じて記憶部18aにインストールされる。
 なお、受信端末2aおよび送信端末3aのハードウェア構成は、サーバ1aのハードウェア構成と基本的に同様とすることができるので、ここではその説明を省略する。
 続いて、図5を参照しつつ、本サービスに関連する一連の処理(以下、「パーソナライズ処理」と呼ぶ)を実現し得るサーバ1aの機能的構成の一例について説明していく。
 図5は、図3のサーバ1a、受信端末2a、および送信端末3aの機能的構成のうち、パーソナライズ処理を実行し得る機能的構成の一例を示すブロック図である。図5に示す例では、コミュニケーションの方式としては、テレビ会議(ビデオチャット)、音声電話、およびチャットであり、受信端末2aおよび送信端末3aにインストールされるアプリは、上記3つの方式の各々を実現できるものとする。従って送り手Sおよび受け手Rは、所望のコミュニケーションの所定のタイミング時(例えば、開始時)に、今回活用する方式を選択することになる。図5においては、便宜上受信端末2a、送信端末3aと表記しているが、テレビ会議や音声電話の場合は、状況に応じて、符号2a、3aの各々の端末は受信端末になったり送信端末になったりすることになる。
 サーバ1aのCPU11aにおいては、要望情報受付部111aと、加工方法決定部112aと、オリジナル情報取得部113aと、加工部114aと、提示部115aとが機能する。
 また、サーバ1aの記憶部18aの一領域には、加工情報DB200aが設けられている。
 ここで、上述の通り、本サービスにおいて、受信端末2aは、受け手Rにより入力された加工方法に対する要望情報IRを、サーバ1aに送信する。
 そこで、サーバ1aの要望情報受付部111aは、受信端末2aから送信された要望情報IRを、通信部19aを介して取得する。
 なお、上述の通り、受け手Rが要望情報IRを入力する方法や、その具体的な形態は特に限定されず、本サービスの提供者は、任意にその内容を決定することができる。
 加工方法決定部112aは、最終的に(受信端末2aによって受け手Rが実際に伝達内容を認識する際において)受け手Rに提示される様態に基づいて、後述するオリジナル情報ISの加工方法を決定する。
 すなわち、加工方法決定部112aは、受信端末2aから送信された要望情報IRに基づいて、後述するオリジナル情報ISの加工方法を決定する。
 ここで、受け手Rに提示される様態とは、例えば、受け手Rによる加工方法に対する明示的な要望である。しかしながら、これはあくまでも例示であり、受け手Rに提示される様態とは、加工方法の決定に資する受け手Rに関するあらゆる情報が含まれる。
 なお、本実施形態においては、受け手Rの要望として、例えば、「送り手Sの頭部をキャラクタAの頭部に置換」、「送り手Sの話す言葉を関西弁に変更」、「文章の語尾を「でちゅ」に変更」といった具体的な加工方法が選択により入力されることを前提としている。そして、加工方法決定部112aは、上記の各選択された内容と事前に紐付けられている加工の具体的な内容(例えば、加工のための所定のアルゴリズムなど)を、加工情報DB200aから取得することで、オリジナル情報ISの加工方法を決定する。
 すなわち、本実施形態において、加工情報DB200aには、受け手Rが選択し得る要望の内容と紐づけられた加工に利用し得る具体的なアルゴリズムなどが、保持される形態や具体的な形式を問わず、格納されている。
 なお、このような要望と、加工の具体的な内容とを紐付けする方法などについても、特に限定されない。具体的に例えば、受信端末2aにおいて、加工の具体的な内容を一意に識別するID(Identification)などを生成し、そのIDが受信端末2aからサーバ1aに送信されても良い。
 オリジナル情報取得部113aは、利用者により選択された方式のコミュニケーションにより送り手側から受け手側に伝達されるべきものに関する情報を、オリジナル情報ISとして送り手Sより取得する。
 すなわち、オリジナル情報取得部113aは、送信端末3aから送信されたオリジナル情報ISを、通信部19aを介して取得する。
 このオリジナル情報ISには、画像、音声、文字などに関する情報を含むあらゆる形態の情報が含まれ得る。つまり、具体的に例えば、オリジナル情報ISとは、テレビ会議に出席した送り手Sを撮影した動画に関する情報、電話やテレビ会議での送り手Sが発した音声に関する情報や、メールやチャットにおいて送り手Sが書いた文章に関する情報などである。
 なお、オリジナル情報ISが、送り手Sを撮影した動画に関する情報である場合の、本サービスにおける加工の具体的な例は、図1および図2を用いて前述した。また、オリジナル情報ISが電話やテレビ会議での送り手Sが発した音声に関する情報や、メールやチャットにおいて送り手Sが書いた文章に関する情報である場合の、本サービスにおける加工の具体的な例は、図7および図8を用いて後述する。
 加工部114aは、オリジナル情報取得部113aにより取得されたオリジナル情報ISを、加工方法決定部112aにより決定された加工方法に基づいて、加工し、その情報を加工後情報IPとして取得する。
 ここで、加工部114aには、画像加工部121aと、音声加工部122aと、文字加工部123aとが設けられている。上述のように本実施形態では、各コミュニケーションにおいて3つの方式から1つが選択されるが、画像加工部121a、音声加工部122a、文字加工部123aのち機能毎に機能するものが異なる。以下、これらの機能ブロックの機能について、詳細に説明していく。
 画像加工部121aは、オリジナル情報取得部113aで取得されたオリジナル情報ISに含まれる画像を加工するものであって、テレビ会議において機能する。
 具体的に例えば、加工方法決定部112aで決定された加工方法が「送り手Sの頭部をキャラクタAの頭部に置換」である場合、オリジナル情報ISに送り手Sの頭部が撮影された画像を含むと推測される画像について、予め取得されているキャラクタAの頭部が撮影された画像へと置換するという加工を行う。
 なお、例えば、オリジナル情報ISに送り手Sの頭部が撮影された画像が含まれているか否かの判断などについては、実現する手法を問わず、本サービスの提供者は、画像処理や表情認識などに関連する任意の手法を採用することができる。
 音声加工部122aは、オリジナル情報取得部113aで取得されたオリジナル情報ISに含まれる音声を加工するものであって、テレビ会議および音声電話において機能する。
 具体的に例えば、加工方法決定部112aで決定された加工方法が「その場が和む音声に加工」だった場合、送り手Sの音声を含むと推測される音声について、音声のスピード、音声の高低、トーン、抑揚など、その場が和むように、適切な加工を行うことができる。
 また例えば、音声加工部122aは、受け手Rの嗜好に応じて、音声はもとより、その言葉によって記述される文章も同時に加工することが可能である。すなわち例えば、受け手Rが関西弁を話すキャラクタBのファンであった場合、要望情報受付部111aに送信する要望情報IRを「キャラクタBの話す音声に加工」とすることができる。この設定によれば、音声加工部122aは、送り手Sの音声を含むと推測される音声について、その音声をキャラクタBの音声に加工してさらに、その言葉によって記述される文章に関西弁の特徴(例えば一人称の名詞の「わし」や「うち」、語尾の「ねん」や「やん」などを含む)を付与することができる。
 なお、例えば、送り手Sの音声を含むか否かの推測や、音声の加工の具体的な方法については、特に限定されず、本サービスの提供者は、音声認識、文章解析、および言語解析などに関連する任意の技術を採用することができる。
 文字加工部123aは、オリジナル情報取得部113aで取得されたオリジナル情報ISに含まれる文字を加工するものであって、チャットにおいて機能する。
 具体的に例えば、文字加工部123aは、受け手Rの要望が「文章の語尾を「でちゅ」に変更」だった場合、次のような一連の処理を実行する。
 すなわち、文字加工部123aは、文章解析の手法を用いて、当該文章の情報から、語尾に相当する部分を抽出する。
 文字加工部123aはさらに、抽出した部分を「でちゅ」に変更した文章の情報を、加工後情報IPとして取得する。
 本発明で重要なことは、送り手Sと受け手Rがいるコミュニケーションにおいて、送り手Sによるオリジナルな情報(表情、身振り手振り、発した言葉自体)を受け手側において忠実に再現することではなく、上記情報を受け手Rに適合させること(好むようにすること)が重要である。そのために、送り手Sが伝えたい内容が伝達されることは大前提のもと、上記オリジナルな情報を受け手Rに応じてパーソナライズすることが本質である。よって、パーソナライズの方法、程度、方向性などは本質では無い。
 加工部114aは、画像加工部121a、音声加工部122a、および文字加工部123aで適宜加工された各種情報に基づいて、加工後情報IPを生成し、その情報を取得する。
 提示部115aは、加工部114aで取得された加工後情報IPを、受け手Rに対して、選択された方式に応じたデバイス(例えば、テレビ会議であれば、ディスプレイやスピーカ)に提示させる。
 図6は、図4のサーバ1aにより実行されるパーソナライズ処理の流れを説明するフローチャートである。ここでは、コミュニケーションの方式としてテレビ会議について説明する。よって、例えば、端末2a、3aの各々の利用者がアプリにおいてテレビ会議を選択して通信を開始し、上記利用者の少なくとも一方が本パーソナライズ処理を選択した場合、該選択をした端末に対して本処理は開始される。ここでは、端末2aの利用者のみがパーソナライズ処理を選択した場合について説明する。例えば、端末2a、3aは、パーソナライズ処理の実行の要否を選択させる画面を自身の出力部16aに表示させ、利用者に上記要否の選択を促す。利用者が入力部17aを介して要否を選択すると、端末2a、3aは該要否を示す情報をサーバ1aに送信する。
 なお、例えば、テレビ会議の場合、パーソナライズ処理対象の人物を予め登録し、該人物が登場する場合(画像認識により所定の人物が検出された場合など)にパーソナライズ処理を実行するようにしても良い。すなわち、パーソナライズ処理の実行自体の選択に限らず、所定の条件を満たした場合にパーソナライズ処理を実行させるようにしても良い。上記所定の条件についても、端末2a、3aは、利用者にそれらの入力を促し、入力された情報をサーバ1aに送信すれば良い。また、所定のコミュニケーションにおいて、本パーソナライズ処理を必ず実行するようにしても良い。
 さて、本発明に係る「パーソナライズ処理」の恩恵を受けるのは、図1における受け手R、すなわち、少なくとも2人の人間の間で実施される所定のコミュニケーションにおいて、伝達コンテンツを発信した側(1人でも良いし、複数人でも良い)が発した伝達コンテンツを受ける側(1人でも良いし、複数人でも良い)である。一方、本来であれば、テレビ会議であるので、端末2a,3aの利用者は適宜送り手S、受け手Rが入れ替わるのであるが、上述のように、パーソナライズ処理を望む者が端末2aの利用者であるので、ここでは説明を分かり易くするために、パーソナライズ処理の観点から便宜上、端末2aの利用者を受け手Rとし、端末2aを受信端末2aと表記し(パーソナライズ処理を受けるのが端末2aの利用者であるので)、端末3aの利用者を送り手Sとし端末3aを送信端末3aと表記する。すなわち、本発明に係るパーソナライズ処理を受ける方を受け手Rとし、パーソナライズ処理が施されたコンテンツ(加工後情報)を出力する端末を受信端末2aとする。
 上述のように本実施形態では、本テレビ会議において受信端末2aの利用者(受け手R)のみがパーソナライズ処理を選択しているので、受信端末2aは、受け手Rに対して要望情報入力画面を表示して要望情報IRの入力を促す。受け手Rが所望の要望情報IRを入力すると、受信端末2aは入力された要望情報IRをサーバ1aに送信する。ステップS11の処理において、要望情報受付部111aは、上記受信端末2aから送信された要望情報IRを、通信部19aを介して取得する。
 ステップS12の処理において、加工方法決定部112aは、ステップS11で取得された要望情報IRに基づいて、オリジナル情報ISに対する、加工方法を決定する。
 ステップS13の処理において、オリジナル情報取得部113aは、送信端末3aにて取得されて送信されたオリジナル情報ISを、通信部19aを介して取得する。なお、ここでは、コミュニケーションの方式としてビデオ会議が選択されているので、本ステップでは、オリジナル情報取得部113aは、上記テレビ会議における動画の1フレームに相当する静止画を取得することになる。
 ステップS14の処理において、加工部114aは、ステップS13で取得されたオリジナル情報ISを、ステップS12で決定された加工方法に基づいて、加工し、その情報を加工後情報IPとして取得する。例えば、上記決定された加工方法が「送り手Sの顔を笑顔に変更」である場合、画像加工部121aは、上記オリジナル情報に含まれる1フレームに相当する静止画に対して、該変更となる加工を施す。
 ステップS15の処理において、提示部115aは、ステップS14で取得された加工後情報IPを受け手Rに対して、提示するよう受信端末2aが備える出力部16aを制御する。
 ステップS16の処理において、CPU11aは、次に提示すべきオリジナル情報があるか否かを判定する。すなわち、CPU11aは、送信端末3aより次に続く1フレームに対応する静止画を受信したか否かを判定する。該静止画を受信していると判定する場合は、CPU11aは次に提示すべきオリジナル情報があると判断し、ステップS13に戻り、上記静止画を受信していないと判定する場合は、CPU11aは次に提示すべきオリジナル情報が無いと判断し、処理を終了する。なお、用いるテレビ会議におけるフレームレートの全てのフレームに対して加工するのは、受信端末2aのスペック上負荷が大きい場合は、ステップS14の処理を間引いて行っても良い。
 ここで、パーソナライズ処理は、通常のコミュニケーション手段とは異なり、送り手Sが送信を希望する情報(画像、音声、文字などに関する情報)を忠実に受け手Rに提示し、再現することを、必ずしも第1の目的としていない。むしろ、受け手Rがいかにストレスなく、心地よく、コミュニケーションをとることができるか、すなわち、受け手Rの要望に適合できるかという点に着目している。そのための手段として、送り手Sからの各種情報(画像、音声、文字などに関する情報)の内容の本質的な部分は加工せずに、伝達するための媒体や手段である容姿、動き、音声や文章の一部のみを加工して、受け手Rに提示することが好ましい。
 このような前提の下、図1および図2に示した画像を加工する場合の例については、上述の通りである。そこで、図7および図8を用いて、本サービスにおいて、音声および文字を加工する場合の例について、順次説明していく。
 図7は、本発明の一実施形態の情報処理システムを適用したサービスについて、図1および図2の例とは異なる例を示す図である。
 ここで、オリジナル情報ISに音声に関する情報が含まれる場合には、送り手Sの使用する送信端末3aに音声に関する情報を取得可能な機器(例えばマイクロフォンなど)が搭載されていることが通常である。
 図7の説明では、送信端末3aとして、例えば、電話機(以下、「送信端末3-1a」と呼ぶ)、スマートスピーカ(以下、「送信端末3-2a」と呼ぶ)、テレビ会議システム(以下、「送信端末3-3a」と呼ぶ)などを採用するものとして、説明を行う。
 図7の例では、音声加工部122aが、送信端末3-1a乃至3-3aを介して取得された音声情報ISSを、加工方法決定部112aで決定された加工方法に基づいて、加工する場合の具体的な例が示されている。
 音声に関する情報を加工する場合の具体的な例は、「送り手Sの音声を好きなキャラクタの音声に変更」、「送り手Sの音声を好きな俳優、女優、声優などの音声に変更」、「受け手Rの希望に応じて、音声のトーン、テンポ、抑揚などを、受け手Rが好むものや場が和むものに変更」、「送り手Sの口調を関西弁に変更」などである。
 また、図示はしないが、例えば、送り手Sの発した実際の言葉と、受け手Rに提示される言葉を変えても良い。具体的に例えば、送り手Sが実際には「〇〇です」という言葉を発した場合であっても、受け手Rには「〇〇でちゅ」という言葉で音声を提示しても良い。すなわち、音声の意味内容自体は、加工せずに、受け手Rの印象を変える程度の加工を行うことで、コミュニケーションをとりつつも、受け手Rが受ける印象や受け手Rに掛かり得るストレスを変化させることが重要である。
 同様に、図8は、本発明の一実施形態の情報処理システムを適用したサービスについて、図1、図2、および図7の例とは異なる例を示す図である。
 図8の例では、文字加工部123aが、送信端末3aを介して取得されたテキスト情報ISTを、加工方法決定部112aで決定された加工方法に基づいて、加工する場合の具体的な例が示されている。
 例えば、「〇〇君、作業が遅れているぞ。」という内容を示す文章IST1は、上司である送り手Sが部下である受け手Rに、チャットを介して送信したオリジナル情報ISの一例である。このような場合、部下である受け手Rが、無機質な「〇〇君、作業が遅れているぞ。」という文章をそのまま受け取った場合、必要以上に送り手Sからのストレスを受けてしまうこともあるため、例えば、「〇〇君、作業が遅れているぞ(ハートマーク)」という内容の文章IPT1を、受け手Rには提示する。このような加工を施すことにより、受け手Rは、上司である送り手Sとのコミュニケーションにおいても、掛かるストレスを一定程度低減することができる。
 同様に、文章IPT2においては、「いつもお世話になっております」という内容の文章が、「いつもお世話になっておりまちゅ」という文章へと、語尾が加工されて、受け手Rに提示されている。
 以上を含めて、本発明の一実施形態についてまとめると、次の通りである。すなわち、本発明の前提となる課題の1つとは、例えば、情報の送り手がいるコミュニケーションにおいて、受け手の印象を良くすること(例えば、情報の受け手のストレスを低減させること)にある。ここで、このような二者間のコミュニケーションは一般に、例えば画像、音声、文字などに関する情報の取得や提示を担うインターフェースを介して行われる。すなわち、送り手が発した情報を、受け手のインターフェースを介して提示することで行われる。
 本発明の一実施形態は、そのようなコミュニケーションにおいて、送り手が発した情報を、受け手のインターフェースを介して提示する前に、受け手に適合させて(例えば、受け手の嗜好に基づいて)加工するものである。これにより本発明の一実施形態は、受け手が送り手をどう感じるかを制御し、ひいては例えば、受け手のストレスを低減させることを補助することができる。
 換言すれば、本発明の一実施形態は、受け手が、世界を認識する際、コミュニケーションをする対象の捉え方を、パーソナライズすることを補助するものである。
 すなわち本発明の一実施形態によれば、対象のコミュニケーションにより送り手が伝えたい内容(伝達内容)自体は変えないようにして、送り手側から発せられたオリジナル情報を受け手に適合するように(例えば、受け手が好むように)加工したものを受け手に提示するので、オリジナル情報が受け手に好まれなかったり、受け手にストレスを生じさせるようなものであっても、受け手が上記コミュニケーションにより受けるストレスを低減させることができる。よって、上記コミュニケーションによって伝達すべき内容以外の要素(例えば、送り手自身、送り手の表情、送り手の声の抑揚など)に対する受け手側が捉える印象を良くすることができ、上記伝達すべき内容以外の要素に起因したコミュニケーションを阻害するもの(例えば、送り手が苦手な人の場合、その人からのコミュニケーションというだけでコミュニケーションに集中できないなど)を軽減することができる。よって、コミュニケーションをより円滑に進めることができる。
 また、通常は、例えばコミュニケーションにおいて受け手側が送り手側を不快に思ったことがあった場合、受け手側が我慢するか、送り手側にその不快要素を改善してもらうよう依頼などする必要があった。これに対して、本発明の一実施形態によれば、送り手側は話し方や表情といった、送り手からのコミュニケーションに係る要素を受け手側に合わせることなく、すなわち、ある意味自分勝手にコミュニケーションを進めても、受け手側にとっては不快感が低減された状態で上記コミュニケーションに接することができる。よって、上記送り手からのコミュニケーションに係る要素に対して受け手側が不快に思うものがあったとしても、送り手側も上記改善といった要求をされないので不快に思うことなくコミュニケーションに臨むことができる。
 以上本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
 また、上記の実施形態におけるコミュニケーションの概念について、簡単に補足する。上記の実施形態におけるコミュニケーションとは、情報の送り手と情報の受け手の間の情報の伝達一般を含む広義の概念をいう。すなわち、上記の実施形態におけるコミュニケーションとは、二者間の情報の伝達に限られず、一方向の情報の伝達も含む概念をいう。
 ここで、情報の送り手と情報の受け手は特に限定されない。
 すなわち、情報の送り手であるには何らかの情報を送ることができれば足る。具体的には例えば、情報の送り手は、人間の他に、情報を送ることができるように構成されたプログラムや、人工知能であっても良い。一方、情報の受け手は、人間である。
 さらに、情報の送り手が情報を送る手段は限定されない。すなわち例えば、何らかの情報送信手段(例えば、スマートフォン、タブレット、ウェブカメラ、コンピュータ、スマートスピーカ、電話機など)を介して情報を送信する主体も送り手であり得る。また、送り手が所定のプログラムや人工知能である場合(バーチャルアシスタントなど)、該プログラムや人工知能が実装されている情報処理装置(サーバなど)が上記情報送信手段となる。また、本発明は、あるコミュニケーションにおいて送り手が発した情報を受ける受け手側に焦点を当てており、送り手の情報送信自体は問題ではない。すなわち、上述のように送り手が何らかの装置を活用するか否かは問題ではなく、送り手は何らかの情報送信手段を用いなくても良い。このような場合は、例えば、ヒアラブルデバイスやヘッドマウントディスプレイを装着した受け手に送り手が直接話かける場合などが想定される。
 また、情報の受け手が情報を受け取る手段は特に限定されない。すなわち例えば、何らかの情報受信手段(例えば、スマートフォン、タブレット、パーソナルコンピュータ、電話機、スマートスピーカ、ヒアラブルデバイス、ヘッドマウントディスプレイなど)を介して情報を受信する主体も受け手であり得る。なお、本発明においては、受け手は、対象となるコミュニケーションにおいては、本発明に係るパーソナライズ処理の恩恵を受けるため何らかの情報受信手段を必ず用いることになる。
 また例えば、上記の実施形態において、受信端末2aは画像、音声、文字などの提示をするものとして説明した。また同様に、送信端末3aは画像、音声、文字などに関する情報の取得をするものとして説明した。ここで、そのような情報の取得や提示は、以下に説明するようなインターフェースを介して実行される。
 すなわち、画像に関する情報を取得する場合はカメラなど、音声に関する情報を取得する場合はマイクロフォンなどの、それぞれの種類の情報を受け付けて所定の種類の信号(例えば、電気信号)へと変換する機構を有する装置が、インターフェースとなる。また、文字に関する情報を取得する場合、キーボードなど、文字入力を所定の符号情報に変換する機構や、音声認識する機構を有する装置が、インターフェースとなる。また、送り手がバーチャルアシスタントのようなプログラムや人工知能である場合は、これらプログラムや人工知能が実装された情報処理装置が、インターフェースとなる。
 また例えば、画像や文字を提示する場合は、ディスプレイ(すなわち、パーソナルコンピュータの画面、テレビジョン受像機の画面、スマートフォンやタブレット端末の画面、ヘッドマウントディスプレイの画面、ヘッドアップディスプレイの画面)や、スマートグラスの画面(ディスプレイ表示板、網膜投影)などの、画像や文字を提示する機構を有する装置が、インターフェースとなる。また例えば、音声を提示する場合は、電話機の受話器、スマートスピーカ、ヒアラブルデバイスなどの音声を提示する機構を有する装置がインターフェースとなる。
 なおここで、上記のインターフェースは、例えば受信端末2aや送信端末3aに外部機器として接続されてもよく、また受信端末2aや送信端末3aと、構造上一体であっても良い。換言すれば、図3のサーバ1aと、受信端末2aと、送信端末3aとを含む情報処理システムが、情報処理システム全体として、オリジナル情報ISの取得と、加工後情報IPの提示とを適宜実行できれば足る。
 ここで、本発明における本サービスの考え方について、さらに補足する。本サービスでは、所定のインターフェースを介して提示される送り手を特徴づける「要素」を、受け手に適合するよう(例えば、受け手の嗜好に応じて)加工する、若しくは、コミュニケーションの場、目的に応じて、加工する。
 なおここで、本サービスにおいて要素とは、画像、音声、文字を含むあらゆる情報の形態において、加工し得る特定の情報の単位または集合をいう。具体的に例えば、上記の実施形態において、画像に関する情報における、人物の頭部、表情、目の部分、動きや、音声の情報における、音声自体、スピード、高低、トーン、抑揚、方言、語尾、および文字の情報における語尾、句点などは要素の例である。ただし、これらの例は、あくまでも例示であり、特に限定されない。
 すなわち本サービスでは、この加工の対象として、視覚的要素のうち例えば、画像などであれば、送り手の身体の少なくとも一部を加工することができるし、視覚的要素のうち例えば、文字などであれば、送り手の文章の少なくとも一部を変更したり、所定の文面や記号などを追加することができる。
 一方、加工の対象が聴覚的要素(音声など)であれば、送り手の発する音声を、そのコミュニケーションの場(テレビ会議、メール/チャット、手紙(スマホでかざしたり、スマートグラスで見たり)、電話)における送り手からの伝達要素や送り手を特定づける要素などを、受け手の都合により加工する。
 そして、上記の加工には、能動的な加工と、受動的な(自動的な)加工とのいずれもが想定される。
 能動的な加工の場合、受け手が、コミュニケーションの相手に合わせて加工する要素やその加工先(例えば、キャラクタ)を決定する。若しくは、サーバ1aが推奨する要素やその加工先を提示して、その中から受け手が希望する要素やその加工先を選択するといった方法が想定される。上記の実施形態においては、このような流れに類似する手法を採用して説明を行った。
 なお、サーバ1aによる推奨は、例えば、受け手の過去の選択結果に基づいて、機械学習などの技術を利用して決定されても良いし、単にランダムで決定されても良い。ここで、ランダムで推奨された場合であっても、最終的には、受け手による決定がされるとしても良い。その場合最終的には、受け手が要素やその加工先を決定するので、受け手の嗜好や
都合が反映されることになる。
 他方、受動的(自動的な)加工の場合、例えば、送り手によらず、サーバ1aが推奨する要素やその加工先に基づいて加工方法を決定したり、受け手に最初だけ加工する要素やその加工先を決定させて、2度目以降は、デフォルトでそれに合わせた加工方法で自動で加工するといった方法が想定される。
 いずれの場合であっても、受け手の嗜好を反映した形や受け手が感じる印象を少しでも良くするような形に、送り手のコミュニケーションに係る要素(画像、音声、文字など)を加工することが重要である。
 以上をまとめて換言すると、受け手に提示される様態とは、大別すると、受け手によって意識的に決定され、当該受け手に提示される様態だけでなく、受け手によらずに取得され得る受け手に関するあらゆる情報に基づき決定され、当該受け手に提示される様態などが含まれ得る。
 具体的に例えば、必ずしも受け手でない者(例えばサーバ1a)が、受け手の意向や受け手に関する各種情報を取得して、受け手に提示される形態を判断して、加工方法を決定することも可能である。
 また、上記の実施形態において、複数の加工の具体的な例については、説明しているが、さらに説明を追加する。
 まず、上述の通り、画像の加工を行う場合、送り手の身体の少なくとも一部(例えば、顔)を加工する場合、上記の実施形態において説明した例を含み、例えば、以下の方法が想定される。
 (1)送り手の顔、または全身を、受け手の好きなキャラクタに変更する。
 (2)送り手の顔の表情を変更する。具体的例えば、口角を上げる画像処理などを行うことで、笑顔に見えるような加工を行う。
 (3)送り手の顔の一部にモザイクをかける。具体的に例えば、目の部分にマスクをかぶせるなどして、送り手の顔自体を変更するのではなく、送り手の顔の少なくとも一部を認識できないように加工する。
 (4)送り手の顔、または身体に対して何かを追加する。具体的に例えば、送り手の頭から花を生やす、出っ歯にする、背中から羽を生やすなどの加工をする。
 (5)送り手の顔や身体の色彩や質感、または形状を加工する。具体的に例えば、送り手の顔に、受け手の好む化粧を施したり、送り手の目を大きくしたり、送り手の顔の血色を良くしたり、送り手の体形をふくよかにしたり、送り手の体形を痩身にしたりするような加工を行う。
 またここで、画像の加工の対象は、送り手の身体に係る要素に限定されない。例えば、以下の方法が想定される。
 (1)送り手の存在する空間の雰囲気を変更する。具体的には例えば、送り手が居る部屋の壁の色や風合い、部屋の明度などを変更する処理を行っても良いし、送り手の背景を星空にしたり、草原に変更する処理を行っても良い。例えば、受け手が静かに集中したい場合は、送り手が居る部屋の壁の色を、落ち着いた青色に変更しても良い。
 (2)画像に何らかの要素を追加する。具体的には例えば、送り手が特定の言葉を発した場合、画面にその言葉をテロップとして提示しても良い。これにより、受け手は、例えば、重要な言葉に対する注意を喚起されることが可能である。
 さらに具体的に例えば、送り手を特徴付ける動作がされた場合、特定の記号を画面に提示しても良い。例えば、送り手がネクタイを触る動作をした場合、感嘆符を画面に提示しても良い。これにより、受け手は、例えば送り手が服装に気を使う人物であるなどの情報を得ることができ、送り手の誕生日にネクタイを送るなどして、送り手との関係構築に役立てることができる。
 さらに具体的に例えば、送り手を特徴付ける視覚要素、例えば、送り手が身に着けている物の情報を画面に提示しても良い。例えば、送り手の服、眼鏡、時計などのブランド名や商品名、および値段などの情報を画面に提示しても良い。これにより受け手は例えば、送り手の趣味趣向に対する詳細な情報を得ることができ、送り手との関係の構築に役立てることができる。
 また、上記の実施形態においても、簡単に言及しているが、送り手の「動き」を変更することも考えられる。
 具体的に例えば、テレビ会議の際に、送り手は、実際に手を動かしてはいないが、受け手に提示する加工後情報では、ダイナミックに手を動かしているような画像を提示することで、受け手の印象を良くする(受け手のストレスを低減する)という例について、上記の実施形態において説明した。
 また例えば、送り手が、受け手の発する音声や言葉の内容に反応して、頷くような画像を提示しても良い。これにより、受け手は、送り手が自分の言葉に耳を傾け、理解しようと努めているとの印象を受け、その結果として受け手のストレスが低減して、より円滑なコミュニケーションを図ることができる。
 また、上記の実施形態において、音声加工部122aの有する、音声によって記述される文章を取得する機能と、文章解析、言語解析、機械学習などの機能を組み合わせて、新たな機能とすることも考えられる。
 具体的には例えば、会議の内容の議事録や要約を自動的に生成しても良い。この点、さらに画像認識や表情認識の機能を用いて、発言した人物を特定しても良いし、さらにその人物の、発言時点での感情を推測しても良い。
 また、そのような、例えば、人物と、発言と、その発言をした時の感情とが紐づいた情報とを取得しても良い。そのような情報によれば、その人物をより深く分析することが可能となり、例えばその人物との関係の構築に役立てることができる。
 すなわち、本サービスでは、上述の通り、通常のテレビ会議などのように、コミュニケーションの当事者が実際にしている行動を忠実に再現することが目的ではなく、あくまで円滑なコミュニケーションを図るべく(少なくとも受け手のストレスを緩和してそのコミュニケーションに臨むため)相手の動きを加工するという点が重要である。
 また例えば、上記の実施形態において、受け手が選択可能な要望には、予め加工に必要となるアルゴリズムなどが事前に紐づけられて設定され、加工情報DB200aに格納されていることを前提として説明したが、特にこれに限定されない。
 例えば、加工方法決定部112aは、受け手或いは送り手のフィードバックにより、加工方法を自動で決定しても良い。具体的に例えば、受け手のバイタルデータ(心拍、脈拍、体温、発汗量など)に応じて、加工方法を決定(加工するキャラクタを変更するなど)しても良い。例えば、心拍や脈拍であれば、それらを取得するためのセンサを別途設けたり、受け手の顔の画像処理によりそれらを取得すれば良い。本発明では、バイタルデータを取得すること自体が本質では無いので、それらを取得するための手法はいずれであっても良い。さらに具体的に例えば、受け手のバイタルデータが低い時(例えば眠そうな時)は、テンションが上がるようなキャラクタに変更したり、バイタルデータが高い時(例えば焦っている時)は、落ち着いた印象のキャラクタに変更するなどしても良い。
 例えば、加工方法決定部112aは、受け手が過去に選択したキャラクタから受け手の嗜好を推定し、その結果によって加工方法を決定しても良い。なお、その場合、予め図示せぬデータベースなどに選択の候補となり得る情報(キャラクタなど)を保持していても良いし、インターネットなどを利用してクローリングをしても良い。
 換言すれば、加工方法決定部112aは、受け手の過去の履歴(行動の履歴や加工の履歴)などに応じて、自動で加工方法を決定できても良いし、受け手、または送り手の状態を検知した結果に応じて自動で加工方法を決定できても良い。これらを実現すべく、サーバ1aは、所定の受け手について過去の履歴を蓄積し、機械学習を含むAI(Artificial Intelligence)、画像解析、表情認識、音声認識、言語解析などに関する各種技術を組み合わせて利用することができる。
 また例えば、加工方法決定部112aは、単に加工方法を決定するのではなく、相手や状況に応じて、加工するか否かの選択、加工の程度、加工の実行に対する条件を決定しても良い。具体的に例えば、送り手のうち加工の対象とする人物を予め登録しておき、コミュニケーションの相手が登録した人物であった場合にのみ自動または手動にて加工方法を決定しても良い。
 また例えば、送り手が、受け手にとって特に苦手な人物(顔も見たくない人物)であれば、顔全体を加工の対象としたり、音声だけが苦手な人物であれば、顔は加工の対象とせず音声だけを加工の対象としても良いし、受け手が無表情の人物が苦手であれば、表情のみを笑顔に変更しても良い。
 さらに例えば、送り手が取引先の顧客など、ビジネス上の重要人物である場合は、敢えて送り手からのオリジナル情報ISを加工しない設定を採用して、コミュニケーションの正確さを優先しても良い。
 本サービスの提供者、または受け手は、これらの設定を、うまく使い分けることで、より円滑にコミュニケーションを進めることができる。
 また例えば、本サービスの提供を受け加工後の加工後情報のみを確認するのではなく、例えば、送り手の現実の表情も確認したい場合には、本サービスの提供者は、例えば、以下の施策を講じることもできる。
 具体的に例えば、本サービスの提供者は、例えば、送り手の実際の様子が撮影された画像などと、パーソナライズ処理を実行した加工後の画像などとの2つの画像を、2画面で提示するか、またはこれらを切り替えて提示する仕様としても良い。この時、例えば、実際の様子が撮影された画像などと、加工後の画像などのいずれか一方のみを小さく提示しても良い。
 また例えば、本サービスの提供者は、例えば、テレビ会議のように、送り手と受け手がリアルタイムでコミュニケーションをとるような場面において、加工後の映像などを、受け手に提示するのと同時に、送り手の映像などを録画しておき、後から任意のタイミングにおける相手の状況を確認できるようにしても良い。この時、相手の音声や、メールの文面などについても記録しておいても良い。
 また例えば、上記の実施形態において、受け手から加工方法に関する要望が選択により入力され、加工方法決定部112aで当該要望に基づいて、具体的な加工方法が決定されるものとして説明したが、特にこれに限定されない。
 すなわち、受け手からの要望は、選択により入力される必要はなく、任意の形式で入力されれば良いし、受け手から入力されるものは、必ずしも要望である必要はなく、加工方法決定部112aが、加工方法を決定し得るものであれば足りる。
 さらに言えば、上述のように加工方法決定部112aが自動で加工方法を決定する場合などであれば、要望自体が入力される必要がなく、上述のように、サーバ1aが、受け手に提示される様態として、受け手や送り手の行動履歴や、コンテクスト情報や、バイタルデータなどを取得できれば足りる。
 なお、ここで、受け手や送り手のコンテクスト情報とは、受け手や送り手に関する内的状態および外的状態の全てを指す。
 受け手や送り手に関する内的状態とは、受け手自身や送り手自身についてのセンシング可能な状態である。具体的に例えば、受け手や送り手についての、身長、体重、年齢、体調(体温、脈拍など)、感情(喜怒哀楽など)は、受け手や送り手の内的状態の一例である。
 受け手や送り手に関する外的状態とは、受け手や送り手の周囲の環境についてのセンシング可能な状態である。具体的に例えば、(予報を含む)天気、気温、室温、温度、空間的若しくは時間的な配置の位置(時間的な配置の位置とは、例えば、現在時刻を指す)の他、受け手や送り手の周囲の空間方向と時間方向のうち、少なくとも一方向に分布する所定の状態などは、受け手や送り手の外的状態の一例である。
 また例えば、上記の実施形態では、受け手が選択可能な要望と予め加工に必要となるアルゴリズムなどが加工情報DB200aに格納されているものとして説明したが、特にこれに限定されない。例えば、受信端末2aにおいて、予め加工に必要となるアルゴリズムなどを保持しておき、アルゴリズムなどがサーバ1aに送信されるものとしても良い。
 少なくとも、加工部114aが、実際に受け手の要望などに基づいて決定された加工方法に従って、各種情報を加工できれば足りる。
 また例えば、上記の実施形態において、加工方法決定部112aにおける加工方法の決定は、オリジナル情報取得部113aにおけるオリジナル情報ISの取得の事前に行われるものとして説明したが、特にこれに限定されない。
 すなわち、サーバ1aは、オリジナル情報取得後に、受け手からの要望を取得して、加工方法を決定しても良い。
 この場合、例えば、サーバ1aは、受け手に対して、事前にオリジナル情報ISを入力した人物や内容の概略を事前に提示しても良い。受け手は、事前にこのような情報を確認し、十分に考慮した上で、自身の要望を入力することができるので、より自身の希望に即したコミュニケーションの方法を選択することもできる。
 また例えば、上記の実施形態において、加工方法決定部112aは、受け手からの要望に基づいて、単一の加工方法を決定するものとして説明したが、特にこれに限定されない。すなわち、例えば、加工方法決定部112aは、複数の加工方法を選択しても良い。この場合、例えば、提示部115aは、加工された複数種類の情報を受け手に提示しても良いし、そのうちの1種類のみを受け手に提示しても良い。具体的に、加工方法決定部112aは、例えば受け手のバイタルデータや受け手の過去の履歴に応じて、少なくとも1つ又は複数の加工方法を自動で仮決定し、仮決定した1以上の加工方法を、選択可能な加工方法候補として受け手に提示(レコメンド)する。受け手は提示された加工方法候補の中から、自身が要望する1の加工方法を選択する。加工方法決定部112aが加工方法候補の中から受け手に選択された1の加工方法を決定すると、文字加工部123aは加工方法決定部112aにより決定された加工方法に基づいてオリジナル情報ISを加工する。また提示された加工方法候補の中に受け手が要望する加工方法がない場合には、受け手は加工方法候補の何れも選択しないことで、加工しないとの選択を行うこともできる。また加工方法決定部112aが受け手に加工方法候補を提示(レコメンド)するタイミングは、例えばコミュニケーションの開始時、途中などであって良い。
 さらに、テレビ会議のように長時間に及ぶコミュニケーションを行う場合、時間やコミュニケーションの内容毎に、受ける印象やその場の雰囲気というのは大きく変わり得る。そのため、加工方法決定部112aは、コミュニケーションの内容や状況に応じて時間毎に異なる加工方法を選択するなどしても良い。
 これにより、受け手は、飽きることなく、より効果的にコミュニケーションのストレスを低減などすることができる。
 また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
 換言すると、図5の機能的構成は例示に過ぎず、特に限定されない。
 すなわち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図5の例に限定されない。また、機能ブロックの存在場所も、図5に特に限定されず、任意で良い。例えば、サーバ1aの機能ブロックを受信端末2aまたは送信端末3aなどに移譲させても良い。逆に受信端末2aまたは送信端末3aの機能ブロックをサーバ1aなどに移譲させても良い。
 また、1つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。
 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。
 コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
 また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであっても良い。
 このようなプログラムを含む記録媒体は、受信端末2aまたは送信端末3aなどにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で受信端末2aまたは送信端末3aなどに提供される記録媒体などで構成される。
 なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
 また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
 また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。
 コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
 また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであっても良い。
 [実施形態B]
 (第1の実施形態)
 以下、本発明の実施形態について、図面を用いて説明する。
 まず図9及び図10を参照して、本発明の第1の実施形態に係る情報処理システムの適用対象となるサービス(以下、「パーソナライズサービス」と呼ぶ)の概要について説明する。
 図9は、本発明の一実施形態(第1の実施形態)の情報処理システムの適用対象となるサービスの概要を示す図である。
 本実施形態に係るパーソナライズサービスは、所定のインターフェースを介した2者間のコミュニケーションにおいて、送り手S側で入力された情報を受け手R側で出力する際、その情報を受け手Rの状況に応じて変化させることができるというサービスである。
 より具体的には、本実施形態に係るパーソナライズサービスでは、送り手S側で入力された第1形態の伝達方式の情報(以下、「オリジナル情報」と呼ぶ)に対して、受け手Rに対応させるための加工(以下、「パーソナライズ」と呼ぶ)が施される。そして、パーソナライズされた情報は、入力時の第1形態とは異なる第2形態の伝達方式の情報(以下、「加工後情報」と呼ぶ)として、受け手R側で出力される。
 なお、本発明において、「伝達方式」とは、所定の情報をやり取りするための通信手段を使ったコミュニケーションの仕方や仕組みであって、情報の伝達手段としてテキストを活用する方式、音声を活用する方式、画像を活用する方式、テキスト、音声、画像の少なくとも2つを組み合わせて活用する方式である。
 オリジナル情報及び加工後情報には、例えば以下の形態の情報が含まれる。即ち、メールやチャット等で送受信されるテキストデータ、電話等で送受信される音声データ、テレビ会議等で送受信される画像データ等が含まれる。
 また、パーソナライズの態様として、(1)オリジナル情報としてのテキストデータを、音声データと画像データとからなる加工後情報にするもの(テキストによる伝達方式から、音声と映像による伝達方式への変換)、(2)オリジナル情報としてのテキストデータを、テキストデータと画像データとからなる加工後情報にするもの(テキストによる伝達方式から、テキストと映像による伝達方式への変換)、(3)オリジナル情報としての音声データを、テキストデータと画像データとからなる加工後情報にするもの(音声による伝達方式から、テキストと映像による伝達方式への変換)、(4)オリジナル情報としてのテキストデータを、テキストデータと音声データと画像データとからなる加工後情報にするもの(テキストによる伝達方式から、テキストと音声と映像による伝達方式への変換)、(5)オリジナル情報としての音声データを、テキストと音声データと画像データとからなる加工後情報にするもの(音声による伝達方式から、テキストと音声と映像による伝達方式への変換)、(6)オリジナル情報としての画像データと音声データを、テキストデータと音声データとからなる加工後情報にするもの(映像による伝達方式から、テキストと音声による伝達方式への変換)、(7)オリジナル情報としての音声データを、音声データと画像データとからなる加工後情報にするもの(音声による伝達方式から、音声と映像による伝達方式への変換)等の態様がある。さらに、パーソナライズの態様としては、(8)オリジナル情報としてのテキストデータを、音声データである加工後情報にするもの(テキストによる伝達方式から、音声による伝達方式への変換)、(9)オリジナル情報としての音声データを、テキストデータである加工後情報にするもの(音声による伝達方式から、テキストによる伝達方式への変換)、等の態様も含まれる。
 なお、本発明において、「加工」とは、所定の伝達において送り手が伝達したい内容(伝達したい思想や表現の意味であったり、主題等)を別の内容に変えるものではない。すなわち、本発明の「加工」は、表現の仕方は変わるかもしれないが、あくまでも伝えたい内容自体は変えず、伝え方の手段である伝達方式を変えるのである。なお、本発明の「加工」は、内容自体を変えないのであれば、表現の仕方を変えることも含む。
 以上のような態様のパーソナライズが行われることで、例えば上記(1)乃至(5)の態様であれば、加工後情報として、VR(仮想現実)やAR(拡張現実)等に、バーチャルアシスタントを出力させることも可能となる。
 パーソナライズサービスにおいて、パーソナライズの態様は、受け手Rの状況を示す情報(以下、「状況情報」と呼ぶ)に基づいて決定される。状況情報には、所定のコミュニケーションについて、現在の状況において受け手Rに適する伝達方式を示す要望情報を含む。さらには、状況情報には、受け手Rの性格に関する情報、価値観に関する情報、嗜好に関する情報、気分に関する情報、体調に関する情報、周囲の環境に関する情報、又は送り手とのパワーバランスに関する情報等を含めることができる。このため、パーソナライズの態様は、受け手Rが、自身の価値観や嗜好等に基づいて、自由に選択又は指定することができる。また、受け手Rや送り手Sが何もせずとも、AI(人工知能)等が受け手Rの状況(バイタル状況や受け手Rが使用している装置のアプリケーションソフトウェア(以下、「アプリ」と呼ぶ)の使用状況等)を自動的に認識して、受け手Rにとって最適となるパーソナライズの態様が適用されるようにすることもできる。
 なお、本実施形態で重要なことは、あるコミュニケーションにおいて、その時の状況について受け手Rに適合するように伝達方式を変えることにあるので、状況情報は、少なくとも要望情報を含むものである。
 本実施形態に係るパーソナライズサービスの具体的な流れは以下のとおりである。
 即ち、ステップSS1において、送り手Sは、送り手端末2bを操作するなどして、第1形態の情報としてのオリジナル情報を入力する。
 ステップSS2において、送り手端末2bは、送り手Sの操作に基づいて、又は自動で、ステップSS1で入力されたオリジナル情報をサーバ1bに送信する。
 ステップSS3において、サーバ1bは、受け手端末3bから送信されてきた状況情報を取得する。
 ステップSS4において、サーバ1bは、送り手端末2bから送信されてきたオリジナル情報を取得し、状況情報に基づいて決定された所定態様(受け手に適合する伝達方式であって、例えば受け手Rにより指定された態様や、受け手の嗜好や状態に応じた態様)によるパーソナライズを行う。
 ステップSS5において、サーバ1bは、ステップSS4のパーソナライズの結果としての加工後情報を、受け手Rの受け手端末3bに送信する。
 ステップSS6において、受け手端末3bは、サーバ1bから送信されてきた加工後情報を取得し、受け手Rの操作に基づいて、又は自動で出力する。
 以上のような流れでパーソナライズサービスが提供されることにより、入力されたオリジナル情報は、受け手Rの状況(例えば受け手Rの性格、価値観、嗜好、気分、体調、周囲の環境、又は送り手とのパワーバランス等)に対応した加工後情報にパーソナライズされて出力されることになる。
 次に、パーソナライズサービスの肝となるパーソナライズの具体例について説明する。図10は、パーソナライズサービスにおけるパーソナライズの具体例を示す図である。
 図10には、パーソナライズの態様のうち、上記(2)の態様、即ち、オリジナル情報としてのテキストデータ(第1形態の伝達方式)を、テキストデータと画像データとからなる加工後情報(第2形態の伝達方式)にパーソナライズした場合の具体例が示されている。図10の左側には、入力されたオリジナル情報の具体例として、送り手端末2bに表示されたチャット画面が描画されている。図10の右側には、受け手端末3bに出力された情報の具体例として、パーソナライズされていない従来型のチャット画面と、パーソナライズされている場合の画面とが描画されている。
 即ち、図10の左側に示すように、送り手Sが、送り手端末2bのチャット画面に、「おはよう。今日もがんばれよ。」というメッセージ(テキストデータ)を入力した場合を想定する。この場合、従来であれば、図10の右側上段に示すように、受け手端末3bのチャット画面には、送り手Sにより入力されたメッセージ(テキストデータ)がそのままチャット画面に表示(出力)される。
 これに対して、パーソナライズサービスによれば、送り手端末2bに入力されたメッセージ(テキストデータ)は、パーソナライズが行われたうえで、受け手端末3bから出力される。図10に例示するパーソナライズは、送り手Sがテキストにより伝達内容を入力するという第1形態の伝達方式を、受け手Rがテキストと画像により伝達内容を認知する、第1形態と異なる第2形態の伝達方式に変換し、かつオリジナル情報の本質的な部分(意味内容)を維持しつつ、表現方法等、非本質的な部分に加工を施すことである。このため、例えばオリジナル情報として送り手Sが入力したメッセージ(テキストデータ)が「NO!」というものである場合には、それが受け手Rの望む内容ではなかったとしても、パーソナライズを経た加工後情報としてのメッセージ(テキストデータ)が「YES!」になることはない(意味内容が変わってしまうので)。この場合、例えば「NOです」、「お断りします」といった否定を示すメッセージ(テキストデータ)が所定の画像と共に加工後情報として受け手R側に出力される。
 即ち、図10に示すように、送り手Sが、送り手端末2bのチャット画面に、「おはよう。今日もがんばれよ。」というメッセージ(テキストデータ)を入力した場合には、このメッセージをオリジナル情報とするパーソナライズが行われる。そして、受け手端末3bには、例えば図10の右側下段に示すように、オリジナル情報の本質的な部分を維持しつつ、非本質的な部分となる表現方法に加工が施された加工後情報が出力される。具体的には例えば、受け手端末3bには、「おはよう!今日も元気に頑張って行こう!」というメッセージ(テキストデータ)とともに、キャラクタC(画像データ)が出力される。本例では、該出力されるキャラクタCは受け手Rが好きなキャラクタであり、実際は送り手Sからのメッセージではあるが、受け手Rに対してキャラクタCからのメッセージと思わせることが狙いである。
 なお、受け手端末3bに出力されるキャラクタC(画像データ)の種類は特に限定されない。例えば予め用意された複数種類にキャラクタの中から、受け手Rにより選択されたものであってもよい。また、メッセージの内容や、受け手Rの状況に応じて、AI(人工知能)等により選択されたものであってもよい。また、送り手Sを示すアバタのようなものであってもよい。
 上述のように、図10に示す例では、送り手Sが伝達内容を入力した時はテキスト入力による伝達方式であったが、受け手Rに届く際はテキストと画像とによる伝達方式に変換されており、該画像が受け手Rが好むキャラクタとなっている。よって、本例によれば、例えば送り手Sが入力した伝達内容が受け手Rが好ましく思わない内容であったり、送り手S自身を受け手Rが苦手だったりしても、すなわち送り手Sにより入力されたオリジナル情報をそのままの形態で出力した場合受け手Rがストレスを感じたり、感情的になったり、落ち込んだり、体調を崩したりする等の不利益を被る場合であっても、送り手Sが送った伝達内容に受け手Rが接する際は、まるで受け手Rが好きなキャラクタCからのメッセージであるように受け手Rに感じさせることができる。よって、送り手S側に起因する受け手Rが受けるであろう不利益を低減させることができる。その結果、受け手Rのみならず、送り手Sを含む両者にとって快適なコミュニケーションを実現させることができる。
 図11は、本発明の一実施形態の情報処理システムのシステム構成図である。図11に示す情報処理システムは、サーバ1bと、送り手端末2bと、受け手端末3bとを含むように構成されている。サーバ1b、送り手端末2b、及び受け手端末3bのそれぞれは、インターネット等の所定のネットワークNを介して相互に接続されている。サーバ1bは、サービス提供者Gにより管理され、送り手端末2b、及び受け手端末3bと適宜通信をしながら、パーソナライズサービスを実現するための各種処理を実行する。送り手端末2bは、送り手Sにより操作される情報処理装置であって、例えばパーソナルコンピュータ、スマートフォン、タブレット等である。受け手端末3bは、受け手Rにより操作される情報処理装置であって、例えばパーソナルコンピュータ、スマートフォン、タブレット等である。
 なお、サーバ1b、送り手端末2bおよび受け手端末3bのハードウェア構成は、図4のサーバ1aのハードウェア構成と基本的に同様とすることができるので、ここではその説明を省略する。
 図12は、パーソナライズ処理を実行するためのサーバ1bの機能ブロック図である。図12に示すように、サーバ1bのCPU11bにおいては、状況取得部101bと、態様決定部102bと、オリジナル情報取得部103bと、パーソナライズ部104bと、提示制御部105bとが機能する。また、サーバ1bの記憶部18bの一領域には、加工情報DB181bが設けられている。
 なお、伝達方式によっては、情報のやり取りはインタラクティブになる場合(例えば、テレビ会議、電話など)もある。この場合は、情報を発信している側が送り手Sとなり、その情報を受ける側が受け手Rとなり、状況に応じて送り手Sと受け手Rは入れ替わる。よって、図12におけるシステムにおいても、送り手端末2bが受け手端末3bになることもあるし、受け手端末3bが送り手端末2bになることもある。すなわち、本明細書において、「送り手端末」、「受け手端末」はそれぞれ、送信専用、受信専用の装置を意味するものでは無く(もちろんそうであっても良い)、あるコミュニケーションのあるタイミングにおける情報を発信する側の装置を送り手端末と称し、その時に情報を受信する側の装置を受け手端末と称するのである。また、ヘッドマウントディスプレイやヒアラブルデバイスを用いる場合は、送り手端末は存在しない場合もある。
 受け手端末3bは、受け手Rにより入力されたパーソナライズの態様についての要望を示す要望情報を含む状況情報をサーバ1bに送信する。受け手端末3bは、受け手Rにより入力された所望のパーソナライズの態様(変更先の伝達方式)に基づいて要望情報を取得しても良いし、受け手Rが備えるセンサや受け手端末3bの使用状況、現在使っているアプリ等からパーソナライズの態様を自動で取得して要望情報を決定しても良い。
 サーバ1bの状況取得部101bは、受け手端末3bから送信されてきた、少なくとも要望情報を含む状況情報を、通信部19bを介して取得する。なお、受け手Rが状況情報を入力する方法や、その具体的な形態は特に限定されない。
 態様決定部102bは、状況取得部101bにより取得された状況情報に含まれる要望情報に基づいて、後述するオリジナル情報取得部103bにより取得されるオリジナル情報をパーソナライズする際の態様を決定する。具体的には、態様決定部102bは、加工情報DB181bに記憶されている要望情報に含まれる、要望の具体的内容(変更先の伝達方式)、及びその要望を実現させるために必要となる加工の具体的内容を取得することで、パーソナライズの態様を決定する。なお、要望情報には、上述した(1)乃至(9)のパーソナライズの態様についての要望のみならず、より具体的な表現方法の変更に関するパーソナライズの態様(変更後として受け手Rが所望の伝達方式)についての要望を含めることができる。また、要望情報には、例えば「送り手Sの頭部をキャラクタCの頭部に置換する」、「送り手Sの話す言葉を関西弁に変更する」、「文章の語尾を「でちゅ」に変更する」といったような、具体的な表現方法の変更に関するパーソナライズの態様についての要望を含めることができる。
 オリジナル情報取得部103bは、送り手Sにより入力された第1形態の伝達方式による情報を、オリジナル情報として取得する。具体的には、オリジナル情報取得部103bは、送り手端末2bに入力されたオリジナル情報が、サーバ1bに送信されてくると、通信部19bを介してこれを取得する。上述したように、オリジナル情報には、テキストデータ、音声データ、画像データを含むあらゆる形態の情報が含まれ得る。具体的に例えば、メールやチャットで送り手Sにより入力されたメッセージに関するテキストデータ、電話やテレビ会議で送り手Sが発した音声に関する音声データ、テレビ会議に出席した送り手Sの撮影画像に関する画像データ等は、いずれもオリジナル情報の一例である。
 パーソナライズ部104bは、オリジナル情報取得部103bにより取得されたオリジナル情報に対して、態様決定部102bにより決定されたパーソナライズの態様に基づいて、パーソナライズを行う制御を実行して、加工後情報を出力する。パーソナライズ部104bでは、処理制御部140b、テキスト処理部141bと、音声処理部142bと、画像処理部143bとが機能する。
 処理制御部140bは、態様決定部102bにて決定されたパーソナライズの態様に基づいて、オリジナル情報の内容を受け手Rに提示する際の伝達方式となるように、テキスト処理部141b、音声処理部142b、画像処理部143bを適宜制御する。
 テキスト処理部141bは、オリジナル情報取得部103bにより取得されたオリジナル情報に含まれるテキストデータを加工することができる。具体的に例えば、態様決定部102bにより決定された態様が、「文章の語尾を「でちゅ」に変更する」というものを含む場合には、テキスト処理部141bは、例えば文章解析の手法を用いて、文章の情報から語尾に相当する部分を抽出し、その部分を「でちゅ」に変更する加工を行う制御を実行する。また、テキスト処理部141bは、オリジナル情報にテキストデータが含まれておらず、音声データが含まれている場合、該音声データが示す内容に対応するテキストデータ(例えば、該内容を示す文章)を生成することもできる(すなわち、text to speech処理)。
 音声処理部142bは、オリジナル情報取得部103bにより取得されたオリジナル情報に含まれる音声データを加工することができる。具体的に例えば、態様決定部102bにより決定された態様が、「その場の雰囲気が和むような音声に加工する」というものを含む場合には、音声処理部142bは、送り手Sの音声が含まれる音声データについて、例えば音声の速度、音声の高低、トーン、抑揚等を変えるなど、その場の雰囲気が和むような音声にするために必要となる加工を行う制御を実行する。また、音声処理部142bは、オリジナル情報に音声データが含まれておらず、テキストデータが含まれている場合、該テキストデータが示す内容に対応する音声データ(例えば、該内容を示す音声)を生成することもできる(すなわち、speech to text処理)。
 画像処理部143bは、オリジナル情報取得部103bにより取得されたオリジナル情報に含まれる画像データを加工することができる。具体的には例えば、態様決定部102bにより決定されたパーソナライズの態様が、「送り手Sの頭部をキャラクタC1(図示せず)の頭部に置換する」というものを含む場合には、画像処理部143bは、オリジナル情報のうち、送り手Sの頭部の画像が含まれる画像データについて、送り手Sの頭部の画像データを、キャラクタC1の頭部の画像データに置換する加工を行う制御を実行する。また、画像処理部143bは、オリジナル情報に画像データが含まれていない場合、受け手Rに提示すべき画像データを生成することもできる(レンダリング処理等)。
 このような構成において、態様決定部102bにて決定された変更先の伝達方式に応じて、処理制御部140bは、テキスト処理部141b、音声処理部142b、画像処理部143bのうち必要な処理部を選択し、該選択された処理部に必要な処理を実行させる。該処理において、新たなデータの生成(上述のtext to speechにより生成されるデータ等)が必用な場合は、処理制御部140は、該当する処理部にオリジナル情報取得部103bにて取得されたオリジナル情報に基づいて上記新たなデータを生成させる。また、上記処理においてオリジナル情報の加工が含まれる場合は、処理制御部140bは、該当する処理部にオリジナル情報取得部103bにて取得されたオリジナル情報を加工させる。
 このように、送り手Sにより入力されたオリジナル情報は、パーソナライズ部104bにおける各種の制御処理が実行されることにより、受け手Rにとって好適となる加工後情報として出力される。
 提示制御部105bは、パーソナライズ部104bによる制御の下で加工された加工後情報を、受け手Rに提示する制御を実行する。具体的には、提示制御部105bは、受け手端末3bに加工後情報を提示させる制御を実行する。例えば、提示制御部105bは、受け手Rにより選択された方式に応じた各種デバイス(例えば、テレビ会議であれば、ディスプレイやスピーカ)に、加工後情報を提示させる制御を実行する。
 図12に例示した構成について、例えば、送り手Sにてメールといったテキスト方式の伝達方式によって伝達内容が入力され、一方で受け手Rが送り手Sからのメールに対して、上記テキスト方式とは異なる伝達方式としてテキストと画像による伝達方式による出力を望む場合の一例について説明する。
 送り手Sが送り手端末2bによりメール(テキストによる伝達方式)により所定の伝達内容の入力を行うと、送り手端末2bは該入力に関するオリジナル情報を取得し、サーバ1bに送信する。サーバ1bは、第1形態の伝達方式であるテキストによる伝達方式にてオリジナル情報を取得すると、受け手端末3bに対してメール受信がある旨を通知する。受け手端末3bは、受け手Rに対してメール受信(第1形態の伝達方式による受信)があった旨を通知する。受け手Rは、通常のメール通知を行うか、パーソナライズされた通知(ここでは、第1形態とは異なる第2形態の伝達方式としてのテキストと画像による通知)を行うか否かを選択する。通常のメール通知を選択した場合は、受け手端末3bは、サーバ1bよりオリジナル情報を取得し、テキスト形式の内容を受け手端末3bの出力部に表示する。一方、受け手Rがパーソナライズされた通知を選択した場合は、受け手端末3bは、さらに、受け手Rに対して、パーソナライズに対する要望として、出力するべき画像の種類、および加工するべきテキストの態様の入力を促す。このとき、本例においては、受け手端末3bは、加工情報DB181bにて管理されている画像の種類およびテキストの態様(例えば、文章の語尾を変更する等)を受け手Rに提示し、該受け手Rに選択させる。受け手端末3bは、パーソナライズされた態様として、テキストと画像による伝達方式、ならびに上記選択された画像の種類およびテキストの態様を示す要望情報を含む状況情報をサーバ1bに送信する。
 態様決定部102bは、状況取得部101bを介して取得した状況情報に基づいて、受け手Rに提示するべき伝達方式がテキストおよび画像による方式であると決定する。パーソナライズ部104bは、オリジナル情報取得部103bにて取得されたオリジナル情報と、態様決定部102bにて決定されたパーソナライズの態様とに基づいて、加工後情報を生成する。具体的には、処理制御部140bは、態様決定部102bによる決定に従って、受け手Rにて選択された態様に応じてオリジナル情報に含まれるテキストデータを加工するようにテキスト処理部141bを制御し、受け手Rに選択された画像が出力されるように画像処理部143bを制御する。テキスト処理部141bは、態様決定部102bにて状況情報に含まれるテキストの態様について加工情報DB181bを参照して取得された加工方法に従って、オリジナル情報に含まれるテキストデータを加工する。例えば、上記テキストの態様が語尾を変更するものである場合は、オリジナル情報に含まれる各文章の語尾を受け手Rが選択したように変更する。また、画像処理部143bは、態様決定部102bにて状況情報に含まれる画像の種類について加工情報DB181bを参照して取得された画像が生成されるようにレンダリング処理を行う。パーソナライズ部104bは、このようにして生成されたテキストデータと画像データとを加工後情報として、提示制御部105bに出力する。提示制御部105bは、パーソナライズ部104bから出力された加工後情報を受け手端末3bに送信する。受け手端末3bは、受信した加工後情報に戻づいて、テキストと画像とにより表現される伝達内容を受け手Rに対して表示する。すなわち、提示制御部105bは、加工後情報の内容を受け手端末3bを介して受け手Rに認識させる。
 本実施形態によれば、送り手S側で入力されたオリジナル情報を、受け手Rの状況に応じて伝達方式が変更されるようにパーソナライズされた加工後情報として受け手R側で出力することができる。よって、受け手Rと送り手Sとの所定のコミュニケーションにおいて、受け手Rにとっては、送り手Sがある意味一方的に決定した伝達方式ではなく、受け手Rに適合する伝達方式にて伝達内容に触れることができる。よって、例えば受け手Rが苦手な送り手Sからメールによるコミュニケーションがあったとしても、受け手Rはテキスト+自分の好きなキャラクタの画像による伝達方式にて上記メールの内容を認識することができる。すなわち、メールの実際の送り手は苦手な人物であるが、まるで受け手Rが好きなキャラクタからのメールであるかのように受け手Rに捉えさせることができ、上記コミュニケーションに対する受け手Rの印象を良くすることができる。また、例えば、送り手Sから電話により祝福のメッセージがあった場合、受け手Rは音声+自分の好きなキャラクタの笑顔の画像による伝達方式にて上記祝福のメッセージを認識することができる。すなわち、受け手Rは、音声による祝福に加えて画像による祝福も受けることができ、より幸せな気分を味わうことができる。このように、本実施形態によれば、送り手Sからの所定の伝達が受け手にとってマイナスなものであれば該マイナスを低減させ、プラスのものであればよりプラスになるようにすることができる。
 (第2の実施形態)
 次に、図13を参照して、本発明の第2の実施形態に係る情報処理システムの適用対象となるサービス(以下、「車載パーソナライズサービス」と呼ぶ)の概要について説明する。図13は、本発明の一実施形態(第2の実施形態)の情報処理システムの適用対象となるサービスの概要を示す図である。
 本実施形態では、車載装置4bは第1の実施形態のサーバ1bと同様の構成を備えており、車載パーソナライズサービスは、上述の第1の実施形態に係るパーソナライズサービスと同様の処理により、送り手S側で入力されたオリジナル情報に対して、受け手Rの状況に対応させるためにパーソナライズされた加工後情報を受け手R側に出力するものである。なお、本実施形態に係るパーソナライズ処理を実行する装置を車両Mに搭載された車載装置4bとしているが、サーバ1bのようにネットワークを介して接続された情報処理装置であっても良い。ここで、車載パーソナライズサービスにおける「受け手R」とは、例えば、図13に示すように、車載装置4bを搭載した車両Mに乗車しているドライバーDと同乗者Fを意味する。
 車載パーソナライズサービスの具体的な流れは以下のとおりである。
 即ち、ステップSS11において、送り手Sは、送り手端末2bを操作することで、第1形態の情報としてのオリジナル情報を入力する。
 ステップSS12において、送り手端末2bは、送り手Sの操作に基づいて、又は自動で、ステップSS11で入力されたオリジナル情報を車載装置4bに送信する。
 ステップSS13において、車載装置4bは、受け手Rの状況情報を取得する。本実施形態に係る状況情報は、ドライバーDの生体に関する情報(以下、「バイタル情報」と呼ぶ)、及び車両Mの位置に関する情報(以下、「車両位置情報」と呼ぶ)等を含んでも良い。なお、車載装置4bが上述のバイタル情報、及び車両位置情報を取得する際の具体的手法は特に限定されない。本実施形態では、眠気センサ等の各種センサによって上述のバイタル情報と、車両環境情報とが取得され、GPS(GLOBAL Positioning System)位置情報によって車両位置情報が取得される。
 ステップSS14において、車載装置4bは、送り手端末2bから送信されてきたオリジナル情報と、車載装置4bにより取得された状況情報とに基づいて、所定態様(例えば受け手RのドライバーDにより指定された態様)のパーソナライズを行う。
 ステップSS15において、車載装置4bは、ステップSS14のパーソナライズの結果としての加工後情報を出力する制御を実行する。
 以上のような流れで車載パーソナライズサービスが提供されることにより、入力されたオリジナル情報は、受け手Rの状況(例えばドライバーD及び同乗者Fのバイタル情報、車両Mの車両位置情報等)に対応した加工後情報にパーソナライズされて出力されることになる。
 車載パーソナライズサービスにおけるパーソナライズの態様としては、第1の実施形態に説明した態様(1)~(9)が挙げられる。上記パーソナライズを実行する状況の例としては以下が挙げられる。
 例えば、ステップSS14において、ステップSS13にて取得された状況情報に含まれるバイタル情報に応じて、パーソナライズの態様を決定しても良い。例えば、車載装置4bが送り手Sからメールを受信した場合において、車載装置4bがバイタル情報によりドライバーDの眠気を検知した場合、パーソナライズの態様として車載装置4bは音声と画像による伝達方式を選択し、車両Mに搭載されたヘッドアップディスプレイにバーチャルアシスタントとして所定のキャラクタの画像を表示し、音声により伝達内容を出力するようにする。このようにドライバーDの眠気を検知した場合は音声および画像を含む伝達方式にて受け手R側に伝達内容を認知させることによって、ドライバーDに対して聴覚および視覚の双方の刺激を与えることができ、ドライバーDに対して眠気を低減させつつ送り手S側からの伝達内容を伝えることができる。また、上記音声をドライバーDのテンションが上がるテンポに変調しても良い。
 また例えば、ステップSS14において、ステップSS13にて取得された状況情報に含まれる車両位置情報に応じて、パーソナライズの態様を決定しても良い。例えば、地域毎に表示するキャラクタを決めておき、車両位置情報により車両Mが特定の地域内に位置する場合は、車載装置4bは、送り手Sによるメールや電話を、テキストおよび画像、または音声および画像による伝達方式に変換する。このとき、受け手Rに提示される画像を車両位置情報により決定されたキャラクタとする。これにより、所定のコミュニケーションにおいて、受け手Rは、自身がまさに位置する地域特有のキャラクタを登場させることができ、上記コミュニケーションの興趣性を向上させることができる。
 (第3の実施形態)
 本実施形態では、スマートフォン等の通話機能と音楽再生機能とを備えるデバイスを用いて音楽を視聴しているときに、送り手Sから電話がかかってくる場合について説明する。なお、本実施形態は、通話機能と映像再生機能とを備えるデバイスにより音楽の代わりに映像を視聴している際にも適用できる。
 本実施形態では、受け手端末3bは音楽再生用アプリ、および通話用アプリがインストールされているスマートフォンである。本実施形態における状況情報は、音楽再生用アプリを再生中か否かを示す情報である。また、パーソナライズの態様は、上述の態様(9)である「オリジナル情報としての音声データを、テキストデータである加工後情報にするもの」である。上記通話用アプリは、基本的には通常の電話のように受け手端末3bのスピーカより音声を出力し、マイクより音声を入力するように機能するが、音楽再生用アプリが起動している際(受け手Rが音楽再生用アプリにより音楽を聴いている際)においては、受け手Rからの入力はマイクからの音声となるが、受け手Rへの出力は送り手Sによる音声から変換されたテキストの受け手端末3bのディスプレイへの表示となる。
 なお、本実施形態では情報のやり取りはインタラクティブになるので、上述のように例えば図12における送り手Sと受け手Rとはそれぞれ、伝達情報の送る側にも受ける側にも適宜なり得る。
 本実施形態では、送り手Sと受け手Rとの間で音声によるコミュニケーションが発生すると、受け手端末3bは、音楽再生用アプリが起動しているか否かを示す状況情報をサーバ1bに送信する。サーバ1bは、状況情報が音楽再生用アプリを起動していないことを示している場合は、通常の通話処理を行う。一方、状況情報が音楽再生用アプリを起動していることを示している場合は、態様決定部102bは、音声データであるオリジナル情報をテキストデータに変換するようパーソナライズの態様を決定する。処理制御部140bは、オリジナル情報取得部103bにて取得された送り手端末2bから取得したオリジナル情報をテキストデータに変換するように音声処理部142bを制御して、伝達方式が音声からテキストに変換された加工後情報を生成させる。提示制御部105bは、加工後情報を受け手端末3bに送信し、受け手端末3bのディスプレイに送り手Sが入力した内容を示すテキストを表示させる。
 本実施形態によれば、送り手Sとの音声によるコミュニケーションをしようとする場合において受け手端末3bにて音楽コンテンツや映像コンテンツを再生するアプリが起動している場合、送り手Sからの音声による伝達内容の受け手Rの認知をテキストにより行うので(受け手Rの入力は音声)、上記コンテンツの音量を下げたり消したりすることなく受け手Rは送り手Sからの伝達内容を認識することができる。よって、受け手Rは、音楽コンテンツや映像コンテンツを視聴しながら、そのコンテンツの楽しみ方を損なうことなくインタラクティブなコミュニケーションを行うことができる。
 1a:サーバ、2a:受信端末、3a:送信端末、11a:CPU、18a:記憶部、19a:通信部、111a:要望情報受付部、112a:加工方法決定部、113a・・・オリジナル情報取得部、114a:加工部、115a:提示部、121a:画像加工部、122a:音声加工部、123a:文字加工部、200a:加工情報DB
 1b:サーバ、2b:送り手端末、3b:受け手端末、4b:車載装置、101b:状況取得部、102b:態様決定部、103b:オリジナル情報取得部、104b:パーソナライズ部、105b:提示制御部、141b:テキスト処理部、142b:音声処理部、143b:画像処理部、181b:加工情報DB、S:送り手、R:受け手

 

Claims (7)

  1.  送り手と受け手との所定の方式のコミュニケーションに利用される情報処理システムであって、
     前記所定の方式によって前記送り手から前記受け手へ伝達される対象に関する情報を、オリジナル情報として前記送り手より取得する情報取得手段と、
     前記受け手に提示される様態に基づいて、前記オリジナル情報の少なくとも一部を加工する方法を決定する決定手段と、
     前記方法に基づいて、前記オリジナル情報を加工する加工手段と、
     前記加工手段により加工された情報を、前記受け手に対して、提示する提示手段と、
     を備え、
     前記加工手段は、前記所定のコミュニケーションにより前記送り手が伝えたい内容自体は変えないようにして、前記受け手が好むように前記オリジナル情報の少なくとも一部を変更する情報処理システム。
  2.  送り手と受け手との所定の方式のコミュニケーションに利用され、該コミュニケーションにおいて少なくとも前記受け手は前記所定の方式を実現するための装置を用いる情報処理システムであって、
     前記所定の方式によって前記送り手から前記受け手へ伝達される対象に関する情報を、オリジナル情報として前記送り手より取得する情報取得手段と、
     前記受け手に適合するように前記オリジナル情報の少なくとも一部を加工する方法を決定する決定手段と、
     前記方法に基づいて、前記オリジナル情報を加工する加工手段と、
     前記加工手段により加工された情報を、前記受け手に対して、前記装置によって提示させる提示手段と、
     を備え、
     前記加工手段は、前記所定のコミュニケーションにより前記送り手が伝えたい内容自体は変えないようにして、前記受け手が好むように前記オリジナル情報の少なくとも一部を変更する情報処理システム。
  3.  送り手と受け手との所定の方式のコミュニケーションに利用され、該コミュニケーションにおいて前記受け手により用いられる装置と通信可能な情報処理装置であって、
     前記送り手が発した、前記所定の方式によって前記送り手から前記受け手へ伝達される対象に関する情報を取得する手段と、
     前記受け手に適合するよう前記取得した情報の少なくとも一部を加工する手段と、
     前記加工された情報を前記装置に送信する手段と
     を備え、
     前記加工する手段は、前記所定のコミュニケーションにより前記送り手が伝えたい内容自体は変えないようにして、前記受け手が好むように前記取得した情報の少なくとも一部を変更し、
     前記送信された加工された情報は前記装置にて前記受け手に提示される情報処理装置。
  4.  送り手と受け手との所定の方式のコミュニケーションにおいて前記受け手にて用いられる情報処理装置であって、
     前記所定の方式によって前記送り手から前記受け手へ伝達される対象に関する情報を取得する手段と、
     前記受け手に適合するよう前記取得した情報の少なくとも一部を加工する手段と、
     前記加工された情報を前記受け手に提示させる手段と
     を備え、
     前記加工する手段は、前記所定のコミュニケーションにより前記送り手が伝えたい内容自体は変えないようにして、前記受け手が好むように前記取得した情報の少なくとも一部を変更する情報処理装置。
  5.  コンピュータを、請求項5または6に記載の情報処理装置として機能させるプログラム。
  6.  送り手と受け手との所定のコミュニケーションに利用され、該コミュニケーションにおいて、前記送り手により用いられる第1の装置と前記受け手により用いられる第2の装置との双方と通信可能な情報処理装置であって、
     前記送り手により第1形態の伝達方式によって入力された、前記送り手から前記受け手へ伝達すべき内容を示すオリジナル情報を前記第1の装置より取得する手段と、
     前記受け手の状況を示す状況情報を前記第2の装置より取得する手段と、
     前記取得された状況情報に基づいて前記オリジナル情報を加工して、前記第1形態の伝達方式と異なる第2形態の伝達方式の加工後情報を生成する手段と、
     前記加工後情報を前記第2の装置に送信する手段と
     を備えることを特徴とする情報処理装置。
  7.  送り手と受け手との所定のコミュニケーションに利用される情報処理方法であって、
     第1形態の伝達方式によって前記送り手から前記受け手へ伝達すべき内容を示すオリジナル情報を前記送り手より取得する工程と、
     前記受け手の状況示す状況情報を取得する工程と、
     前記取得された状況情報に基づいて前記オリジナル情報を加工して、前記第1形態の伝達方式と異なる第2形態の伝達方式の加工後情報を生成する工程と、
     前記生成された加工後情報の内容を前記受け手に認識させる工程と
     を有することを特徴とする情報処理方法。

     
PCT/JP2019/042079 2019-03-22 2019-10-27 情報処理システム、情報処理装置、および情報処理方法 WO2020194828A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021508709A JPWO2020194828A1 (ja) 2019-03-22 2019-10-27

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-055398 2019-03-22
JP2019055398 2019-03-22
JP2019149095 2019-08-15
JP2019-149095 2019-08-15

Publications (1)

Publication Number Publication Date
WO2020194828A1 true WO2020194828A1 (ja) 2020-10-01

Family

ID=72608878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042079 WO2020194828A1 (ja) 2019-03-22 2019-10-27 情報処理システム、情報処理装置、および情報処理方法

Country Status (2)

Country Link
JP (1) JPWO2020194828A1 (ja)
WO (1) WO2020194828A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7138997B1 (ja) * 2021-10-14 2022-09-20 株式会社I’mbesideyou ビデオミーティング評価端末

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346252A (ja) * 2004-06-01 2005-12-15 Nec Corp 情報伝達システムおよび情報伝達方法
JP2007537650A (ja) * 2004-05-14 2007-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 受信者から受信者へメッセージを伝送する方法、メッセージ伝送システム及びメッセージ変換手段
WO2018185988A1 (ja) * 2017-04-06 2018-10-11 ソニー株式会社 情報処理システムおよび記憶媒体
JP2018163657A (ja) * 2017-03-24 2018-10-18 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation 自動翻訳提供方法、記憶媒体、及び自動翻訳提供サーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007537650A (ja) * 2004-05-14 2007-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 受信者から受信者へメッセージを伝送する方法、メッセージ伝送システム及びメッセージ変換手段
JP2005346252A (ja) * 2004-06-01 2005-12-15 Nec Corp 情報伝達システムおよび情報伝達方法
JP2018163657A (ja) * 2017-03-24 2018-10-18 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation 自動翻訳提供方法、記憶媒体、及び自動翻訳提供サーバ
WO2018185988A1 (ja) * 2017-04-06 2018-10-11 ソニー株式会社 情報処理システムおよび記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7138997B1 (ja) * 2021-10-14 2022-09-20 株式会社I’mbesideyou ビデオミーティング評価端末
WO2023062795A1 (ja) * 2021-10-14 2023-04-20 株式会社I’mbesideyou ビデオミーティング評価端末

Also Published As

Publication number Publication date
JPWO2020194828A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US20220319517A1 (en) Electronic personal interactive device
US8243116B2 (en) Method and system for modifying non-verbal behavior for social appropriateness in video conferencing and other computer mediated communications
US11948241B2 (en) Robot and method for operating same
JP4395687B2 (ja) 情報処理装置
KR20220024557A (ko) 자동화된 어시스턴트에 의한 응답 액션을 트리거하기 위한 핫 명령의 검출 및/또는 등록
JP2021044001A (ja) 情報処理システム、制御方法、およびプログラム
JP2023503219A (ja) 複数のデータソースを用いた発話転写
US11803579B2 (en) Apparatus, systems and methods for providing conversational assistance
WO2020026850A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP3360056B1 (en) Facilitating awareness and conversation throughput in an augmentative and alternative communication system
KR20220123576A (ko) 3차원(3d) 환경에 대한 통합된 입/출력
CN114566187A (zh) 具有会话后表示的系统、电子装置和相关方法
JPWO2019026360A1 (ja) 情報処理装置および情報処理方法
McDonnell et al. “Easier or Harder, Depending on Who the Hearing Person Is”: Codesigning Videoconferencing Tools for Small Groups with Mixed Hearing Status
WO2020194828A1 (ja) 情報処理システム、情報処理装置、および情報処理方法
US20210136323A1 (en) Information processing device, information processing method, and program
JP4845183B2 (ja) 遠隔対話方法及び装置
JP2004185437A (ja) 身体情報反映チャット用プログラム、身体情報反映チャット用サーバ、身体情報反映チャット用クライアントおよび身体情報反映チャット方法
WO2019142420A1 (ja) 情報処理装置および情報処理方法
WO2024062779A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
EP4297018A1 (en) Techniques for presenting textual messages using a user-specific voice model
US20240323332A1 (en) System and method for generating and interacting with conversational three-dimensional subjects
CN117275453A (zh) 使用用户特定的语音模型呈现文本消息的方法
JP2022114775A (ja) 画像処理装置、画像処理システム、及び、コンピュータープログラム
JP2021086354A (ja) 情報処理システム、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19922206

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2021508709

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 19922206

Country of ref document: EP

Kind code of ref document: A1