WO2022208723A1 - 情報処理装置、情報処理方法、及び、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び、情報処理プログラム Download PDF

Info

Publication number
WO2022208723A1
WO2022208723A1 PCT/JP2021/013835 JP2021013835W WO2022208723A1 WO 2022208723 A1 WO2022208723 A1 WO 2022208723A1 JP 2021013835 W JP2021013835 W JP 2021013835W WO 2022208723 A1 WO2022208723 A1 WO 2022208723A1
Authority
WO
WIPO (PCT)
Prior art keywords
party
data
information processing
estimated
sensing
Prior art date
Application number
PCT/JP2021/013835
Other languages
English (en)
French (fr)
Inventor
浩子 薮下
史朗 小澤
孝雄 倉橋
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023510017A priority Critical patent/JPWO2022208723A1/ja
Priority to PCT/JP2021/013835 priority patent/WO2022208723A1/ja
Publication of WO2022208723A1 publication Critical patent/WO2022208723A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • Non-Patent Document 1 a technique for generating a commentary text that conveys the outline of a baseball game.
  • Non-Patent Documents 2 and 3 a technique for explaining the current situation of a shogi game played by a professional shogi player.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technology that enables the participants to express their feelings and thoughts in real time during the performance. .
  • An information processing apparatus includes an authentication unit that authenticates a licensor who is licensed to use a digital twin of a party performing a performance; a sensing unit that obtains the physical state of the party using the sensor, estimates and calculates the inner feelings of the party based on the physical state of the party, and a digital twin of the party that detects the inner feelings of the party in real time during the performance of the party. and an output as described in .
  • An information processing method is an information processing method performed by an information processing apparatus, comprising: authenticating a licensor who has been licensed to use a digital twin of a party performing a performance; and obtaining the physical state of the party using the sensing data, and estimating and calculating the inner feelings of the party based on the physical state of the party; and having the party's digital twin describe emotional feelings.
  • An information processing program causes a computer to function as the information processing apparatus.
  • FIG. 1 is a diagram showing a functional block configuration example of an information processing apparatus.
  • FIG. 2 is a diagram showing an example of registered data such as DT data.
  • FIG. 3 is a diagram showing an example of past log data.
  • FIG. 4 is a diagram illustrating a processing flow example of the information processing apparatus.
  • FIG. 5 is a diagram showing an example of new log data.
  • FIG. 6 is a diagram showing an image explaining the emotions of the parties by the DTs of the parties.
  • FIG. 7 is a diagram illustrating a hardware configuration example of an information processing apparatus.
  • the present invention relates to a DT (digital twin) that explains the inner feelings (including thoughts) of a person on behalf of the person.
  • DT digital twin
  • it is an invention that is conscious of the business that can be created by expressing people in virtual space.
  • the present invention collects sensing data during the performance of a party, obtains the physical state of the party using the sensing data, estimates and calculates the inner feelings of the party based on the physical state of the party,
  • the DT of the party concerned is made to explain the inner feelings of the party concerned in real time during the performance.
  • FIG. 1 is a diagram showing a functional block configuration example of an information processing apparatus 1 according to this embodiment.
  • the information processing apparatus 1 is a device, a server, and a computer that allow the party's DT to explain the party's inner feelings in real time during the party's performance.
  • the information processing apparatus 1 includes, for example, a registration unit 11, a DT data storage unit 12, a log data storage unit 13, an authentication unit 14, a sensing unit 15, a processing unit 16, and an output unit 17. And prepare.
  • the registration unit 11 creates the DT data of the party based on the data provided by the party, associates the DT data with the registrant ID, and enables the registrant ID to access the DT data. It is a functional unit that grants administrator authority and registers data in the DT data storage unit 12 .
  • the registration unit 11 registers the licenser ID that permits the use of the DT data, the purpose of use for which the use of the DT data is permitted, and the use of the DT data, which are set by the parties, with respect to the registrant ID and the DT data.
  • This is a functional unit that registers in the DT data storage unit 12 in association with the permitted range and permitted content of the description of internal feelings and emotions.
  • the DT data storage unit 12 is a functional unit that stores registered data such as DT data registered by the registration unit 11 in a readable manner.
  • the DT data storage unit 12 stores, for each registrant, a registrant ID, DT data, licensor ID, permitted use, permitted range, and permitted content in association with each other.
  • DT data is, for example, face image, height, voice, etc., which are element data for forming DT, and a DT model (CG model, voice synthesis model, behavior model, interaction model, etc.).
  • the licensor ID is the ID of the licensor who has permitted the registrant to use his/her DT data.
  • Permitted use is the use of own DT data that the registrant has permitted to the licensor.
  • the permission range and permission content are the range and content of the DT data that the registrant permits the licensor to use, such as all or part of the performance time, positive emotions, and the like.
  • the log data storage unit 13 is a functional unit that stores log data collected during past performances of a party in association with the registrant ID of the party. For example, as shown in FIG. 3, the log data storage unit 13 stores sensing data such as image data, voice data, position data, heartbeat value, acceleration, speed, body temperature, etc. of the person concerned, and the sensing data for each collection time or measurement time. Estimated physical state (movement) data directly estimated from the data, estimated inner emotion data, and thought/emotion data of the person concerned are associated and stored.
  • the authentication unit 14 In order to access the DT data and the log data related to the DT data, the authentication unit 14 allows the users who use the information processing apparatus 1 (not only the parties but also the parties other than the parties such as the licensors who are licensed to use the DT of the parties). ) is a functional part that authenticates For example, the authentication unit 14 authenticates whether the user (in this case, the party) and the user's digital twin match.
  • the authentication unit 14 is a functional unit that determines whether or not the usage of DT data by the user of the information processing device 1 matches the set permitted usage.
  • the sensing unit 15 collects sensing data from a camera or the like during the performance of the party, obtains the current and future physical state (movement) of the party using the sensing data, and determines the performance of the party based on the physical state of the party. It is a functional part that estimates and calculates present and future inner feelings.
  • the sensing unit 15 obtains the present and future physical states of the person concerned using the estimated physical state (movement) data and the estimated inner feeling data directly estimated from the sensing data, and calculates the present and future physical state of the person concerned. It is a functional part that estimates and calculates the inner feelings of In other words, the sensing unit 15 estimates the physical state and inner feelings of the person concerned by using not only raw sensing data but also motion and emotion data whose meaning is understood from the sensing data.
  • the sensing unit 15 uses past log data storing data that matches or is similar to the sensing data, estimated physical state (motion) data estimated from the sensing data, and estimated inner emotion data to determine the current and It is a functional unit that estimates and calculates future physical conditions and current and future internal emotions.
  • the sensing unit 15 may estimate the internal feeling from the physical state, predict the physical state from the internal feeling, or calculate the physical state and the internal feeling from past log data. Prediction and estimation may be performed at the same time.
  • the sensing unit 15 obtains the present and future physical conditions of the person concerned based on the time-varying changes in the time-varying data stored in the past log data, This is a functional unit that estimates and calculates emotions.
  • the past log data is, for example, the past log data of the person concerned, or the past log data of others for the person concerned.
  • the processing unit 16 converts, modifies, manipulates, processes, edits, deletes, etc. the present and future internal emotions of the party estimated and calculated by the sensing unit 15 within the scope and content of permission set by the party. is a functional unit that performs processing (representation change processing).
  • the output unit 17 reads out the DT data of the party from the DT data storage unit 12, outputs the DT data and the processed current and future inner feelings of the party to the virtual space server 2, and outputs the DT data to the virtual space server 2. It is a functional part that makes the DT of the relevant party explain the inner feelings after processing in real time during the performance of the performance.
  • FIG. 4 is a diagram showing a processing flow example of the information processing apparatus 1. As shown in FIG. The registration data shown in FIG. 2 is set in the DT data storage unit 12 . The log data storage unit 13 stores past log data shown in FIG.
  • Step S1 First, the authentication unit 14 authenticates a user who uses the information processing apparatus 1, and further confirms whether or not the usage of DT data by the user matches the set permitted usage.
  • the authentication unit 14 determines whether or not the ID input by the user matches the registrant ID or licenser ID in the registration data, and further determines whether the usage of the DT data input by the user matches the license in the registration data. It is determined whether or not they match the purpose, and if they match, use of the registered data and log data is permitted, and if they do not match, use of the registered data and log data is prohibited.
  • the authentication unit 14 determines whether or not the face shape of the face image of the user (in this case, the person performing the performance) photographed by the camera matches the face shape of the face image in the DT data. determines whether or not the usage of the DT data entered matches the permitted usage in the registered data, and if both match, the registered data and log data can be used; and use of log data is prohibited.
  • the authentication unit 14 uses biometric authentication data such as fingerprints, irises, voiceprints, veins, writing pressure, handwriting, and gait, lifestyle/behavior pattern data such as location information and service usage trends, or preset data.
  • a method to confirm the match of the ID/password entered at the time of use a one-time password output by a one-time password generator distributed in advance, an SMS to a pre-registered phone number or an email to an email address Notification information or the like may be used.
  • Step S2 Next, the sensing unit 15 collects sensing data regarding the party during the performance, and stores the sensing data in the new log data of the party.
  • the sensing unit 15 may include a camera that captures the person during the performance, a microphone that picks up the voice of the person, a GPS that measures the latitude and longitude of the person, a heart rate monitor attached to the wrist of the person, Receive sensing data such as image data, voice data, position data, heartbeat value, acceleration, speed, body temperature, etc. of the person from an accelerometer attached to the waist, and store the sensing data in the new log data of the person. .
  • Step S3 Next, in the next step S4, the sensing unit 15 converts the sensing data, which is raw data, into It directly means or transforms the sensing data into behavioral and emotional data that is directly understood.
  • the sensing unit 15 uses the collected sensing data to calculate the current (most recent) estimated motion and estimated emotion of the party, and stores the current estimated motion and estimated emotion in the new log of the party. Add to data.
  • An example of new log data is shown in FIG.
  • the sensing unit 15 estimates the current action of "looking at the goal at the position in the central area" from the image data and the position data, and estimates the current emotion of "tension” from the heart rate value. do. Thereafter, the sensing unit 15 stores the current estimated motion and estimated emotion in the estimated motion column and estimated emotion column of the new log data.
  • the sensing unit 15 estimates the current motion of "17 km/h” from the acceleration, and estimates the current emotion of "tired” from the heartbeat value. Thereafter, the sensing unit 15 stores the current estimated motion and estimated emotion in the estimated motion column and estimated emotion column of the new log data.
  • Steps S2 and S3 are performed periodically.
  • the sensing unit 15 associates the sensing data, the estimated motion and the estimated emotion at that time with the time, and stores them in a new record of the new log data every time it is periodically executed.
  • Step S4 In steps S4 and S5, the person's actions and inner feelings are predicted/estimated.
  • the sensing unit 15 estimates the thoughts of the parties at the current timing and what they will do next while playing soccer. Infer situations that cannot be unambiguously sensed by other devices even if they are 'current'. For example, the sensing unit 15 presumes that ⁇ the body is preparing to transfer the weight to the left leg at any time by pretending to put the weight on the right leg, so as to be ready for the next movement''. .
  • Step S4 will be explained.
  • the sensing unit 15 uses one or more of new log data (Fig. 5) and past log data (Fig. 3) to predict the current and future actions of the parties.
  • the sensing unit 15 compares the new log data of the party with the past log data of the party, and searches for records of past log data that match or are similar to records near the current time of the new log data. Then, the sensing unit 15 determines how the behavior of the participants during the performance will change immediately (currently) and a little later (future) based on changes in the contents and values of the past log data stored after the hit record. Predict what
  • the sensing unit 15 refers to the estimated motion and estimated emotion of the new log data (frame D1 in FIG. 5), and searches for past log data that has an estimated motion and estimated emotion that match the estimated motion and estimated emotion ( Frame D2 in FIG. 3). Then, the sensing unit 15 predicts the current action of the player as "checking the positions of the surrounding players" from the estimated actions stored after the frame D2 of the past log data, and predicts the future action of the player as " shoot.” Predict.
  • the sensing unit 15 refers to the acceleration of the new log data, and if the person was running at “20 km/h” 10 minutes ago, but now is running at “17 km/h”, the running state is changed. Acceleration groups with similar driving conditions are extracted from the past log data of the concerned party. Then, in the similar past log data, if the vehicle is running at ⁇ 15 km/h'' in 10 minutes, the sensing unit 15 predicts that the vehicle will run at ⁇ 15 km/h'' in 10 minutes from the current state.
  • the sensing unit 15 uses only the new log data to obtain the estimated motion stored in the estimated motion column of the new log data (the current (closest The current (estimated motion) may be used as the current motion as it is.
  • the sensing unit 15 In addition to the past log data of the party, the sensing unit 15 also collects past log data of others who match or are similar to the party in position, physical ability, movement speed, movement tendency, personality, award history, etc. Past log data of others, information in textbooks and feature articles in the relevant field, etc. can be used as targets for comparison. In this case, the sensing unit 15 predicts the present and future actions of the person concerned from changes in the contents and values of the other person's past log data. When there is a plurality of past log data of others, the sensing unit 15 predicts the present and future actions of the party from the average action contents and average numerical changes of the plurality of past log data.
  • the sensing unit 15 adds the predicted current and future actions of the party to the new log data.
  • Step S5 Next, the sensing unit 15 uses one or more of the new log data (FIG. 5), the past log data (FIG. 3), and the present and future actions of the party predicted in step S4 to determine the current and future inner thoughts of the party. Estimate emotional feelings and thoughts.
  • the sensing unit 15 performs machine learning on current and past heartbeat values, electroencephalograms, facial expressions, voices, etc. of the parties stored in the new log data to estimate the current and future emotions of the parties. For example, if the current heartbeat value is high and the facial expression is straight, the sensing unit 15 estimates the current emotion of "tense.” For example, if the heartbeat value from the past to the present tends to rise and the facial expression changes from a smiling face to a serious one, the sensing unit 15 estimates the future feeling of being "tired" in a few minutes.
  • the present and future inner feelings and thoughts of the parties can also be estimated by the same method as the method of predicting the present and future actions of the parties described in step S4. Specifically, the sensing unit 15 searches for the past log data of the party that matches or is similar to the new log data of the party, and from the content of the past log data stored after the hit record, the party who is performing It is possible to estimate the current and future emotions of
  • the sensing unit 15 detects the estimated emotion of "concentration” corresponding to the estimated motion of "checking the position of the surrounding players" estimated in step S4 from the estimated motion and estimated emotion of the past log data (FIG. 3). is estimated as the current emotion, and the estimated emotion “joy” corresponding to the estimated action “shoot” is estimated as the future emotion.
  • the sensing unit 15 uses only the new log data to obtain the estimated emotion stored in the estimated emotion column of the new log data (the current (close to recent emotion estimated from the sensing data in step S3)
  • the current estimated emotion may be used as the current emotion as it is.
  • the sensing unit 15 also detects how the participants are feeling and thinking now and in the future during the performance.
  • Information such as feelings and thoughts (information stored in the person's thoughts and feelings column in Fig. 3), (2) Information such as feelings and thoughts that other people who performed similar actions looked back on at that time, ( 3) Information on the target object, person, and positional relationship with the surroundings in front of the person's line of sight; may
  • Emotional information may be classified according to psychological classifications such as emotions, eight major emotions, Ekman's 46 types of emotions, and Spinoza's 48 types of emotions.
  • the sensing unit 15 adds the estimated present and future internal feelings and thoughts of the parties to the new log data.
  • the information about the person in the past log data may be stored as text information in the estimated emotion column of the new log data.
  • the time when the goal was reached may be extracted from sensing data, TV relay information, etc., and stored in the "person's story, thought, emotion" column together with log data such as sensing data at that time.
  • the numerical value of the acquired sensing data may be used as it is, or the semantic unit of motion (“run,” “kick,” “laugh,” etc.) may be grouped using machine learning, etc. may
  • Step S6 Next, the processing unit 16 converts, processes, manipulates, processes, edits, deletes, etc. the estimated current and future internal emotions of the party within the scope and content of permission set by the party. processing (representation change processing).
  • Step S7 Finally, the output unit 17 reads out the DT data of the party from the DT data storage unit 12, and outputs the DT data itself or the shape of the DT data or the transition of the voice using the current and future inner feelings of the party as input.
  • the information is output to the virtual space server 2 to allow the DT of the party to explain the inner feelings of the party after processing in real time during the performance of the party.
  • the player's DT can explain the player's play in a virtual space or on television in real time at the interview table during a soccer match (see FIG. 6).
  • the DT of the concerned party explains his or her current mental and physical condition to the DT of the doctor. can be done.
  • it can be applied to various fields such as Olympic events, go, and shogi.
  • the sensing unit 15 estimates the present emotion of the person concerned as "concentration” and the future emotion of the person concerned as "joy” from the estimated emotions stored after frame D2 of the past log data shown in FIG. We estimate that After that, the sensing unit 15 predicts the estimated motion of “checking the positions of surrounding players” corresponding to the estimated emotion of “concentration” as the current motion, and predicts the estimated motion of “shooting” corresponding to the estimated emotion of “joy”. This estimated motion is predicted as a future motion.
  • the information processing apparatus 1 includes the authentication unit 14 that authenticates the licensor who is licensed to use the DT of the party performing the performance, the sensing data collected during the performance of the party, and the sensing data a sensing unit 15 for obtaining the physical state of the party using the , and estimating and calculating the internal feelings of the party based on the physical state of the party; and an output unit 17 that makes the digital twin explain, it is possible to provide a technology that allows the participants to speak their own feelings and thoughts to the DT of the participants themselves in real time during the performance.
  • the information processing apparatus 1 of the present embodiment described above includes, for example, a CPU 901, a memory 902, a storage 903, a communication device 904, an input device 905, and an output device 906, as shown in FIG. It can be realized using a general-purpose computer system.
  • Memory 902 and storage 903 are storage devices.
  • each function of the information processing apparatus 1 is realized by executing a predetermined program loaded on the memory 902 by the CPU 901 .
  • the information processing device 1 may be implemented by one computer.
  • the information processing device 1 may be implemented by a plurality of computers.
  • the information processing device 1 may be a virtual machine implemented in a computer.
  • Programs for the information processing device 1 can be stored in computer-readable recording media such as HDDs, SSDs, USB memories, CDs, and DVDs.
  • the program for information processing device 1 can also be distributed via a communication network.

Abstract

情報処理装置１は、パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証する認証部１４と、前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するセンシング部１５と、前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させる出力部１７と、を備える。

Description

情報処理装置、情報処理方法、及び、情報処理プログラム
　本発明は、情報処理装置、情報処理方法、及び、情報処理プログラムに関する。
　従来、野球の試合の概要を伝える戦評文章を生成する技術が知られている（非特許文献１）。また、プロ棋士の将棋の対局において現在の局面の形勢等を解説する技術が知られている（非特許文献２、３）。
工藤、外３名、"WPAを用いた野球の戦評の自動生成"、情報知識学会誌、Vol.29、No.2、2019年、p.181-p.186 金子、"コンピュータ将棋を用いた棋譜の自動解説と評価"、p.9-p.16 小田、外１名、"戦況の推移を考慮した棋譜解説のための棋譜の分割"、2019年度 電気・情報関係学会九州支部連合大会、10-2A-06、p.413-p.414
　しかし、野球選手やプロ棋士等の当事者はパフォーマンス中であり、当該当事者は自身のパフォーマンス中にリアルタイムで別の仕事を受けることができない。そのため、パフォーマンス中の自身の心身の状態を含む状況解説等は、非リアルタイムで当事者本人がインタビューに答えて心境等を語り、又は他の有識者がリアルタイムに当事者の状態を推測して語る方法が採られていた。
　本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、当事者がパフォーマンス中にリアルタイムで自身の感情や思考を当事者本人らしく語らせることが可能な技術を提供することである。
　本発明の一態様の情報処理装置は、パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証する認証部と、前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するセンシング部と、前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させる出力部と、を備える。
　本発明の一態様の情報処理方法は、情報処理装置で行う情報処理方法において、パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証するステップと、前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するステップと、前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させるステップと、を行う。
　本発明の一態様の情報処理プログラムは、上記情報処理装置としてコンピュータを機能させる。
　本発明によれば、当事者がパフォーマンス中にリアルタイムで自身の感情や思考を当事者本人らしく語らせることが可能な技術を提供できる。
図１は、情報処理装置の機能ブロック構成例を示す図である。 図２は、ＤＴデータ等の登録データの例を示す図である。 図３は、過去ログデータの例を示す図である。 図４は、情報処理装置の処理フロー例を示す図である。 図５は、新規ログデータの例を示す図である。 図６は、当事者のＤＴによる当事者の感情を説明するイメージを示す図である。 図７は、情報処理装置のハードウェア構成例を示す図である。
　以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。
　［発明の概要］
　本発明は、当事者に代わり当事者本人の内面的感情（思考を含む）を説明するＤＴ（デジタルツイン）に関する発明である。特に人を仮想空間上に表現することで生まれ得るビジネスを意識した発明である。
　本発明は、当事者のパフォーマンス中のセンシングデータを収集し、当該センシングデータを用いて当該当事者の身体状態を求め、当該当事者の身体状態に基づき当該当事者の内面的感情を推定計算し、当該当事者のパフォーマンス中にリアルタイムで当該当事者の内面的感情を当該当事者のＤＴに説明させる。これにより、当事者がパフォーマンス中であっても、場所や時間の制限無く、デジタル化された当事者のＤＴを呼び出し、パフォーマンス中の内面的感情をリアルタイムでＤＴにより当事者本人の言葉で語らせることを実現する。
　［情報処理装置の構成例］
　図１は、本実施形態に係る情報処理装置１の機能ブロック構成例を示す図である。当該情報処理装置１は、当事者のパフォーマンス中にリアルタイムで当事者本人の内面的感情を当該当事者のＤＴに説明させる装置、サーバ、コンピュータである。
　本実施形態に係る情報処理装置１は、例えば、登録部１１と、ＤＴデータ記憶部１２と、ログデータ記憶部１３と、認証部１４と、センシング部１５と、加工部１６と、出力部１７と、を備える。
　登録部１１は、当事者からの提供データに基づき当該当事者のＤＴデータを作成し、当該ＤＴデータを登録者ＩＤに関連付けて、更に当該登録者ＩＤに対して当該ＤＴデータへのアクセスを可能とする管理者権限を付与してＤＴデータ記憶部１２に登録する機能部である。
　また、登録部１１は、上記登録者ＩＤ及びＤＴデータに対して、上記当事者が設定した、当該ＤＴデータの利用を許諾する許諾者ＩＤ、当該ＤＴデータの利用の許諾用途、当該ＤＴデータの利用や内面的感情の説明の許諾範囲及び許諾内容を更に関連付けてＤＴデータ記憶部１２に登録する機能部である。
　ＤＴデータ記憶部１２は、登録部１１が登録したＤＴデータ等の登録データを読み出し可能に記憶する機能部である。例えば、ＤＴデータ記憶部１２は、図２に示すように、登録者毎に、登録者ＩＤ、ＤＴデータ、許諾者ＩＤ、許諾用途、許諾範囲及び許諾内容を関連付けて記憶する。ＤＴデータとは、例えば、顔画像、身長、音声等、ＤＴを形成するための要素となるデータ、当該ＤＴを形成するための要素となるデータに基づき形成されたＤＴモデル（ＣＧモデル、音声合成モデル、動作モデル、対話モデル等）である。許諾者ＩＤとは、登録者が自身のＤＴデータを利用することを許諾した許諾者のＩＤである。許諾用途とは、登録者が許諾者に対して許可した自身のＤＴデータの用途である。許諾範囲及び許諾内容とは、登録者が許諾者に対して利用することを許可した自身のＤＴデータの範囲及び内容であり、例えば、パフォーマンスの時間の全部又は一部、肯定感情等である。
　ログデータ記憶部１３は、当事者の過去のパフォーマンス実施時に収集等したログデータを当該当事者の登録者ＩＤに関連付けて記憶する機能部である。例えば、ログデータ記憶部１３は、図３に示すように、収集時刻や計測時刻毎に、当事者の画像データ、音声データ、位置データ、心拍値、加速度、速度、体温等といったセンシングデータ、当該センシングデータから直接推定された推定身体状態（動作）データ及び推定内面的感情データ、当事者本人談の思考・感情データを関連付けて記憶する。
　認証部１４は、ＤＴデータ及びＤＴデータに関連するログデータにアクセスするため、情報処理装置１を利用するユーザ（当事者に限らず、当事者のＤＴの利用許諾を受けた許諾者等の当事者以外を含む）を認証する機能部である。例えば、認証部１４は、ユーザ（この場合は当事者）とユーザのデジタルツインとが一致するか否かを認証する。
　また、認証部１４は、情報処理装置１を利用するユーザによるＤＴデータの利用用途が設定済みの許諾用途に一致するか否かを判定する機能部である。
　センシング部１５は、カメラ等から当事者のパフォーマンス中のセンシングデータを収集し、当該センシングデータを用いて当該当事者の現在及び将来の身体状態（動作）を求め、当該当事者の身体状態に基づき当該当事者の現在及び将来の内面的感情を推定計算する機能部である。
　また、センシング部１５は、センシングデータから直接推定されていた推定身体状態（動作）データ及び推定内面的感情データを用いて、上記当事者の現在及び将来の身体状態を求め、上記当事者の現在及び将来の内面的感情を推定計算する機能部である。つまり、センシング部１５は、生データであるセンシングデータに加えて、当該センシングデータから意味理解される動作及び感情に関するデータも更に用いて、当事者の身体状態及び内面的感情を推定する。
　また、センシング部１５は、センシングデータやセンシングデータから推定した推定身体状態（動作）データ及び推定内面的感情データに一致又は類似するデータを格納した過去のログデータを用いて、上記当事者の現在及び将来の身体状態や現在及び将来の内面的感情を推定計算する機能部である。この場合、センシング部１５は、過去のログデータより、身体状態から内面的感情を推定してもよいし、内面的感情から身体状態を予測してもよいし、身体状態と内面的感情とを同時に予測・推定してもよい。
　また、センシング部１５は、上記過去のログデータに格納された時間的に変化するデータの経時的変化に基づき、上記当事者の現在及び将来の身体状態を求め、上記当事者の現在及び将来の内面的感情を推定計算する機能部である。過去のログデータとは、例えば、当事者の過去ログデータ、当事者にとって他人の過去ログデータである。
　加工部１６は、センシング部１５が推定計算した当事者の現在及び将来の内面的感情を、当該当事者が設定した許諾範囲及び許諾内容の範囲内で、変換、加工、操作、処理、編集、削除等の加工処理（表現変更処理）を行う機能部である。
　出力部１７は、上記当事者のＤＴデータをＤＴデータ記憶部１２から読み出し、当該ＤＴデータと加工処理後の当該当事者の現在及び将来の内面的感情とを仮想空間サーバ２に出力して、上記当事者のパフォーマンス中にリアルタイムで加工処理後の内面的感情を当該当事者のＤＴに説明させる機能部である。
　［情報処理装置の動作例］
　図４は、情報処理装置１の処理フロー例を示す図である。ＤＴデータ記憶部１２には、図２に示した登録データが設定されている。ログデータ記憶部１３には、図３に示した過去ログデータが記憶されている。
　ステップＳ１；
　まず、認証部１４は、情報処理装置１を利用するユーザを認証し、更に当該ユーザによるＤＴデータの利用用途が設定済みの許諾用途に一致するか否かを判定する確認する。
　例えば、認証部１４は、ユーザの入力ＩＤが登録データ内の登録者ＩＤ又は許諾者ＩＤに一致するか否かを判定し、更に当該ユーザが入力したＤＴデータの利用用途が登録データ内の許諾用途に一致するか否かを判定し、いずれも一致する場合には登録データ及びログデータの利用を可とし、一致しない場合には登録データ及びログデータの利用を不可とする。
　例えば、認証部１４は、カメラで撮影したユーザ（この場合はパフォーマンスを行う当事者）の顔画像の顔形がＤＴデータ内の顔画像の顔形に一致するか否かを判定し、更に当該ユーザが入力したＤＴデータの利用用途が登録データ内の許諾用途に一致するか否かを判定し、いずれも一致する場合には登録データ及びログデータの利用を可とし、一致しない場合には登録データ及びログデータの利用を不可とする。認証部１４は、顔画像以外に、指紋、虹彩、声紋、静脈、筆圧、筆跡、歩容等の生体認証データ、位置情報やサービス利用動向等の生活・行動パターンデータ、もしくは事前に設定し、利用の際に入力したＩＤ／パスワード等の一致を確認する方法や、事前に配布したワンタイムパスワード生成器が出力したワンタイムパスワード、事前に登録した電話番号へのＳＭＳやメールアドレスへのメール通知情報等を用いてもよい。
　ステップＳ２；
　次に、センシング部１５は、パフォーマンス中の当事者に関するセンシングデータを収集し、当該センシングデータを当該当事者の新規ログデータに格納する。
　例えば、センシング部１５は、パフォーマンス中の当事者を撮影するカメラ、当該当事者の音声を収音するマイク、当該当事者の緯度経度を計測するＧＰＳ、当該当事者の手首に付けられた心拍計、当該当事者の胴回りに付けられた加速度センサ等から、当事者の画像データ、音声データ、位置データ、心拍値、加速度、速度、体温等のセンシングデータを受信し、当該センシングデータを当該当事者の新規ログデータに格納する。
　ステップＳ３；
　次に、センシング部１５は、次のステップＳ４において加速度等のセンシングデータが新規ログデータと過去ログデータ間で完全一致する可能性は低いことから、生データであるセンシングデータを、当該センシングデータが直接的に意味する又は当該センシングデータから直接的に理解される動作及び感情のデータに変換する。
　具体的には、センシング部１５は、収集したセンシングデータを用いて当事者の現在（直近に近い現在）の推定動作及び推定感情を算出し、当該現在の推定動作及び推定感情を当該当事者の新規ログデータに追加する。新規ログデータの例を図５に示す。
　例えば、センシング部１５は、当事者がサッカー選手の場合、画像データ及び位置データから「中央エリアの位置でゴールを見る」という現在の動作を推定し、心拍値から「緊張」という現在の感情を推定する。その後、センシング部１５は、当該現在の推定動作及び推定感情を新規ログデータの推定動作欄及び推定感情欄に格納する。
　例えば、センシング部１５は、当事者がマラソン選手の場合、加速度から「時速１７ｋｍ」という現在の動作を推定し、心拍値から「疲れている」という現在の感情を推定する。その後、センシング部１５は、当該現在の推定動作及び推定感情を新規ログデータの推定動作欄及び推定感情欄に格納する。
　ステップＳ２及びステップＳ３は、定期的に実行される。センシング部１５は、定期的な実行の都度、センシングデータとその時の推定動作及び推定感情とを時刻に関連付けて新規ログデータの新規レコードに格納する。
　ステップＳ４；
　ステップＳ４とステップＳ５では、当事者の動作及び内面的感情を予測・推定する。
　例えば、センシング部１５は、サッカーのプレイ中に、現時点のタイミングでの当事者の考えや次に何をするかを推定する。「現時点」のものであっても他のデバイスによって明にセンシングできない状況を推定する。例えば、センシング部１５は、「右足に体重を乗っけているように見せかけて、次に来る動きに対応できるよう、左足にもいつでも体重移行できるよう体のバランスで準備している等」を推定する。
　ステップＳ４について説明する。
　センシング部１５は、新規ログデータ（図５）、過去ログデータ（図３）を１つ以上用いて、当事者の現在及び将来の動作を予測する。
　具体的には、センシング部１５は、当事者の新規ログデータと当該当事者の過去ログデータとを比較し、新規ログデータの現時点付近のレコードに一致又は類似する過去ログデータのレコードを検索する。そして、センシング部１５は、ヒットしたレコード以降に格納されている過去ログデータの内容や値の変化から、パフォーマンス中の当事者の動作がこの直後（現在）及び少し後（将来）どのように変化するかを予測する。
　例えば、センシング部１５は、新規ログデータの推定動作及び推定感情を参照し（図５の枠Ｄ１）、当該推定動作及び推定感情に一致する推定動作及び推定感情を持つ過去ログデータを検索する（図３の枠Ｄ２）。そして、センシング部１５は、当該過去ログデータの枠Ｄ２以降に格納されている推定動作から、当事者の現在の動作を「周囲の選手の位置を確認」と予測し、当事者の将来の動作を「シュート」と予測する。
　例えば、センシング部１５は、新規ログデータの加速度を参照し、当事者は１０分前には「時速２０ｋｍ」で走っていたが、現在では「時速１７ｋｍ」で走っている場合に、当該走行状態に類似する走行状態を持つ加速度群を当該当事者の過去ログデータから抽出する。そして、センシング部１５は、当該類似の過去ログデータにおいて、更に１０分後には「時速１５ｋｍ」で走っていた場合、現在の状態から１０分後には「時速１５ｋｍ」で走る動作を予測する。
　当事者の現在及び将来の動作の予測方法は、上記以外に様々な方法が考えられる。例えば、現在の動作については、センシング部１５は、新規ログデータのみを用いて、新規ログデータの推定動作欄に格納された推定動作（ステップＳ３でセンシングデータから推定していた現在（直近に近い現在）の推定動作）をそのまま現在の動作としてもよい。
　また、センシング部１５は、当事者の過去ログデータ以外に、ポジション、身体能力、移動速度、動作傾向、性格、受賞歴等が当事者に一致又は類似する他者の過去ログデータ、当事者の周囲にいる他者の過去ログデータ、当該分野における教本や特集記事記載の情報等を比較対象として活用可能である。この場合、センシング部１５は、他者の過去ログデータの内容や値の変化から、当事者の現在及び将来の動作を予測する。他者の過去ログデータが複数ある場合、センシング部１５は、複数の過去ログデータの平均的動作内容や平均的数値変化から、当事者の現在及び将来の動作を予測する。
　その後、センシング部１５は、予測した当事者の現在及び将来の動作を新規ログデータに追加する。
　ステップＳ５；
　次に、センシング部１５は、新規ログデータ（図５）、過去ログデータ（図３）、ステップＳ４で予測した当事者の現在及び将来の動作を１つ以上用いて、当事者の現在及び将来の内面的感情・思考を推定する。
　例えば、センシング部１５は、新規ログデータに格納された現時点及びこれまでの当事者の心拍値、脳波、表情、声等を機械学習することで、当事者の現在及び将来の感情を推定する。例えば、センシング部１５は、現時点の心拍値が高く、表情が真顔である場合、「緊張」という現在の感情を推定する。例えば、センシング部１５は、過去から現在までの心拍値が上昇傾向にあり、表情が笑顔から真顔に変化している場合、数分後には「疲れている」という将来の感情を推定する。
　当事者の現在及び将来の内面的感情・思考についても、ステップＳ４で説明した当事者の現在及び将来の動作の予測方法と同様の方法で推定可能である。具体的には、センシング部１５は、当事者の新規ログデータに一致又は類似する当該当事者の過去ログデータを検索し、ヒットしたレコード以降に格納されている過去ログデータの内容から、パフォーマンス中の当事者の現在及び将来の感情を推定可能である。
　例えば、センシング部１５は、過去ログデータの推定動作及び推定感情（図３）から、ステップＳ４で推定していた「周囲の選手の位置を確認」という推定動作に対応する「集中」という推定感情を現在の感情として推定し、「シュート」という推定動作に対応する「喜び」という推定感情を将来の感情として推定する。
　当事者の現在及び将来の内面的感情・思考の推定方法についても、上記以外に様々な方法が考えられる。例えば、現在の感情については、センシング部１５は、新規ログデータのみを用いて、新規ログデータの推定感情欄に格納された推定感情（ステップＳ３でセンシングデータから推定していた現在（直近に近い現在）の推定感情）をそのまま現在の感情としてもよい。
　また、センシング部１５は、パフォーマンス中の当事者が現在及び将来どのように感じ、何を思考しているかを、（１）同様の過去ログデータが計測された際に、その時を当事者が振り返り語った感情や思考等の情報（図３の本人の思考・感情欄に格納されている情報）、（２）類似した動作を行った他者が、その時を振り返り語った感情や思考等の情報、（３）当事者の視線の先にある対象物体、人物の情報、周囲との位置関係情報、（４）パフォーマンス中のスポーツ等の教本等から得た場のルールやパターン情報等、を参考にして求めてもよい。
　なお、感情情報については、喜怒哀楽、８大感情、エクマンの４６種類の感情、スピノザの４８種類の感情等の心理学的分類によって分類してもよい。
　その後、センシング部１５は、推定した当事者の現在及び将来の内面的感情・思考を新規ログデータに追加する。過去ログデータの本人談の情報を、テキスト情報として新規ログデータの推定感情欄に格納してもよい。ゴールシーンの感情については、センシングデータやテレビ中継情報等からゴールした時刻を抽出し、当該時刻のセンシングデータ等のログデータとともに「本人談、思考、感情」欄に格納してもよい。なお、ログの単位は、取得したセンシングデータの数値をそのまま用いてもよいし、動作の意味単位（「走る」「蹴る」「笑う」）等に機会学習等を用いてグループ化したものを用いてもよい。
　ステップＳ６；
　次に、加工部１６は、推定した当事者の現在及び将来の内面的感情に対して、当該当事者が設定した許諾範囲及び許諾内容の範囲内で、変換、加工、操作、処理、編集、削除等の加工処理（表現変更処理）を行う。
　ステップＳ７；
　最後に、出力部１７は、当事者のＤＴデータをＤＴデータ記憶部１２から読み出し、当該当事者の現在及び将来の内面的感情をインプットとして、当該ＤＴデータそのものもしくは当該ＤＴデータの形状や音声の変移を仮想空間サーバ２に出力して、当該当事者のパフォーマンス中にリアルタイムで加工処理後の当該当事者の内面的感情を当該当事者のＤＴに説明させる。
　これにより、例えば、サッカー選手である当事者がサッカーの試合中にインタビュー席でリアルタイムに、当事者のＤＴが本人に代わって当事者本人のプレイを仮想空間やテレビで解説することができる（図６参照）。その他、仮想空間において、当事者のＤＴが医者のＤＴに対して現時点の自分自身の心身状況を説明する等、余命わずかな当事者が一斉に複数拠点、複数時点の医者に対してセカンドオピニオンを求めることができる。その他、オリンピック種目、囲碁、将棋等、様々な分野に適用可能である。
　［処理フローの変形例］
　図４に示した処理フロー例では、動作状態を予測した後に内面的感情を推定する場合を例に説明したが、過去ログデータを用いて動作状態及び内面的感情を予測・推定する場合には、内面的感情を推定した後に動作状態を予測してもよいし、動作状態の予測と内面的感情の推定とを同時に実行してもよい。例えば、センシング部１５は、図３に示した過去ログデータの枠Ｄ２以降に格納されている推定感情から、当事者の現在の感情を「集中」と推定し、当事者の将来の感情を「喜び」と推定する。その後、センシング部１５は、当該「集中」という推定感情に対応する「周囲の選手の位置を確認」という推定動作を現在の動作として予測し、当該「喜び」という推定感情に対応する「シュート」という推定動作を将来の動作として予測する。
　［効果］
　本実施形態によれば、情報処理装置１が、パフォーマンスを行う当事者のＤＴの利用許諾を受けた許諾者を認証する認証部１４と、前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するセンシング部１５と、前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させる出力部１７と、を備えるので、当事者がパフォーマンス中にリアルタイムで自身の感情や思考を当事者本人のＤＴに語らせることが可能な技術を提供できる。
　［その他］
　本発明は、上記実施形態に限定されない。本発明は、本発明の要旨の範囲内で数々の変形が可能である。
　上記説明した本実施形態の情報処理装置１は、例えば、図７に示すように、ＣＰＵ９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６と、を備えた汎用的なコンピュータシステムを用いて実現できる。メモリ９０２及びストレージ９０３は、記憶装置である。当該コンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、情報処理装置１の各機能が実現される。
　情報処理装置１は、１つのコンピュータで実装されてもよい。情報処理装置１は、複数のコンピュータで実装されてもよい。情報処理装置１は、コンピュータに実装される仮想マシンであってもよい。情報処理装置１用のプログラムは、ＨＤＤ、ＳＳＤ、ＵＳＢメモリ、ＣＤ、ＤＶＤ等のコンピュータ読取り可能な記録媒体に記憶できる。情報処理装置１用のプログラムは、通信ネットワークを介して配信することもできる。
　１：情報処理装置
　１１：登録部
　１２：ＤＴデータ記憶部
　１３：ログデータ記憶部
　１４：認証部
　１５：センシング部
　１６：加工部
　１７：出力部
　２：仮想空間サーバ
　９０１：ＣＰＵ
　９０２：メモリ
　９０３：ストレージ
　９０４：通信装置
　９０５：入力装置
　９０６：出力装置

Claims (8)

  1. 　パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証する認証部と、
    　前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するセンシング部と、
    　前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させる出力部と、
    　を備える情報処理装置。
  2. 　前記当事者が前記当事者のデジタルツインに許諾する範囲及び内容を登録する登録部と、
    　前記許諾する範囲及び内容で前記当事者の内面的感情を加工する加工部と、
    　を更に備える請求項１に記載の情報処理装置。
  3. 　前記センシング部は、
    　前記センシングデータから直接推定されていた推定身体状態データ及び推定内面的感情データを用いて、前記当事者の身体状態を求め、前記当事者の内面的感情を推定計算する請求項１又は２に記載の情報処理装置。
  4. 　前記センシング部は、
    　前記センシングデータ又は前記推定身体状態データ及び推定内面的感情データに一致するデータを格納した過去のログデータを用いて、前記当事者の身体状態と前記当事者の内面的感情を推定計算する請求項３に記載の情報処理装置。
  5. 　前記センシング部は、
    　前記過去のログデータに格納された時間的に変化するデータの経時的変化に基づき、前記当事者の将来の身体状態を求める請求項４に記載の情報処理装置。
  6. 　前記過去のログデータは、
    　前記当事者にとって他人の過去のログデータである請求項４又は５に記載の情報処理装置。
  7. 　情報処理装置で行う情報処理方法において、
    　パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証するステップと、
    　前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するステップと、
    　前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させるステップと、
    　を行う情報処理方法。
  8. 　請求項１乃至６のいずれかに記載の情報処理装置としてコンピュータを機能させる情報処理プログラム。
PCT/JP2021/013835 2021-03-31 2021-03-31 情報処理装置、情報処理方法、及び、情報処理プログラム WO2022208723A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023510017A JPWO2022208723A1 (ja) 2021-03-31 2021-03-31
PCT/JP2021/013835 WO2022208723A1 (ja) 2021-03-31 2021-03-31 情報処理装置、情報処理方法、及び、情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/013835 WO2022208723A1 (ja) 2021-03-31 2021-03-31 情報処理装置、情報処理方法、及び、情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2022208723A1 true WO2022208723A1 (ja) 2022-10-06

Family

ID=83458205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/013835 WO2022208723A1 (ja) 2021-03-31 2021-03-31 情報処理装置、情報処理方法、及び、情報処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2022208723A1 (ja)
WO (1) WO2022208723A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073661A1 (ja) * 2017-10-13 2019-04-18 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム
WO2020050134A1 (ja) * 2018-09-07 2020-03-12 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体
WO2020246032A1 (ja) * 2019-06-07 2020-12-10 日本電信電話株式会社 デジタルツイン演算装置、デジタルツイン演算方法、プログラム及びデータ構造

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073661A1 (ja) * 2017-10-13 2019-04-18 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム
WO2020050134A1 (ja) * 2018-09-07 2020-03-12 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体
WO2020246032A1 (ja) * 2019-06-07 2020-12-10 日本電信電話株式会社 デジタルツイン演算装置、デジタルツイン演算方法、プログラム及びデータ構造

Also Published As

Publication number Publication date
JPWO2022208723A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
Stylios et al. Behavioral biometrics & continuous user authentication on mobile devices: A survey
US20230114650A1 (en) Encryption and privacy protection using human attributes and behaviors
US20220138300A1 (en) Detecting apneic episodes via breathing analysis by correlation to environmental conditions and biofeedback
US20220385458A1 (en) Encrypted asset containers with centralized shareable credentials
US20220094550A1 (en) User movement and behavioral tracking for security and suspicious activities
US20220164424A1 (en) Bedside user device and id and user performance
US20230106024A1 (en) Personal ownership, management and stewardship of personal identifiable information
US20220093256A1 (en) Long-term health and mood monitoring
US20220382844A1 (en) Isolating and identifying humans using micro-vibration signals as unique fingerprints
US9223297B2 (en) Systems and methods for identifying a user of an electronic device
US20220130501A1 (en) Clinical drug trial data enriching using activity and behavioral analytics captured with personal devices and apps
Johnson et al. My thoughts are not your thoughts
US20220092165A1 (en) Health and mood monitoring
JP2014519124A (ja) オンライン体験のための感情に基づくユーザー識別
US20220092163A1 (en) Ad-hoc human identity analtyics prior to transactions
US20220092162A1 (en) User identity based on human breath analytics
US20220092164A1 (en) Machine learning lite
Bakhtiyari et al. Hybrid affective computing—keyboard, mouse and touch screen: from review to experiment
US20240022565A1 (en) Continuous id verification based on multiple dynamic behaviors and analytics
Cook et al. Self-recognition of avatar motion: how do I know it's me?
US20190020614A1 (en) Life log utilization system, life log utilization method, and recording medium
Garrido et al. SoK: Data privacy in virtual reality
WO2022208723A1 (ja) 情報処理装置、情報処理方法、及び、情報処理プログラム
CN107491716B (zh) 一种人脸认证方法及装置
JP6431264B2 (ja) 情報取得システム、情報取得方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21934891

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023510017

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18283290

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21934891

Country of ref document: EP

Kind code of ref document: A1