WO2024003993A1 - 内観予測装置、内観予測方法および内観予測プログラム - Google Patents
内観予測装置、内観予測方法および内観予測プログラム Download PDFInfo
- Publication number
- WO2024003993A1 WO2024003993A1 PCT/JP2022/025603 JP2022025603W WO2024003993A1 WO 2024003993 A1 WO2024003993 A1 WO 2024003993A1 JP 2022025603 W JP2022025603 W JP 2022025603W WO 2024003993 A1 WO2024003993 A1 WO 2024003993A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- introspection
- person
- prediction
- scene
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Definitions
- the present invention relates to an introspection prediction device, an introspection prediction method, and an introspection prediction program.
- Non-Patent Document 1 a technique for recognizing a person's facial expressions, etc. in real time is known (see Non-Patent Document 1). This technology outputs past information etc. from real-time information.
- the present invention has been made in view of the above, and its purpose is to predict the state of a person's introspection.
- an introspection prediction device includes a specifying unit that specifies information representing the characteristics of a person, information representing the specified characteristics of the person, and a scene. and a prediction unit that predicts the introspection value of the person in the scene using the identifying information.
- FIG. 1 is a diagram for explaining an overview of an introspection prediction device.
- FIG. 2 is a schematic diagram illustrating a schematic configuration of the introspection prediction device.
- FIG. 3 is a diagram illustrating a data structure of intervention information.
- FIG. 4 is a flowchart showing the introspection prediction processing procedure.
- FIG. 5 is a diagram illustrating a computer that executes an introspection prediction program.
- FIG. 1 is a diagram for explaining an overview of an introspection prediction device.
- the introspection prediction device 10 of the present embodiment predicts introspection values such as emotions of a person according to information such as personality characteristics regarding the person and situations such as dialogue.
- Introspective values include, for example, a pleasant atmosphere, enjoyment, motivation, concentration level, etc. in a dialog between multiple people.
- the information representing the characteristics of a person is specified using, for example, the results of a questionnaire or external appearance data such as audio and video images.
- the scene is identified using time-series appearance data. In the example shown in FIG. 1, a scene of dialogue between four people is illustrated.
- the introspection prediction device adjusts the color of the image displayed on the display or points the microphone at the person in accordance with preset intervention information, depending on the trend of predicted time-series changes in the predicted introspection values for each person.
- Direct intervention processing This makes it possible to change the introspection value of each person. For example, it is possible to intervene in a conversation to lift the mood of a person who tends to feel depressed during the conversation.
- FIG. 2 is a schematic diagram illustrating a schematic configuration of the introspection prediction device.
- the introspection prediction device 10 is realized by a general-purpose computer such as a personal computer, and includes an input section 11, an output section 12, a communication control section 13, a storage section 14, and a control section 15.
- the input unit 11 is realized using an input device such as a keyboard or a mouse, and inputs various instruction information such as starting processing to the control unit 15 in response to an input operation by an operator. Further, the input unit 11 is realized by a microphone, a camera, a sensor, etc., and receives external appearance data used in interior view prediction processing to be described later.
- the output unit 12 is realized by a display device such as a liquid crystal display, a printing device such as a printer, and the like.
- the communication control unit 13 is realized by a NIC (Network Interface Card) or the like, and controls communication between the control unit 15 and an external device such as a server via a network.
- the communication control unit 13 controls communication between the control unit 15 and a management device that manages data such as questionnaires and questionnaire responses used for introspection prediction, or camera images and audio, which will be described later.
- the storage unit 14 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.
- a processing program for operating the introspection prediction device 10 data used during execution of the processing program, and the like are stored in advance, or are temporarily stored each time processing is performed.
- the storage unit 14 stores intervention information 14a, a model 14b, etc. used in introspection prediction processing, which will be described later.
- the storage unit 14 may be configured to communicate with the control unit 15 via the communication control unit 13.
- FIG. 3 is a diagram illustrating the data structure of intervention information.
- the intervention information 14a includes items such as time, conditions, and intervention method.
- Time represents time t of a certain scene.
- the condition indicates a condition that is satisfied by the predicted introspection value at time t.
- the intervention method is information that specifies processing for a target such as a display or a microphone.
- An instruction unit 15d which will be described later, refers to the intervention information 14a and instructs execution of the process of the "intervention method" when the introspection value predicted for a certain person at "time t" satisfies the "condition".
- model 14b outputs predictive data of introspection values regarding the person in response to the input information representing the characteristics of the person and the information specifying the scene.
- the model 14b of this embodiment is trained to output predictive data of introspection values when inputted with information specifying a person and a scene, for example.
- the control unit 15 is implemented using a CPU (Central Processing Unit) or the like, and executes a processing program stored in a memory. Thereby, the control unit 15 functions as an acquisition unit 15a, a specification unit 15b, a prediction unit 15c, and an instruction unit 15d, as illustrated in FIG. 1, and executes an introspection prediction process to be described later. Note that each or a part of these functional units may be implemented in different hardware. For example, the instruction section 15d may be implemented as a separate device from other functional sections. Further, the control unit 15 may include other functional units.
- a CPU Central Processing Unit
- the acquisition unit 15a acquires questionnaire responses or appearance data.
- the acquisition unit 15a acquires questionnaire responses by the person to be processed via the input unit 11 or from a management device that manages various data via the communication control unit 13.
- the acquisition unit 15a also acquires video images, point cloud images, audio, and thermosensors of the person to be processed through the input unit 11 such as a camera, microphone, or sensor, or from a management device or the like through the communication control unit 13. , acquire appearance data such as line of sight measurement results.
- the specifying unit 15b specifies information representing characteristics of a person.
- the identifying unit 15b identifies information representing the characteristics of the person using at least one of appearance data or questionnaire responses regarding the person.
- the identification unit 15b digitizes information such as a person's personality characteristics.
- the specifying unit 15b quantifies the response tendency of the answers obtained by conducting a questionnaire including question items that can determine the Big Five characteristics for the person to be processed.
- the question items of the questionnaire are classified into categories, and the specifying unit 15b calculates the average value of the answer results for each classified category, and uses the average value as a numerical value of the personality characteristic.
- the specifying unit 15b may quantify the personality characteristics for each arbitrary number of categories using appearance data such as video images, point cloud images, audio, thermosensors, and gaze measurement results.
- appearance data such as video images, point cloud images, audio, thermosensors, and gaze measurement results.
- a model representing the relationship between the response results of predetermined questionnaire items such as BigFive and one or more predetermined appearance data is learned in advance by machine learning. Then, by inputting one or more predetermined appearance data of an arbitrary person into the model, the questionnaire response results for that person are estimated, and the estimated questionnaire response results are quantified in the same way as above. good.
- the above model may be trained to directly output numerical values of personality traits instead of the results of questionnaire responses.
- the questionnaire is not limited to the BigFive characteristics, but may be one in which arbitrary question items are set so that predetermined personality characteristics can be determined.
- the specifying unit 15b may store information representing characteristics of a person specified in advance in the storage unit 14 in association with information for identifying the person.
- the prediction unit 15c described below may use the information representing the characteristics of the person stored in the storage unit 14, or may use the information representing the characteristics of the person newly specified by the identification unit 15b.
- the prediction unit 15c predicts the introspection value of the person in the scene using information representing the characteristics of the specified person and information specifying the scene. Specifically, the prediction unit 15c outputs introspective values such as emotions of this person in a certain scene by machine learning using information representing the digitized characteristics of the person. The prediction unit 15c can also output an introspection value in a future scene than the scene in which the introspection value was output.
- the prediction unit 15c predicts the person's introspection value in the specified scene using the relationship between a plurality of scenes and the introspection value of this person in each scene. In other words, the prediction unit 15c learns each introspection value of this person in multiple scenes and the degree of association between these multiple scenes for a person specified by information representing quantified characteristics. Predicting the introspection value of a person in a certain scene.
- the prediction unit 15c inputs information representing the characteristics of the person and one or more predetermined external appearance data regarding the person to the model 14b, thereby outputting predicted data of the introspection value.
- the number of scenes F is not limited to one, and it is possible to predict introspection values for a plurality of scenes.
- the prediction unit 15c identifies a scene using appearance data including time-series information about a person. That is, the degree of association between the scene S and the scene F can be expressed by including time-series information such as the date and time of the conversation and the member composition.
- the degree of relevance is higher than that of two other dialogue scenes held on the same day with the same member composition. low.
- the feature amount representing the degree of association between scenes is not limited to the above date and time and member composition, or both, and may include other feature amounts, but the number of feature amounts may be dynamically changed. and the maximum value changes. Therefore, when calculating introspection values between related scenes, the number of feature amounts and their respective values are fixed.
- the prediction unit 15c outputs prediction data of the introspection value of the scene S. Furthermore, the prediction unit 15c uses an arbitrary function that outputs predicted data of introspection values using time series information as a variable, based on the predicted data of introspection values in each of scene F and scene S, and the degree of association between scene F and scene S. may be derived and output. In this case, the function is used for scenes other than scene F given as input to the machine learning model 14b as well as for other scenes for which the degree of relevance including time series information with scene S is known. It becomes possible to output predicted data of introspection values.
- the data on the introspective value of the person may be obtained in advance as learning data by combining the data on the external appearance and information representing the characteristics of the person.
- the prediction unit 15c may predict the introspection value in the specified scene using the introspection value predicted in the related scene. That is, the prediction unit 15c may receive an introspection value in a related scene as input. For example, regarding scene A and scene B that are consecutive in time series, the introspective value of scene B may be influenced by the introspective value of scene A. Therefore, if the predicted data of the introspection value of scene A is output before the acquisition of the introspection value of scene B, the predicted data of the introspection value of scene A is also used in machine learning to predict the introspection value of scene B. Treat as input.
- the prediction unit 15c determines whether or not scene A and scene B are continuous by referring to time series information included in the appearance data used to predict the introspection value. In other words, if the time difference in the time-series information is within the threshold, the predicted data of the introspection value that has already been output is treated as input for machine learning. Note that this threshold value does not take into account the time before or after the scene. In other words, when scenes A and B are consecutive in time series, if the predicted data of the introspection value of scene B is output before predicting scene A, the predicted data of the introspection value of scene B is Used as input for prediction.
- the prediction unit 15c outputs information such as a time series and name that can identify a scene, predicted data of introspection values, and a function.
- the identifying unit 15b and the predicting unit 15c execute processing for the number of people.
- the instruction unit 15d instructs execution of a predetermined intervention process in response to a change in the introspection value.
- the instruction unit 15d instructs execution of the intervention process according to the intervention information 14a shown in FIG. 3, depending on the tendency of change such as a downward trend, an upward trend, or a stagnation tendency in the introspection value.
- an intervention process is illustrated when the change in the introspection value is on a downward trend.
- Examples of the intervention method shown in FIG. 3 include "pointing a movable microphone” and “adjusting the image displayed on the display.” Thereby, for example, when there is a subject who meets the conditions of the intervention information 14a, it becomes possible to perform intervention processing such as filling the display with a theme color preset for each subject.
- the instruction unit 15d performs processing in the order of processing by the prediction unit 15c. For example, if there are subjects A, B, C, and D, and the instruction unit 15d receives the prediction data of the introspection value in the scene S output by the prediction unit 15c in the order of A, B, C, and D, then Instructs execution of intervention processing. Specifically, when A and B satisfy the condition in the first line of the intervention information 14a, the intervention method process is executed for A and B in that order.
- a separate intervention method corresponding to the plurality of people may be set, for example, "point the microphone at the center of the plurality of people".
- the instruction unit 15d may instruct processing for a later person without waiting for the completion of processing for the person received from the prediction unit 15c. For example, even if the duration of the intervention method instructed to subject A has not yet expired, subject B may be immediately instructed to execute the process of the intervention method. For example, in the case of an intervention method in which a movable microphone is pointed, the microphone is initially pointed at subject A, but before 10 seconds have elapsed, the command for subject A is discarded and the microphone is pointed at subject B.
- FIG. 4 is a flowchart showing the introspection prediction processing procedure.
- the flowchart in FIG. 4 is started, for example, at the timing when an operation input instructing to start the introspection prediction process is made.
- the identifying unit 15b digitizes information such as personality characteristics of the person using at least one of appearance data or questionnaire responses regarding the person (step S1).
- the prediction unit 15c predicts the introspection value of the person in the scene using the acquired information representing the characteristics of the person and information specifying the scene (step S2). For example, the prediction unit 15c outputs an introspective value such as the emotion of this person in a certain scene by machine learning using information representing the digitized characteristics of the person. The prediction unit 15c can also output future introspection values from the scene in which the introspection values have been output.
- the prediction unit 15c predicts the person's introspective value in the specified scene using the relationship between the plurality of scenes and the introspective value of this person in each scene. In other words, the prediction unit 15c learns each introspection value of this person in multiple scenes and the degree of association between these multiple scenes for a person specified by information representing quantified characteristics. Predicting the introspection value of a person in a certain scene.
- the prediction unit 15c inputs information representing the characteristics of the person and one or more predetermined external appearance data regarding the person to the model 14b, thereby outputting predicted data of the introspection value.
- the prediction unit 15c identifies a scene using appearance data that includes time-series information about a person. Furthermore, the prediction unit 15c can also predict the introspection value in the specified scene using the introspection value predicted in the related scene.
- the instruction unit 15d instructs execution of a predetermined intervention process according to the change in the introspection value (step S3).
- the instruction unit 15d instructs execution of the intervention process according to the intervention information 14a, depending on a tendency of change such as a downward trend, an upward trend, or a stagnation tendency of the introspection value. This completes a series of introspection prediction processes.
- the specifying unit 15b specifies information representing characteristics of a person.
- the prediction unit 15c predicts the introspection value of the person in the scene using information representing the characteristics of the specified person and information specifying the scene.
- the prediction unit 15c predicts the introspection value in the specified scene using the relationship between the plurality of scenes and the introspection value of the person in each scene. Furthermore, the prediction unit 15c predicts the introspection value in the specified scene using the introspection value predicted in the related scene. Furthermore, the prediction unit 15c identifies a scene using appearance data including time-series information regarding a person.
- the specifying unit 15b specifies information representing the characteristics of the person using at least one of appearance data regarding the person or questionnaire responses.
- the instruction unit 15d instructs execution of a predetermined intervention process in response to changes in the introspection value.
- a predetermined intervention process for example, when an undesirable introspection value is predicted in the future, it becomes possible to determine and execute the timing of intervention processing to change the introspection value.
- the introspection prediction device 10 can be implemented by installing in a desired computer an introspection prediction program that executes the above-mentioned introspection prediction process as packaged software or online software. For example, by causing the information processing device to execute the above-mentioned introspection prediction program, the information processing device can be made to function as the introspection prediction device 10.
- information processing devices include mobile communication terminals such as smartphones, mobile phones, and PHSs (Personal Handyphone Systems), as well as slate terminals such as PDAs (Personal Digital Assistants).
- the functions of the introspection prediction device 10 may be implemented in a cloud server.
- FIG. 5 is a diagram showing an example of a computer that executes the introspection prediction program.
- Computer 1000 includes, for example, memory 1010, CPU 1020, hard disk drive interface 1030, disk drive interface 1040, serial port interface 1050, video adapter 1060, and network interface 1070. These parts are connected by a bus 1080.
- the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
- the ROM 1011 stores, for example, a boot program such as BIOS (Basic Input Output System).
- Hard disk drive interface 1030 is connected to hard disk drive 1031.
- Disk drive interface 1040 is connected to disk drive 1041.
- a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1041, for example.
- a mouse 1051 and a keyboard 1052 are connected to the serial port interface 1050.
- a display 1061 is connected to the video adapter 1060.
- the hard disk drive 1031 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. Each piece of information described in the above embodiments is stored in, for example, the hard disk drive 1031 or the memory 1010.
- the introspection prediction program is stored in the hard disk drive 1031, for example, as a program module 1093 in which commands to be executed by the computer 1000 are written. Specifically, a program module 1093 in which each process executed by the introspection prediction device 10 described in the above embodiment is described is stored in the hard disk drive 1031.
- data used for information processing by the introspection prediction program is stored as program data 1094 in, for example, the hard disk drive 1031.
- the CPU 1020 reads out the program module 1093 and program data 1094 stored in the hard disk drive 1031 to the RAM 1012 as necessary, and executes each of the above-described procedures.
- program module 1093 and program data 1094 related to the introspection prediction program are not limited to being stored in the hard disk drive 1031; for example, they may be stored in a removable storage medium and read by the CPU 1020 via the disk drive 1041 or the like. May be served.
- the program module 1093 and program data 1094 related to the introspection prediction program are stored in another computer connected via a network such as a LAN (Local Area Network) or a WAN (Wide Area Network), and are transmitted via the network interface 1070. The data may also be read out by the CPU 1020.
- LAN Local Area Network
- WAN Wide Area Network
- Introspection prediction device 11 Input section 12 Output section 13 Communication control section 14 Storage section 14a Intervention information 14b Model 15 Control section 15a Acquisition section 15b Specification section 15c Prediction section 15d Instruction section
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Abstract
内観予測装置(10)において、特定部(15b)が、人物の特性を表す情報を特定する。予測部(15c)が、特定された人物の特性を表す情報と、場面を特定する情報とを用いて、当該場面における当該人物の内観値を予測する。
Description
本発明は、内観予測装置、内観予測方法および内観予測プログラムに関する。
従来、人物の表情等をリアルタイムに認識する技術が知られている(非特許文献1参照)。この技術では、リアルタイムの情報から過去の情報等を出力する。
"人間に近い情報処理機構を実現した次世代メディア処理AI「MediaGnosisTM」を新たに開発 ~マルチメディアを統合的に活用したアプリケーションを1つのAIにより実現~"、[online]、2021年、NTT、[2022年6月6日検索]、インターネット<URL:https://group.ntt/jp/newsrelease/2021/11/01/211101b.html>
しかしながら、従来技術では、これから起こる未来の内観の状態を予測することはできない。例えば、ある人物の表情等のリアルタイムの情報から過去の感情等の内観の状態を出力できるが、内観の状態を予測することはできない。
本発明は、上記に鑑みてなされたものであって、人物の内観の状態を予測することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る内観予測装置は、人物の特性を表す情報を特定する特定部と、特定された前記人物の特性を表す情報と、場面を特定する情報とを用いて、当該場面における当該人物の内観値を予測する予測部と、を有することを特徴とする。
本発明によれば、人物の内観の状態を予測することが可能となる。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[内観予測装置の概要]
図1は、内観予測装置の概要を説明するための図である。本実施形態の内観予測装置10は、人物に関する性格特性等の情報と対話等の場面に応じて、当該人物の感情等の内観値を予測する。内観値としては、例えば、複数人による対話の場面においては、雰囲気の良さ、楽しさ、やる気、集中度等が例示される。また、人物の特性を表す情報は、例えば、アンケートの回答結果や、音声やビデオ映像等の外観データを用いて特定される。また、場面は、時系列の外観データを用いて特定される。図1に示す例では、4名の人物による対話の場面が例示されている。
図1は、内観予測装置の概要を説明するための図である。本実施形態の内観予測装置10は、人物に関する性格特性等の情報と対話等の場面に応じて、当該人物の感情等の内観値を予測する。内観値としては、例えば、複数人による対話の場面においては、雰囲気の良さ、楽しさ、やる気、集中度等が例示される。また、人物の特性を表す情報は、例えば、アンケートの回答結果や、音声やビデオ映像等の外観データを用いて特定される。また、場面は、時系列の外観データを用いて特定される。図1に示す例では、4名の人物による対話の場面が例示されている。
内観予測装置は、各人物について、予測した内観値の時系列変化の傾向に応じて、予め設定された介入情報に従って、ディスプレイに表示する映像の色を調整したり当該人物にマイクを向けたりする介入処理を指示する。これにより、各人物の内観値を変化させることが可能となる。例えば、対話の場面で気分が落ち込む傾向の人物の気分を高揚させるように、対話に介入することが可能となる。
[内観予測装置の構成]
図2は、内観予測装置の概略構成を例示する模式図である。図2に例示するように、内観予測装置10は、パソコン等の汎用コンピュータで実現され、入力部11、出力部12、通信制御部13、記憶部14、および制御部15を備える。
図2は、内観予測装置の概略構成を例示する模式図である。図2に例示するように、内観予測装置10は、パソコン等の汎用コンピュータで実現され、入力部11、出力部12、通信制御部13、記憶部14、および制御部15を備える。
入力部11は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部15に対して処理開始などの各種指示情報を入力する。また、入力部11は、マイクやカメラ、センサ等で実現され、後述する内観予測処理で用いられる外観データが入力される。出力部12は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。
通信制御部13は、NIC(Network Interface Card)等で実現され、ネットワークを介したサーバ等の外部の装置と制御部15との通信を制御する。例えば、通信制御部13は、後述する内観予測に用いられるアンケートやアンケート回答、あるいはカメラ映像や音声等のデータを管理する管理装置等と制御部15との通信を制御する。
記憶部14は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14には、内観予測装置10を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。例えば、記憶部14は、後述する内観予測処理で用いられる介入情報14aやモデル14b等を記憶する。なお、記憶部14は、通信制御部13を介して制御部15と通信する構成でもよい。
ここで、図3は、介入情報のデータ構成を例示する図である。図3に例示するように、介入情報14aは、時刻、条件、介入方法等の項目を含む。時刻は、ある場面の時刻tを表す。条件は、時刻tにおいて予測された内観値が満たす条件を示す。介入方法は、ディスプレイやマイク等の対象(target)に対する処理を指定する情報である。後述する指示部15dが、介入情報14aを参照して、ある人物について「時刻t」に予測された内観値が「条件」を満たした場合に、「介入方法」の処理の実行を指示する。
また、モデル14bは、入力された人物の特性を表す情報と場面を特定する情報に対して、人物に関する内観値の予測データを出力する。本実施形態のモデル14bは、例えば、人物と場面を特定する情報を入力すると、内観値の予測データを出力するように学習されたものである。
図2の説明に戻る。制御部15は、CPU(Central Processing Unit)等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部15は、図1に例示するように、取得部15a、特定部15b、予測部15cおよび指示部15dとして機能して、後述する内観予測処理を実行する。なお、これらの機能部は、それぞれあるいは一部が異なるハードウェアに実装されてもよい。例えば、指示部15dは、その他の機能部とは別の装置として実装されてもよい。また、制御部15は、その他の機能部を備えてもよい。
取得部15aは、アンケート回答または外観データを取得する。例えば取得部15aは、入力部11を介して、あるいは各種データを管理する管理装置等から通信制御部13を介して、処理対象の人物によるアンケート回答を取得する。また、取得部15aは、カメラ、マイクあるいはセンサ等の入力部11を介して、あるいは管理装置等から通信制御部13を介して、処理対象の人物のビデオ映像、点群映像、音声、サーモセンサ、視線計測結果等の外観データを取得する。
特定部15bは、人物の特性を表す情報を特定する。例えば、特定部15bは、人物に関する外観データまたはアンケート回答の少なくともいずれかを用いて当該人物の特性を表す情報を特定する。
具体的には、特定部15bは、人物の性格特性等の情報を数値化する。例えば、特定部15bは、処理対象の人物に対してBigFive特性を判定可能な質問項目を含むアンケートを実施して得た回答の回答傾向を数値化する。例えば、アンケートの質問項目をカテゴリに分類し、特定部15bが分類されたカテゴリごとの回答結果の平均値を算出して、性格特性の数値とする。
あるいは、特定部15bは、ビデオ映像、点群映像、音声、サーモセンサ、視線計測結果等の外観データを用いて、任意の数のカテゴリごとに性格特性を数値化してもよい。その場合には、例えば、BigFive等の既定のアンケート項目の回答結果といずれか所定の1つ以上の外観データとの関係を表すモデルを事前に機械学習により学習させておく。そして、任意の人物について、所定の1つ以上の外観データをモデルに入力することにより、当該人物についてアンケートの回答結果を推定し、上記と同様に、推定されたアンケート回答結果を数値化してもよい。あるいは、上記のモデルは、アンケートの回答結果に変えて、性格特性の数値を直接出力するように学習されたものでもよい。
なお、アンケートは、BigFive特性に限定されず、所定の性格特性を判定できるように、任意の質問項目が設定されたものであってもよい。また、特定部15bは、予め特定した人物の特性を表す情報を、人物を識別する情報と対応づけて、記憶部14に記憶させておいてもよい。その場合に、以下に説明する予測部15cは、記憶部14の人物の特性を表す情報を用いてもよいし、新たに特定部15bが特定した人物の特性を表す情報を用いてもよい。
予測部15cは、特定された人物の特性を表す情報と、場面を特定する情報とを用いて、当該場面における当該人物の内観値を予測する。具体的には、予測部15cは、数値化された人物の特性を表す情報を用いて、機械学習により、ある場面におけるこの人物の感情等の内観値を出力する。予測部15cは、内観値を出力した場面より未来の場面での内観値を出力することも可能である。
例えば、予測部15cは、複数の場面の間の関係とそれぞれの場面におけるこの人物の内観値とを用いて、特定された場面におけるこの人物の内観値を予測する。つまり、予測部15cは、数値化された特性を表す情報で特定される人物について、この人物の複数の場面における各内観値と、これらの複数の場面の関連度とを学習することにより、この人物のある場面における内観値を予測する。
例えば、数値化された特性を表す情報で特定される人物について、この人物に関する所定の1つ以上の外観データを用いて特定された場面において、当該人物のある場面Sにおける内観値と、場面Sより未来の場面Fにおける内観値と、場面Sと場面Fとの関連度とを学習し、モデル14bを生成する。これにより、予測部15cは、人物の特性を表す情報と、当該人物に関する所定の1つ以上の外観データをモデル14bに入力することにより、内観値の予測データを出力する。この場合には、場面Fは1つに限定されず、複数の場面についての内観値を予測することが可能である。
上記のように、予測部15cは、人物に関する時系列情報を含む外観データを用いて場面を特定する。つまり、場面Sと場面Fとの関連度は、対話の日時とメンバ構成等の時系列情報を含んで表すことができる。
例えば、場面Sと場面Fとが、同日に異なるメンバ構成で開催された対話の場面である場合は、同日に同じメンバ構成で開催された対話の場面である他の2つの場面より関連度は低い。この場合に、2つの場面の関連度は、例えばメンバ構成が同一か否か(member_constitusion=1/0)、継続している対話の場面か否か(continuation=1/0)等の少なくともいずれかを含んで表すことができる。
なお、場面間の関連度を表す特徴量は、上記の日時、メンバ構成のいずれか一方または両方に限定されず、他の特徴量を含んでもよいが、特徴量の数を動的に変化させると最大値が変化してしまう。そのため、関連する場面間の内観値を算出する際は、特徴量の数およびそれぞれの値は固定とする。
また、予測部15cは、場面Sの内観値の予測データを出力する。さらに、予測部15cは、場面F、場面Sそれぞれでの内観値の予測データと、場面Fと場面Sとの関連度から、時系列情報を変数として内観値の予測データを出力する任意の関数を導出して出力してもよい。この場合には、機械学習のモデル14bに入力として与えた場面F以外の場面についても、場面Sとの時系列情報を含む関連度がわかっている他の場面についても、当該関数を用いて、内観値の予測データを出力することが可能となる。
また、人物の内観値のデータを外観データや人物の特性を表す情報と組み合わせて予め学習データとして取得しておいてもよい。
また、予測部15cは、関連する場面において予測された内観値を用いて、特定された場面における内観値を予測してもよい。すなわち、予測部15cは、関連する場面での内観値を入力として受け付けてもよい。例えば、時系列に連続する場面Aと場面Bとついて、場面Bの内観値は場面Aの内観値の影響を受ける可能性がある。そこで、場面Bの内観値の取得前に場面Aの内観値の予測データが出力されている場合には、場面Bの内観値の予測には、場面Aの内観値の予測データも機械学習の入力として扱う。
その際に、予測部15cは、場面Aと場面Bとが連続するか否かは、内観値の予測に用いた外観データに含まれる時系列情報を参照して判断する。つまり、時系列情報の時間差が閾値以内であった場合には、出力済の内観値の予測データを、機械学習の入力として扱う。なお、この閾値は、場面の時刻の前後は考慮しない。つまり、時系列に場面A、Bの順に連続する場合に、場面Aの予測を行う前に場面Bの内観値の予測データが出力されていれば、場面Bの内観値の予測データを場面Aの予測の際の入力とする。
予測部15cは、場面を特定できる時系列、名称等の情報と内観値の予測データと、関数とを出力する。
なお、1つの場面に複数人がいる場合には、特定部15bおよび予測部15cは、人数分の処理を実行する。
指示部15dは、内観値の変化に応じて所定の介入処理の実行を指示する。例えば、指示部15dは、内観値の下降傾向、上昇傾向、あるいは停滞傾向などの変化の傾向に応じて、図3に示した介入情報14aに従って、介入処理の実行を指示する。図3に示した例では、内観値の変化が下降傾向である場合の介入処理が例示されている。図3において、t=nowが現在時刻である。指示部15dは、各時刻における内観値の予測データ(予測内観値)の変化が条件を満たす場合に、例えば、可動型マイク(target)に対して、actionに記載の命令をspeed=sで10秒間継続して実行を指示する。
図3に示した介入方法には、「可動型マイクを向ける」の他、「ディスプレイに表示する映像の調整」が例示されている。これにより、例えば、介入情報14aの条件に当てはまる被験者がいる場合に、被験者ごとに予め設定されたテーマカラーでディスプレイを塗りつぶす等の介入処理を行うことが可能となる。
場面Sにおいて複数人の人物が参加者として存在している場合には、指示部15dは、予測部15cの処理順に処理を行う。例えば、被験者A、B、C、Dが存在し、予測部15cが出力した場面Sにおける内観値の予測データを、指示部15dがA、B、C、Dの順に受け取った場合に、この順に介入処理の実行を指示する。具体的には、介入情報14aの1行目の条件をA、Bが満たす場合に、A、Bの順に介入方法の処理を実行させる。
複数人が介入情報14aの条件を満たす場合には、別途、例えば「複数人の中央にマイクを向ける」等の複数人に対応した介入方法が設定されていてもよい。
あるいは、指示部15dは、予測部15cから受け取った順が先の人物に対する処理の終了を待たずに、後の人物の処理を指示してもよい。例えば、被験者Aに対して指示した介入方法のdurationが満了していなくても、被験者Bに対して介入方法の処理の実行を即座に指示してもよい。例えば、可動型マイクを向けるという介入方法である場合に、当初は被験者Aにマイクが向けられるが、10秒間経過する前に、被験者Aに対する命令が破棄され、被験者Bにマイクが向けられる。
これにより、例えば未来に望ましくない内観値となることが予測される場合に、その内観値を変化させる介入処理のタイミングを決定し、実行させることが可能となる。
[内観予測処理]
次に、図4を参照して、本実施形態に係る内観予測装置10による内観予測処理について説明する。図4は、内観予測処理手順を示すフローチャートである。図4のフローチャートは、例えば、内観予測処理の開始を指示する操作入力があったタイミングで開始される。
次に、図4を参照して、本実施形態に係る内観予測装置10による内観予測処理について説明する。図4は、内観予測処理手順を示すフローチャートである。図4のフローチャートは、例えば、内観予測処理の開始を指示する操作入力があったタイミングで開始される。
まず、ある人物について、人物の特性を表す情報を特定する。例えば、特定部15bは、人物に関する外観データまたはアンケート回答の少なくともいずれかを用いて、当該人物の性格特性等の情報を数値化する(ステップS1)。
次に、予測部15cが、取得された人物の特性を表す情報と、場面を特定する情報とを用いて、当該場面における当該人物の内観値を予測する(ステップS2)。例えば、予測部15cは、数値化された人物の特性を表す情報を用いて、機械学習により、ある場面におけるこの人物の感情等の内観値を出力する。予測部15cは、内観値を出力した場面より未来の内観値を出力することも可能である。
また、予測部15cは、複数の場面の間の関係とそれぞれの場面におけるこの人物の内観値とを用いて、特定された場面におけるこの人物の内観値を予測する。つまり、予測部15cは、数値化された特性を表す情報で特定される人物について、この人物の複数の場面における各内観値と、これらの複数の場面の関連度とを学習することにより、この人物のある場面における内観値を予測する。
例えば、数値化された特性を表す情報で特定される人物について、この人物に関する所定の1つ以上の外観データを用いて特定された場面において、当該人物のある場面Sにおける内観値と、場面Sより未来の場面Fにおける内観値と、場面Sと場面Fとの関連度とを学習し、モデル14bを生成する。これにより、予測部15cは、人物の特性を表す情報と、当該人物に関する所定の1つ以上の外観データをモデル14bに入力することにより、内観値の予測データを出力する。
また、予測部15cは、人物に関する時系列情報を含む外観データを用いて場面を特定する。また、予測部15cは、関連する場面において予測された内観値を用いて、特定された場面における内観値を予測することも可能である。
そして、指示部15dが、内観値の変化に応じて所定の介入処理の実行を指示する(ステップS3)。例えば、指示部15dは、内観値の下降傾向、上昇傾向、あるいは停滞傾向などの変化の傾向に応じて、介入情報14aに従って、介入処理の実行を指示する。これにより、一連の内観予測処理が完了する。
[効果]
以上、説明したように、内観予測装置10において、特定部15bが、人物の特性を表す情報を特定する。予測部15cが、特定された人物の特性を表す情報と、場面を特定する情報とを用いて、当該場面における当該人物の内観値を予測する。
以上、説明したように、内観予測装置10において、特定部15bが、人物の特性を表す情報を特定する。予測部15cが、特定された人物の特性を表す情報と、場面を特定する情報とを用いて、当該場面における当該人物の内観値を予測する。
具体的には、予測部15cは、複数の場面の間の関係とそれぞれの場面における人物の内観値とを用いて、特定された場面における内観値を予測する。また、予測部15cは、関連する場面において予測された内観値を用いて、特定された場面における内観値を予測する。また、予測部15cは、人物に関する時系列情報を含む外観データを用いて場面を特定する。
また、特定部15bは、人物に関する外観データまたはアンケート回答の少なくともいずれかを用いて人物の特性を表す情報を特定する。
このように、ある人物について、性格特性等の比較的に普遍的な情報を活用して、例えば、時系列に関連する場面の内観値の予測結果も入力として用いて、この人物の内観値を予測する。これにより、精度高くこの人物の内観値を予測することが可能となる。
また、指示部15dが、内観値の変化に応じて所定の介入処理の実行を指示する。これにより、例えば未来に望ましくない内観値となることが予測される場合に、その内観値を変化させる介入処理のタイミングを決定し、実行させることが可能となる。
[プログラム]
上記実施形態に係る内観予測装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、内観予測装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の内観予測処理を実行する内観予測プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の内観予測プログラムを情報処理装置に実行させることにより、情報処理装置を内観予測装置10として機能させることができる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。また、内観予測装置10の機能を、クラウドサーバに実装してもよい。
上記実施形態に係る内観予測装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、内観予測装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の内観予測処理を実行する内観予測プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の内観予測プログラムを情報処理装置に実行させることにより、情報処理装置を内観予測装置10として機能させることができる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。また、内観予測装置10の機能を、クラウドサーバに実装してもよい。
図5は、内観予測プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1031に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1041に接続される。ディスクドライブ1041には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース1050には、例えば、マウス1051およびキーボード1052が接続される。ビデオアダプタ1060には、例えば、ディスプレイ1061が接続される。
ここで、ハードディスクドライブ1031は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093およびプログラムデータ1094を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ1031やメモリ1010に記憶される。
また、内観予測プログラムは、例えば、コンピュータ1000によって実行される指令が記述されたプログラムモジュール1093として、ハードディスクドライブ1031に記憶される。具体的には、上記実施形態で説明した内観予測装置10が実行する各処理が記述されたプログラムモジュール1093が、ハードディスクドライブ1031に記憶される。
また、内観予測プログラムによる情報処理に用いられるデータは、プログラムデータ1094として、例えば、ハードディスクドライブ1031に記憶される。そして、CPU1020が、ハードディスクドライブ1031に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した各手順を実行する。
なお、内観予測プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1031に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ1041等を介してCPU1020によって読み出されてもよい。あるいは、内観予測プログラムに係るプログラムモジュール1093やプログラムデータ1094は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
10 内観予測装置
11 入力部
12 出力部
13 通信制御部
14 記憶部
14a 介入情報
14b モデル
15 制御部
15a 取得部
15b 特定部
15c 予測部
15d 指示部
11 入力部
12 出力部
13 通信制御部
14 記憶部
14a 介入情報
14b モデル
15 制御部
15a 取得部
15b 特定部
15c 予測部
15d 指示部
Claims (8)
- 人物の特性を表す情報を特定する特定部と、
特定された前記人物の特性を表す情報と、場面を特定する情報とを用いて、当該場面における当該人物の内観値を予測する予測部と、
を有することを特徴とする内観予測装置。 - 前記予測部は、複数の場面の間の関係とそれぞれの場面における前記人物の内観値とを用いて、特定された場面における前記内観値を予測することを特徴とする請求項1に記載の内観予測装置。
- 前記予測部は、関連する場面において予測された内観値を用いて、特定された場面における前記内観値を予測することを特徴とする請求項2に記載の内観予測装置。
- 前記予測部は、前記人物に関する時系列情報を含む外観データを用いて場面を特定することを特徴とする請求項1に記載の内観予測装置。
- 前記特定部は、前記人物に関する外観データまたはアンケート回答の少なくともいずれかを用いて前記人物の特性を表す情報を特定することを特徴とする請求項1に記載の内観予測装置。
- 前記内観値の変化に応じて所定の介入処理の実行を指示する指示部を、さらに有することを特徴とする請求項1に記載の内観予測装置。
- 内観予測装置が実行する内観予測方法であって、
人物の特性を表す情報を特定する特定工程と、
特定された前記人物の特性を表す情報と、場面を特定する情報とを用いて、当該場面における当該人物の内観値を予測する予測工程と、
を含んだことを特徴とする内観予測方法。 - コンピュータを請求項1~6のいずれか1項に記載の内観予測装置として機能させるための内観予測プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2022/025603 WO2024003993A1 (ja) | 2022-06-27 | 2022-06-27 | 内観予測装置、内観予測方法および内観予測プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2022/025603 WO2024003993A1 (ja) | 2022-06-27 | 2022-06-27 | 内観予測装置、内観予測方法および内観予測プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024003993A1 true WO2024003993A1 (ja) | 2024-01-04 |
Family
ID=89382181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/025603 Ceased WO2024003993A1 (ja) | 2022-06-27 | 2022-06-27 | 内観予測装置、内観予測方法および内観予測プログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2024003993A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005315802A (ja) * | 2004-04-30 | 2005-11-10 | Olympus Corp | ユーザ支援装置 |
| JP2007079647A (ja) * | 2005-09-09 | 2007-03-29 | Fuji Xerox Co Ltd | 情報処理システム、情報処理方法およびプログラム |
| JP2012146209A (ja) * | 2011-01-13 | 2012-08-02 | Nikon Corp | 電子機器および電子機器の制御プログラム |
| WO2018016459A1 (ja) * | 2016-07-22 | 2018-01-25 | 日本電気株式会社 | 心身状態測定装置、心身状態測定方法、心身状態測定プログラムおよび記憶媒体 |
| WO2019021653A1 (ja) * | 2017-07-28 | 2019-01-31 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2022
- 2022-06-27 WO PCT/JP2022/025603 patent/WO2024003993A1/ja not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005315802A (ja) * | 2004-04-30 | 2005-11-10 | Olympus Corp | ユーザ支援装置 |
| JP2007079647A (ja) * | 2005-09-09 | 2007-03-29 | Fuji Xerox Co Ltd | 情報処理システム、情報処理方法およびプログラム |
| JP2012146209A (ja) * | 2011-01-13 | 2012-08-02 | Nikon Corp | 電子機器および電子機器の制御プログラム |
| WO2018016459A1 (ja) * | 2016-07-22 | 2018-01-25 | 日本電気株式会社 | 心身状態測定装置、心身状態測定方法、心身状態測定プログラムおよび記憶媒体 |
| WO2019021653A1 (ja) * | 2017-07-28 | 2019-01-31 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11176472B2 (en) | Chat delta prediction and cognitive opportunity system | |
| US12256123B2 (en) | Behavior control method and apparatus for virtual live streaming character | |
| CN110909218A (zh) | 问答场景中的信息提示方法和系统 | |
| CN119884644A (zh) | 数字人的控制方法、装置、设备以及存储介质 | |
| WO2024003993A1 (ja) | 内観予測装置、内観予測方法および内観予測プログラム | |
| CN112365888A (zh) | 意图识别方法、装置、计算机设备和存储介质 | |
| WO2026089533A1 (en) | Prompt-based proactive conversation support | |
| JP7832741B1 (ja) | 情報処理装置、方法、プログラム及びシステム | |
| WO2024247201A1 (ja) | 推定装置、推定方法および推定プログラム | |
| JP7800699B2 (ja) | 感性変換方法、感性変換装置および感性変換プログラム | |
| JP7313852B2 (ja) | 決定装置、決定方法及び決定プログラム | |
| JP2026038609A (ja) | システム | |
| JP2026033863A (ja) | システム | |
| JP2026029965A (ja) | システム | |
| JP2026038858A (ja) | システム | |
| CN118658092A (zh) | 外在性格确定方法、对话方法、装置、介质、设备及产品 | |
| JP2026029320A (ja) | システム | |
| JP2026039042A (ja) | システム | |
| CN121144569A (zh) | 推荐查询信息生成模型的训练方法、装置及介质 | |
| JP2026033617A (ja) | システム | |
| JP2025051723A (ja) | システム | |
| JP2025164503A (ja) | 制御システム、制御装置、制御プログラムおよび制御方法 | |
| WO2025173139A1 (ja) | 感情分析装置、感情分析方法、および感情分析プログラム | |
| JP2026032971A (ja) | システム | |
| JP2026038518A (ja) | システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22949272 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22949272 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |