WO2020217373A1 - 心理状態可視化装置、その方法、およびプログラム - Google Patents

心理状態可視化装置、その方法、およびプログラム Download PDF

Info

Publication number
WO2020217373A1
WO2020217373A1 PCT/JP2019/017593 JP2019017593W WO2020217373A1 WO 2020217373 A1 WO2020217373 A1 WO 2020217373A1 JP 2019017593 W JP2019017593 W JP 2019017593W WO 2020217373 A1 WO2020217373 A1 WO 2020217373A1
Authority
WO
WIPO (PCT)
Prior art keywords
psychological state
index value
visualization device
expression word
psychological
Prior art date
Application number
PCT/JP2019/017593
Other languages
English (en)
French (fr)
Inventor
淳司 渡邊
藍子 村田
玲子 有賀
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/605,675 priority Critical patent/US20220207799A1/en
Priority to JP2021515401A priority patent/JP7014333B2/ja
Priority to PCT/JP2019/017593 priority patent/WO2020217373A1/ja
Publication of WO2020217373A1 publication Critical patent/WO2020217373A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a psychological state visualization device for visualizing a user's psychological state, a method thereof, and a program.
  • Patent Document 1 is known as a prior art of a device for visualizing a user's psychological state.
  • the emotion of the user in the time interval is estimated and displayed by analyzing the information acquired by the biosensor attached to the user for each predetermined time interval.
  • Patent Document 1 it is necessary to attach a device for acquiring a biosensor to the body. Further, the emotion estimated based on the data of the biosensor may not match the emotion recognized by the user himself, and there is a problem that it is difficult to understand intuitively.
  • an object of the present invention is to provide a technique for visualizing a time change of a psychological state in an intuitive and easy-to-understand manner without using a biosensor.
  • the psychological state visualization device corresponds to a psychological state sensibility expression word expressing a user's psychological state at a certain point in time and a psychological state sensibility expression word.
  • An input unit that inputs the psychological state index value indicating the psychological state of, and a presentation unit that visualizes and presents the character string of the psychological state sensitivity expression word and the psychological state index value in a format in which the temporal fluctuation can be visually recognized.
  • the psychological state visualization device includes an input unit for inputting a psychological state-sensitive expression word representing a user's psychological state at a certain point in time, and a psychological state-sensitive expression.
  • the functional block diagram of the psychological state visualization device which concerns on 1st Embodiment The figure which shows the example of the processing flow of the psychological state visualization apparatus which concerns on 1st Embodiment.
  • the figure which shows the example of visualization The figure which shows the example of visualization.
  • the figure which shows the example of visualization The figure which shows the example of visualization.
  • the functional block diagram of the psychological state visualization device which concerns on 2nd Embodiment The figure which shows the example of the processing flow of the psychological state visualization apparatus which concerns on 2nd Embodiment.
  • FIG. 1 shows a functional block diagram of the psychological state visualization device according to the first embodiment
  • FIG. 2 shows a processing flow thereof.
  • the psychological state visualization device includes an input unit 110 and a presentation unit 120.
  • the psychological state visualization device inputs the character string of the psychological state sensitivity expression word, the psychological state index value, and the corresponding time, and visualizes and presents the time series of the psychological state.
  • Psychological state Kansei expression words represent the psychological state of a user at a certain point in time, and are, for example, a general term for words categorized into at least one of onomatopoeia and exclamation words.
  • Onomatopoeia is a general term for words that are categorized into at least one of onomatopoeia, onomatopoeia, and onomatopoeia, for example.
  • onomatopoeia expresses an actual sound with speech sound
  • onomatopoeia expresses a feeling that is not sound with speech sound
  • onomatopoeia expresses a psychological state with speech sound.
  • Exclamation words are sometimes called interjections.
  • the psychological state index value indicates the psychological state of the user, and represents the degree of the psychological state at a certain point in time. In the following, the case where the psychological state-sensitive expression word is onomatopoeia will be described, but the case where it is an exclamation word can be processed in the same manner.
  • the psychological state visualization device is, for example, a special program configured by loading a special program into a publicly known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. Device.
  • the psychological state visualization device executes each process under the control of the central processing unit, for example.
  • the data input to the psychological state visualization device and the data obtained by each process are stored in the main storage device, for example, and the data stored in the main storage device is read out to the central processing unit as needed. Used for other processing.
  • At least a part of each processing unit of the psychological state visualization device may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the psychological state visualization device can be configured by, for example, a main storage device such as RAM (RandomAccessMemory) or middleware such as a relational database or a key-value store.
  • a main storage device such as RAM (RandomAccessMemory) or middleware such as a relational database or a key-value store.
  • each storage unit does not necessarily have to be provided inside the psychological state visualization device, and is composed of an auxiliary storage device composed of a hard disk, an optical disk, or a semiconductor memory element such as a flash memory, and the psychological state. It may be configured to be provided outside the visualization device.
  • the psychological state visualization device may be mounted on a mobile terminal, a tablet terminal, or the like.
  • the input unit 110 receives input from the user of the onomatopoeia character string expressing the current state of the user, the psychological state index value at that time, and the corresponding time (S110), and outputs the input to the presentation unit 120.
  • the psychological state index value is, for example, (1) Expressing the degree of emotional positiveness in 9 stages with 4 being a pleasant state and -4 in an unpleasant state (2) Consuming in 5 stages with 4 being a fun state and 0 being a boring state Expressing the degree of motivation (3)
  • the degree of motivation is expressed in 5 stages, with 4 being the state of being full of motivation and 0 being the state of being unmotivated. In the example, it is expressed in 9 stages or 5 stages).
  • the psychological state index value may be one (for example, any one of (1) to (3) above) or may be plural (for example, (1) and (3) above).
  • an input field for an onomatope character string and an input field for a psychological state index value are displayed on a display of a mobile terminal or tablet terminal, and a user can use an input unit such as a touch panel to display the onomatope character string and the psychological state index. Enter the value and.
  • the input field may be configured to display and select a character string of a predetermined type of onomatopoeia or a psychological state index value represented by a plurality of preset stages, or may be configured to be freely input by the user. Good.
  • the corresponding time may be the time (input time) in which the user inputs the onomatope character string and the psychological state index value via an input unit such as a touch panel, or the input unit 110 may input the onomatope character string and psychology. It may be the time when the state index value is received (reception time).
  • the input unit such as a touch panel acquires the time from the built-in clock or NTP server and outputs it to the input unit 110.
  • reception time for example, the input unit 110 from the built-in clock or NTP server May be configured to acquire the reception time.
  • the presentation unit 120 inputs the onomatopoeia character string, the psychological state index value corresponding to the onomatopoeia character string, and the corresponding time, and responds to the onomatopoeia character string and the onomatopoeia character string based on the information.
  • the psychological state index value to be performed is visualized and presented in a format in which temporal fluctuations can be visually recognized (S120).
  • the presentation unit 120 displays the information of the onomatopoeia character string corresponding to the same time in the vicinity of the marker representing the psychological state index value (hereinafter, also referred to as the psychological state level) corresponding to the time (FIG. See 3-6).
  • the degree of enjoyment described above When there is only one type of psychological state level to be presented (for example, the degree of enjoyment described above), it is visualized as a two-dimensional graph with time as the horizontal axis and psychological state level as the vertical axis, as shown in FIGS. 3 and 4, for example.
  • the character string of onomatopoeia corresponding to the same time is displayed in the vicinity of the marker indicating the psychological state level.
  • the time axis should be in a form that allows the passage of time (time series) to be grasped, such as a format for displaying time information as shown in FIG. 3 or a format for displaying an icon corresponding to the time as shown in FIG. Anything is fine.
  • any format can be used as long as the temporal variation between the onomatopoeia character string and the psychological state level can be visually recognized.
  • the psychological state level value itself is also displayed in the vicinity of the marker that visualizes the temporal fluctuation of the psychological state level.
  • the vertical axis and the horizontal axis are different psychological state levels, and a set of psychological state levels for each time is represented by a marker, and a marker at a certain time.
  • a marker By connecting with an arrow starting from and ending at the marker of the next time, the temporal change of two types of psychological state levels for each time is visualized.
  • the solid line arrow and the broken line arrow in FIG. 5 represent changes in the psychological state of the same person on different days.
  • FIG. 6 a part of the psychological state level (1 type or 2 types) is used to display a graph as shown in FIG. 3-5 (Fig. 4 in this example), and the remaining psychological state level is displayed.
  • Each may be visualized with an icon, a graph, or the like.
  • "Ki" of the psychological state level is visualized as a meter icon in a form different from the graph.
  • the day is divided into four time zones, and the representative value of the power level corresponding to the onomatopoeia acquired in each time zone is expressed in the memory of the meter, so that the temporal fluctuation of the power is visually displayed. It is visualized and presented in a form that can be grasped.
  • At least one type of temporal fluctuation of the psychological state level is visualized by a graphic (graph) in the multidimensional space, and the position on the graphic corresponding to each time is visualized. It suffices if the character string of Onomatope is displayed in the vicinity.
  • the magnitude of at least one type of psychological state level may be visualized and presented by associating it with a scale, a length, or a magnitude.
  • the psychological state visualization device is mounted on a mobile terminal, a tablet terminal, or the like has been described, but for example, it may be mounted on a server whose client is a mobile terminal, a tablet terminal, or the like.
  • the presentation unit 120 outputs information related to the visualization information to be presented, and presents the information on a display such as a mobile terminal or a tablet terminal.
  • the information regarding the visualization information to be presented may be, for example, the image itself to be presented, or may be a parameter used when generating an image to be presented by a mobile terminal, a tablet terminal, or the like.
  • the user inputs the psychological state index value together with the onomatopoeia character string in the input unit 110, but in the second embodiment, the user inputs only the onomatopoeia character string.
  • the difference is that a configuration for estimating the psychological state index value corresponding to the onomatopoeia character string input by the user has been added.
  • FIG. 7 shows a functional block diagram of the psychological state visualization device according to the first embodiment
  • FIG. 8 shows a processing flow thereof.
  • the psychological state visualization device includes an input unit 210, a psychological state estimation unit 230, and a presentation unit 120.
  • the input unit 210 receives input from the user of the onomatopoeia character string expressing the current state of the user and the corresponding time (S210), and outputs the onomatopoeia character string to the presentation unit 120 and the psychological state estimation unit 230. , The corresponding time is output to the presentation unit 120.
  • the acceptance method is the same as that of the first embodiment except that there is no psychological state index value.
  • the psychological state estimation unit 230 takes the character string of the onomatopoeia as an input, estimates the psychological state index value corresponding to the onomatopoeia using the psychological state estimation model (S230), and outputs it to the presentation unit 120.
  • the psychological state estimation model is a model that converts the input onomatopoeia character string into the psychological state index value corresponding to the onomatopoeia, and associates the onomatopoeia character string acquired from a plurality of people in advance with the psychological state index value. Create in advance using the data (learning data).
  • data input to the input unit 110 of the first embodiment may be used as if it were collected from a plurality of people. At this time, the corresponding time may be excluded. That is, a large number of combinations of the onomatopoeia character string expressing the user's psychological state and the psychological state index value at that time may be prepared and used as learning data.
  • FIG. 9 shows an example of a table composed of training data.
  • energy, joy, anger, and sadness are represented by five numerical values from 0 to 4, and the higher the degree of each, the larger the numerical value.
  • Pleasure and discomfort are represented by a numerical value in 9 stages from -4 to 4, and the stronger the degree of "pleasure” is, the more positive the value is, and the stronger the degree of "discomfort” is, the more negative the value is. ..
  • Example 1 of psychological state estimation model A psychological state estimation model is used in which each onomatopoeia (character string) is associated with the corresponding psychological state index value (for example, a table or list). For each psychological state index value in the table or list, for example, a representative value (mean value, median value, etc.) of the psychological state index value given by each person to a certain onomatopoeia in the learning data is used.
  • a representative value mean value, median value, etc.
  • the psychological state estimation model is a model learned by machine learning such as a neural network based on the onomatopoeia for learning and the corresponding psychological state index value for learning.
  • a neural network that takes an onomatopoeia (character string) as an input and outputs a psychological state index value corresponding to the onomatopoeia is used as a psychological state estimation model.
  • the estimation result of the psychological state index value obtained by inputting the onomatope (character string) in the learning data into the neural network in which an appropriate initial value is set in advance corresponds to the onomatope in the learning data.
  • the psychological state estimation model is trained by repeatedly updating the parameters of the neural network so as to approach the attached psychological state index value.
  • the output of the psychological state estimation model may be trained as a list (set) of a plurality of psychological state index values. Good.
  • an illustration, an image, etc. associated with one-to-one on onomatopoeia may be input.
  • a database in which the onomatopoeia is associated with illustrations, images, etc. is provided, and the input unit can input the illustrations, images, etc., take out the corresponding onomatopoeia character string from the database, and output it to the presentation unit 120. Good.
  • the input of the onomatopoeia character string may be accepted by automatically extracting the onomatopoeia character string included in the result of voice recognition of the user's utterance.
  • the input unit receives a voice signal instead of the onomatope character string, performs voice recognition processing by a voice recognition unit (not shown), obtains a voice recognition result, extracts the onomatope character string from the input, and presents it. It may be output to unit 120.
  • a database that stores the character string of the target onomatopoeia is provided, and the character string of the onomatopoeia is extracted from the voice recognition result by referring to this database.
  • the psychological state index value since it is not necessary to input the psychological state index value, for example, from the text character string input when the user composes an email or creates a comment to be posted on the web. Even if the character string of Onomatope is automatically extracted and used as input, or the character string of Onomatope is automatically extracted from the result of voice recognition of the user's voice when the user talks on a mobile phone etc. is used as input. Good.
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • this program is carried out, for example, by selling, transferring, renting, etc., a portable recording medium such as a DVD or CD-ROM on which the program is recorded.
  • the program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage unit. Then, when the process is executed, the computer reads the program stored in its own storage unit and executes the process according to the read program. Further, as another embodiment of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program. Further, every time the program is transferred from the server computer to this computer, the processing according to the received program may be executed sequentially. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be. In addition, the program shall include information used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • each device is configured by executing a predetermined program on a computer, at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Heart & Thoracic Surgery (AREA)

Abstract

生体センサを利用することなく、直感的にわかりやすい形で心理状態の時間変化を可視化する技術を提供する。心理状態可視化装置は、ある時点におけるユーザの心理状態を表す心理状態感性表現語と、心理状態感性表現語に対応する、ユーザの心理状態を示す心理状態指標値とを入力とする入力部と、心理状態感性表現語の文字列と心理状態指標値とを時間的変動が視認可能な形式で可視化して提示する提示部を含む。

Description

心理状態可視化装置、その方法、およびプログラム
　本発明は、ユーザの心理状態を可視化する心理状態可視化装置、その方法、およびプログラムに関する。
　利用者の心理状態を可視化する装置の従来技術として特許文献１が知られている。特許文献１では、ユーザに取り付けた生体センサで取得した情報を所定時間区間毎に解析することで、ユーザのその時間区間における感情を推定し表示する。
特開２０１６－１０６６８９号公報
　特許文献１では、生体センサを取得するデバイスを身体に取り付ける必要がある。また、生体センサのデータに基づいて推定された感情は、ユーザ自身の認知している感情と合致しないことがあり、直感的に分かりにくいという問題がある。
　このような問題に鑑み、本発明では、生体センサを利用することなく、直感的にわかりやすい形で心理状態の時間変化を可視化する技術を提供することを目的とする。
　上記の課題を解決するために、本発明の一態様によれば、心理状態可視化装置は、ある時点におけるユーザの心理状態を表す心理状態感性表現語と、心理状態感性表現語に対応する、ユーザの心理状態を示す心理状態指標値とを入力とする入力部と、心理状態感性表現語の文字列と心理状態指標値とを時間的変動が視認可能な形式で可視化して提示する提示部を含む。
　上記の課題を解決するために、本発明の他の態様によれば、心理状態可視化装置は、ある時点におけるユーザの心理状態を表す心理状態感性表現語を入力とする入力部と、心理状態感性表現語を入力とし、心理状態感性表現語に対応する心理状態指標値に変換する心理状態推定モデルを用いて、入力部に入力された心理状態感性表現語に対応する心理状態指標値を推定する心理状態推定部と、心理状態感性表現語の文字列と心理状態指標値とを時間的変動が視認可能な形式で可視化して提示する提示部を含む。
　本発明によれば、生体センサを利用することなく、直感的にわかりやすい形で心理状態の時間変化を可視化することができるという効果を奏する。
第一実施形態に係る心理状態可視化装置の機能ブロック図。 第一実施形態に係る心理状態可視化装置の処理フローの例を示す図。 可視化の例を示す図。 可視化の例を示す図。 可視化の例を示す図。 可視化の例を示す図。 第二実施形態に係る心理状態可視化装置の機能ブロック図。 第二実施形態に係る心理状態可視化装置の処理フローの例を示す図。 学習データからなるテーブルの例を示す図。
　以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
＜第一実施形態＞
　図１は第一実施形態に係る心理状態可視化装置の機能ブロック図を、図２はその処理フローを示す。
　心理状態可視化装置は、入力部１１０と提示部１２０とを含む。
　心理状態可視化装置は、心理状態感性表現語の文字列と心理状態指標値と対応する時刻とを入力とし、心理状態の時系列を可視化して、提示する。心理状態感性表現語は、ある時点におけるユーザの心理状態を表すものであり、例えば、オノマトペと感嘆詞の少なくとも何れかにカテゴライズされる語の総称である。また、オノマトペは、例えば、擬音語、擬態語、擬情語の少なくとも何れかにカテゴライズされる語の総称である。ここで、擬音語は実際の音を言語音で表現したものであり、擬態語は音ではない感覚を言語音で表現したものであり、擬情語は心理状態を言語音で表現したものである。なお、感嘆詞は感動詞と呼ばれることもある。また、例えば、心理状態指標値は、ユーザの心理状態を示すものであり、ある時点における心理状態の度合いを表すものとする。以下では、心理状態感性表現語がオノマトペである場合について説明するが、感嘆詞である場合についても同様に処理可能である。
　心理状態可視化装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。心理状態可視化装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。心理状態可視化装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。心理状態可視化装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。心理状態可視化装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも心理状態可視化装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、心理状態可視化装置の外部に備える構成としてもよい。
　例えば、心理状態可視化装置は、携帯端末やタブレット端末等に実装されてもよい。
　以下、各部について説明する。
＜入力部１１０＞
　入力部１１０は、ユーザから現在の自らの状態を表現するオノマトペの文字列と、そのときの心理状態指標値と、対応する時刻との入力を受け付け（Ｓ１１０）、提示部１２０に出力する。
　心理状態指標値とは、例えば、
（１）快である状態を４とし、不快である状態を－４とする９段階で感情のポジティブ度合いを表したもの
（２）楽しい状態を４とし、つまらない状態を０とする５段階で楽しさ度合いを表したもの
（３）やる気に溢れている状態を４とし、やる気が出ない状態を０とする５段階でやる気度合いを表したもの
等、予め設定した尺度を複数の段階（上述の例では９段階や５段階）で表現したものである。
　心理状態指標値は１つ（例えば上記（１）～（３）の何れか）であっても良いし、複数（例えば上記（１）と（３）等）としてもよい。
　例えば、携帯端末やタブレット端末等のディスプレイにオノマトペの文字列の入力欄と、心理状態指標値の入力欄を表示し、タッチパネル等の入力部を介して、ユーザがオノマトペの文字列と心理状態指標値とを入力する。
　なお、入力欄は、所定の種類のオノマトペの文字列や予め設定した複数の段階で表された心理状態指標値を表示して選択する構成としてもよいし、自由にユーザが入力する構成としてもよい。
　対応する時刻は、ユーザがタッチパネル等の入力部を介してオノマトペの文字列と心理状態指標値とを入力した時刻(入力時刻)であってもよいし、入力部１１０がオノマトペの文字列と心理状態指標値とを受け付けた時刻(受付時刻)であってもよい。入力時刻の場合にはタッチパネル等の入力部が内蔵時計やNTPサーバ等から時刻を取得して入力部１１０に出力する構成とし、受付時刻の場合には例えば内蔵時計やNTPサーバ等から入力部１１０が受付時刻を取得する構成としてもよい。
＜提示部１２０＞
　提示部１２０は、オノマトペの文字列と、オノマトペの文字列に対応する心理状態指標値と、対応する時刻とを入力とし、これらの情報に基づいて、オノマトペの文字列とオノマトペの文字列に対応する心理状態指標値とを、時間的変動が視認可能な形式で可視化して提示する(Ｓ１２０)。本実施形態では、提示部１２０は、時刻に対応する心理状態指標値（以下、心理状態レベルともいう）を表すマーカの近傍に、同時刻に対応するオノマトペの文字列の情報を表示する（図３－６参照）。
　提示する心理状態レベルが１種類（例えば上述の楽しさ度合い）の場合は、例えば、図３や図４のように、時間を横軸、心理状態レベルを縦軸とする２次元のグラフで可視化する。この例では、心理状態レベルを表すマーカの近傍に同時刻に対応するオノマトペの文字列を表示している。時間軸（横軸）は、図３のように時刻情報を表示する形式や、図４のように時刻に対応するアイコンを表示する形式等、時間の経過（時系列）を把握できる形であれば何でもよい。言い換えると、オノマトペの文字列と心理状態レベルとの時間的変動が視認可能な形式であれば、何でもよい。図４の例では、心理状態レベルの時間的変動を可視化したマーカの近傍に心理状態レベル値そのものも表示している。
　提示する心理状態レベルが２種類の場合は、例えば、図５のように、縦軸と横軸をそれぞれ異なる心理状態レベルとして、時刻毎の心理状態レベルの組をマーカで表し、ある時刻のマーカを始点とし、次の時刻のマーカを終点とする矢印で結ぶことで、時刻毎の２種類の心理状態レベルの時間的変化を可視化する。言い換えると、オノマトペの文字列と２種類の心理状態レベルとの時間的順序が分かるように提示する。ここで、図５の実線矢印と破線矢印は、同一人物の異なる日における心理状態の変化を表す。
　ただし、複数種類の心理状態レベルが対応付けられている場合、図５のように全てをグラフの軸とする必要はない。例えば、図６のように、心理状態レベルの一部（１種類または２種類）を用いて図３－５（この例では図４）のようなグラフ表示をすると共に、残りの心理状態レベルをそれぞれアイコンやグラフ等で可視化してもよい。図６では、心理状態レベルのうち「気力」をメーターのアイコンとしてグラフとは別の形で可視化している。この例では１日を４つの時間帯に分割し、それぞれの時間帯において取得されたオノマトペに対応する気力レベルの代表値をメーターのメモリで表現することで、気力の時間的変動が視覚的に把握できる形で可視化し、提示している。
　以上のように、提示部では、少なくとも1種類以上の心理状態レベルの時間的変動を多次元空間上の図形（グラフ）により可視化したものであって、その各時刻に対応する図形上の位置の近傍にオノマトペの文字列が表示されればよい。あるいは、少なくとも1種類以上の心理状態レベルの大きさを目盛や長さ、あるいは大きさに対応付けることにより可視化して提示してもよい。
＜効果＞
　このような構成とすることで、生体センサを利用することなく、直感的にわかりやすい形で心理状態の時間変化を可視化することができる。
＜変形例＞
　本実施形態では、心理状態可視化装置が携帯端末やタブレット端末等に実装される場合について説明したが、例えば、携帯端末やタブレット端末等をクライアントとするサーバ上に実装されてもよい。この場合、提示部１２０は、提示する可視化情報に関する情報を出力し、携帯端末やタブレット端末等のディスプレイ上で情報を提示する。提示する可視化情報に関する情報とは、例えば、提示する画像そのものでもよいし、携帯端末やタブレット端末等で提示する画像を生成する際に用いるパラメータであってもよい。
＜第二実施形態＞
　第一実施形態と異なる部分を中心に説明する。
　第一実施形態では、入力部１１０において毎時ユーザがオノマトペの文字列とともに心理状態指標値も入力していたが、第二実施形態ではユーザがオノマトペの文字列のみを入力する。ユーザが入力したオノマトペの文字列に対応する心理状態指標値を推定する構成が追加されている点が異なる。
　図７は第一実施形態に係る心理状態可視化装置の機能ブロック図を、図８はその処理フローを示す。
　心理状態可視化装置は、入力部２１０と心理状態推定部２３０と提示部１２０とを含む。
＜入力部２１０＞
　入力部２１０は、ユーザから現在の自らの状態を表現するオノマトペの文字列と、対応する時刻との入力を受け付け（Ｓ２１０）、オノマトペの文字列を提示部１２０と心理状態推定部２３０に出力し、対応する時刻を提示部１２０に出力する。受け付け方法は、心理状態指標値がないことを除いて第一実施形態と同様である。
＜心理状態推定部２３０＞
　心理状態推定部２３０は、オノマトペの文字列を入力とし、心理状態推定モデルを用いて、オノマトペに対応する心理状態指標値を推定し（Ｓ２３０）、提示部１２０に出力する。
　心理状態推定モデルは、入力されたオノマトペの文字列を当該オノマトペに対応する心理状態指標値に変換するモデルであり、予め複数の人から取得したオノマトペの文字列と心理状態指標値とを対応付けたデータ（学習用データ）を用いて予め作成しておく。
　学習用データは、第一実施形態の入力部１１０に入力されたデータを複数の人から集めたようなものを用いれば良い。このとき、対応する時刻を除いてもよい。つまり、ユーザの心理状態を表現するオノマトペの文字列と、そのときの心理状態指標値の組合せを大量に準備し、学習用データとしてもよい。
　図９は、学習データからなるテーブルの例を示す。この例では、気力、喜び、怒り、悲しみは、０～４の５段階の数値で表しており、それぞれの度合いが高いほど大きな数値とする。快不快は－４～４の９段階の数値で表しており、「快」の度合いが強いほどプラスの値、「不快」の度合いが強いほどマイナスの値を示すものとして評価されたものである。
（心理状態推定モデルの例１）
　各オノマトペ（文字列）とそれに対応する心理状態指標値とを対応付けたもの（例えば、テーブルやリスト）を心理状態推定モデルとして用いる。テーブルやリスト中の各心理状態指標値は、例えば、学習用データ中のあるオノマトペに対して各人が付与した心理状態指標値の代表値（平均値や中央値等）を用いる。
（心理状態推定モデルの例２）
　この例では、心理状態推定モデルは、学習用のオノマトペとそれに対応する学習用の心理状態指標値とに基づきニューラルネットワーク等の機械学習により学習されたモデルである。例えば、オノマトペ（文字列）を入力とし、当該オノマトペに対応する心理状態指標値を出力するようなニューラルネットワークを心理状態推定モデルとして用いる。この場合は、予め適当な初期値を設定したニューラルネットワークに、学習用データ中のオノマトペ（文字列）を入力して得られる心理状態指標値の推定結果が、学習用データ中の当該オノマトペに対応付けられた心理状態指標値に近づくように、ニューラルネットワークのパラメータを繰り返し更新することにより、心理状態推定モデルを学習させる。なお、１つのオノマトペに対して複数の心理状態指標値を入力した学習用データを用いる場合は、心理状態推定モデルの出力も複数の心理状態指標値のリスト（組）として、学習をさせてもよい。
＜効果＞
　このような構成により、第一実施形態と同様の効果を得ることができる。さらに、ユーザが心理状態指標値を入力する手間を省くことができる。
＜変形例＞
　第一実施形態や第二実施形態の入力部では、ユーザがオノマトペの文字列を入力することとして説明をしたが、文字列そのものを入力することに限られるものではない。
　例えば、オノマトペに１対１で対応付けられたイラストや画像等を入力することとしても良い。この場合、オノマトペとイラストや画像等とを対応付けたデータベースを備え、入力部は、イラストや画像等を入力とし、それに対応するオノマトペの文字列をデータベースから取り出し、提示部１２０に出力してもよい。
　また、例えば、ユーザの発話を音声認識した結果に含まれるオノマトペの文字列を自動抽出することで、オノマトペの文字列の入力を受け付けても良い。例えば、入力部は、オノマトペの文字列に代えて、音声信号を入力とし、図示しない音声認識部で音声認識処理を行い、音声認識結果を得、その中からオノマトペの文字列を抽出し、提示部１２０に出力してもよい。例えば、対象とするオノマトペの文字列を記憶したデータベースを備え、このデータベースを参照して、音声認識結果からオノマトペの文字列を抽出する。
　さらに、第二実施形態では、心理状態指標値を入力とする必要がないため、例えば、ユーザがメールを作成したり、webへ投稿するコメントを作成したりする際に入力したテキスト文字列中からオノマトペの文字列を自動抽出したものを入力として用いたり、ユーザが携帯電話等で話をする際のユーザの声を音声認識した結果からオノマトペの文字列を自動抽出したものを入力として用いてもよい。
＜その他の変形例＞
　本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
　また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

  1. 　ある時点におけるユーザの心理状態を表す心理状態感性表現語と、前記心理状態感性表現語に対応する、前記ユーザの心理状態を示す心理状態指標値とを入力とする入力部と、
    　前記心理状態感性表現語の文字列と前記心理状態指標値とを時間的変動が視認可能な形式で可視化して提示する提示部を含む、
    　心理状態可視化装置。
  2. 　ある時点におけるユーザの心理状態を表す心理状態感性表現語を入力とする入力部と、
    　心理状態感性表現語を入力とし、心理状態感性表現語に対応する心理状態指標値に変換する心理状態推定モデルを用いて、前記入力部に入力された心理状態感性表現語に対応する心理状態指標値を推定する心理状態推定部と、
    　前記心理状態感性表現語の文字列と前記心理状態指標値とを時間的変動が視認可能な形式で可視化して提示する提示部を含む、
    　心理状態可視化装置。
  3. 　請求項２の心理状態可視化装置であって、
    　前記心理状態推定モデルは、心理状態感性表現語とそれに対応する心理状態指標値とを対応付けたものである、
    　心理状態可視化装置。
  4. 　請求項２の心理状態可視化装置であって、
    　前記心理状態推定モデルは、学習用の心理状態感性表現語とそれに対応する学習用の心理状態指標値とに基づき機械学習により学習されたものである、
    　心理状態可視化装置。
  5. 　心理状態可視化装置が、ある時点におけるユーザの心理状態を表す心理状態感性表現語と、前記心理状態感性表現語に対応する、前記ユーザの心理状態を示す心理状態指標値とを入力とする入力ステップと、
    　前記心理状態可視化装置が、前記心理状態感性表現語の文字列と前記心理状態指標値とを時間的変動が視認可能な形式で可視化して提示する提示ステップを含む、
    　心理状態可視化方法。
  6. 　心理状態可視化装置が、ある時点におけるユーザの心理状態を表す心理状態感性表現語を入力とする入力ステップと、
    　前記心理状態可視化装置が、心理状態感性表現語を入力とし、心理状態感性表現語に対応する心理状態指標値に変換する心理状態推定モデルを用いて、前記入力ステップにおいて入力された心理状態感性表現語に対応する心理状態指標値を推定する心理状態推定ステップと、
    　前記心理状態可視化装置が、前記心理状態感性表現語の文字列と前記心理状態指標値とを時間的変動が視認可能な形式で可視化して提示する提示ステップを含む、
    　心理状態可視化方法。
  7. 　請求項１から請求項４の何れかの心理状態可視化装置としてコンピュータを機能させるためのプログラム。
PCT/JP2019/017593 2019-04-25 2019-04-25 心理状態可視化装置、その方法、およびプログラム WO2020217373A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/605,675 US20220207799A1 (en) 2019-04-25 2019-04-25 Psychological state visualization apparatus, method and program for the same
JP2021515401A JP7014333B2 (ja) 2019-04-25 2019-04-25 心理状態可視化装置、その方法、およびプログラム
PCT/JP2019/017593 WO2020217373A1 (ja) 2019-04-25 2019-04-25 心理状態可視化装置、その方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/017593 WO2020217373A1 (ja) 2019-04-25 2019-04-25 心理状態可視化装置、その方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020217373A1 true WO2020217373A1 (ja) 2020-10-29

Family

ID=72941132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017593 WO2020217373A1 (ja) 2019-04-25 2019-04-25 心理状態可視化装置、その方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220207799A1 (ja)
JP (1) JP7014333B2 (ja)
WO (1) WO2020217373A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017029386A (ja) * 2015-07-31 2017-02-09 富士通株式会社 感情状態推定プログラム、感情状態推定方法、感情状態推定装置及び感情状態推定システム
US9792329B1 (en) * 2016-04-29 2017-10-17 Rich Media Ventures, Llc Mood-based content
WO2018079332A1 (ja) * 2016-10-31 2018-05-03 ソニー株式会社 情報処理装置及び情報処理方法
JP2019041292A (ja) * 2017-08-25 2019-03-14 沖電気工業株式会社 通信装置、プログラムおよびオペレータ選択方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247879B (zh) * 2013-05-30 2019-07-12 索尼公司 客户机设备、控制方法、系统和程序
US11157700B2 (en) * 2017-09-12 2021-10-26 AebeZe Labs Mood map for assessing a dynamic emotional or mental state (dEMS) of a user
US10516701B2 (en) * 2017-10-05 2019-12-24 Accenture Global Solutions Limited Natural language processing artificial intelligence network and data security system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017029386A (ja) * 2015-07-31 2017-02-09 富士通株式会社 感情状態推定プログラム、感情状態推定方法、感情状態推定装置及び感情状態推定システム
US9792329B1 (en) * 2016-04-29 2017-10-17 Rich Media Ventures, Llc Mood-based content
WO2018079332A1 (ja) * 2016-10-31 2018-05-03 ソニー株式会社 情報処理装置及び情報処理方法
JP2019041292A (ja) * 2017-08-25 2019-03-14 沖電気工業株式会社 通信装置、プログラムおよびオペレータ選択方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUMIKO NAKABE, CHISATO ASAGA, CHIEMI WATANABE: "E5-1 Onomatopoeia Learning System With Aesthetic Information", DEIM FORUM 2009 - THE FIRST FORUM ON DATA ENGINEERING AND INFORMATION MANAGEMENT / 7TH DATABASE SOCIETY OF JAPAN ANNUAL MEETING; MARCH 8-10, 2009, 25 December 2009 (2009-12-25), pages 1 - 7, XP009524549 *

Also Published As

Publication number Publication date
JPWO2020217373A1 (ja) 2021-10-14
JP7014333B2 (ja) 2022-02-01
US20220207799A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
KR102427508B1 (ko) 인공 지능 기반의 정신 건강 관리를 위한 장치 및 방법
US8346680B2 (en) Method and system for dynamic adaptation of user experience in an application
WO2014034005A1 (ja) 知的生産性分析装置、プログラム
KR20180137490A (ko) 기억과 의사 결정력 향상을 위한 개인 감정-기반의 컴퓨터 판독 가능한 인지 메모리 및 인지 통찰
CN102566740A (zh) 具有情绪识别功能的电子装置及其输出控制方法
WO2018159542A1 (ja) 行動認識システムおよび行動認識方法
CN109659009B (zh) 情绪管理方法、装置及电子设备
KR102466438B1 (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
US11763690B2 (en) Electronic apparatus and controlling method thereof
CN109272414A (zh) 生活日志利用系统、生活日志利用方法和记录介质
Adami et al. Monitoring health parameters of elders to support independent living and improve their quality of life
JP6115976B1 (ja) 情報処理機器、プログラム
JP7014333B2 (ja) 心理状態可視化装置、その方法、およびプログラム
US20220051670A1 (en) Learning support device, learning support method, and recording medium
JP2009075937A (ja) 機器動作設定装置
JP7212642B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US10224026B2 (en) Electronic device, system, method and computer program
JP5727970B2 (ja) 感覚推定装置、感覚推定方法及び感覚推定プログラム
CN112000256B (zh) 一种内容互动方法及装置
JP6852520B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20160259765A1 (en) Document interaction evaluator based on an ontology
WO2021024372A1 (ja) 学習装置、推定装置、それらの方法、およびプログラム
CN116568224A (zh) 月经关联信息输出装置、学习装置、学习信息的生成方法及存储介质
Barros et al. Harnessing the Role of Speech Interaction in Smart Environments Towards Improved Adaptability and Health Monitoring
JP2023143752A (ja) プログラム、情報処理装置、及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925854

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2021515401

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19925854

Country of ref document: EP

Kind code of ref document: A1