JP7003883B2 - A system for assessing the degree of similarity in psychological states between audiences - Google Patents
A system for assessing the degree of similarity in psychological states between audiences Download PDFInfo
- Publication number
- JP7003883B2 JP7003883B2 JP2018171403A JP2018171403A JP7003883B2 JP 7003883 B2 JP7003883 B2 JP 7003883B2 JP 2018171403 A JP2018171403 A JP 2018171403A JP 2018171403 A JP2018171403 A JP 2018171403A JP 7003883 B2 JP7003883 B2 JP 7003883B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- empathy
- listeners
- degree
- listener
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、コミュニケーションに於ける人間の心理状態を分析するためのシステムに係り、より詳細には、講演、演説、会議、映像視聴などの一方向又は単方向のコミュニケーションに於ける聴衆の動作やコミュニケーションに対する共感の度合に基づいて聴衆の心理状態の分析を行うシステムに係る。 The present invention relates to a system for analyzing a human psychological state in communication, and more particularly, an audience movement in one-way or one-way communication such as a lecture, a speech, a conference, and video viewing. It relates to a system that analyzes the psychological state of the audience based on the degree of empathy for communication.
種々の形態のコミュニケーションに関わる人間の共感或いは反感といった人間の心理状態に関わる情報は、市場に於ける広告宣伝の方針など、マーケティング戦略を考える際に有用である。そこで、コミュニケーションに於ける人間の心理状態を把握するための人間の心理状態の計測又は分析をする技術が種々提案されている。例えば、特許文献1では、複数の対話者の映像から検出された対話者の行動に対して各対話者が共感している否かを(映像を観た)外部観察者がラベル付けしたデータを学習データとして対話者の行動と心理状態(共感している/していない)との相関関係を表すモデルパラメタを学習し、そのモデルパラメタを用いて任意の映像から検出される対話者の行動に基づいて対話者の心理状態を推定する装置が提案されている。また、特許文献2では、複数の観察者が或る映像中の少なくとも一人の人物の共感/反感/どちらでもないといった心理状態を解釈してラベル付けして作成されたデータと複数の観察者のそれぞれの個人特性を表すデータとを学習データとして観察者の各々が人物の心理状態を如何に解釈するかを推定する装置が提案されている。
Information related to human psychological states such as human empathy or antipathy related to various forms of communication is useful when considering marketing strategies such as advertising policies in the market. Therefore, various techniques for measuring or analyzing the psychological state of human beings for grasping the psychological state of human beings in communication have been proposed. For example, in
ところで、講演、演説、会議、映像視聴など、特定の者(話者)が発する情報を聴衆(聴取者の群)が聴取する形式のコミュニケーション(以下、「一方向コミュニケーション」と称する。)に於いて、話者の発した情報により生ずる聴取者の個々の心理状態、即ち、話者の発した情報に共感したか否かといった状態についての情報は、聴取者の個々人の趣味趣向を反映していると考えられるので、商品やサービスの提供、その勧誘、広告、宣伝に於ける方針又は戦略(マーケティング戦略等)を決定する場合に有用である。そのような一方向コミュニケーションに於ける聴衆の心理状態の情報を利用する場合、聴取者個々人の心理状態の情報が個別に参照できるだけでなく、聴取者間に於ける心理状態の類似の度合が参照できると、その心理状態の類似の度合に基づいて聴衆をグループ分けするなどの分析が可能となり、上記の如きマーケティング戦略等の決定に際して有用な情報が得られることが期待される。また、聴取者個々人に於いても、聴取者間に於ける心理状態の類似の度合は、聴衆のうちで誰が自身と似通った趣味趣向を有しているかを把握することが可能になるなど、有用な情報となる(例えば、個々人の紹介サービス等に於いて有用な情報となる。)。かくして、一方向コミュニケーションに於ける聴取者間の心理状態の類似の度合を参照できるシステムがあると有用となろう。その際、心理状態の類似の度合が、客観的に或いは主観的に過ぎないように、そして、把握しやすい態様にて提示され、その信頼性がより高いほどが好ましい。 By the way, in communication (hereinafter referred to as "one-way communication") in which an audience (a group of listeners) listens to information emitted by a specific person (speaker) such as a lecture, a speech, a conference, and video viewing. The information about the individual psychological state of the listener caused by the information emitted by the speaker, that is, whether or not the speaker sympathizes with the information emitted by the speaker, reflects the individual tastes and tastes of the listener. It is useful when deciding a policy or strategy (marketing strategy, etc.) in the provision of products and services, solicitation, advertising, and publicity. When using the information on the psychological state of the audience in such one-way communication, not only the information on the psychological state of each listener can be referred to individually, but also the degree of similarity of the psychological state among the listeners can be referred to. If possible, it will be possible to perform analysis such as grouping the audience based on the degree of similarity in their psychological states, and it is expected that useful information will be obtained when deciding marketing strategies as described above. In addition, even for individual listeners, the degree of similarity in psychological states among listeners makes it possible to grasp who in the audience has similar hobbies and tastes. It will be useful information (for example, it will be useful information in individual referral services, etc.). Thus, it would be useful to have a system that can refer to the degree of similarity in psychological states between listeners in one-way communication. At that time, it is preferable that the degree of similarity of the psychological states is presented in such a way that it is only objectively or subjectively and in an easy-to-understand manner, and the reliability thereof is higher.
かくして、本発明の一つの課題は、一方向コミュニケーションに於ける聴取者間の心理状態の類似の度合を提示できるシステムを提供することである。 Thus, one object of the present invention is to provide a system capable of presenting a similar degree of psychological state between listeners in one-way communication.
本発明によれば、上記の課題は、話者の提供する情報を複数の聴取者が聴取する一方向コミュニケーションに於ける前記複数の聴取者間の心理状態の類似度合を評定し提示するシステムであって、
前記複数の聴取者の各々の心理状態に相関を有する前記聴取者の各々の身体動作の大きさを数値で表現した身体動作量を計測する身体動作量計測手段と、
前記聴取者の各々について前記計測された身体動作量から前記心理状態に相関を有する身体動作特徴量を抽出する身体動作特徴量抽出手段と、
前記聴取者間の各々に於ける身体動作特徴量の類似の程度を数値にて表現した身体動作類似度を算出する身体動作類似度算出手段と、
前記複数の聴取者の各々によって判定される前記話者の提供する情報に対する前記複数の聴取者の各々の共感の程度を数値で表現した共感度を取得する共感度取得手段と、
前記聴取者間の各々に於ける前記共感度の類似の程度を数値で表現した共感類似度を算出する共感類似度算出手段と、
前記身体動作類似度と前記共感類似度とに基づいて前記複数の聴取者間の各々に於ける心理状態の類似度合を評定する心理状態類似度合評定手段と
前記複数の聴取者間の各々に於ける前記心理状態の類似度合を表示する表示手段と
を含むシステムによって達成される。
According to the present invention, the above-mentioned problem is a system for assessing and presenting the degree of similarity of psychological states between the plurality of listeners in one-way communication in which the information provided by the speaker is listened to by the plurality of listeners. There,
A body movement amount measuring means for measuring a body movement amount numerically expressing the magnitude of each body movement of the listener having a correlation with each psychological state of the plurality of listeners, and a body movement amount measuring means.
A body movement feature amount extracting means for extracting a body movement feature amount having a correlation with the psychological state from the measured body movement amount for each of the listeners.
A body movement similarity calculation means for calculating the body movement similarity, which numerically expresses the degree of similarity of the body movement feature amounts among the listeners, and the body movement similarity calculation means.
An empathy acquisition means for acquiring empathy that numerically expresses the degree of empathy of each of the plurality of listeners with respect to the information provided by the speaker, which is determined by each of the plurality of listeners.
An empathy similarity calculation means for calculating the empathy similarity, which numerically expresses the degree of similarity of the empathy among the listeners.
Psychological state similarity evaluation means for evaluating the degree of similarity of psychological states among the plurality of listeners based on the physical movement similarity and the sympathy similarity, and each of the plurality of listeners. It is achieved by a system including a display means for displaying the degree of similarity of the psychological state.
上記の本発明の構成に於いて、「一方向コミュニケーション」とは、既に述べた如く、講演、演説、会議、映像視聴など、特定の者(「話者」)が発する情報を聴衆、即ち、聴取者(聞き手)の群が聴取する形式のコミュニケーションである。なお、「話者」は、聴取者の視聴覚にて認識できる情報(例えば、音声による話、音楽、画像、映像、動画など)を、形態によらず、提供する者であり、必ずしも聴衆の目前に登場していなくてもよいことは理解されるべきである。本システムに於いて、聴取者の「心理状態」とは、話者の提供する情報に応じて生ずる心理的な状態、より具体的には、話者の提供する情報に対して、共感した状態、反感をもった状態又は無関心の状態(共感も反感もない状態)などを言うものとする。「聴取者間の心理状態の類似度合」とは、聴衆のうちの任意の少なくとも二人の心理状態がどの程度にて類似しているか、即ち、近い状態にあるかの指標であり、後に説明される如く、種々の形式にて表現されることとなる。 In the above configuration of the present invention, "one-way communication" means, as already mentioned, an audience, that is, information emitted by a specific person ("speaker") such as a lecture, a speech, a conference, and a video viewing. It is a form of communication that a group of listeners (listeners) listen to. The "speaker" is a person who provides information that can be recognized by the listener's audiovisual (for example, voice talk, music, image, video, video, etc.) regardless of the form, and is not necessarily in front of the audience. It should be understood that it does not have to appear in. In this system, the listener's "psychological state" is a psychological state that occurs in response to the information provided by the speaker, more specifically, a state of empathy for the information provided by the speaker. , A state with antipathy or a state of indifference (a state without empathy or antipathy). "Psychological state similarity between listeners" is an index of how similar, that is, close to, the psychological states of any two of the audience are, and will be explained later. As such, it will be expressed in various formats.
また、上記の構成に於いて、聴取者の心理状態に相関を有する「身体動作」とは、頷き、首ふりなどの頭部又はその他の身体部位に於ける動きなどであり、身体動作の「大きさ」とは、かかる身体部位の変位量をいう。実施の形態に於いて、「身体動作の大きさを数値で表現した身体動作量」とは、個々の聴取者の頭部の変位加速度、変位量などであってよく、「身体動作量計測手段」とは、例えば、個々の聴取者の頭部に装着され、頭部の変位の加速度を計測する加速度センサ、ビデオカメラにより個々の聴取者の頭部を撮影したビデオ映像に於いてかかる頭部の変位量を計測する画像処理手段などであってよい。「身体動作特徴量」は、聴取者の各々に於いて計測された身体動作量から抽出される心理状態に相関を有する任意の数値量であってよく、例えば、単位時間当たりの頷きの回数、単位時間に於ける頭部の変位加速度の標準偏差などが「身体動作特徴量」として利用可能である。「身体動作類似度」は、上記の如く、聴取者間の各々に於ける身体動作特徴量の類似の程度を数値にて表現した値であり、聴衆のうちの二人の聴取者の全ての組み合わせのそれぞれについて算出されてよい(聴衆に於ける二人の組み合わせの数だけ「身体動作類似度」が算出されてよい。)。身体動作類似度は、具体的には、二人の聴取者の身体動作の類似の程度を表せる値であれば、任意の数値であってよく、具体的には、身体動作特徴量の時系列データから算出されるコサイン類似度、相関係数、相互相関関数値、ハミング距離などであってよい。かかる身体動作類似度は、客観的な身体動作の計測に基づいて算出される指標であり、身体動作類似度にて表される二人の聴取者の身体動作特徴量の類似の程度が高いほど、客観的な方法にて計られた二人の心理状態が類似した状態或いは近い状態にあるということが推定できることとなる。 Further, in the above configuration, the "body movement" that correlates with the psychological state of the listener is a movement in the head or other body parts such as nodding and swinging the neck, and is a "body movement". "Size" refers to the amount of displacement of such a body part. In the embodiment, the "body movement amount expressing the magnitude of the body movement numerically" may be the displacement acceleration, the displacement amount, etc. of the head of each listener, and the "body movement amount measuring means". "" Means, for example, an acceleration sensor that is attached to the head of an individual listener and measures the acceleration of displacement of the head, or a head in a video image of the head of an individual listener taken by a video camera. It may be an image processing means for measuring the displacement amount of the above. The "body movement feature amount" may be an arbitrary numerical quantity having a correlation with the psychological state extracted from the body movement amount measured by each listener, and may be, for example, the number of nods per unit time. The standard deviation of the displacement acceleration of the head in a unit time can be used as a "body movement feature quantity". As described above, the "body movement similarity" is a numerical value expressing the degree of similarity of the body movement features between the listeners, and all of the two listeners in the audience. It may be calculated for each combination (the number of combinations of two people in the audience may be calculated as "body movement similarity"). The physical movement similarity may be any numerical value as long as it is a value that can express the degree of similarity of the physical movements of the two listeners, and specifically, the time series of the physical movement feature amount. It may be a cosine similarity calculated from data, a correlation coefficient, a cross-correlation function value, a Hamming distance, or the like. Such physical movement similarity is an index calculated based on objective measurement of physical movement, and the higher the degree of similarity between the physical movement features of the two listeners represented by the physical movement similarity, the higher the degree of similarity. It can be estimated that the psychological states of the two persons measured by an objective method are similar or close to each other.
更に、上記の構成に於いて、聴取者の「共感の程度」とは、話者の提供する情報に対して非常に共感した状態から全く共感していない状態(又は反感を覚えた状態)までの間のいずれかの段階であり、「共感度」とは、かかる「共感の程度」を数値化して表したものである。個々の聴取者の「共感の程度」或いは「共感度」は、聴取者自身それぞれが判定し、個々の聴取者によって「共感度取得手段」へ与えられる。具体的には、「共感の程度」は、VAS(Visual Analog Scale)法やリッカート尺度法などにより「共感度」として数値化されてよい。「共感度取得手段」は、具体的には、聴取者それぞれが自身の「共感の程度」又は「共感度」を入力できる任意の機器(コンピュータ端末、タブレット端末、スマートフォン、携帯端末など)の入力を収集して、聴取者それぞれの共感度を確定する機器、或いは、聴取者それぞれがアンケート用紙やインターネットに於けるサイト(例えば、SNSのコメント欄など)等に記載した各人の「共感の程度」又は「共感度」を収集して、聴取者それぞれの共感度を確定する機器などであってよい。聴取者が共感度取得手段へ与える情報は、「共感の程度」を言葉で表現したものであっても(この場合、共感度取得手段に於いて機械的に或いは人的に「共感の程度」を数値化して「共感度」を確定する。)、聴取者それぞれが、自身で、自分の「共感の程度」を数値化した「共感度」であってもよい。また、上記の構成に於いて、「共感類似度」は、上記の如く、聴取者間の各々に於ける共感度の類似の程度を数値にて表現した値であり、聴衆のうちの二人の聴取者の全ての組み合わせのそれぞれについて算出されてよい(聴衆に於ける二人の組み合わせの数だけ「共感類似度」が算出されてよい。)。共感類似度は、具体的には、二人の聴取者の共感度の類似の程度を表せる値であれば、任意の数値であってよく、実施の形態に於いては、共感類似度は、二人の聴取者の共感度の差分の大きさ、或いは、かかる差分の大きさが小さいほど、大きくなる値であってよい。かかる共感類似度は、聴取者の主観的な判定に基づいて算出される指標であり、共感類似度により表される二人の聴取者の共感度の類似の程度が高いほど、主観的な方法にて判定された二人の心理状態が類似した状態或いは近い状態にあるということが推定できることとなる。 Further, in the above configuration, the listener's "degree of empathy" is from a state in which he / she is very sympathetic to the information provided by the speaker to a state in which he / she does not sympathize at all (or a state in which he / she feels antipathy). The "empathy" is a numerical value of the "degree of empathy". The "degree of empathy" or "empathy" of each listener is determined by each listener and is given to the "empathy acquisition means" by each listener. Specifically, the "degree of empathy" may be quantified as "empathy" by the VAS (Visual Analog Scale) method, the Likert scale method, or the like. Specifically, the "empathy acquisition means" is the input of any device (computer terminal, tablet terminal, smartphone, mobile terminal, etc.) in which each listener can input his / her own "degree of empathy" or "empathy". A device that collects and determines the empathy of each listener, or each listener's "degree of empathy" described on a questionnaire or a site on the Internet (for example, the comment section of SNS). It may be a device that collects "empathy" or "empathy" and determines the empathy of each listener. The information given by the listener to the empathy acquisition means is a verbal expression of the "degree of empathy" (in this case, the "degree of empathy" mechanically or humanly in the empathy acquisition means. To determine the "empathy"), each listener may have the "empathy" by quantifying his or her own "degree of empathy". Further, in the above configuration, the "empathy similarity" is a value that numerically expresses the degree of similarity of empathy among listeners as described above, and is two of the audience. It may be calculated for each of all combinations of listeners (the number of combinations of two people in the audience may be calculated as "empathy similarity"). Specifically, the empathy similarity may be any numerical value as long as it is a value that can express the degree of similarity of the empathy of the two listeners, and in the embodiment, the empathy similarity is The larger the difference in sympathy between the two listeners, or the smaller the difference, the larger the value may be. Such empathy similarity is an index calculated based on the subjective judgment of the listener, and the higher the degree of similarity of the empathy similarity of the two listeners represented by the empathy similarity, the more subjective the method. It can be estimated that the psychological states of the two persons determined in 1 are similar or close to each other.
そして、上記のシステムに於いて、「心理状態類似度合評定手段」は、上記の如く、聴取者間の各々に於ける身体動作類似度と共感類似度とを参照して、聴取者間の各々に於ける心理状態の類似度合の評定を行う。心理状態の類似度合は、聴取者間の心理状態の類似の程度が把握できれば任意の形式にて表現されてよい。後の実施形態の欄にて説明されている如く、心理状態の類似度合は、例えば、身体動作類似度と共感類似度によって、高、低、潜在的高、潜在的低などの複数の段階に分類されるようになっていてよく、或いは、身体動作類似度と共感類似度に応じて変化する数値によって表現されてもよい。なお、実施の形態に於いて、聴取者間の心理状態の類似度合は、「聴取者間の関係性」と表現される。 Then, in the above system, the "psychological state similarity evaluation means" refers to the physical movement similarity and the empathy similarity among the listeners as described above, and each of the listeners. Evaluate the degree of similarity of psychological states in. The degree of similarity in psychological states may be expressed in any format as long as the degree of similarity in psychological states among listeners can be grasped. As described in the section of later embodiments, the degree of similarity of psychological states is divided into multiple stages such as high, low, potential high, and potential low, depending on, for example, physical movement similarity and empathy similarity. It may be classified, or it may be expressed by a numerical value that changes according to the degree of similarity between body movements and the degree of empathy. In the embodiment, the degree of similarity in psychological states between listeners is expressed as "relationship between listeners".
上記の本発明のシステムに於いて、心理状態の類似度合の評定結果は、任意の表示手段、例えば、コンピュータ端末、タブレット端末、スマートフォン、携帯端末のディスプレイに表示され、或いは、プリンタによって紙に印刷されるなどして表示される。 In the above-mentioned system of the present invention, the evaluation result of the degree of similarity of psychological states is displayed on the display of any display means, for example, a computer terminal, a tablet terminal, a smartphone, a mobile terminal, or printed on paper by a printer. It is displayed as being done.
上記の本発明によるシステムの作動に於いては、一方向コミュニケーションの実施に際して、聴取者の各々の身体動作が検出できるように、聴取者の各々に身体動作検出のためのセンサを装着するか、聴取者の各々の身体動作が観察できるようにビデオカメラが配置される。なお、聴取者は、一つの会場に集合している必要はなく、別々の場所に居てもよい(各聴取者は、別々の時間に別々の場所で話者からの情報の提供を受けてもよい。)。聴衆が聴取する情報は、任意の形式にて提供されてよい。(舞台上からの講演、演説、上演の形式でもよいし、映像や音声による提供、配信による提供であってもよい。)。また、聴取者の各々には、共感の程度又は共感度を共感度取得手段へ入力するための入力手段が配布される。そして、一方向コミュニケーションによる情報の提供中に於いて、聴取者の各々の身体動作の検出と共感の程度又は共感度の収集とが実行され、検出された身体動作と収集された共感の程度又は共感度とから、それぞれ、上記の如く身体動作類似度と共感類似度とが算出され、これらの値に基づき、話者の提供する情報に対する聴取者の心理状態が聴取者同士でどの程度類似しているかが個々の聴取者間について評定されることとなる。なお、共感の程度又は共感度の収集、身体動作類似度と共感類似度の算出、聴取者間の心理状態の類似度合の評定、評定結果の表示は、一方向コミュニケーションが行われている間に実行されてもよく、一方向コミュニケーションの終了後に実行されてもよい。かかる構成によれば、聴衆に於いて、趣味趣向がいずれの聴取者は互いに似通っており、いずれの聴取者は相反しているといったことを推定し把握できるようになり、また、一方向コミュニケーションに於ける聴衆の一人々々に於いても、(聴取者同士で個別に意見交換等のコミュニケーションを行わなくても)自身と趣味趣向の似たタイプの人物が誰であるかを推定し把握することも可能となる。 In the operation of the system according to the present invention described above, when performing one-way communication, each listener is equipped with a sensor for detecting body movement so that each listener's body movement can be detected. A video camera is arranged so that each listener's physical movement can be observed. The listeners do not have to be gathered at one venue and may be in different places (each listener receives information from the speaker at different times and in different places). It is also good.). The information heard by the audience may be provided in any format. (It may be in the form of a lecture, speech, or performance from the stage, or it may be provided by video or audio, or by distribution.) In addition, an input means for inputting the degree of empathy or the empathy to the empathy acquisition means is distributed to each of the listeners. Then, during the provision of information by one-way communication, the detection of each body movement of the listener and the collection of the degree of empathy or the empathy are executed, and the detected body movement and the collected degree of empathy or the collected sympathy are performed. From the empathy, the body movement similarity and the empathy similarity are calculated as described above, and based on these values, how similar the listeners' psychological states to the information provided by the speaker are between the listeners. Whether it is or not will be evaluated among individual listeners. In addition, the degree of empathy or the collection of empathy, the calculation of the degree of similarity between body movements and the degree of empathy, the evaluation of the degree of similarity of psychological states between listeners, and the display of the evaluation results are performed while one-way communication is being performed. It may be executed or it may be executed after the end of one-way communication. According to this configuration, it becomes possible to presume and understand which listeners have similar hobbies and tastes to each other and which listeners have conflicting tastes in the audience, and also for one-way communication. Estimate and understand who is the type of person who has similar hobbies and tastes to the audience (without having to communicate with each other individually, such as exchanging opinions). It is also possible.
なお、上記のシステムに於いて、聴取者の身体動作について及び/又は聴取者の自己判定による共感の程度について、複数の手法で身体動作量及び/又は共感の程度を計測し、それぞれの類似度を算出し、聴取者間の心理状態の類似の度合の評定は、3つ以上の類似度を参照して実行されてもよく、そのような場合も本発明の範囲に属することは理解されるべきである。 In the above system, regarding the listener's physical movement and / or the degree of empathy by the listener's self-judgment, the amount of physical movement and / or the degree of empathy is measured by a plurality of methods, and the degree of similarity between them is measured. And assessing the degree of similarity of psychological states between listeners may be performed with reference to three or more similarities, and it is understood that such cases also belong to the scope of the present invention. Should be.
かくして、上記の本発明の聴衆間の心理状態の類似の度合を評定するシステム(聴衆間心理状態類似度合評定システム)の構成によれば、既に述べた如く、一方向コミュニケーションに於ける聴取者間の心理状態の類似の度合が聴取者間で直接にコミュニケーションを取らなくても把握しやすい態様にて提示されることとなる。実施の形態に於いては、聴取者間の心理状態の類似の度合は、各聴取者から身体動作及び共感の程度を収集した後、自動的にコンピュータ処理によって評定されることとなるので、簡便に聴取者間の心理状態の類似の度合が把握できることとなる。また、特に、本発明のシステムに於いては、聴取者の身体動作に基づいた身体動作類似度という客観的な計測に基づき決定される値と、聴取者の自己判定による共感の程度に基づいた共感類似度という個々の聴取者により主観的な判定に基づき決定される値との異なる性質の数値に用いて、統合的に聴取者間の心理状態の類似の度合、即ち、聴取者間の関係性を評定するようになっているので、単独の類似度にて心理状態の類似の度合を評定する場合よりも精度良く或いはより精密な評定が為され、また、客観的過ぎず且つ主観的過ぎずに、聴取者間の心理状態の類似の度合が決定できることが期待される。本発明のシステムにより得られる一方向コミュニケーションに於ける聴取者間の心理状態の類似の度合の評定結果は、既に述べた如きマーケティング戦略等の決定、個々人の紹介サービス等に於いて有用な情報となることが期待される。 Thus, according to the configuration of the system for assessing the degree of similarity of psychological states between the audiences of the present invention (the system for assessing the degree of similarity of psychological states between audiences), as described above, between listeners in one-way communication. The degree of similarity of the psychological state of is presented in an easy-to-understand manner without direct communication between the listeners. In the embodiment, the degree of similarity in psychological state between listeners is simply evaluated by computer processing after collecting the degree of physical movement and empathy from each listener. In addition, the degree of similarity in psychological states among listeners can be grasped. Further, in particular, in the system of the present invention, it is based on a value determined based on an objective measurement of body movement similarity based on the listener's body movement and the degree of empathy by the listener's self-judgment. The degree of similarity of psychological states between listeners, that is, the relationship between listeners, is used in an integrated manner by using a numerical value of sympathy similarity, which is different from the value determined by individual listeners based on subjective judgment. Since it is designed to evaluate sex, it is more accurate or more precise than the case of evaluating the degree of similarity of psychological states by a single degree of similarity, and it is not too objective and too subjective. It is hoped that the degree of similarity in psychological states among listeners can be determined without. The evaluation result of the degree of similarity of psychological states between listeners in the one-way communication obtained by the system of the present invention can be used as useful information in the determination of marketing strategy and the like and the individual referral service as described above. It is expected to become.
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。 Other objects and advantages of the invention will be apparent by the following description of preferred embodiments of the invention.
1…聴衆間関係性評定システム
10…データ処理装置
12…ディスプレイ
14…携帯端末(スマートフォン等)
16…記憶装置
S…加速度センサ
T…共感度入力装置
A1、A2、A3、A4…聴取者
P…話者
1 ... Audience
16 ... Storage device S ... Accelerometer T ... Empathy input device A1, A2, A3, A4 ... Listener P ... Speaker
以下に添付の図を参照しつつ、本発明を好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。 Hereinafter, the present invention will be described in detail with reference to preferred embodiments with reference to the accompanying figures. In the figure, the same reference numerals indicate the same parts.
システムの構成
図1を参照して、本発明の好ましい実施形態の一つによる聴衆間の心理状態の類似度合を評定する「聴衆間関係性評定システム1」は、一方向コミュニケーション、即ち、話者Pが発する情報を聴衆(聴取者の群)A1、A2、…が聴取する形式のコミュニケーションに於いて、話者Pが発する情報に対して共感したか否かといった話者Pが発する情報に応じて生ずる心理状態についての聴取者間の類似の度合(聴取者間の関係性)を把握するために利用される。
The "inter-audience
本実施形態に於いて、一方向コミュニケーションは、具体的には、講演、演説、会議、上映、上演(コンサート、演劇等)、ネット配信など、聴取者の視聴覚にて認識できる情報(例えば、音声による話、音楽、画像、映像、動画など)が話者Pより発せられる形式のコミュニケーションであってよい。話者Pは、上記の如き情報を提供する者の総称であり、話者P自身が聴衆A1、A2、…の面前に登場する場合であっても、登場しない場合であってもよい。また、本実施形態に於いて、一方向コミュニケーションは、聴衆A1、A2、…が一つの会場に集合して同時に情報の提供を受ける場合であっても、聴取者A1、A2、…が個別に別々の場所又は別々の時間帯に情報の提供を受ける場合であってもよい。例えば、一方向コミュニケーションは、パソコン端末、タブレット端末、スマートフォン等を用いたネット配信を通じて各聴取者A1、A2、…が情報の提供を受ける形態であってもよい。なお、図示の例では、聴取者は4名であるが、本実施形態に於いて、聴取者数は、複数であれば、何名であってもよい。 In the present embodiment, the one-way communication specifically means information that can be recognized by the listener's audiovisual (for example, voice) such as lectures, speeches, conferences, screenings, performances (concerts, plays, etc.), and online distribution. (Speech, music, image, video, video, etc.) may be a form of communication emitted by the speaker P. The speaker P is a general term for persons who provide the above information, and the speaker P may or may not appear in front of the audiences A1, A2, .... Further, in the present embodiment, in the one-way communication, even if the audiences A1, A2, ... Are gathered at one venue and receive information at the same time, the listeners A1, A2, ... Are individually. Information may be provided at different locations or at different times. For example, the one-way communication may be in a form in which each listener A1, A2, ... Is provided with information through online distribution using a personal computer terminal, a tablet terminal, a smartphone or the like. In the illustrated example, the number of listeners is four, but in the present embodiment, the number of listeners may be any number as long as there are a plurality of listeners.
システム1の構成に於いて、具体的には、話者Pから情報の提供を受ける聴取者A1、A2、…のそれぞれに於ける心理状態に相関を有する身体動作、例えば、話者Pの頭部の動作(しぐさ)を数値的に計測する身体動作量計測手段が設けられる。身体動作量計測手段としては、例えば、図示の如く、聴取者A1、A2、…のそれぞれの頭部に装着され頭部動作の加速度を検出する加速度センサSであってよく、又は、その他の頭部動作を検出できるものであれば、任意の形式のセンサ(ジャイロセンサ、地磁気センサなど)であってよい。或いは、別の態様として、身体動作量計測手段は、聴取者A1、A2、…のそれぞれの頭部をビデオカメラ(図示せず)にて撮影した動画から聴取者A1、A2、…のそれぞれの頭部の変位量を計測する画像処理装置(図示せず)であってもよい。かかる聴取者A1、A2、…のそれぞれの身体動作量計測手段(センサS又は画像処理装置)からの出力は、後に説明されるデータ処理装置10の受容器Rsにてそれぞれ受容されて、データ処理装置に於ける処理に利用されることとなる。身体動作量計測手段から受容器Rsへの身体動作量又は頭部動作量の送信は、任意の形式の有線通信方式又は無線通信方式にて実行されてよい。なお、以下の説明に於いては、「身体動作」が「頭部動作」である場合について説明されるが、その他の身体部位の動作(手足、肩の動作など)の場合も同様に適用可能であり、本発明の範囲に属することは理解されるべきである。
In the configuration of the
また、システム1の構成に於いて、聴取者A1、A2、…には、一方向コミュニケーションにより提供された情報に対する聴取者それぞれが自身で判定する心理状態、より具体的には、聴取者自身が判定する、提供された情報に対する「共感の程度」を取得するための手段が準備される。「発明の概要」の欄に於いて既に述べられている如く、聴取者の「共感の程度」は、話者の提供する情報に対して非常に共感した状態から全く共感していない状態(又は反感を覚えた状態)までの間の心理状態の段階であり、それを数値化して、共感度が表される。「共感の程度」を取得するための手段としては、具体的には、一つの形態として、図示の如く、聴取者A1、A2、…に、コンピュータ端末、タブレット端末、スマートフォン、携帯端末などの、聴取者自身が「共感の程度」又は「共感度」を入力できる任意の形態の端末機器Tが提供され、かかる端末機器Tへの入力は後に説明されるデータ処理装置10の受容器Rtにてそれぞれ受容されて、データ処理装置10に於ける処理に利用されることとなる。端末機器Tから受容器Rtへの共感の程度又は共感度の送信は、任意の形式の有線通信方式又は無線通信方式にて実行されてよい。或いは、「共感の程度」を取得する手段の別の態様として、聴取者に「共感の程度」又は「共感度」を記入する用紙(アンケート用紙)を配布して、一方向コミュニケーションの実施中又は実施後に用紙を回収して、各聴取者の用紙の記入事項を収集して、各聴取者の「共感の程度」又は「共感度」をデータ処理装置10の受容器Rtに入力するようになっていてもよい。また、更に、各聴取者の「共感の程度」又は「共感度」がインターネットに於けるサイト(例えば、SNSのコメント欄など)等の書き込みを参照して(機械的に又は人的に)各聴取者の「共感の程度」又は「共感度」を決定し、それらの結果をデータ処理装置10の受容器Rtに入力するようになっていてもよい。
Further, in the configuration of the
そして、図1に示されている如く、本実施形態のシステムに於いては、データ処理装置10が、受容器Rs、Rtへの入力を用いて、話者Pが発する情報に対する心理状態に於ける聴取者間の関係性(聴取者間の類似の度合)の評定を実行する。データ処理装置10は、具体的には、各聴取者の身体動作量、典型的には、頭部動作量を受容する受容器Rs、各聴取者の共感の程度又は共感度を受容する受容器Rt、受容器Rsにて取得した頭部動作量から各聴取者の心理状態に相関を有する頭部動作特徴量(身体動作特徴量)を抽出又は算出する頭部動作特徴量算出部、受容器Rtにて取得した各聴取者の共感の程度から各聴取者の共感度を算出する共感度算出部(受容器Rtにて各聴取者からの共感度が得られる場合には、その値がそのまま確定される。)、各聴取者の頭部動作特徴量から聴取者間の頭部動作類似度を算出する頭部動作類似度算出部、各聴取者の共感度から聴取者間の共感度類似度を算出する共感度類似度算出部、頭部動作類似度と共感度類似度とから聴取者間の心理状態の類似度合、即ち、聴取者間の関係性の評定を行う聴衆間関係性評定部、及び、聴衆間関係性の評定結果を出力する結果出力部を含む。データ処理装置10は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたCPU、記憶装置、入出力装置(I/O)が装備され、装置の各部の作動は、CPUに於いてプログラムを実行することにより達成されることとなる。なお、装置内各部の作動は、以下の「システムの作動」の説明に於いて説明される。そして、データ処理装置10の聴衆間関係性の評定結果は、結果出力部から任意の端末機器のディスプレイ12や携帯端末14へ送信されて、表示され、或いは、用紙に印刷されてよく、又、評定結果は、任意の記憶装置16に送信されて記録されてよい。
Then, as shown in FIG. 1, in the system of the present embodiment, the
システムの作動
一方向コミュニケーションに於いて、一般に、聴取者に於いて、提供される情報に対して同調した頷きや相槌などの頭部動作又はその他の同調した身体動作をする傾向が強いほど、提供される情報に対する満足度が高いことが報告されている。しかしながら、人の内面も千差万別であり、強い頷きを示すにも関わらず全く共感していない場合やその逆となる場合も多々ある。一方、聴取者が自身の共感の程度を自己判定して申告する場合、実際には、共感していないのに、共感しているとの申告をしたり、その逆となる場合もある。本システムでは、聴衆間の心理状態の類似度合を把握するに際して、客観的な計測に基づく頭部動作特徴量から聴衆間の心理状態の類似の程度(頭部動作類似度)を算出し、主観的な申告に基づく共感度から聴衆間の心理状態の類似の程度(共感類似度)を算出し、頭部動作類似度と共感類似度とを参照して、統合的に、より精密に、聴衆間の心理状態の類似度合を評定することが試みられる。本実施形態のシステムの処理に於いては、図2(A)に示されている如く、具体的には、(a)一方向コミュニケーションに於ける各聴取者の頭部動作の計測値からの心理状態に相関のある頭部動作特徴量の抽出(ステップ1、2)、(b)聴取者間の頭部動作類似度の算出(ステップ3、4)、(c)各聴取者の自己判定による共感の程度を表す共感度の収集(ステップ5)、(d)聴取者間の共感類似度の算出(ステップ6、7)、(e)聴取者間の関係性の評定(ステップ8)、(f)評定結果の提示、表示又は出力(ステップ9)が実行される。以下、図面を参照しながら、各処理作動について説明する。
System operation In one- way communication, in general, the stronger the listener's tendency to perform head movements such as nodding and aizuchi or other synchronized body movements synchronized with the information provided, the more provided. It has been reported that the degree of satisfaction with the information provided is high. However, the inside of a person is also diverse, and there are many cases in which he does not sympathize at all despite showing a strong nod, and vice versa. On the other hand, when the listener self-determines the degree of empathy and declares it, he / she may declare that he / she sympathizes even though he / she does not actually sympathize with it, or vice versa. In this system, when grasping the degree of similarity of psychological states between audiences, the degree of similarity of psychological states between audiences (head movement similarity) is calculated from the amount of head movement features based on objective measurement, and is subjective. The degree of similarity in psychological states between the audience (sympathy similarity) is calculated from the empathy based on the general declaration, and the audience is integrated and more precise by referring to the head movement similarity and the empathy similarity. Attempts are made to assess the degree of similarity between the psychological states. In the processing of the system of the present embodiment, as shown in FIG. 2 (A), specifically, (a) from the measured value of the head movement of each listener in one-way communication. Extraction of head movement features that correlate with psychological state (
(a)各聴取者の頭部動作の計測と頭部動作特徴量の抽出(ステップ1、2)
既に述べた如く、各聴取者の頭部動作の計測は、各聴取者の頭部に装着された加速度センサSによる頭部変位に於ける加速度の計測或いはビデオカメラの映像に於ける各聴取者の頭部の像の変位量の計測により、各聴取者について実行される(ステップ1)。例えば、加速度センサSにより計測される各聴取者の頭部変位加速度は、図3(A)に例示されている如く、時系列に計測される。なお、その他のセンサを用いた場合、ビデオカメラ映像内の各聴取者の頭部の変位量を計測した場合も計測値の単位は異なるが同様に時系列に計測値が得られる。かくして、各聴取者の頭部動作量の時系列データが得られると、頭部動作特徴量算出部に於いて、聴取者の各々の心理状態に相関を有する頭部動作特徴量が時系列データとして算出される(ステップ2)。頭部動作特徴量としては、具体的には、単位時間当たりの頷きの回数(図3(B))、単位時間に於ける頭部の変位加速度の標準偏差(図3(C))などであってよい(単位時間は、例えば、1秒間など、適合により設定されてよい。)。
(A) Measurement of head movement of each listener and extraction of head movement feature amount (
As already mentioned, the measurement of the head movement of each listener is the measurement of the acceleration in the head displacement by the acceleration sensor S attached to the head of each listener, or each listener in the image of the video camera. It is performed for each listener by measuring the displacement of the image of the head of the head (step 1). For example, the head displacement acceleration of each listener measured by the acceleration sensor S is measured in time series as illustrated in FIG. 3A. When other sensors are used, even when the displacement amount of the head of each listener in the video camera image is measured, the measured value is obtained in chronological order although the unit of the measured value is different. Thus, when the time-series data of the head movement amount of each listener is obtained, the head movement feature amount having a correlation with each psychological state of the listener is the time-series data in the head movement feature amount calculation unit. Is calculated as (step 2). Specifically, the head movement feature amount is the number of nods per unit time (Fig. 3 (B)), the standard deviation of the displacement acceleration of the head in a unit time (Fig. 3 (C)), and the like. It may be (the unit time may be set according to the fit, for example, 1 second).
(b)聴取者間の頭部動作類似度の算出(ステップ3、4)
各聴取者の頭部動作特徴量が算出されると、聴取者間の頭部動作の類似の程度を表す頭部動作類似度が算出される(頭部動作類似度算出部)。頭部動作類似度は、聴衆のうちの、二人の聴衆者の組み合わせの全てについて、二人の聴衆者の頭部動作特徴量を用いて算出される(ステップ4)。既に触れた如く、聴取者に於いて、提供される情報に対して頭部動作又はその他の身体動作が同調しているほど、提供される情報に対する満足感、共感の程度が大きいと推定されるところ、任意の二人の聴取者に於いて、かかる頷きや相槌などの頭部動作又は身体動作のタイミングが類似又は一致しているほど、両者の心理状態は類似しているものと推定される。かくして、頭部動作類似度としては、そのような頭部動作又は身体動作のタイミングの類似の程度を計ることのできる任意の数値が採用されてよい。具体的には、頭部動作類似度は、二人の聴取者の頭部動作特徴量の時系列データのコサイン類似度、相関係数、相互相関関数値、ハミング距離などであってよい。なお、頭部動作類似度は、通常、聴取者間の頭部動作の類似の程度が高いほど、大きな値となるよう算出されるが、これに限定されない。そして、図3(D)に例示されている如く、聴衆に於ける二人の聴衆者の組み合わせの各々に対して、頭部動作類似度が算出される。図示の例は、二者の頭部加速度の標準偏差値の時系列データのコサイン類似度である(60秒間に亙る1秒間毎の頭部加速度の標準偏差値を60次元ベクトルの成分とした。)。
(B) Calculation of head movement similarity between listeners (
When the head movement feature amount of each listener is calculated, the head movement similarity indicating the degree of similarity of the head movement between the listeners is calculated (head movement similarity calculation unit). The head movement similarity is calculated using the head movement features of the two audiences for all combinations of the two audiences in the audience (step 4). As already mentioned, it is presumed that the more the head movement or other physical movement is synchronized with the provided information, the greater the degree of satisfaction and empathy for the provided information. However, it is presumed that the psychological states of the two listeners are so similar that the timings of the head movements or body movements such as nodding and empathy are similar or the same. .. Thus, as the head movement similarity, any numerical value capable of measuring the degree of similarity in the timing of such head movement or body movement may be adopted. Specifically, the head motion similarity may be the cosine similarity of the time-series data of the head motion features of the two listeners, the correlation coefficient, the cross-correlation function value, the Hamming distance, and the like. It should be noted that the head movement similarity is usually calculated so that the higher the degree of similarity between the listeners in the head movement, the larger the value, but the head movement similarity is not limited to this. Then, as illustrated in FIG. 3D, the head movement similarity is calculated for each of the combinations of the two audiences in the audience. The illustrated example is the cosine similarity of the time-series data of the standard deviation values of the head accelerations of the two parties (the standard deviation values of the head accelerations per second over 60 seconds were used as the components of the 60-dimensional vector. ).
(c)各聴取者の自己判定による共感の程度を表す共感度の収集(ステップ5)
上記のステップ1~4の処理とは別に、各聴取者の共感の程度を表す共感度の収集が実行される。既に述べた如く、各聴取者の自己判定による共感の程度又は共感度は、各聴取者の配布される端末機器Tへの入力又は用紙等の記載を通じて収集される。各聴取者の共感の程度は、具体的には、図4(A)に模式的に描かれている如く、話者Pの提供した情報に対して共感しない状態から共感した状態まででいずれの段階にあるかを各聴取者が自身で判断して決定して入力するか、文言に記載する。そして、その入力又は記載の共感の程度が、図4(B)に模式的に描かれている如く、共感度として数値化される。典型的には、共感度は、共感の程度が強いほど高くなるように、共感しない状態を0に設定し、共感した状態を100に設定するなどして決定されてよい(共感度は、共感するほど低い値に設定されてもよい。)。かかる共感の程度から共感度への数値化は、VAS(Visual Analog Scale)法やリッカート尺度法などにより為されてよい。各聴取者が共感の程度を文言で表現したり、図4(A)に例示されている如きスケールバー上の位置にて入力する場合には、共感度算出部にて、共感の程度が機械的に共感度として数値化される。また、各聴取者が共感度を端末機器等へ入力する場合には、共感度算出部は、その数値を確認する処理を実行するか、或いは、共感度算出部が省略されてもよい。
(C) Collection of empathy indicating the degree of empathy by self-judgment of each listener (step 5)
Apart from the
(d)聴取者間の共感類似度の算出(ステップ6、7)
各聴取者の共感度が収集されると、聴取者間の共感度の類似の程度を表す共感類似度が算出される(共感類似度算出部)。共感類似度は、聴衆のうちの、二人の聴衆者の組み合わせの全てについて、二人の聴衆者の共感度を用いて算出される(ステップ7)。共感類似度は、通常、聴取者間の共感度の類似の程度が高いほど、大きな値となるよう算出されるが、これに限定されない。例として、例えば、共感類似度は、
共感類似度=100-[二人の聴取者の共感度の差分]
にて算出されてよい(この場合、共感度の類似の程度が高いほど、共感類似度が高くなる。)。そして、図4(C)に例示されている如く、聴衆に於ける二人の聴衆者の組み合わせの各々に対して、共感類似度が算出される。
(D) Calculation of empathy similarity between listeners (steps 6 and 7)
When the empathy of each listener is collected, the empathy similarity indicating the degree of similarity of the empathy between the listeners is calculated (empathy similarity calculation unit). Empathy similarity is calculated using the empathy of two audiences for all combinations of two audiences in the audience (step 7). The degree of empathy similarity is usually calculated so that the higher the degree of similarity of empathy between listeners, the larger the value, but the degree of empathy similarity is not limited to this. As an example, for example, empathy similarity is
Empathy similarity = 100- [Difference in empathy between two listeners]
(In this case, the higher the degree of similarity of empathy, the higher the degree of empathy similarity). Then, as illustrated in FIG. 4C, the empathy similarity is calculated for each of the combinations of the two audiences in the audience.
(e)聴取者間の関係性の評定(ステップ8)
聴取者間の頭部動作類似度と共感類似度とが算出されると、それらの値を参照して、聴取者間関係性評定部にて、聴取者間の関係性、即ち、聴取者間の心理状態の類似の度合、の評定が実行される。かかる評定に於いては、頭部動作類似度と共感類似度とのそれぞれが表す心理状態の類似の程度の組み合わせによって、種々の評定が為されてよい。具体的には、例えば、頭部動作類似度と共感類似度が共に、類似の程度が大きいほど、大きな値となるように算出されている場合に、或る聴取者Ai、Ajとの関係性の評定をする際には、図2(B)に例示されている如く、聴取者Ai、Aj間の頭部動作類似度Vsijが閾値Thsよりも大きいか否か、及び、聴取者Ai、Aj間の共感類似度Vtijが閾値Thtよりも大きいか否かに応じて、聴取者Ai、Aj間の関係性が別々に評定されてよい。図示の例では、下記のように評定される。
(i)Vsij>Ths且つVtij>Thtの場合
1:高関係性-客観的及び主観的な判定の両方で心理状態が類似
動作パターンや心情の表明の仕方が共に似ていることを表し、高い関係性を持つ。そのペア間で円滑にコミュニケーションが取れる可能性が高い。
(ii)Vsij≦Ths且つVtij≦Thtの場合
2:低関係性-客観的及び主観的な判定の両方で心理状態が非類似
動作パターンや心情の表明の仕方が共に似ていないため、関係性が低いと推定される。
(iii)Vsij≦Ths且つVtij>Thtの場合
3:潜在的高関係性-主観的な判定でのみ心理状態が類似
同じような心情の表明の仕方をするが、動作パターンには出ていない状態。そのペア間で円滑にコミュニケーションが取れる可能性がある。
(iv)Vsij>Ths且つVtij≦Thtの場合
4:潜在的低関係性-主観的な判定でのみ心理状態が非類似
同じような動作パターンをするが、心情の表明の仕方が異なる状態。
上記の評定は、聴衆のうちの二人の聴取者の組み合わせの全てについて実行されてよい。かくして、頭部動作類似度と共感類似度との複数のプロセスを通じて取得された聴取者間の心理状態の類似の程度を参照することにより、より綿密に聴取者間の心理状態の類似度合を評定することが可能となる。
(E) Assessment of relationships between listeners (step 8)
When the head movement similarity and the empathy similarity between listeners are calculated, the relationship between listeners, that is, between listeners, is referred to by the inter-listener relationship evaluation unit with reference to these values. A rating of a similar degree of psychological state is performed. In such an evaluation, various evaluations may be made depending on the combination of the degree of similarity of the psychological states represented by the head movement similarity and the empathy similarity. Specifically, for example, when both the head movement similarity and the empathy similarity are calculated so that the larger the degree of similarity, the larger the value, the relationship with a certain listener Ai, Aj. As illustrated in FIG. 2B, whether or not the head movement similarity Vsij between the listeners Ai and Aj is larger than the threshold value Ths, and whether the listeners Ai and Aj are evaluated. The relationship between the listeners Ai and Aj may be evaluated separately depending on whether or not the empathy similarity Vtij between them is larger than the threshold value Tht. In the illustrated example, it is rated as follows.
(I) In the case of Vsij> Ths and Vtij> Tht 1: High relationship-Psychological states are similar in both objective and subjective judgments. Have a relationship. There is a high possibility that the pair can communicate smoothly.
(Ii) In the case of Vsij ≤ Ths and Vtij ≤ Tht 2: Low relationship-Relationship because the psychological states are dissimilar in both objective and subjective judgments. Is estimated to be low.
(Iii) In the case of Vsij ≤ Ths and Vtij> Tht 3: Potential high relationship-Psychological state is similar only by subjective judgment. .. There is a possibility that the pair can communicate smoothly.
(Iv) In the case of Vsij> Ths and Vtij≤Tht 4: Potential low relationship-Psychological states are dissimilar only by subjective judgment. Similar movement patterns are performed, but the way of expressing emotions is different.
The above rating may be performed on all combinations of two listeners in the audience. Thus, by referring to the degree of psychological state similarity between listeners obtained through multiple processes of head movement similarity and empathy similarity, the degree of psychological state similarity between listeners is evaluated more closely. It becomes possible to do.
(f)評定結果の提示、表示又は出力(ステップ9)
かくして、上記の如く、聴衆間の関係性の評定がなされると、その結果が種々の形式にて任意の端末機器のディスプレイ12、携帯端末14、紙媒体(図示せず)等に表示され、或いは、記憶装置16に保存される。結果表示の一つの形式に於いては、図5(A)に例示されている如く、表形式にて、聴衆間の関係性が可視化されてよい。或いは、図5(B)に模式的に描かれている如く、聴取者間を関係性の種別が把握できる態様にてネットワーク図の形式にて聴衆間の関係性が可視化されてもよい。
(F) Presentation, display or output of rating results (step 9)
Thus, when the relationship between the audience is evaluated as described above, the result is displayed in various formats on the
上記の処理に於いて、頭部動作量の計測(ステップ1)は、一方向コミュニケーションの実施中に実行されるが、その他の処理は、一方向コミュニケーションの実施中及び実施後のいずれに於いて実行されてもよく、いずれの場合の本発明の範囲に属することは理解されるべきである。 In the above process, the measurement of the amount of head movement (step 1) is executed during the execution of the one-way communication, while the other processes are performed either during the implementation of the one-way communication or after the execution. It may be practiced and it should be understood that it falls within the scope of the invention in any case.
図6は、本システムにより、或る一方向コミュニケーションの実施中の聴取者が4人の場合に頭部動作類似度及び共感類似度の算出並びに聴取者間関係性の評定を実施した場合の結果を示している。図中、数値は、それぞれ、聴取者間の頭部動作類似度及び共感類似度を示している。図示の如く、本システムによれば、一方向コミュニケーションに於ける客観的及び主観的な手法の双方による聴取者の心理状態の判定結果に基づき、聴取者間の関係性がより細かく評定できることとなる。 FIG. 6 shows the results when the head movement similarity and the empathy similarity are calculated and the inter-listener relationship is evaluated when there are four listeners during a certain one-way communication by this system. Is shown. In the figure, the numerical values indicate the degree of head motion similarity and the degree of empathy similarity between listeners, respectively. As shown in the figure, according to this system, the relationship between listeners can be evaluated in more detail based on the judgment result of the psychological state of the listener by both objective and subjective methods in one-way communication. ..
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。 Although the above description is made in relation to the embodiments of the present invention, many modifications and modifications can be easily made by those skilled in the art, and the present invention is limited to the embodiments exemplified above. It will be apparent that, without limitation, it applies to various devices without departing from the concept of the present invention.
Claims (1)
前記複数の聴取者の各々の心理状態に相関を有する前記聴取者の各々の身体動作の大きさを数値で表現した身体動作量を計測する身体動作量計測手段と、
前記聴取者の各々について前記計測された身体動作量から前記心理状態に相関を有する身体動作特徴量を抽出する身体動作特徴量抽出手段と、
前記聴取者間の各々に於ける身体動作特徴量の類似の程度を数値にて表現した身体動作類似度を算出する身体動作類似度算出手段と、
前記複数の聴取者の各々によって判定される前記話者の提供する情報に対する前記複数の聴取者の各々の共感の程度を数値で表現した共感度を取得する共感度取得手段と、
前記聴取者間の各々に於ける前記共感度の類似の程度を数値で表現した共感類似度を算出する共感類似度算出手段と、
前記身体動作類似度と前記共感類似度とに基づいて前記複数の聴取者間の各々に於ける心理状態の類似度合を評定する心理状態類似度合評定手段と
前記複数の聴取者間の各々に於ける前記心理状態の類似度合を表示する表示手段と
を含むシステム。 It is a system that evaluates and presents the degree of similarity of psychological states among the plurality of listeners in one-way communication in which a plurality of listeners listen to the information provided by the speaker.
A body movement amount measuring means for measuring a body movement amount numerically expressing the magnitude of each body movement of the listener having a correlation with each psychological state of the plurality of listeners, and a body movement amount measuring means.
A body movement feature amount extracting means for extracting a body movement feature amount having a correlation with the psychological state from the measured body movement amount for each of the listeners.
A body movement similarity calculation means for calculating the body movement similarity, which numerically expresses the degree of similarity of the body movement feature amounts among the listeners, and the body movement similarity calculation means.
An empathy acquisition means for acquiring empathy that numerically expresses the degree of empathy of each of the plurality of listeners with respect to the information provided by the speaker, which is determined by each of the plurality of listeners.
An empathy similarity calculation means for calculating the empathy similarity, which numerically expresses the degree of similarity of the empathy among the listeners.
Psychological state similarity evaluation means for evaluating the degree of similarity of psychological states among the plurality of listeners based on the physical movement similarity and the sympathy similarity, and each of the plurality of listeners. A system including a display means for displaying the degree of similarity of the psychological state.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018171403A JP7003883B2 (en) | 2018-09-13 | 2018-09-13 | A system for assessing the degree of similarity in psychological states between audiences |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018171403A JP7003883B2 (en) | 2018-09-13 | 2018-09-13 | A system for assessing the degree of similarity in psychological states between audiences |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020042709A JP2020042709A (en) | 2020-03-19 |
JP7003883B2 true JP7003883B2 (en) | 2022-01-21 |
Family
ID=69798431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018171403A Active JP7003883B2 (en) | 2018-09-13 | 2018-09-13 | A system for assessing the degree of similarity in psychological states between audiences |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7003883B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023145350A1 (en) * | 2022-01-25 | 2023-08-03 | パナソニックIpマネジメント株式会社 | Information processing method, information processing system, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007102481A (en) | 2005-10-04 | 2007-04-19 | Hitachi Ltd | Marketing system |
JP2009230363A (en) | 2008-03-21 | 2009-10-08 | Sony Corp | Display unit and display method therefor |
JP2015152957A (en) | 2014-02-10 | 2015-08-24 | 大日本印刷株式会社 | Server device, program and information providing method |
-
2018
- 2018-09-13 JP JP2018171403A patent/JP7003883B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007102481A (en) | 2005-10-04 | 2007-04-19 | Hitachi Ltd | Marketing system |
JP2009230363A (en) | 2008-03-21 | 2009-10-08 | Sony Corp | Display unit and display method therefor |
JP2015152957A (en) | 2014-02-10 | 2015-08-24 | 大日本印刷株式会社 | Server device, program and information providing method |
Also Published As
Publication number | Publication date |
---|---|
JP2020042709A (en) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cerekovic et al. | Rapport with virtual agents: What do human social cues and personality explain? | |
US10111611B2 (en) | Personal emotional profile generation | |
JP7427611B2 (en) | Computer-implemented system and method for determining user attention | |
US20130121591A1 (en) | Systems and methods using observed emotional data | |
US20180060757A1 (en) | Data annotation method and apparatus for enhanced machine learning | |
CN110942055A (en) | State identification method, device and equipment for display area and storage medium | |
KR20180137490A (en) | Personal emotion-based computer-readable cognitive memory and cognitive insights for memory and decision making | |
JP2007286995A (en) | Attention level measurement device and attention level measurement system | |
EP1520242A1 (en) | Measurement of content ratings through vision and speech recognition | |
JP2007006427A (en) | Video monitor | |
US20130102854A1 (en) | Mental state evaluation learning for advertising | |
JP6715410B2 (en) | Evaluation method, evaluation device, evaluation program, and evaluation system | |
WO2019086856A1 (en) | Systems and methods for combining and analysing human states | |
KR101988334B1 (en) | a mobile handset and a method of analysis efficiency for multimedia content displayed on the mobile handset | |
US20220383896A1 (en) | System and method for collecting behavioural data to assist interpersonal interaction | |
CN109659009A (en) | Motion management method, apparatus and electronic equipment | |
JP7003883B2 (en) | A system for assessing the degree of similarity in psychological states between audiences | |
WO2022168185A1 (en) | Video session evaluation terminal, video session evaluation system, and video session evaluation program | |
WO2022168180A1 (en) | Video session evaluation terminal, video session evaluation system, and video session evaluation program | |
De Carolis et al. | A multimodal framework for recognizing emotional feedback in conversational recommender systems | |
JP2022037575A (en) | Image evaluation predicting device and method | |
Afshari et al. | QoE assessment of interactive applications in computer networks | |
JP6621197B2 (en) | Behavior / feeling estimation system and behavior / feeling estimation device | |
JP7465013B2 (en) | Video meeting evaluation terminal, video meeting evaluation system and video meeting evaluation program | |
JP7471683B2 (en) | Reaction notification system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211213 |