KR20150097632A - 인간의 심적 상태의 평가 장치 - Google Patents

인간의 심적 상태의 평가 장치 Download PDF

Info

Publication number
KR20150097632A
KR20150097632A KR1020157018830A KR20157018830A KR20150097632A KR 20150097632 A KR20150097632 A KR 20150097632A KR 1020157018830 A KR1020157018830 A KR 1020157018830A KR 20157018830 A KR20157018830 A KR 20157018830A KR 20150097632 A KR20150097632 A KR 20150097632A
Authority
KR
South Korea
Prior art keywords
signal
subjects
relationship
signals
evaluation
Prior art date
Application number
KR1020157018830A
Other languages
English (en)
Inventor
요시히로 미야케
Original Assignee
고쿠리츠다이가쿠호진 토쿄고교 다이가꾸
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고쿠리츠다이가쿠호진 토쿄고교 다이가꾸 filed Critical 고쿠리츠다이가쿠호진 토쿄고교 다이가꾸
Publication of KR20150097632A publication Critical patent/KR20150097632A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Abstract

평가 장치(100)는, 복수의 피험자(2) 간의 커뮤니케이션에 있어서의, 피험자(2) 간의 관계를 평가한다. 비언어 정보 측정부(10)는, 복수의 피험자(2a, 2b) 각각의 비언어 정보(S0a, S0b)를 관측하고, 복수의 피험자 각각에 대해, 비언어 정보를 수치화한 시계열 신호인 제1신호(S1a, S1b)를 생성한다. 파형 해석부(22)는, 복수의 피험자 각각에 대해 얻어진 제1신호(S1a, S1b)에 기초하여, 복수의 피험자(2a, 2b) 각각의 비언어 정보의 리듬으로서의 특성과 관련된 양인 제2신호(S2a, S2b)를 생성한다. 관계 평가부(24)는, 복수의 피험자 각각에 대응하는 복수의 제2신호(S2a, S2b)의 상대적인 관계에 기초하여, 복수의 피험자 사이의 관계에 관한 심적 상태를 나타내는 지표인 제3신호(S3)를 생성한다.

Description

인간의 심적 상태의 평가 장치{APPARATUS FOR EVALUATING HUMAN MENTAL STATE}
본 발명은, 인간의 심적 상태의 평가 기술에 관한 것이다.
인간의 심적, 정신 상태 등을, 소정 지표에 기초하여 개관적으로, 또는 정량적으로 평가하는 기술이 요구되고 있다. 종래, 이와 같은 평가(심적 상태의 평가라고 함)의 수법으로서는, (ⅰ) 앙케이트에 의한 것, (ⅱ) 피험자의 뇌파, 심박수, 혈압, 발한, 호흡, 온도, 등의 생리 반응을 측정하고, 그것을 이용하는 것이 알려져 있다. 그 외에, (ⅲ) 뇌파나 심박수 등으로부터 얻어지는 생리 정보나, 비언어 정보(한숨, 끄덕임, 목소리 상태 등)로부터 얻어지는 관측 정보와, 앙케이트 등의 주관적 평가 데이터를 학습시켜, 관측 정보로부터 심적 상태를 측정하는 방법도 제안되어 있다(특허문헌 1).
일본국 특허공개공보 2010-22649호 공보 일본국 특허공개공보 2007-97668호 공보 일본국 특허공개공보 2013-52049호 공보
그러나, 앙케이트에 의한 수법은, 정량성이나 실시간성의 점에서 문제가 남아 있었다. 또한, 생리 반응을 측정하는 수법에서는, 피험자의 신체에 센서를 접착할 필요가 있어, 취급 상의 문제가 있다.
특허문헌 1, 2에 기재된 기술에서는, 어떤 피험자의 심적 상태를 평가하기 위해, 그 피험자 자신의 상태(생리 정보, 관측 정보 등을 포함)만을 관측하는 것에 머물러 있었다. 커뮤니케이션에 있어서 개인의 심적 상태는 "인간 관계"의 안에서 크게 변화한다. 그 의미에서 "관계"의 평가는 중요하지만, 종래에서는 커뮤니케이션에 있어서의 "관계"까지 포함하여 평가하지는 않았다. 여기서 말하는 "관계"란, 복수의 개인(피험자) 사이의 관계에 관한 심적 상태로서 파악되고, 커뮤니케이션의 기반에 있는 콘텍스트 공유에 관한 감각이나 정보가 대응된다. 구체적으로는, 공감, 신뢰감, 일체감, 동질감, 현장감, 합의나 동의, 납득감 등이 포함된다. 이는, 개인의 심적 상태인, 상대에 대한 호오, 흥미, 인지, 동의하지 않음(이론), 타협, 이해 불능(흘려 들음), 의문(의혹) 등과는 구별되는 것이다. 동질감이란, 그 장소에 융화되는 것이고, 현장감이란, 그 장소에 있는 것을 실감하는 것이다.
특허문헌 3에는, 대화의 동조성을 검출하는 동조성 검출 장치가 개시된다. 이 장치는, 제1화자와 제2화자 각각에 대해 생리 지표를 소정 시간 측정하고, 이들을 콘볼루션(convolution)함으로써, 동조성을 검출한다. 이 장치는, 2명의 화자의 생리 지표의 시간축 상의 어긋남이 짧을수록 동조성이 높고, 그 어긋남이 길수록 동조성이 낮은 것을 전제로 하고 있다.
본 발명자는, 특허문헌 3에 기재된 기술에 대해 검토한 결과, 이하의 문제를 인식하게 되었다.
도 1(a), (b)는, 2명의 피험자로부터 얻어지는 생리 지표의 원자료의 예를 나타내는 파형도이다. S1a, S1b는, 제1화자, 제2화자 각각으로부터 1차적으로 얻어지는 생리 지표의 원자료를 모식적으로 나타낸다. 특허문헌 3에 기재된 기술에서는, 도 1의 (a)의 경우가, 도 1(b)의 경우보다, 동조성이 높은 것으로 판정된다.
그러나 본 발명자가 검토한 결과, 복수의 화자(피험자)의 심적 상태에 착목했을 때, 꼭 도 1(a)와 같이 생리 지표의 시간축 상의 어긋남이 제로일 때 동조성이 높다고는 할 수 없고, 도 1(b)와 같이, 시간축 상의 어긋남이 커도, 파형이 가까운 것이 동조성이 높다고 할 수 있는 경우도 있다. 이와 같이 특허문헌 3의 평가 방법에서는, 꼭, 복수의 피험자간의 심적 상태를 반영한 지표를 얻을 수 없는 경우가 있다.
본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 그 일 형태의 예시적인 목적 중 하나는, 종래와는 다른 접근(approach)에 의해, 실시간으로 복수의 개인 간의 관계를 평가하는 기술의 제공에 있다.
본 발명의 일 형태는, 복수의 피험자간의 커뮤니케이션에 있어서의, 피험자간의 관계를 평가하는 평가 장치에 관한 것이다. 평가 장치는, 복수의 피험자 각각을 관측하고, 복수의 피험자 각각에 대해, 각각으로부터 얻어지는 비언어 정보를 수치화한 시계열 신호인 제1신호를 생성하는 비언어 정보 측정부와, 복수의 피험자 각각에 대해 얻어진 제1신호에 기초하여, 복수의 피험자 각각의 비언어 정보의 리듬으로서의 특성과 관련된 양인 제2신호를 생성하는 파형 해석부 및, 복수의 피험자 각각에 대응하는 복수의 제2신호의 상대적인 관계에 기초하여, 복수의 피험자 사이의 관계에 관한 심적 상태를 나타내는 지표인 제3신호를 생성하는 관계 평가부를 포함한다.
본 발명자는, 복수의 피험자 각각에 대해, 각 피험자의 행동에 대응지어 얻어지는 비언어 정보의 시계열 신호, 특히 그 리듬으로서의 특성과 관련된 양(리듬 관련양이라고 함)의 상대적인 관계가, 피험자간의 관계에 관한 심적 상태에 의존하여 변화하는 것을 알아냈다. 이 형태에 의하면, 복수의 피험자에 대해 얻어지는, 복수의 비언어 정보의 리듬 관련양의 상대적인 관계에 상응한 제3신호에 기초하여, 피험자간의 관계에 관한 심적 상태를 평가할 수 있다.
또한, 이상의 구성 요소를 임의로 조합한 것, 또는 본 발명의 표현을, 방법, 장치 등의 사이에서 변환한 것 또한, 본 발명의 형태로서 유효하다.
본 발명의 일 형태에 의하면, 복수의 피험자간의 관계를 평가할 수 있다.
도 1(a), (b)는, 2명의 피험자로부터 얻어지는 생리 지표의 원자료의 예를 나타내는 파형도이다.
도 2는 실시형태에 따른 평가 장치를 나타내는 도면이다.
도 3은 평가 장치의 구체적인 구성을 나타내는 도면이다.
도 4(a), (b)는, 실시예 1의 실험에서 얻어진 제1신호 및 제2신호의 파형도이다.
도 5(a)는, 실시예 1의 실험에서 취득된 제2신호의 파형도이고, 도 5(b), (c)는, 다른 타임 슬롯에 있어서의 제2신호의 상관도이다.
도 6(a), (b)는, 실시예 2에 있어서의 제2신호를 설명하는 도면이다.
도 7(a)는, 실시예 2의 실험에 의해 얻어진 제2신호의 파형도이고, 도 7(b)는, 제3신호의 파형도이다.
도 8은 실시예 2에 있어서의 제3신호 및 심적 상태의 관계를 나타내는 파형도이다.
도 9(a)는, 실시예 2에 있어서의 제1신호의 파형도, 도 9(b)는, 제2신호의 파형도이고, 도 9(c)는, 제2신호의 상관도이고, 도 9(d)는, 제1신호의 상관도이다.
도 10은 실시예 3에 있어서의 제1신호와 제2신호의 파형도이다.
도 11은 실시예 3의 실험에서 얻어진 제3신호의 히스토그램이다.
도 12는 실시예 4의 실험에서 얻어진 제1신호와 제2신호의 파형도이다.
도 13은 실시예 4에 있어서의 제3신호를 설명하는 도면이다.
도 14(a)는, 실시예 5에 있어서의 제2신호의 파형도이고, 도 14(b)는 동기율의 히스토그램이다.
도 15는 변형예 5에 따른 평가 장치를 나타내는 도면이다.
이하, 본 발명을 바람직한 실시형태를 바탕으로 도면을 참조하면서 설명한다. 각 도면에 나타내는 동일 또는 동등한 구성 요소, 부재, 처리에는, 동일한 부호를 부여하고, 중복된 설명은 적절히 생략한다. 또한, 실시형태는, 발명을 한정하는 것이 아니라 예시이며, 실시형태에 기술되는 모든 특징이나 그 조합은, 반드시 발명의 본질적인 것이라고는 할 수 없다.
본 발명자가 검토를 한 결과, 인간의 흥미나 감정 등의 심리적인 활동, 즉 심적 상태는, 인간의 행동, 즉 비언어(nonverbal) 정보의 다이나믹스(dynamics)에 반영된다. 예컨대, 맞장구나 끄덕임 등 커뮤니케이션시에 발생하는 리듬은 일상적인 현상이지만, 본 발명은 그와 같은 비언어 정보의 다이나믹스에 주목하여, 그 리듬을 해석하고, 심적 상태를 추정한다.
도 2는, 실시형태에 따른 평가 장치(100)를 나타내는 도면이다. 평가 장치(100)는, 복수의 인간(피험자)(2a, 2b) 간의 커뮤니케이션에 있어서의, 각 피험자(2a, 2b)의 심적 상태를 평가한다. 여기서 말하는 심적 상태란, 개인으로서의 측면과, 인간 관계로서의 측면으로 분류할 수 있고, 평가 장치(100)는, 후자의 인간 관계의 측면을 평가하는 것을 주된 목적으로 한다. 또한, 여기서의 심적 상태는, 지적 활동 상태의 평가에 한정되지 않고, 감정이나 공감, 일체감 등, 인간의 잠재적 상태도 포함할 수 있다.
또한 본 발명자는, 심적 상태 중, 개인으로서의 측면(본 명세서에 있어서, 심적 상태의 개인적 측면이라고도 함)은, 각 피험자로부터 얻어지는 비언어 정보의 다이나믹스의 진폭, 진동수 등에 반영되고, 인간 관계의 측면(심적 상태의 관계적 측면이라고도 함)은, 복수의 피험자(2)에 대해 얻어지는 복수의 비언어 정보의 상대적인 관계, 특히 리듬으로서 파악되는 양끼리의 관계에 반영되는 경향이 강하다는 것을 알아냈다. 실시형태에 따른 평가 장치(100)는, 이와 같은 지견에 기초하여, 복수의 피험자(2)의 심적 상태를 평가한다.
구체적으로는 평가 장치(100)는, 복수의 피험자(2a, 2b)에 의한 대인 커뮤니케이션에 있어서의, 피험자간의 관계를 평가한다. 피험자간의 관계, 즉 피험자간의 관계에 관한 심적 상태란, 공감, 신뢰감, 일체감, 동질감, 현장감, 합의나 동의, 납득감 등이 예시되고, 평가 장치(100)는 그들 중 하나, 또는 임의의 조합을 평가한다. 피험자간의 관계에 관한 심적 상태는, 개개의 심적 상태, 예컨대 각자가 상대에게 품는 감정과는 구별되는 것이다.
본 실시형태에서는, 이해의 용이화와 설명의 간소화를 위해, 피험자가 2명인 경우를 예로 들어 설명한다.
피험자(2a, 2b)는, 예컨대 같은 공간에서 대면하고 있고, 커뮤니케이션을 하고 있다. 커뮤니케이션의 종류는 특히 한정되지 않고, 예컨대, 일상 회화, 토론, 프레젠테이션, 강의 등, 다양한 것이 포함된다.
또한, 피험자(2a, 2b)는 반드시 같은 공간에 존재해야 하는 것은 요구되지 않고, 전화나 화상 회의 시스템을 통해 커뮤니케이션을 하는 경우에도, 평가 장치(100)는 이용 가능하다.
실시형태에 따른 평가 장치(100)는, 피험자(2a, 2b)의 생리 정보가 아닌, 피험자의 외부로부터 시각적, 청각적으로, 또는 그들과 유사하게 관측 가능한 비언어 정보를 감시한다. 관측 가능한 비언어 정보란, 끄덕임 동작, 몸짓, 손짓, 체간의 움직임, 시선의 체류 시간, 목소리 상태, 한숨, 화자 전환(turn taking)에 관한 비언어 정보(발화 길이나 포즈 길이, 발화 속도나 발화 타이밍 등), 또는 목소리의 피치나 억양 등 발화에 관한 비언어 정보 등이 예시된다.
비언어 정보 측정부(10)는, 카메라나 마이크, 운동 계측에 관한 센서(가속도 센서, 속도 센서, 자이로스코프), 공간에서의 위치 계측에 관한 센서, 그 외의 센서를 포함하고, 각 피험자(2a, 2b)로부터 얻어지는 비언어 정보(S0a, S0b)를 관측하여, 비언어 정보를 수치화한 시계열 신호(이하, 제1신호(S1)로 약칭함)를 생성한다. 비언어 정보 측정부(10)의 종류는, 관측해야 할 비언어 정보(S0)에 따라 선택하면 된다. 이 제1신호(S1)는, 특허문헌 3에서 말하는 부분의 생리 지표에 상당하는 것에 유의해야 한다.
신호 처리부(20)는, 복수의 제1신호(S1a, S1b)에 기초하여, 복수의 피험자(2) 사이의 심적 상태의 지표가 되는 제3신호(S3)를 생성한다. 또한, 신호 처리부(20)는, 제1신호(S1)에 기초하여, 복수의 피험자(2) 각각의 심적 상태를 나타내는 제4신호(S4a, S4b)를 생성한다. 이상이 평가 장치(100)의 개요이다.
도 3은, 평가 장치(100)의 구체적인 구성을 나타내는 도면이다.
평가 장치(100)는, 비언어 정보 측정부(10), 파형 해석부(22), 관계 평가부(24), 개인 평가부(26)를 포함한다.
상술한 바와 같이, 비언어 정보 측정부(10)는, 복수의 피험자(2a, 2b) 각각으로부터 얻어지는 비언어 정보를 관측하고, 복수의 피험자(2a, 2b) 각각에 대해, 비언어 정보를 수치화한 시계열 신호인 제1신호(S1a, S1b)를 생성한다.
도 2의 신호 처리부(20)는, 파형 해석부(22), 관계 평가부(24), 개인 평가부(26)를 포함한다. 피험자의 행동을 수치화한 제1신호(S1)가 그대로, 피험자(2)의 심적 상태를 평가하기 위해 적합한 경우는 드물다. 여기서 파형 해석부(22)는, 제1신호(S1)에 기초하여, 제2신호(S2)를 생성한다. 제2신호(S2)는, 비언어 정보의 리듬으로서의 특성과 관련된 시계열 신호(리듬 관련양)이다.
비언어 정보의 리듬 관련양인 제2신호(S2)로서는, 이하가 예시된다.
(ⅰ) 제1신호(S1)를 구간마다 통계 처리, 신호 처리한 시계열 신호
예컨대, 제1신호를, 평균이나 분산, 표준 편차를 계산하고, 또는 필터링함으로써 제2신호를 생성해도 좋다.
(ⅱ) 제1신호(S1)를 시간 미분, 시간 적분한 시계열 신호
예컨대, 제1신호가 속도의 디멘션(dimension)을 갖는 경우, 제2신호(S2)는, 가속도나 변위의 디멘션을 갖는다.
(ⅲ) 제1신호(S1)를 조시화(coarse graining)한 시계열 신호
이 경우의 제2신호(S2)로서는, 제1신호(S1)의 포락선 등이 예시된다.
(ⅳ) 제1신호(S1)의 파형을 나타내는 정보에 관한 시계열 신호
구체적으로는 (ⅳ-1) 파형의 종류, (ⅳ-2) 스펙트럼, (ⅳ-3) 주파수, (ⅳ-4) 듀티비, (ⅳ-5) 진폭, (ⅳ-6) 파형 패턴의 기하학적 특징의 추출 등이 예시된다.
예컨대, "탕, 탕, 탕"하는 리듬과, "타타타"하는 리듬은 다르게 인식된다. 제2신호(S2)는, (ⅰ)~(ⅳ)에 예시한 신호 중, 이와 같은 리듬의 상이를 표현할 수 있는 정보를 포함하는 데이터가 된다. 본 발명자가 얻은 지견에 의하면, 제 2신호(S2)로서는,
(a) 제1신호(S1)의 주파수 정보의 시계열 데이터
(b) 제신호(S1)의 위상 정보의 시계열 데이터
(c) (a), (b)의 조합
중 어느 하나가 바람직하다.
(a)로서는, (a-1) 특정의 주파수에 착목했을 때의, 그 주파수 성분의 강도(진폭 또는 파워 스펙트럼)의 시계열 데이터, 또는 (a-2) 최대 강도를 취하는 주파수 성분의 시계열 데이터 등이 바람직하다.
(b)로서는, (b-1) 특정의 주파수(또는 주파수 대역)의 위상의 시계열 데이터, 또는 (b-2) 제1신호(S1)로부터 파악되는 소정의 이벤트가 발생하는 위상의 시계열 데이터 등이 바람직하다.
당업자라면, 여기에 예시되는 것 이외에도, 리듬 관련양으로서 이용 가능한 신호가 존재하는 것이 이해되고, 그와 같은 것도 본 발명의 범위에 포함된다. 또한, 제2신호(S2)의 생성 방법(신호 처리 방법)은, 제2신호(S2)의 종류에 따라 선택하면 되고, 특히 한정되지 않는다.
관계 평가부(24)는, 복수의 피험자(2a, 2b) 각각에 대응하는 복수의 제2신호(S2a, S2b)의 상대적인 관계에 기초하여, 복수의 피험자(2a, 2b) 사이의 심적 상태를 나타내는 지표인 제3신호(S3)를 생성한다. 여기서, 복수의 제2신호(S2a, S2b)의 상대적인 관계는, (ⅰ) 동기의 정도, (ⅱ) 위상차, (ⅲ) 상관 관계, (ⅳ) 주파수의 관계, (ⅴ) 위상의 관계, (ⅵ) 진폭의 관계, (ⅶ) 파형 패턴으로서의 기하학적 특징량의 관계 중 어느 하나, 또는 그들의 임의의 조합을 포함한다. 상세하게는, 후술하는 바와 같이, 복수의 피험자가 커뮤니케이션을 취할 때에는, 합의가 형성되는 과정에 있어서는, 각 피험자의 리듬 관련양의 위상차가 안정되고, 또는, 진동수(주파수)가 근접하고, 또는, 그들의 상관 강도가 강해지는 것이 사전 검증에 의해 확인되었다.
예컨대, 복수의 제2신호(S2a, S2b)의 상대적 관계와, 복수의 피험자 사이의 심적 상태의 대응은, 사전의 실험, 검증에 의해 미리 학습해 두고, 그것을 데이터 베이스에 축적해도 좋다. 또한 평가 장치(100)를 실제로 운용함에 있어서, 새롭게 얻어진 대응을 학습하고, 데이터 베이스에 축적해도 좋다.
제3신호(S3)는, 공감, 신뢰감, 일체감, 동질감, 현장감, 합의나 동의, 납득감 등의, 개인간의 심적 상태의 지표이고, 1, 0의 2치, 또는 다치 데이터로서, 또는 벡터량으로서 취득된다.
비언어 정보인 제1신호의 종류, 그로부터 얻어지는 리듬 관련양인 제2신호의 종류, 복수의 제2신호의 상대적인 관계의 종류는, 최종적으로 평가해야 할 복수의 피험자(2a, 2b) 사이의 심적 상태의 종류에 따라 선택, 결정되고, 이들은 사전의 실험, 검증의 결과를 고려하여 정해지게 된다.
개인 평가부(26)는, 복수의 피험자(2a, 2b) 각각에 대해 얻어진 제2신호(S2a', S2b')에 기초하여, 복수의 피험자(2a, 2b) 각각에 대해, 각각의 심적 상태를 나타내는 지표인 제4신호(S4a, S4b)를 생성한다. 개인 평가부(26)에 입력되는 제2신호(S2a', S2b')는, 관계 평가부(24)에 입력되는 S2a, S2b와 동일한 신호여도 좋고, 파형 해석부(22)에 의해 다른 신호 처리를 받은 신호여도 좋다.
이상이 평가 장치(100)의 구성이다.
이하, 복수의 피험자 사이의 심적 상태로서, 그들 사이의 합의도를 평가하는 경우에 대해 설명한다.
본 발명자가 검토한 결과, 합의도를 평가하는 경우, 비언어 정보 측정부(10)가 측정하는 비언어 정보(S0)로서, 피험자(2)의 끄덕임 동작이 유용하다는 것을 독자적으로 인식했다.
비언어 정보 측정부(10)는, 복수의 피험자(2a, 2b) 각각의 끄덕임 운동, 즉 턱의 움직임을 측정하고, 그것을 수치화한 제1신호(S1a, S1b)를 생성한다. 비언어 정보 측정부(10)는, 카메라와 화상 처리 장치의 조합으로 구성할 수 있다. 카메라는, 피험자마다 마련해도 좋고, 1대의 카메라로 복수의 피험자의 끄덕임 동작을 함께 관측해도 좋다. 또한 상황이 허용될 경우, 피험자(2a, 2b)에 속도 센서나 가속도 센서를 장착하는 것에 의해, 끄덕임 운동(S0a, S0b)을 측정해도 좋다.
또한, 후술하는 바와 같이, 복수의 피험자(2a, 2b)의 공간적인 위치 관계를 고려할 경우, 위치 센서를 마련해도 좋다.
파형 해석부(22)는, 복수의 피험자(2a, 2b) 각각에 대해 얻어진 제1신호(S1a, S1b)를 받아, 소정의 신호 처리를 한다. 이하, 신호 처리의 구체적인 예에 대해, 몇가지 실시예를 바탕으로 설명한다.
(실시예 1)
제1신호(S1a, S1b)는, 현실에 2명의 피험자(2)가 대면 대화를 하는 상황에 있어서, 끄덕임 운동을 측정하여 수치화한 것이다. 실시예 1에 있어서, 파형 해석부(22)는, 제1신호(S1)의 진폭을 시간 평균하는 것에 의해, 제2신호(S2)를 생성한다.
실시예 1의 타당성을 검증하기 위해 실험을 진행했다. 이 실험에서는, 피험자 한쪽이 교사역, 다른 한쪽이 학생역이 되어, 교사역의 피험자(2a)가 소정의 테마에 관한 설명을 진행하고, 학생역의 피험자(2b)가 그것을 이해한다. 교사역만 발화가 허가되어 있다. 실험은, 남성 12명, 여성 8명의 20대 학생을 대상으로 하여 진행하고, 2인 1조로 하여 10쌍에 대해 진행했다.
이 실험에서는, 3차원 가속도 센서가 피험자(2a, 2b)에 장착된다. 더 상세하게는, 연직 방향으로 X축을, 시선 방향으로 Z축을 취했을 때에, X방향의 가속도 x(t)와, Z방향의 가속도 z(t)를 측정하고, 그들의 놈(norm) √(x2(t)+z2(t))을 제1신호(S1)로 했다.
도 4는, 실시예 1에 있어서, 실험 1에 의해 얻어진 제1신호(S1)와, 제1신호(S1)로부터 얻어지는 제2신호(S2)를 나타내는 파형도이다.
실시예 1에 있어서, 제2신호(S2a, S2b)는, 비언어 정보 측정부(10)에 의해 얻어진 제1신호(S1a, S1b)의, 0.6초마다의 표준 편차(SD)를 계산하는 것에 의해 생성된다. 이는 끄덕임의 진폭에 상당하는 양이며, 끄덕임이 발생하는 시간 구간에 있어서는, 가속도의 변화가 커지기 때문에, 제2신호(S2)는, 끄덕임 운동의 리듬 관련양이 된다.
사후 검증에 의하면, 2명의 피험자(2a, 2b)에 대해 얻어진 제2신호(S2a, S2b)에 착목하면, 합의도가 낮은 기간(T1)에서는, 2개의 제2신호(S2a, S2b), 즉 끄덕임 운동의 진폭이 동조되어 있지 않다. 한편, 합의도가 높은 후반의 기간(T2)에서는, 2개의 제2신호(S2a, S2b), 즉 끄덕임 운동의 진폭이 기간(T1)에 비해 동조되어 있다. 즉, 합의 형성 프로세스에 있어서는, 복수의 피험자의 끄덕임 운동의 진폭의 시간 파형이, 비동조 상태에서 동조 상태로 변화할 가능성을 시사한다.
관계 평가부(24)는, 2명의 피험자(2a, 2b)에 대해 얻어진 제2신호(S2a, S2b)의 상대적인 관계, 구체적으로는, 동조의 유무에 기초하여, 피험자(2a, 2b) 사이의 관계를 나타내는 지표인 제3신호(S3)를 생성한다.
2개의 시계열 신호가 부여되었을 때에, 그들의 동조, 동기의 정도를 평가하는 수법에 대해서는 공지의 기술을 이용하면 되고, 본 발명에 있어서 특히 한정되지 않는다. 예컨대 2개의 파형의 상관도(상관계수(r))를 계산하거나, 단순히 2개의 신호의 차분 파형을 계산하고, 차분 파형에 기초하여 2개의 신호의 동조, 동기의 정도를 평가해도 좋다.
본 실시형태에 있어서 관계 평가부(24)는, 시간 슬롯(TS)마다 제2신호(S2a, S2b)의 상관계수(r)를 계산한다.
도 5(a)는, 실시예 1의 실험에서 취득된 제2신호(S2)의 파형도이고, 도 5(b), (c)는, 다른 타임 슬롯에 있어서의 제2신호(S2)의 상관도이다. 타임 슬롯의 길이는 15초이다.
타임 슬롯(TS1)에서는, 상관계수(r)는 0.007로 작고, 타임 슬롯(TS2)에서는, 상관계수(r)는 0.345(p＜0.001)로, 강한 상관이 보여진다.
또한, 통계적 유의성의 지표인 p값을 계산하면, 타임 슬롯(TS2)에서는 p값은 ＜0.001이 되고, 통계적 유의성이 높은 것을 알 수 있다.
실험 후에, 피험자(2a, 2b)에 대한 히어링 검증을 진행했다. 학생역의 이해의 상태를 평가하는 것에 의해, 타임 슬롯마다 공감도를 평가한 결과, 제2신호(S2a, S2b)(즉 끄덕임의 진폭)가 커지는 타임 슬롯에서는 그들의 상관이 강해지고, 또한 상관계수(r)가 큰 타임 슬롯에 있어서, 공감적인 커뮤니케이션이 성립하는 경향이 있음이 나타났다. 즉, 이 실시예에서 얻어지는 상관계수(r)는, 피험자간의 대인 관계에 관한(interpersonal) 심적 상태를 나타내는 지표임이 증명된다. 여기서 관계 평가부(24)는, 상관계수(r)를, 제3신호(S3)로서 출력해도 좋고, 상관계수(r)를 이산값화하여 출력해도 좋다.
이상을 종합하면, 끄덕임 운동의 진폭의 시간 파형을, 제2신호(S2)로서 이용하여, 복수의 피험자(2) 각각에 대해 얻어지는 제2신호(S2)의 동조의 정도를 평가하는 것에 의해, 복수의 피험자(2)의 심적 상태 중 관계성을 나타내는 지표로서, 동의의 정도를 추정할 수 있다.
(실시예 2)
이 실시예에서는, 리듬 관련양인 제2신호(S2)를 생성할 때에, 제1신호(S1)의 주파수 성분에 착목한다. 제1신호(S1)는, 실시예 1과 마찬가지로 끄덕임 운동, 더 구체적으로는 X방향 및 Z방향의 가속도의 놈(norm)이다. 파형 해석부(22)는, 제1신호(S1)를 주파수 영역의 데이터로 변환한다. 이에는 고속 푸리에 변환 등을 이용할 수 있다.
도 6(a), (b)는, 실시예 2에 있어서의 제2신호(S2)를 설명하는 도면이다. 도 6(a)에는, 제1신호(S1)가, 도 6(b)에는, 제1신호(S1)를 푸리에 변환한 주파수 영역 데이터 F(t, f)를 나타낸다. 도 6(b)는, 횡축이 시간, 종축이 주파수이고, 농담(濃淡)이 주파수 영역 데이터 F(t, f)의 강도(파워 스펙트럼)를 나타낸다. 끄덕임 운동은, 2~4Hz의 주파수 성분이 지배적이다. 여기서, 도 6(b)에 있어서, 2~4Hz의 주파수 대역의 에너지(파워)를 주파수 방향으로 적분하는 것에 의해, 리듬 관련양인 제2신호(S2)를 생성해도 좋다.
S2(t)=∫F(t, f)df
실시예 2의 타당성을 검증하기 위해, 이하의 실험을 진행했다. 이 실험은, 2명의 피험자가 협력하는 것에 의해, 하나의 과제를 해결하는 것이다. 2명의 피험자는 자유롭게 회화하는 것이 허용되어 있고, 쌍방적인 커뮤니케이션이 이루어지는 점에서, 실시예 1의 실험과 다르다. 과제로서는, 소정 맨션의 겨냥도나 그 외의 정보가 주어진 상황하에서, 2명의 피험자가 협력하여 그 집세를 추정하는 것이다. 실험은 남성 6명, 여성 4명의 20대 학생을 대상으로 하여 진행하고, 2인 1조로 하여 5쌍에 대해 진행했다.
도 7(a)는, 실시예 2에 있어서 실험에 의해 얻어진 제2신호(S2a, S2b)를 나타내는 파형도이고, 도 7(b)는, 제3신호(S3)를 나타내는 파형도이다. 제3신호(S3)는, 제2신호(S2a, S2b)의 소정의 시간 구간마다 상관계수(r)를 계산하고, 그것을 역치 판정하는 것에 의해, 대인 관계에 관한 심적 상태를, 동조 상태(1)와 비동조 상태(0)의 2치로 표현한 것이다.
도 8은, 제3신호(S3) 및 심적 상태의 관계를 나타내는 파형도이다. 심적 상태는, 사후 앙케이트에 의해, 2명의 피험자가 각 시간대의 합의도를 1~5의 5단계로 평가한 값의 평균값이다. 약 15분의 토론에 있어서, 합의도가 상대적으로 낮은 전반(1~6분)의 5분간에서는, 제3신호(S3)가 1이 되는 빈도가 낮다. 이에 대해 합의도가 상대적으로 높아지는 후반(10~15분)의 5분간에서는, 제3신호(S3)가 1이 되는 빈도가 높다. 따라서, 제3신호(S3) 그 자체, 또는 그것을 시간적으로 평균하여 얻어지는 수치는, 복수의 피험자(2) 사이의 대인 관계에 관한 심적 상태를 나타내고 있다고 할 수 있다.
여기서, 특허문헌 3에 기재되는 종래 기술에 대한, 실시형태에 따른 평가 장치(100)의 이점을 설명한다.
도 9(a)는, 실시예 2에 있어서의 제1신호(S1a, S1b)를 나타내는 파형도, 도 9(b)는, 제2신호(S2a, S2b)를 나타내는 파형도이고, 도 9(c)는, 제2신호(S2a, S2b)의 상관도이며, 도 9(d)는, 제1신호(S1a, S1b)의 상관도이다. 도 9(d)로부터 계산한 상관계수는 r=0.05이고, 2개의 신호 사이에 상관 관계는 인정되지 않는다. 즉 종래 기술에서는, 피험자로부터 1차적으로 얻어진 원자료인 제1신호(S1a, S1b)의 상관에 착목하는 것에 불과하기 때문에, 동조나 합의가 발생하고 있는 경우에 있어서도, 그것을 검출할 수 없는 경우가 있다. 이에 대해 실시형태에 따른 평가 장치(100)에 의하면, 리듬 관련양인 제2신호(S2a, S2b)로 변환한 후에, 그들의 관계성을 평가하기 때문에, 동조나 합의 등을 검출할 수 있다.
(실시예 3)
이 실시예에서는, 리듬 관련양인 제2신호(S2)를 생성할 때에, 제1신호(S1)의 위상 성분에 착목한다. 제1신호(S1)는, 실시예 1, 2와 마찬가지로 끄덕임 운동, 더 구체적으로는 X방향 및 Z방향의 가속도의 놈(norm)이다.
리듬은, 주파수 정보뿐만 아니라, 위상 정보로서도 파악할 수 있다. 실시예 3에 있어서 파형 해석부(22)는, 위상 정보로서, 제1신호(S1)로부터 파악되는 소정의 이벤트가 발생하는 위상을 제2신호(S2)로서 이용한다. 구체적으로는 파형 해석부(22)는, 제1신호(S1a, S1b) 각각에 대해, 소정 구간에 걸친 이동 평균을 내고, 이동 평균을 소정의 임계값과 비교하는 것에 의해, 명확한 끄덕임 운동을 검출한다. 그리고, 명확한 끄덕임 운동이 검출된 후, 이동 평균을 계속적으로 감시하는 것에 의해, 끄덕임의 피크의 발생 시각(위상)을 검출한다. 실시예 3에서는, 끄덕임의 피크의 발생을 이벤트로서 파악하고, 상기 이벤트의 발생 시각을 제2신호(S2)로 한다.
실시예 3의 타당성을 검증하기 위해 실험을 진행했다. 이 실험에서는, 피험자 한쪽이 교사역, 다른 한쪽이 학생역이 되어, 교사역의 피험자(2a)가 소정의 테마에 관한 설명을 진행하고, 학생역의 피험자(2b)가 그것을 이해한다. 강의는 TV 모니터를 통해 진행되고, 교사역의 피험자로부터, 학생역의 피험자에 대해 일방적으로 설명이 진행된다. 실험은 남성 12명, 여성 8명의 20대 학생을 대상으로 하여 진행하고, 2인 1조로 하여 10쌍에 대해 진행했다.
도 10은, 실시예 3에 있어서의 제1신호(S1)와 제2신호(S2)를 나타내는 파형도이다.
관계 평가부(24)는, 제2신호(S2a, S2b)의 위상차를 제3신호(S3)로 한다. 이 제3신호(S3)는, 끄덕임 동작의 리듬의 위상차에 상당한다. 도 11은, 제3신호(S3)의 히스토그램이다. 2명의 피험자 간에 대인 관계에 관한 동조가 발생하고 있는 경우, 끄덕임의 타이밍도 동시에 발생하는 점에서, 도 11에 실선(ⅰ)으로 나타내는 바와 같이, 히스토그램은 소정 값(이 예에서는 0ms)에 피크를 갖고, 그것을 중심으로 하여 분포한다. 이에 대해 동조가 발생하고 있지 않는 경우, 끄덕임의 타이밍은 랜덤으로 변동하는 점에서, 도 11에 파선(ⅱ)으로 나타내는 바와 같이, 히스토그램은 피크를 갖지 않고 평균화된다.
이와 같이 실시예 3에 의하면, 리듬 관련양으로서 위상 정보에 착목하는 것에 의해, 대인 관계에 관한 심적 상태를 평가할 수 있다.
(실시예 4)
이 실시예에서는, 리듬 관련양인 제2신호(S2)를 생성할 때에 제1신호(S1)의 주파수 성분에 착목하는 점에서 실시예 2와 공통된다. 제1신호(S1)로서는, 끄덕임 운동 대신에, 피험자의 신체의 움직임에 착목하고 있고, 피험자의 신체에 장착된 가속도 센서로부터 얻어지는 X방향, Y방향(신체 좌우 방향), Z방향의 가속도의 놈(norm)이다.
S1=√(X2(t)+Y2(t)+Z2(t))
파형 해석부(22)는, 제1신호(S1)를 주파수 영역의 데이터로 변환한다. 예컨대 파형 해석부(22)는, 소정의 시간 구간(예컨대 10초)에 있어서, 제1신호(S1)가, 그 자신의 시간 평균값과 교차하는 회수를 측정하고, 측정값에 기초하여 진동수(주파수)를 나타내는 제2신호(S2)를 취득해도 좋다. 예컨대 제2신호(S2)는, 10초마다 측정되는 진동수의, 1분간에 걸친 평균값이다. 도 12는, 실시예 4에 있어서의 제1신호(S1)와 제2신호(S2)를 나타내는 파형도이다. 또한, 실시예 4에 있어서 제2신호(S2)를 취득할 때에, 고속 푸리에 변환을 이용해도 좋다.
관계 평가부(24)는, 피험자의 신체의 움직임의 진동수(ω)에 따른 제2신호(S2)에 기초하여, 복수의 피험자간의 심적 상태를 평가한다. 도 13은, 실시예 4에 있어서의 제3신호(S3)를 설명하는 도면이다. 이 실시예 4에서는, ⅰ번째의 피험자의 진동수(ωi(t))와, j번째의 피험자의 진동수(ωj(t))의 차(Δωij(t))에 착목한다. 본 발명자의 실험에 의하면, 진동수차(Δωij(t))가 작을수록, 동조도가 높다는 지견이 얻어졌다.
이와 같이 실시예 4에 의하면, 리듬 관련양으로서 주파수 정보, 더 구체적으로는 신체의 움직임의 주파수의 차분에 착목하는 것에 의해, 대인 관계에 관한 심적 상태를 평가할 수 있다.
(실시예 5)
이 실시예에 있어서도, 실시예 4와 마찬가지로, 신체의 움직임의 주파수 정보에 착목하고, 제2신호(S2)로서, 피험자의 신체의 움직임의 진동수(ω(t))를 이용한다.
그리고 관계 평가부(24)는, 진동수(ωi(t), ωj(t))의 차(Δωij(t)) 대신에, 진동수(ωi(t), ωj(t))의 변동 방향에 착목하여, 피험자간의 심적 상태를 평가한다.
본 실시예에서는, i번째와 j번째의 피험자의 동조도를 나타내는 지표로서, 이하의 식 (1)로 표시되는 동기율(Sij)을 정의했다.
Sij=Σt∈tijg(Δxi(t)·Δxj(t))/｜Tij｜…(1)
xi(tk)는 i번째의 피험자로부터 얻어진 제2신호이고, 샘플링 주기를 Δt로 하면, tk=k×Δt이다. Δxi(tk)는, i번째의 피험자의 xi(tk)의 변동량이고, xi(tk)－xi(tk＋1)이다. 이는 미분값으로도 파악할 수 있다. 함수 g(a)는, a＞0일 때 ＋1을, a＜0일 때 －1을 반환하는 함수이다. Tij는, 시간 구간을 나타낸다. xi(t)로서, 제2신호(S2)인 진동수(ωi(t))가 이용되고, Δxi(tk)는, 진동수 변동에 상당한다.
실시예 5의 타당성을 검증하기 위해 실험을 진행했다. 이 실험은, 다수의 피험자가, 임의의 상대와 자유롭게 커뮤니케이션을 취한다. 동기율(Sij)은, 모든 피험자의 쌍에 대해 계산할 수 있다.
도 14(a)는, 실시예 5에 있어서의 제2신호(S2)를 나타내는 파형도이고, 도 14(b)는 동기율(Sij)의 히스토그램이다. 도 14(a)의 전반의 기간(Tij NF)은, 피험자끼리 대면하고 있지 않은 상태를, 후반의 기간(Tij F)은, 피험자끼리 대면한 상태를 나타낸다. 도 14(b)에는, 기간(Tij NF)에서 얻어진 동기율(Sij NF)의 히스토그램과, 기간(Tij F)에서 얻어진 동기율(Sij F)의 히스토그램을 나타낸다.
i번째와 j번째의 피험자가 비대면인 상태에서는, 제2신호(S2i, S2j)는 랜덤으로 변화한다. 따라서 동기율(Sij)은 제로에 근접하고, 따라서 복수의 피험자의 쌍으로부터 얻어지는 히스토그램은 제로 부근에 피크를 갖는다. 한편, 대면 상태에서는, 제2신호(S2i, S2j)가 동조하여 변화하는 경향이 강해지기 때문에, 동기율(Sij)은 비제로가 되고, 히스토그램의 피크는 비제로의 값을 취한다. 도 14(b)로부터 명확한 바와 같이, 식 (1)로 정의되는 동기율(Sij)의 히스토그램에는, 대면 상태와 비대면 상태에서 유의한 차이가 인정된다. 이는, 동기율(Sij)이 대인 관계에 관한 심적 상태를 나타내는 제3신호(S3)로서 유용하다는 것을 나타내고 있다.
이와 같이 실시예 5에 의하면, 리듬 관련양으로서 주파수 변동에 착목하는 것에 의해, 대인 관계에 관한 심적 상태를 평가할 수 있다.
실시형태에 따른 평가 장치(100)는, 인간끼리의 커뮤니케이션을 대상으로 하여, 그 커뮤니케이션의 질을 평가하고, 그 개선에 도움이 될 수 있다. 예컨대, 회의 등에 있어서의 인간의 커뮤니케이션 활동의 활성도 평가나, 그룹 활동의 평가 지표를 구하고, 그 활동 프로세스나 환경의 개선에 사용할 수 있다. 또는, 교사와 학생 사이에서의 교육 효과의 평가나, 프레젠테이션에 있어서의 납득의 평가, 카운셀링에 있어서의 신뢰감의 평가, 합의 형성에 있어서의 공감의 평가 등, 본 발명의 용도는 다양하다. 또한, 고령자 시설에 있어서의 고립 방지 등 보살핌에도 활용 가능하다.
이상, 본 발명에 대해, 실시형태를 바탕으로 설명했다. 이 실시형태는 예시이며, 그들의 각 구성 요소나 각 처리 프로세스의 조합에 다양한 변형예가 가능하고, 또한 그와 같은 변형예도 본 발명의 범위에 포함되는 것은 당업자에게 이해되는 부분이다. 이하, 이와 같은 변형예에 대해 설명한다.
(변형예 1)
실시형태에서는, 피험자의 심적 상태를 반영하는 비언어 정보로서, 끄덕임 운동에 착목하는 경우에 대해 상세하게 설명했지만, 본 발명은 그에 한정되지 않는다. 착목하는 제1신호로서는, 심적 상태가 반영되는 다양한 비언어 정보를 이용할 수 있다. 구체적으로는, 맞장구, 눈 깜빡임, 시선의 체류 시간, 몸짓, 손짓, 고갯짓, 체간의 흔들림, 시선의 움직임 등, 피험자의 외부로부터 시각적으로 파악할 수 있는 것이나, 회화의 화자 전환, 한숨, 목소리 상태, 발화에 관한 비언어 정보 등, 피험자의 외부로부터 청각적으로 파악할 수 있는 것, 그들의 조합을 이용해도 좋다. 당업자에 의하면, 사전의 실험, 검증으로부터 얻어진 경험칙, 학습에 기초하여, 어느 비언어 정보에 피험자의 어떤 심적 상태가 반영되는지를 파악할 수 있고, 따라서, 평가해야 할 심적 상태에 따라, 적절한 비언어 정보를 선택하면 되는 것을 이해할 수 있다.
(변형예 2)
실시형태에서는, 제1신호의 진폭의 시간 평균값을 취하는 것에 의해 끄덕임 운동의 진폭을 추출하여, 심적 상태를 평가하는 경우를 설명했지만, 본 발명은 그에 한정되지 않는다. 파형 해석부(22)에 의한 리듬 해석에는 다양한 가능성이 있다. 구체적으로는, 개인의 평가로서는 운동 리듬의 진폭이나 진동수나 파형의 종류, 주파수 스펙트럼 등을 생각할 수 있다. 또한 시간 스케일도 중층적으로 생각할 수 있고, 소정 리듬의 포락선으로 구성되는 리듬도 고차의 리듬으로 간주할 수 있다. 따라서 파형 해석부(22)에 의해, 제1신호(S1)로부터, 이들의 정보가 반영된 제2신호(S2a', S2b')를 생성해도 좋다.
또한, 심적 상태의 관계적 측면의 평가에 있어서는, 리듬의 동조 관계나 위상 관계에 더하여, 복수의 피험자(2)의 공간적인 위치 관계 등도 포함한 관계성을 고려해도 좋다.
예컨대 복수의 인간이 회의, 협의를 하는 경우를 고찰한다. 커뮤니케이션을 밀접하게 취하는 경우에는 가까이 모이고, 어느 사람이 주장하고자 하는 경우에는 중앙에 앉고, 공감하면, 상호 거리는 가까워지고, 반감하면 상호 거리는 멀어지는 경향이 있다. 또한, 사무적인 커뮤니케이션의 경우는 정면으로부터 대면하는 상태에서 일정 거리를 두고 회화하는 경우가 많지만, 친구 등 친밀한 관계가 되면 측면 방향으로 나란히 근접하여 회화하게 된다. 여기서, 복수의 피험자(2)의 공간적인 위치 관계를, 복수의 피험자 사이의 심적 상태의 평가 결과에 반영시킬 수 있다.
또한 심적 상태의 관계적 측면, 개인적 측면의 평가에 있어서는, 피험자(2)의 개일 리듬(24시간의 일주 리듬) 등을 반영시켜도 좋다. 사회 생활 속에서, 개개인의 하루의 생활 활동 리듬은 동조되는 경우가 많아진다. 직장이나 학교와 같이 거의 강제적으로 동기되는 경우도 있는가 하면, 가정과 같이 자발적으로 동조하는 경우도 있다. 이와 같은 생활의 리듬에 관해서도 동일하게 평가함으로써, 인간 사이의 관계에 관한 심적 상태를 평가할 수 있다. 이는 24시간의 일주 리듬에 한정되지 않고, 1주일이나 1개월, 심지어는 년 단위의 활동 리듬에 관해서도 적용 가능하다.
(변형예 3)
실시형태에서는, 복수의 피험자(2)의 관계의 평가에, 동일한 비언어 정보로부터 얻어지는 신호를 이용하는 경우를 설명했지만, 본 발명은 그에 한정되지 않는다. 예컨대, 한쪽의 피험자(2a)의 심적 상태를 평가함에 있어서, 그 피험자(2a)에 대해서는 제1의 비언어 정보(예컨대, 끄덕임 운동)를 관측하고, 다른 피험자(2b)에 대해서는, 제1의 비언어 정보와는 다른 제2의 비언어 정보(예컨대, 시선의 움직임)를 관측하여, 각각에서 얻어진 제2신호(S2a, S2b)의 상대적인 관계에 기초하여, 심적 상태의 관계적 측면을 평가해도 좋다.
(변형예 4)
실시예 3에서 설명한 바와 같이, 복수의 피험자는, 통신 시스템을 통해 커뮤니케이션을 취해도 좋다. 최근, 비즈니스나 교육의 분야에 있어서도, 원격지의 인간끼리, 화상 전화 시스템이나 음성 전화 시스템, 스마트폰, 태블릿 단말 등의 통신 시스템을 통해 커뮤니케이션을 취하는 경우가 빈번히 이루어지고 있다. 평가 장치(100)에 의해 얻어지는 데이터는, 음성 전화 시스템이나, 화상 전화 시스템의 평가에 도움이 될 수도 있다.
(변형예 5)
실시형태에서는, 인간끼리의 커뮤니케이션을 대상으로 하여, 심적 상태를 평가하는 경우를 설명했지만, 본 발명은 그에 한정되지 않고, 인간과 상호 작용하는 미디어의 설계·평가나 텔레비전 미디어 프로그램의 평가 등 다양한 응용이 상정된다. 미디어는, 텔레비전 방송이나, DVD 등의 소프트, 전자 학습 시스템 등이 예시된다.
도 15는, 변형예5에 따른 평가 장치(100a)를 나타내는 도면이다.
도 15의 평가 장치(100a)에서는, 도 2의 평가 장치(100)의 피험자(2b)가 컴퓨터나 텔레비전, 태블릿 등의 멀티 미디어 디바이스(3)로 치환된다. 그리고, 비언어 정보 측정부(10b)는, 멀티 미디어 디바이스(3)로부터 피험자(2a)에게 제공되는 정보의 다이나믹스, 예컨대 음성 신호나 화상 신호를 감시하고, 그에 따른 제1신호(S1b)를 생성한다.
예컨대 교육 현장에서 사용되는 교재 소프트를 평가 장치(100a)에 의해 평가하는 경우를 생각한다. 이 경우, 예컨대 멀티 미디어 디바이스(3)로부터 출력되는 음성 신호의 음량에 착목할 수 있다. 이 경우, 음량의 다이나믹스와, 피험자(2a)의 심적 정보가 반영되는 비언어 정보를 측정함으로써, 그들의 상대적인 관계로부터, 피험자(2a)의 이해도 등을 평가할 수 있다.
이와 같이, 평가 장치는, TV 미디어나 그 외의 미디어에 대한 평가 시스템으로서 이용할 수 있다. 또한, 이와 같은 평가를 지표로 함으로써, TV 등 멀티 미디어 디바이스의 개발에도 활용할 수 있다.
실시형태를 바탕으로, 구체적인 어구를 사용하여 본 발명을 설명했지만, 실시형태는, 본 발명의 원리, 응용을 제시하고 있는 것에 불과하며, 실시형태에는, 청구범위에 규정된 본 발명의 사상을 일탈하지 않는 범위에서, 많은 변형예나 배치의 변경이 인정된다.
본 발명은, 인간의 심적 상태의 평가 기술에 이용할 수 있다.
100: 평가 장치
2: 피험자
10: 비언어 정보 측정부
20: 신호 처리부
22: 파형 해석부
24: 관계 평가부
26: 개인 평가부

Claims (6)

  1. 복수의 피험자간의 커뮤니케이션에 있어서의, 피험자간의 관계를 평가하는 평가 장치에 있어서,
    상기 복수의 피험자 각각을 관측하고, 상기 복수의 피험자 각각에 대해, 각각으로부터 얻어지는 비언어 정보를 수치화한 시계열 신호인 제1신호를 생성하는 비언어 정보 측정부;
    상기 복수의 피험자 각각에 대해 얻어진 상기 제1신호에 기초하여, 상기 복수의 피험자 각각의 상기 비언어 정보의 리듬으로서의 특성과 관련된 양인 제2신호를 생성하는 파형 해석부; 및
    상기 복수의 피험자 각각에 대응하는 복수의 제2신호의 상대적인 관계에 기초하여, 상기 복수의 피험자 사이의 관계에 관한 심적 상태를 나타내는 지표인 제3신호를 생성하는 관계 평가부를 포함하는 것을 특징으로 하는 평가 장치.
  2. 제1항에 있어서,
    상기 제2신호는, 상기 제1신호의 주파수 정보 및/또는 위상 정보에 기초하여 생성되는 것을 특징으로 하는 평가 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 복수의 제2신호의 상대적인 관계는, (ⅰ) 동기의 정도, (ⅱ) 위상차, (ⅲ) 상관 관계, (ⅳ) 주파수의 관계, (ⅴ) 위상의 관계, (ⅵ) 진폭의 관계, (ⅶ) 파형 패턴으로서의 기하학적 특징량의 관계 중 어느 하나, 또는 그들의 임의의 조합을 포함하는 것을 특징으로 하는 평가 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 관계 평가부는, 공감, 신뢰감, 일체감, 동질감, 현장감, 합의나 동의, 납득감 중 어느 하나를 평가하는 것을 특징으로 하는 평가 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 관계 평가부는, 상기 복수의 제2신호의 상대적인 관계에 더하여, 상기 복수의 피험자의 공간적인 위치 관계에 기초하여, 상기 제3신호를 생성하는 것을 특징으로 하는 평가 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 복수의 피험자 각각에 대해 얻어진 제2신호에 기초하여, 상기 복수의 피험자 각각에 대해, 각 피험자의 심적 상태를 나타내는 지표인 제4신호를 생성하는 개인 평가부를 더 포함하는 것을 특징으로 하는 평가 장치.
KR1020157018830A 2012-12-15 2013-12-13 인간의 심적 상태의 평가 장치 KR20150097632A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-274147 2012-12-15
JP2012274147 2012-12-15
PCT/JP2013/007352 WO2014091766A1 (ja) 2012-12-15 2013-12-13 人間の心的状態の評価装置

Publications (1)

Publication Number Publication Date
KR20150097632A true KR20150097632A (ko) 2015-08-26

Family

ID=50934072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157018830A KR20150097632A (ko) 2012-12-15 2013-12-13 인간의 심적 상태의 평가 장치

Country Status (5)

Country Link
US (1) US20150327802A1 (ko)
EP (1) EP2932899A4 (ko)
JP (1) JP6249490B2 (ko)
KR (1) KR20150097632A (ko)
WO (1) WO2014091766A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6440157B2 (ja) * 2014-08-12 2018-12-19 国立大学法人大阪大学 会話評価装置、会話評価システム、及び、会話評価方法
JP5799351B1 (ja) * 2014-12-09 2015-10-21 株式会社センタン 評価装置および評価方法
US10368792B2 (en) * 2015-06-02 2019-08-06 The Charles Stark Draper Laboratory Inc. Method for detecting deception and predicting interviewer accuracy in investigative interviewing using interviewer, interviewee and dyadic physiological and behavioral measurements
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
JP6306071B2 (ja) * 2016-02-09 2018-04-04 Ｐｓｔ株式会社 推定装置、推定プログラム、推定装置の作動方法および推定システム
JP6686553B2 (ja) * 2016-03-08 2020-04-22 富士通株式会社 応対品質評価プログラム、応対品質評価方法及び応対品質評価装置
JP6689215B2 (ja) * 2017-01-25 2020-04-28 株式会社日立製作所 システム及び対話情報の出力方法
JP6662329B2 (ja) * 2017-03-02 2020-03-11 マツダ株式会社 情報制御装置
JP6769896B2 (ja) * 2017-03-02 2020-10-14 大学共同利用機関法人自然科学研究機構 環境共有レベル判定装置
US20210110844A1 (en) * 2017-03-21 2021-04-15 Tokyo Institute Of Technology Communication analysis apparatus
JP2019040525A (ja) * 2017-08-28 2019-03-14 パナソニックＩｐマネジメント株式会社 相性分析システム、相性分析装置、相性分析方法、及びプログラム
US20190102737A1 (en) * 2017-10-03 2019-04-04 International Business Machines Corporation Methods and systems for receiving feedback
JP6910919B2 (ja) * 2017-10-18 2021-07-28 株式会社日立製作所 システム及び意思疎通を図るために行うアクションの評価方法
JP7139680B2 (ja) * 2018-05-14 2022-09-21 富士通株式会社 活性度評価プログラム、装置、及び方法
CA3099520C (en) 2018-05-22 2024-04-02 Boston Scientific Neuromodulation Corporation Adjustment of analgesic stimulation parameters based on trust dynamic measurements
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
WO2019246239A1 (en) 2018-06-19 2019-12-26 Ellipsis Health, Inc. Systems and methods for mental health assessment
JP7260826B2 (ja) * 2021-02-05 2023-04-19 ダイキン工業株式会社 学習装置および評価情報出力装置
JPWO2022230068A1 (ko) * 2021-04-27 2022-11-03

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007539A (ja) * 2002-04-19 2004-01-08 Sumitomo Electric Ind Ltd ビジュアル情報の記録／再生方法、その装置及び通信システム
JP4704174B2 (ja) 2005-09-30 2011-06-15 富士フイルム株式会社 状態識別装置、プログラムおよび方法
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
US9514436B2 (en) * 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US20080183525A1 (en) * 2007-01-31 2008-07-31 Tsuji Satomi Business microscope system
CN101917898A (zh) * 2007-10-31 2010-12-15 埃姆申塞公司 对来自观众的生理响应提供分散式收集和集中式处理的系统和方法
JP2009129338A (ja) * 2007-11-27 2009-06-11 Sony Corp 対人関係評価装置、対人関係評価方法、対人関係評価システム、端末装置
US8615479B2 (en) * 2007-12-13 2013-12-24 The Invention Science Fund I, Llc Methods and systems for indicating behavior in a population cohort
JP5251547B2 (ja) * 2008-06-06 2013-07-31 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
US20090318773A1 (en) * 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
JP2010022649A (ja) 2008-07-22 2010-02-04 Nippon Telegr & Teleph Corp <Ntt> 指標選択装置及び方法ならびにコンピュータプログラム
US9058587B2 (en) * 2009-04-03 2015-06-16 Hitachi, Ltd. Communication support device, communication support system, and communication support method
JP2011008393A (ja) * 2009-06-24 2011-01-13 Nec Corp グループ管理支援装置、グループ管理支援方法およびプログラム
CN102237081B (zh) * 2010-04-30 2013-04-24 国际商业机器公司 语音韵律评估方法与系统
US20110301433A1 (en) * 2010-06-07 2011-12-08 Richard Scott Sadowsky Mental state analysis using web services
US20130189661A1 (en) * 2010-06-07 2013-07-25 Affectiva, Inc. Scoring humor reactions to digital media
WO2011163663A1 (en) * 2010-06-25 2011-12-29 Department Of Veterans Affairs Computer-implemented interactive behavioral training technique for the optimization of attention or remediation of disorders of attention
JP2012079265A (ja) * 2010-10-06 2012-04-19 Nec Corp 関係性判定装置、関係性判定システム、関係性判定方法および関係性判定プログラム
WO2012149517A2 (en) * 2011-04-29 2012-11-01 Ufaceme, Inc. Learning tool and method of recording, reviewing, and analyzing face-to-face human interaction
US20130019187A1 (en) * 2011-07-15 2013-01-17 International Business Machines Corporation Visualizing emotions and mood in a collaborative social networking environment
US10176725B2 (en) * 2011-08-29 2019-01-08 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
JP2013052049A (ja) 2011-09-02 2013-03-21 National Institute Of Information & Communication Technology 対人コミュニケーションにおける同調性検出装置
JP5338934B2 (ja) * 2012-03-22 2013-11-13 株式会社日立製作所 組織コミュニケーション可視化システム
US9478147B2 (en) * 2012-05-17 2016-10-25 The University Of Connecticut Methods and apparatus for interpersonal coordination analysis and training
CA2878374C (en) * 2012-07-11 2021-07-27 Duquesne University Of The Holy Spirit Kinetic-based tool for biometric identification, verification, validation and profiling
US9734730B2 (en) * 2013-01-31 2017-08-15 Sri International Multi-modal modeling of temporal interaction sequences
JP6094131B2 (ja) * 2012-10-05 2017-03-15 日本電気株式会社 教育現場改善支援システム、教育現場改善支援方法、情報処理装置、通信端末およびその制御方法と制御プログラム
EP2906114A4 (en) * 2012-10-11 2016-11-16 Univ City New York Res Found PREDICTION OF THE RESPONSE TO A STIMULUS
US9361705B2 (en) * 2013-03-15 2016-06-07 Disney Enterprises, Inc. Methods and systems for measuring group behavior
US9443144B2 (en) * 2013-03-15 2016-09-13 Disney Enterprises, Inc. Methods and systems for measuring group behavior
EP2833340A1 (en) * 2013-08-01 2015-02-04 The Provost, Fellows, Foundation Scholars, and The Other Members of Board, of The College of The Holy and Undivided Trinity of Queen Elizabeth Method and system for measuring communication skills of team members
JP6126540B2 (ja) * 2014-02-06 2017-05-10 ヤフー株式会社 関係性推定装置、関係性推定方法およびプログラム
US10446055B2 (en) * 2014-08-13 2019-10-15 Pitchvantage Llc Public speaking trainer with 3-D simulation and real-time feedback
US9639770B2 (en) * 2015-03-26 2017-05-02 Konica Minolta Laboratory U.S.A., Inc. System and method for improving communication productivity

Also Published As

Publication number Publication date
US20150327802A1 (en) 2015-11-19
WO2014091766A1 (ja) 2014-06-19
JP6249490B2 (ja) 2017-12-20
EP2932899A4 (en) 2016-08-10
EP2932899A1 (en) 2015-10-21
JPWO2014091766A1 (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
KR20150097632A (ko) 인간의 심적 상태의 평가 장치
Fujiwara et al. Evaluating interpersonal synchrony: Wavelet transform toward an unstructured conversation
Delaherche et al. Multimodal coordination: exploring relevant features and measures
CN107427250B (zh) 通过脑活动的解析推测感知语义内容的推测方法
Lucas et al. Towards an affective interface for assessment of psychological distress
Min Automatic detection and labeling of self-stimulatory behavioral patterns in children with Autism Spectrum Disorder
Fujiwara et al. Comparing manual and automated coding methods of nonverbal synchrony
Fujiwara et al. Video-based tracking approach for nonverbal synchrony: a comparison of Motion Energy Analysis and OpenPose
Wu et al. Emotion classification on eye-tracking and electroencephalograph fused signals employing deep gradient neural networks
Przybyło et al. Eyetracking-based assessment of affect-related decay of human performance in visual tasks
Whyatt et al. The social-dance: decomposing naturalistic dyadic interaction dynamics to the'micro-level'
Stanley Measuring attention using microsoft kinect
Sidaty et al. Toward an audiovisual attention model for multimodal video content
Khaki et al. Continuous emotion tracking using total variability space.
Zhao et al. Independent component analysis-based source-level hyperlink analysis for two-person neuroscience studies
Madan et al. Groupmedia: distributed multi-modal interfaces
Cosentino et al. Human-humanoid robot social interaction: Laughter
Liu et al. Emotion Recognition Through Observer's Physiological Signals
Desmet et al. Multimodal analysis of synchronization data from patients with dementia
Fu et al. Interpersonal physiological synchrony for detecting moments of connection in persons with dementia: A pilot study
Varsani et al. Sensorial computing
El Kaliouby et al. iSET: interactive social-emotional toolkit for autism spectrum disorder
Dyson et al. Sequential classification of mental tasks vs. idle state for EEG based BCIs
Dunbar et al. Automated Methods to Examine Nonverbal Synchrony in Dyads
Yamanaka et al. Assessing the communication attitude of the elderly using prosodic information and head motions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application