RU2010102675A - Способ электронного анализа диалога и система для осуществления этого способа - Google Patents

Способ электронного анализа диалога и система для осуществления этого способа Download PDF

Info

Publication number
RU2010102675A
RU2010102675A RU2010102675/08A RU2010102675A RU2010102675A RU 2010102675 A RU2010102675 A RU 2010102675A RU 2010102675/08 A RU2010102675/08 A RU 2010102675/08A RU 2010102675 A RU2010102675 A RU 2010102675A RU 2010102675 A RU2010102675 A RU 2010102675A
Authority
RU
Russia
Prior art keywords
dialogue
people
person
interaction
video data
Prior art date
Application number
RU2010102675/08A
Other languages
English (en)
Other versions
RU2472219C2 (ru
Inventor
Филипп АМЕЛЬ (FR)
Филипп АМЕЛЬ
Жан-Поль ОДРЕН (FR)
Жан-Поль ОДРЕН
Пьер-Сильван ЛИКЕ (FR)
Пьер-Сильван ЛИКЕ
Эрик ФОРО (FR)
Эрик ФОРО
Original Assignee
Зеро Ту Уан Текнолоджи (Fr)
Зеро Ту Уан Текнолоджи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Зеро Ту Уан Текнолоджи (Fr), Зеро Ту Уан Текнолоджи filed Critical Зеро Ту Уан Текнолоджи (Fr)
Publication of RU2010102675A publication Critical patent/RU2010102675A/ru
Application granted granted Critical
Publication of RU2472219C2 publication Critical patent/RU2472219C2/ru

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

1. Способ автоматического, в частности электронного, оценивания диалога, по меньшей мере, между двумя людьми, включающий следующие шаги: ! a) получение аудиоданных, воспроизводящих диалог, по меньшей мере, между двумя людьми, ! b) анализ аудиоданных с целью определить распределение высказываний, по меньшей мере, двух людей в процессе диалога, в частности во временном домене, ! c) идентифицирование в диалоге одного или более коммуникационных паттернов, в частности, путем сравнения результатов шага анализа с заранее установленными коммуникационными паттернами. ! 2. Способ по п.1, отличающийся тем, что дополнительно включает шаг d) идентифицирования заранее установленных фаз взаимодействия в процессе диалога на основе скользящего среднего значения времени, в течение которого говорит один человек, участвующий в диалоге. ! 3. Способ автоматического, в частности электронного, оценивания диалога, по меньшей мере, между двумя людьми, включающий следующие шаги: ! а) получение аудиоданных, содержащих диалог, по меньшей мере, между двумя людьми, ! d) идентифицирование заранее установленных фаз взаимодействия в процессе диалога на основе скользящего среднего значения времени, в течение которого говорит один человек, участвующий в диалоге. ! 4. Способ по п.2 или 3, отличающийся тем, что указанное идентифицирование, по меньшей мере, одной фазы взаимодействия включает обнаружение перехода от одной фазы взаимодействия к другой путем определения первого момента, в который скользящее среднее принимает первое граничное значение, и второго момента, в который скользящее среднее принимает второе граничное значение, при этом указанный п

Claims (31)

1. Способ автоматического, в частности электронного, оценивания диалога, по меньшей мере, между двумя людьми, включающий следующие шаги:
a) получение аудиоданных, воспроизводящих диалог, по меньшей мере, между двумя людьми,
b) анализ аудиоданных с целью определить распределение высказываний, по меньшей мере, двух людей в процессе диалога, в частности во временном домене,
c) идентифицирование в диалоге одного или более коммуникационных паттернов, в частности, путем сравнения результатов шага анализа с заранее установленными коммуникационными паттернами.
2. Способ по п.1, отличающийся тем, что дополнительно включает шаг d) идентифицирования заранее установленных фаз взаимодействия в процессе диалога на основе скользящего среднего значения времени, в течение которого говорит один человек, участвующий в диалоге.
3. Способ автоматического, в частности электронного, оценивания диалога, по меньшей мере, между двумя людьми, включающий следующие шаги:
а) получение аудиоданных, содержащих диалог, по меньшей мере, между двумя людьми,
d) идентифицирование заранее установленных фаз взаимодействия в процессе диалога на основе скользящего среднего значения времени, в течение которого говорит один человек, участвующий в диалоге.
4. Способ по п.2 или 3, отличающийся тем, что указанное идентифицирование, по меньшей мере, одной фазы взаимодействия включает обнаружение перехода от одной фазы взаимодействия к другой путем определения первого момента, в который скользящее среднее принимает первое граничное значение, и второго момента, в который скользящее среднее принимает второе граничное значение, при этом указанный переход происходит во второй момент.
5. Способ по п.4, отличающийся тем, что первое граничное значение составляет 60-80%, в частности 65%, для фаз, в течение которых один человек, участвующий в диалоге, говорит больше другого человека, и 20-40%, в частности 35%, для фаз, в течение которых один человек, участвующий в диалоге, говорит меньше другого человека, а второе граничное значение составляет 45-55%, в частности 50%.
6. Способ по п.2 или 3, отличающийся тем, что указанное среднее значение рассчитывают на временном интервале, составляющем около 3-10% общей продолжительности диалога, в частности 5% указанной продолжительности.
7. Способ по любому из пп.1-3, отличающийся тем, что дополнительно включает шаг е) анализа аудиоданных с целью идентификации заранее установленных слов в высказываниях, по меньшей мере, двух людей, в частности только в высказывании одного, заранее выбранного человека.
8. Способ по п.7, отличающийся тем, что дополнительно включает шаг f) анализа, в частности подсчета, появлений заранее выбранных слов в одной или более идентифицированных фазах взаимодействия.
9. Способ по любому из пп.1-3, отличающийся тем, что аудиоданные включают потоки данных от различных микрофонов, в частности от микрофонов, каждый из которых ассоциирован только с одним человеком из указанных, по меньшей мере, двух людей и сконфигурирован таким образом, что интенсивность сигнала, поступающего от одного человека, когда он говорит, превышает интенсивность сигнала от остальных людей.
10. Способ по п.1, отличающийся тем, что дополнительно включает шаг g) получения видеоданных, отображающих, по меньшей мере частично, двух людей, и шаг h) анализа видеоданных с целью определения, имеет ли место визуальное взаимодействие, по меньшей мере, между указанными двумя людьми.
11. Способ автоматического, в частности электронного, оценивания диалога, по меньшей мере, между двумя людьми, включающий следующие шаги:
g) получение видеоданных, отображающих, по меньшей мере частично, двух людей, и
h) анализ видеоданных с целью определения, имеет ли место визуальное взаимодействие, по меньшей мере, между указанными двумя людьми в процессе диалога.
12. Способ по п.10 или 11, отличающийся тем, что шаг h) включает определение того, смотрят ли друг на друга, по меньшей мере, двое указанных людей, путем детектирования положения их зрачков.
13. Способ по п.10 или 11, отличающийся тем, что дополнительно включает шаг i) анализа микродвижений глаз, по меньшей мере, двух людей с целью определить, являются ли направления микродвижений глаз однотипными.
14. Способ по п.13, отличающийся тем, что шаг i) включает определение того, являются ли направления микродвижений глаз однотипными, по меньшей мере, в одной заранее установленной фазе взаимодействия.
15. Способ по п.10 или 11, отличающийся тем, что шаг h) включает следующие шаги:
шаг h_1) идентифицирования визуальных признаков в кадре в составе видеоданных с целью определения в кадре зоны, отображающей, по меньшей мере, часть лица, в частности, по меньшей мере, оба глаза, по меньшей мере, одного из двух людей,
шаг h_2) изолирования в указанной зоне полосок, в частности вертикальных, и
шаг h_3) поиска внутри полосок областей, соответствующих глазам, при условии, что на шаге h_2) было изолировано более одной полоски.
16. Способ по п.15, отличающийся тем, что шаг h_2) дополнительно включает идентифицирование внутри полосок контуров, в частности путем их преобразования в формат по серой шкале, и поиск возможных центров идентифицированных контуров путем поиска кругов, которые могут соответствовать зрачку, в частности определением относительных весов их интенсивностей по серой шкале в видеоданных в пределах контуров с заранее установленным цветом, предпочтительно черным.
17. Способ по п.16, отличающийся тем, что дополнительно включает шаг h_4) идентифицирования положения зрачка в области, соответствующей глазу, путем поиска кругов, которые могут соответствовать зрачку, в частности определением относительных весов их интенсивностей по серой шкале в видеоданных в пределах контуров с заранее установленным цветом, предпочтительно черным.
18. Способ по п.17, отличающийся тем, что, по меньшей мере, для следующего кадра в составе видеоданных повторяют только шаг h_4) с целью идентификации положения зрачка в области, соответствующей глазу, за исключением случаев, когда положение зрачка не детектируется.
19. Способ по п.10 или 11, отличающийся тем, что видеоданные содержат потоки данных от различных камер, установленных в различных положениях по отношению к людям, участвующим в диалоге.
20. Способ по п.19, отличающийся тем, что каждая камера снимает только одного человека.
21. Способ по п.10 или 11, отличающийся тем, что шаги h) и/или i) выполняют во временном интервале, более коротком, чем временной интервал между двумя кадрами видеоданных.
22. Система для автоматического, в частности электронного, оценивания диалога, по меньшей мере, между двумя людьми, содержащая:
a) по меньшей мере, один микрофон (3, 5) для улавливания диалога и генерирования аудиоданных и
b) устройство (7) обработки данных, сконфигурированное с возможностью анализа аудиоданных с целью определения распределения высказываний, по меньшей мере, двух людей в процессе диалога, в частности во временном домене, и сконфигурированное с возможностью сравнения шага анализа с заранее установленными коммуникационными паттернами с целью идентификации в диалоге одного или более коммуникационных паттернов.
23. Система по п.22, отличающаяся тем, что устройство (7) обработки данных сконфигурировано с возможностью идентификации заранее установленных фаз взаимодействия в процессе диалога на основе скользящего среднего значения времени, в течение которого говорит один человек, участвующий в диалоге.
24. Система для автоматического, а именно электронного, оценивания диалога, по меньшей мере, между двумя людьми, содержащая:
а) по меньшей мере, один микрофон (3, 5) для улавливания диалога и генерирования аудиоданных и
d) устройство (7) обработки данных, сконфигурированное с возможностью идентификации заранее установленных фаз взаимодействия в процессе диалога на основе скользящего среднего значения времени, в течение которого говорит один человек, участвующий в диалоге.
25. Система по любому из пп.22-24, отличающаяся тем, что устройство (7) обработки данных сконфигурировано с возможностью идентификации заранее выбранных слов в высказываниях.
26. Система по любому из пп.22-24, отличающаяся тем, что содержит по одному микрофону (3, 5) на каждого человека, участвующего в диалоге, при этом каждый микрофон (3, 5) сконфигурирован так, что интенсивность сигнала от соответствующего человека, когда он говорит, превышает интенсивность сигнала от остальных людей.
27. Система по п.22, отличающаяся тем, что дополнительно содержит, по меньшей мере, одну видеокамеру (43, 45) для генерирования видеоданных, по меньшей мере, частично отображающих, по меньшей мере, двух людей во время диалога, при этом устройство обработки (73) сконфигурировано с возможностью определять, имеет ли место визуальное взаимодействие, по меньшей мере, между двумя людьми во время диалога.
28. Система для автоматического, а именно электронного, оценивания диалога, по меньшей мере, между двумя людьми, содержащая, по меньшей мере, одну видеокамеру (43, 45) для генерирования видеоданных, по меньшей мере, частично отображающих, по меньшей мере, двух людей во время диалога, и устройство обработки (47), сконфигурированное с возможностью определять, имеет ли место во время диалога визуальное взаимодействие, по меньшей мере, между двумя людьми.
29. Система по п.27 или 28, отличающаяся тем, что устройство обработки (47, 73) сконфигурировано с возможностью детектирования в видеоданных, содержащих множество последовательных кадров, положения глаз, в частности зрачков, человека, участвующего в диалоге, путем идентифицирования в кадре визуальных признаков с целью определения зоны кадра, отображающей, по меньшей мере, часть лица, в частности, по меньшей мере, оба глаза, человека, выделением в указанной зоне, в частности, вертикальных полосок и поиска внутри полосок областей, соответствующих глазам, при условии, что выделено более одной полоски.
30. Система по п.27 или 28, отличающаяся тем, что содержит по одной видеокамере (43, 45) на каждого человека, участвующего в диалоге, при этом видеокамеры (43, 45) установлены так, что каждая камера (43, 45) снимает только одного человека.
31. Система по п.27 или 28, отличающаяся тем, что устройство обработки (47, 73) сконфигурировано с возможностью определять, являются ли микродвижения глаз двух человек однотипными.
RU2010102675/08A 2007-07-06 2008-06-25 Способ электронного анализа диалога и система для осуществления этого способа RU2472219C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07290851.0 2007-07-06
EP07290851A EP2012304B1 (en) 2007-07-06 2007-07-06 Methods for electronically analysing a dialogue and corresponding systems
PCT/EP2008/005161 WO2009007011A1 (en) 2007-07-06 2008-06-25 Methods for electronically analysing a dialogue and corresponding systems

Publications (2)

Publication Number Publication Date
RU2010102675A true RU2010102675A (ru) 2011-08-20
RU2472219C2 RU2472219C2 (ru) 2013-01-10

Family

ID=38777936

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010102675/08A RU2472219C2 (ru) 2007-07-06 2008-06-25 Способ электронного анализа диалога и система для осуществления этого способа

Country Status (14)

Country Link
US (1) US8861779B2 (ru)
EP (1) EP2012304B1 (ru)
JP (2) JP2010536053A (ru)
KR (1) KR101532705B1 (ru)
AU (1) AU2008274651B2 (ru)
BR (1) BRPI0812652B1 (ru)
CA (1) CA2691424C (ru)
DK (1) DK2012304T3 (ru)
MA (1) MA31579B1 (ru)
NZ (1) NZ582481A (ru)
RU (1) RU2472219C2 (ru)
TN (1) TN2009000546A1 (ru)
WO (1) WO2009007011A1 (ru)
ZA (1) ZA201000248B (ru)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676586B2 (en) * 2008-09-16 2014-03-18 Nice Systems Ltd Method and apparatus for interaction or discourse analytics
JP5150583B2 (ja) * 2009-08-24 2013-02-20 日本電信電話株式会社 聞き役対話評価装置、聞き役対話評価方法、聞き役対話評価プログラム
WO2012006684A1 (en) * 2010-07-15 2012-01-19 The University Of Queensland A communications analysis system and process
US8825493B2 (en) * 2011-07-18 2014-09-02 At&T Intellectual Property I, L.P. Method and apparatus for social network communication over a media network
US9747899B2 (en) * 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
JP6363986B2 (ja) * 2015-12-24 2018-07-25 日本電信電話株式会社 コミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラム
US10375340B1 (en) * 2016-12-02 2019-08-06 Amazon Technologies, Inc. Personalizing the learning home multi-device controller
US10268447B1 (en) 2016-12-02 2019-04-23 Amazon Technologies, Inc. Curating audio and IR commands through machine learning
US10469787B1 (en) 2016-12-02 2019-11-05 Amazon Technologies, Inc. Learning multi-device controller with personalized voice control
US20210174702A1 (en) * 2017-11-10 2021-06-10 Nippon Telegraph And Telephone Corporation Communication skill evaluation system, device, method, and program
US11837233B2 (en) 2018-01-12 2023-12-05 Sony Corporation Information processing device to automatically detect a conversation
JP6572354B1 (ja) * 2018-08-10 2019-09-11 Regain Group株式会社 営業提案システム、営業提案プログラム及び営業提案方法
US11817005B2 (en) 2018-10-31 2023-11-14 International Business Machines Corporation Internet of things public speaking coach
CN110491241B (zh) * 2019-09-05 2021-08-13 河南理工大学 一种声乐发声训练装置及其方法
US11163965B2 (en) * 2019-10-11 2021-11-02 International Business Machines Corporation Internet of things group discussion coach
AU2021104873A4 (en) * 2021-02-25 2021-09-30 Gail Bower An audio-visual analysing system for automated presentation delivery feedback generation
WO2023119671A1 (ja) * 2021-12-24 2023-06-29 日本電信電話株式会社 推定方法、推定装置及び推定プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS591394A (ja) 1982-06-21 1984-01-06 牧野 鉄郎 粉じん防止貯蔵施設
JPH0591394A (ja) * 1991-09-26 1993-04-09 Canon Inc ビデオカメラ
JP3252282B2 (ja) * 1998-12-17 2002-02-04 松下電器産業株式会社 シーンを検索する方法及びその装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
CA2429676A1 (en) * 2000-11-23 2002-06-13 Goren Gordon Method and system for creating meaningful summaries from interrelated sets of information units
JP2002175538A (ja) 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US7941313B2 (en) * 2001-05-17 2011-05-10 Qualcomm Incorporated System and method for transmitting speech activity information ahead of speech features in a distributed voice recognition system
JP2004175538A (ja) * 2002-11-28 2004-06-24 Toshiba Elevator Co Ltd エレベータ制御装置
KR100580619B1 (ko) * 2002-12-11 2006-05-16 삼성전자주식회사 사용자와 에이전트 간의 대화 관리방법 및 장치
JP4510562B2 (ja) 2003-09-09 2010-07-28 富士フイルム株式会社 円中心位置検出方法および装置並びにプログラム
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4169712B2 (ja) 2004-03-03 2008-10-22 久徳 伊藤 会話支援システム
JP2006075348A (ja) 2004-09-09 2006-03-23 Fuji Xerox Co Ltd 相互視分析装置、相互視分析方法および相互視分析プログラム
US7995717B2 (en) * 2005-05-18 2011-08-09 Mattersight Corporation Method and system for analyzing separated voice data of a telephonic communication between a customer and a contact center by applying a psychological behavioral model thereto
JP4804801B2 (ja) 2005-06-03 2011-11-02 日本電信電話株式会社 会話構造推定方法、プログラム、および記録媒体
JP4687269B2 (ja) * 2005-06-22 2011-05-25 沖電気工業株式会社 商品販売支援装置
US9300790B2 (en) * 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
JP5317415B2 (ja) * 2006-03-27 2013-10-16 富士フイルム株式会社 画像出力装置、画像出力方法、および画像出力プログラム
JP4869978B2 (ja) 2006-03-28 2012-02-08 富士フイルム株式会社 画像記録装置、画像記録方法、および画像記録プログラム
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system

Also Published As

Publication number Publication date
KR101532705B1 (ko) 2015-06-30
CA2691424A1 (en) 2009-01-15
AU2008274651A1 (en) 2009-01-15
KR20100056451A (ko) 2010-05-27
NZ582481A (en) 2012-08-31
BRPI0812652A2 (pt) 2015-10-13
WO2009007011A1 (en) 2009-01-15
JP2013101680A (ja) 2013-05-23
US8861779B2 (en) 2014-10-14
AU2008274651B2 (en) 2012-07-26
DK2012304T3 (da) 2012-11-19
MA31579B1 (fr) 2010-08-02
JP2010536053A (ja) 2010-11-25
US20100278377A1 (en) 2010-11-04
CA2691424C (en) 2017-03-21
EP2012304B1 (en) 2012-09-05
ZA201000248B (en) 2010-09-29
RU2472219C2 (ru) 2013-01-10
BRPI0812652B1 (pt) 2020-02-18
JP5634537B2 (ja) 2014-12-03
TN2009000546A1 (en) 2011-03-31
EP2012304A1 (en) 2009-01-07

Similar Documents

Publication Publication Date Title
RU2010102675A (ru) Способ электронного анализа диалога и система для осуществления этого способа
CN107609493B (zh) 优化人脸图片质量评价模型的方法及装置
CN107025652B (zh) 一种基于运动特性和颜色时空信息的火焰检测方法
CN109740446A (zh) 课堂学生行为分析方法及装置
CN110945522B (zh) 一种学习状态的判断方法、装置及智能机器人
CN105654051B (zh) 一种视频检测方法及系统
CN104144328B (zh) 一种智能视频监控方法
CN106846362A (zh) 一种目标检测跟踪方法和装置
CN102013009A (zh) 烟雾图像识别方法及装置
CN110040595A (zh) 一种基于图像直方图的电梯门状态检测方法及系统
CN103413149B (zh) 复杂背景中实现静态目标检测和识别的方法
CN102096812A (zh) 一种教学智能录播系统用教师黑板书写动作检测方法
CN103051921A (zh) 一种精确检测视音频处理系统视频、音频同步误差的方法
CN108093314A (zh) 一种视频新闻拆分方法及装置
CN103065126B (zh) 不同场景对人体图像再识别的方法
CN107977645A (zh) 一种视频新闻海报图的生成方法及装置
CN109350030A (zh) 基于相位放大处理人脸视频心率信号的系统及方法
CN106611165B (zh) 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置
CN103049748A (zh) 行为监测方法及装置
CN107027067B (zh) 获取mv视频资源中字幕信息的方法及系统
CN110688979A (zh) 违法车辆追踪方法及装置
CN108470564A (zh) 根据音频识别人格特征的人工智能方法
JP2000506327A (ja) トレーニングプロセス
CN103065642A (zh) 检测口语考试作弊的方法及系统
KR20050096484A (ko) 카메라 영상을 이용한 얼굴의 가려짐 판단 및 얼굴확인 방법