JP6627625B2 - 応対支援装置、応対支援方法、応対支援プログラム、応対評価装置、応対評価方法、及び応対評価プログラム - Google Patents
応対支援装置、応対支援方法、応対支援プログラム、応対評価装置、応対評価方法、及び応対評価プログラム Download PDFInfo
- Publication number
- JP6627625B2 JP6627625B2 JP2016079530A JP2016079530A JP6627625B2 JP 6627625 B2 JP6627625 B2 JP 6627625B2 JP 2016079530 A JP2016079530 A JP 2016079530A JP 2016079530 A JP2016079530 A JP 2016079530A JP 6627625 B2 JP6627625 B2 JP 6627625B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- nodding
- nod
- user
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、応対支援装置、応対支援方法、応対支援プログラム、応対評価装置、応対評価方法、及び応対評価プログラムに関する。
店舗窓口で店員が顧客へ応対を行う場合、顧客に好印象を与える高い品質の応対を行うことが店員に求められている。また、応対において、顧客が示す態度に対する肯定的動作である店員のうなずき動作が応対品質に大きく影響を与えることが知られている。店員の適切なうなずき動作は、顧客が示す態度を店員が理解していると顧客に解釈させ、顧客に満足感を与える。例えば、会議の参加者が会議の内容を理解しているか否かを判定するために、うなずき動作を検出する技術が存在する。
杉山ら、「クラウド型音声認識ＡＰＩを用いて適切な話速を定量的に評価・改善するセルフチェックサービス」、情報処理学会第７６回全国大会、２０１４年、頁４−７９７及び頁４−７９８
カプア（Kapoor）ら、「リアルタイム肯定（うなずく）動作及び否定（頭を振る）動作検出手段（A Real-Time Head Nod and Shake Detector）」、知覚ユーザインターフェイスに関する２００１年ワークショップ抄録（Proceedings of the 2001 workshop on Perceptive user interfaces）、２００１年、頁１〜頁５
ウェイ（Wei）ら、「継続的な人感情認識のためのリアルタイム肯定（うなずく）動作及び否定（頭を振る）動作検出（REAL TIME HEAD NOD AND SHAKE DETECTION FOR CONTINUOUS HUMAN AFFECT RECOGNITION）」、マルチメディアインタラクティブサービスのための画像分析（Image Analysis for Multimedia Interactive Services）、２０１３年
ナカムラ（Nakamura）ら、「アクティブアピアランスモデルに基づく肯定（うなずく）動作検出システムの改良（Development of Nodding Detection System Based on Active Appearance Model）」、システム統合に関するＩＥＥＥ／ＳＩＣＥ国際シンポジウム（IEEE/SICE International Symposium on System Integration）、日本、２０１３年、頁４００〜頁４０５
しかしながら、顧客の示す態度が変化した場合には、店員のうなずき動作も適切に変化しないと、顧客が受ける印象はむしろ悪化する。したがって、店員のうなずき動作を検出するだけでは、顧客に好印象を与える最適うなずき動作の情報を提供することは困難である。
本発明は、１つの側面として、第１ユーザが示す態度が変化した場合に、第２ユーザが行う最適うなずき動作の情報を提供することを目的とする。
１つの実施形態では、状態取得部は、第１ユーザの状態を表す状態値を取得する。うなずき値取得部は、第１ユーザの状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得する。最適うなずき値予測部は、状態値の変化割合が所定値を越えた場合に、所定値を越える前のうなずき値及び変化割合を用いて、所定値を越えた後の最適うなずき値を予測する。最適うなずき情報出力部は、予測した最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する。
１つの側面として、第１ユーザが示す態度が変化した場合に、第２ユーザが行う最適うなずき動作の情報を提供することを可能とする。
［第１実施形態］
以下、図面を参照して実施形態の一例である第１実施形態を詳細に説明する。
以下、図面を参照して実施形態の一例である第１実施形態を詳細に説明する。
図１に示す応対支援装置１０は、第１検出部２１、第２検出部２２、状態取得部２３、うなずき値取得部２４、最適うなずき値予測部２５、最適うなずき情報出力部２６、及び出力部２９を含む。第１検出部２１は、例えば、顧客である第１ユーザが示す態度、即ち、第１ユーザから発せられた第１ユーザの状態に関する情報を検出する。第２検出部２２は、例えば、店員である第２ユーザのうなずき動作に関する情報を検出する。
状態取得部２３は、第１検出部２１が検出した情報から、第１ユーザから発せられた第１ユーザの状態を表す状態値を取得する。うなずき値取得部２４は、第２検出部２２が検出した情報から、第１ユーザの状態に対して反応した第２ユーザのうなずき動作の程度を表すうなずき値を取得する。
最適うなずき値予測部２５は、状態値の変化割合が所定値を越えた場合に、所定値を越える前のうなずき値及び変化割合を用いて、所定値を越えた後の最適うなずき値を予測する。最適うなずき情報出力部２６は、予測した最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部２９に出力する。
応対支援装置１０は、一例として、図２に示すように、プロセッサの一例であるＣＰＵ（Central Processing Unit）３１、一次記憶部３２、二次記憶部３３、外部インターフェイス３４、マイク（マイクロフォン）３５、カメラ３６、及びディスプレイ３７を含む。ＣＰＵ３１、一次記憶部３２、二次記憶部３３、外部インターフェイス３４、マイク３５、カメラ３６、及びディスプレイ３７は、バス３９を介して相互に接続されている。
一次記憶部３２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部３３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。
二次記憶部３３は、プログラム格納領域３３Ａ及びデータ格納領域３３Ｂを含む。プログラム格納領域３３Ａは、一例として、応対支援プログラムを記憶している。ＣＰＵ３１は、プログラム格納領域３３Ａから応対支援プログラムを読み出して一次記憶部３２に展開する。
ＣＰＵ３１は、応対支援プログラムを実行することで、図１の状態取得部２３、うなずき値取得部２４、最適うなずき値予測部２５、及び最適うなずき情報出力部２６として動作する。なお、応対支援プログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部３２に展開されてもよいし、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部３２に展開されてもよい。
マイク３５は、第１検出部２１の一例であり、第１ユーザの発話音声を検出する指向性マイクであってよい。カメラ３６は、第２検出部２２の一例であり、第２ユーザのうなずき動作を検出することができるように第２ユーザに向けて配置される。マイク３５で検出した発話音声の音声データ及びカメラ３６で検出した第２ユーザの画像データは、二次記憶部３３のデータ格納領域３３Ｂに記憶される。
ディスプレイ３７は、出力部２９の一例であり、後述する最適うなずき動作を表す情報を表示する。外部インターフェイス３４には、外部装置が接続され、外部インターフェイス３４は、外部装置とＣＰＵ３１との間の各種情報の送受信を司る。なお、マイク３５、カメラ３６及びディスプレイ３７が応対支援装置１０に含まれている例について説明したが、マイク３５、カメラ３６及びディスプレイ３７の全部または一部は、外部インターフェイス３４を介して接続される外部装置であってもよい。
なお、応対支援装置１０は、例えば、パーソナルコンピュータであってよいが、本実施形態は、これに限定されない。例えば、応対支援装置１０は、タブレット、スマートデバイス、または、応対支援専用装置などであってよい。
次に、応対支援装置１０の作用の概略について説明する。本実施形態では、図３に例示するように、ＣＰＵ３１は、マイク３５が検出した第１ユーザの発話音声の音声データを取得し、音声データから第１ユーザから発せられた第１ユーザの状態を表す状態値の一例である発話速度５１Ａを取得する。
ＣＰＵ３１は、カメラ３６が検出した第２ユーザの画像データを取得し、第１ユーザの状態に対して反応した第２ユーザのうなずき動作の程度を表すうなずき値の一例であるうなずき動作の速度５２Ａを取得する。ＣＰＵ３１は、発話速度の変化割合５１Ｂが所定値を越えた場合に、所定値を越える前のうなずき動作の速度５２Ａ及び変化割合５１Ｂを用いて、所定値を越えた後の最適うなずき値５３を予測する。ＣＰＵ３１は、最適うなずき値５３を表す情報をディスプレイ３７に表示する。
次に、応対支援装置１０の作用について説明する。図４Ａに例示するように、ＣＰＵ３１は、ステップ１０１で、マイク３５が検出した第１ユーザの発話音声の音声データ及びカメラ３６が検出した第２ユーザの画像データを所定時間分取得する。所定時間は、例えば、５秒であってよい。
ＣＰＵ３１は、ステップ１０２で、後述するうなずき画像処理を実行し、ステップ１０３で、後述する発話音声情報処理を実行する。ＣＰＵ３１は、ステップ１０４で、例えば、第２ユーザが応対支援装置１０をオフしたか否かを判定することにより、応対が終了したか否か判定する。ステップ１０４の判定が否定された場合、即ち、応対が終了していない場合、ＣＰＵ３１は、ステップ１０１に戻る。ステップ１０４の判定が肯定された場合、即ち、対話が終了した場合、ＣＰＵ３１は、応対支援処理を終了する。
図４Ａのステップ１０２のうなずき画像処理の詳細を図４Ｂに例示する。ＣＰＵ３１は、ステップ１１１で、ステップ１０１で取得した画像データにうなずき動作が含まれているか否か判定する。ステップ１１１の判定が肯定された場合、即ち、画像データにうなずき動作が含まれている場合、ステップ１１２で、１回毎のうなずき動作の速度を取得して、うなずき画像処理を終了する。
例えば、画像における第２ユーザの眉間から顔の最下端までの距離の変動及び変動に要する時間を計測することで、うなずき動作の速度を取得する。また、例えば、画像に撮影されている第２ユーザの顔又は瞳孔を追跡することにより取得した情報を、隠れマルコフモデル又はアクティブアピアランスモデルによって分析することにより、うなずき動作の速度を取得してもよい。
ＣＰＵ３１は、取得したうなずき動作の速度をうなずき動作の開始時間と対応付けて二次記憶部３３のデータ格納領域３３Ｂに記憶する。ステップ１１１の判定が否定された場合、即ち、画像データにうなずき動作が含まれていない場合、ＣＰＵ３１は、うなずき画像処理を終了する。
なお、今回のステップ１０１で取得した画像データに完了していないうなずき動作が含まれる場合、完了していないうなずき動作の開始時点からの画像データは次回のうなずき画像処理で処理される。即ち、完了していないうなずき動作の開始時点からの画像データは、次回のうなずき画像処理で、次回のステップ１０１で取得される画像データと併せて処理される。次回のステップ１０１で取得される画像データは、完了していないうなずき動作の続きのうなずき動作を含むためである。
図４Ａのステップ１０３の発話音声情報処理の詳細を図４Ｃに例示する。ＣＰＵ３１は、ステップ１２１で、音声データの発話速度を取得し、ステップ１２２で、今回の発話音声情報処理で処理している音声データが応対開始直後の音声データであるか否か判定する。ステップ１２２の判定が肯定された場合、即ち、今回の発話音声情報処理で処理している音声データが応対開始直後の音声データである場合、ＣＰＵ３１は発話音声情報処理を終了する。
ステップ１２２の判定が否定された場合、ＣＰＵ３１は、ステップ１２３で、発話速度の変化割合が所定値より大きいか否か判定する。発話速度の変化割合は、前回の発話音声情報処理のステップ１２１で取得した発話速度をＵＢ、今回のステップ１２１で取得した発話速度をＵＡとしたとき、式（１）で求められ、所定値は、例えば、０．１であってよい。
（ＵＡ−ＵＢ）／ＵＢ … （１）
（ＵＡ−ＵＢ）／ＵＢ … （１）
ステップ１２３の判定が肯定された場合、即ち、発話速度の変化割合が所定値より大きいと判定された場合、第１ユーザが示す態度が変化したと判断し、ＣＰＵ３１は、ステップ１２４で、後述する最適うなずき表示処理を行い、発話音声情報処理を終了する。ステップ１２３の判定が否定された場合、即ち、発話速度の変化割合が所定値以下であると判定された場合、第１ユーザが示す態度が変化していないと判断し、ＣＰＵ３１は、発話音声情報処理を終了する。
図４Ｃのステップ１２４の最適うなずき表示処理の詳細を図４Ｄに例示する。ＣＰＵ３１は、ステップ１３１で、今回の図４Ａのステップ１０１で取得した音声データの開始時間の前に開始されたうなずき動作が少なくとも１回存在するか否かを判定する。ステップ１３１の判定が否定された場合、ＣＰＵ３１は最適うなずき表示処理を終了する。
ステップ１３１の判定が肯定された場合、ＣＰＵ３１は、ステップ１３２で、最適うなずき値ＯＮＳを取得する。図５Ａに例示するように、今回のステップ１０１で取得した音声データの開始時間ＴＴ（以下、変化時刻ＴＴともいう）の前に開始されたうなずき動作ＮＩＢが少なくとも１回存在する場合に、ステップ１３１の判定は肯定される。
最適うなずき値ＯＮＳは、所定値を越える前の第１ユーザの発話速度をＵＢ、所定値を越えた後の第１ユーザの発話速度をＵＡ、所定値を越える前の第２ユーザのうなずき動作ＮＩＢの速度をＮＢＳ、正の係数をａａとしたとき、式（２）で表される。
なお、正の係数ａａは、発話速度の単位（例えば、モーラ／秒または音節／秒）とうなずき動作の速度の単位（例えば、角度／秒）とを一致させる値である。例えば、観察者が発話速度の変化割合とうなずき動作の速度の変化割合とが同じであると主観的に判定する場合に、発話速度の変化割合とａａ×うなずき動作の速度の変化割合とが同じ値となるように値ａａを設定する。
式（２）によれば、最適うなずき値ＯＮＳは、第１ユーザの発話速度の変化割合（ＵＡ−ＵＢ）／ＵＢと第２ユーザのうなずき動作の速度の変化割合との差を最小とするうなずき動作の速度である。即ち、最適うなずき値ＯＮＳによるうなずき動作が第２ユーザによって行われた場合、第１ユーザの発話速度の変化割合と第２ユーザのうなずき動作の速度の変化割合とが同調するため、第１ユーザは、第２ユーザが第１ユーザの発話を適切に理解していると判定する可能性が高い。
ＣＰＵ３１は、ステップ１３３で、最適うなずき値に基づいて、最適うなずき動作を表す情報をディスプレイ３７に表示する。また、ＣＰＵ３１は、最適うなずき動作を表す情報と共に、実際に第２ユーザが行ったうなずき動作を表す情報を、ディスプレイ３７に表示してもよい。
例えば、最適うなずき動作を表す情報は最適うなずき動作の速度の数値であってもよいし、最適うなずき動作の速度に対応する速度で点滅する図形であってもよいし、「もっと速く」、「もっと遅く」などの文字列であってもよい。また、ディスプレイ３７に最適うなずき動作を表す情報を表示すると共に、例えば、出力部２９の一例であるスピーカから最適うなずき動作の速度に対応する速度の音声を出力してもよい。また、ディスプレイ３７に最適うなずき動作を表す情報を表示すると共に、最適うなずき動作の速度に対応する速度で、出力部２９の一例であるバイブレータを振動させてもよい。
また、ディスプレイ３７に最適うなずき動作を表す情報を表示する代わりに、出力部２９の一例であるスピーカから最適うなずき動作の速度に対応する速度の音声を出力してもよい。また、ディスプレイ３７に最適うなずき動作を表す情報を表示する代わりに、最適うなずき動作の速度に対応する速度で出力部２９の一例であるバイブレータを振動させてもよい。
例えば、実際に第２ユーザが行ったうなずき動作を表す情報は、うなずき動作の速度の値であってもよいし、うなずき動作の速度に対応する速度で点滅する図形であってもよい。また、ディスプレイ３７にうなずき動作を表す情報を表示すると共に、例えば、出力部２９の一例であるスピーカからうなずき動作の速度に対応する速度の音声を出力してもよい。また、ディスプレイ３７にうなずき動作を表す情報を表示すると共に、例えば、うなずき動作の速度に対応する速度で出力部２９の一例であるバイブレータを振動させてもよい。
また、ディスプレイ３７にうなずき動作を表す情報を表示する代わりに、例えば、出力部２９の一例であるスピーカからうなずき動作の速度に対応する速度の音声を出力してもよい。また、ディスプレイ３７にうなずき動作を表す情報を表示する代わりに、例えば、うなずき動作の速度に対応する速度で出力部２９の一例であるバイブレータを振動させてもよい。
なお、本実施形態では、状態値が、第１ユーザによる発話の速度である例について説明したが、本実施形態はこれに限定されない。状態値は、第１ユーザの表情を表す顔の特徴点の位置を表す値、または、第１ユーザの動作を表す骨格の位置を表す値であってよい。顔の特徴点とは、例えば、眉、目、または口などの位置であり、骨格の位置とは、例えば、関節の位置であってよい。
この場合、応対支援装置１０は、第１検出部２１として、例えば、第１ユーザを撮影するカメラ、または第１ユーザの動作を検知するセンサを含む。また、状態値は、第１ユーザによる発話の速度を表す値、第１ユーザの表情を表す顔の特徴点の位置を表す値、または、第１ユーザの動作を表す骨格の位置を表す値の内、少なくとも２つの組み合わせであってよい。
また、本実施形態では、うなずき値が、うなずき動作の速度である例について説明したが、本実施形態はこれに限定されない。うなずき値は、うなずき動作の速度を表す値、所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及びうなずき動作の深さを表す値、の少なくとも１つであってよい。
サブうなずき動作とは、所定時間内の間隔で連続して行われるうなずき動作であり、所定時間は、例えば、０．３秒である。複数の連続するサブうなずき動作は１回のうなずき動作としてカウントされる。リピート数とは、１回のうなずき動作に含まれるサブうなずき動作の数である。即ち、リピート数が１のうなずき動作は１のサブうなずき動作を含み、リピート数が２のうなずき動作は連続して行われる２のサブうなずき動作を含む。
なお、リピート数が複数である場合、うなずき動作には複数のサブうなずき動作が含まれるため、うなずき動作の速度は、うなずき動作に含まれる複数のサブうなずき動作の速度の平均値であってよいが、本実施形態はこれに限定されない。例えば、うなずき動作に含まれる複数のサブうなずき動作の内、最初のサブうなずき動作の速度であってもよい。
また、リピート数が複数である場合、うなずき動作には複数のサブうなずき動作が含まれるため、うなずき動作の深さは、うなずき動作に含まれる複数のサブうなずき動作の深さの平均値であってよいが、本実施形態はこれに限定されない。例えば、うなずき動作に含まれる複数のサブうなずき動作の内、最初のサブうなずき動作の深さであってもよい。
例えば、画像における第２ユーザの眉間から顔の最下端までの距離の変動及び変動に要する時間を計測することで、うなずき動作の速度、リピート数、及び深さを取得する。また、例えば、画像に撮影されている第２ユーザの顔又は瞳孔を追跡することにより取得した情報を、隠れマルコフモデル又はアクティブアピアランスモデルによって分析することにより、うなずき動作の速度、リピート数、及び深さを取得してもよい。
本実施形態では、式（２）を使用して最適うなずき値を取得する例について説明したが、本実施形態はこれに限定されない。例えば、所定値を越えた後の状態値をＳＡ、所定値を越える前の状態値をＳＢ、所定値を越える前のうなずき値をＮＢ、正の係数をａとしたとき、最適うなずき値ＯＮは式（３）で表される。
本実施形態では、状態取得部は、第１ユーザの状態を表す状態値を取得する。うなずき値取得部は、第１ユーザの状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得する。最適うなずき値予測部は、状態値の変化割合が所定値を越えた場合に、所定値を越える前のうなずき値及び変化割合を用いて、所定値を越えた後の最適うなずき値を予測する。最適うなずき情報出力部は、予測した最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する。
本実施形態では、最適うなずき値は、状態値の変化割合と所定値を越える前のうなずき値とから予測したうなずき値の予測変化量と、所定値を越える前のうなずき値との和で表される。
本実施形態では、状態値の変化割合が所定値を越えた場合に、所定値を越える前のうなずき値及び変化割合を用いて、所定値を越えた後の最適うなずき値を予測する。これにより、本実施形態では、第１ユーザが示す態度が変化した場合に、第２ユーザが行う最適うなずき動作の情報を提供することができる。
［第２実施形態］
以下、図面を参照して実施形態の一例である第２実施形態を詳細に説明する。第１実施形態と同様の構成及び作用については説明を省略する。
以下、図面を参照して実施形態の一例である第２実施形態を詳細に説明する。第１実施形態と同様の構成及び作用については説明を省略する。
図６に示す応対評価装置１１は、第１検出部２１、第２検出部２２、状態取得部２３、うなずき値取得部２４、うなずき評価値取得部２８及び出力部２９を含む。うなずき評価値取得部２８は、状態値の変化割合が所定値を越えた場合に、状態値の変化割合とうなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する。出力部２９は、うなずき評価値取得部２８で取得されたうなずき評価値を出力する。
応対評価装置１１は、一例として、図７に示すように、プロセッサの一例であるＣＰＵ（Central Processing Unit）３１、一次記憶部３２、二次記憶部３３、外部インターフェイス３４、マイク（マイクロフォン）３５、カメラ３６、及びディスプレイ３７を含む。ＣＰＵ３１、一次記憶部３２、二次記憶部３３、外部インターフェイス３４、マイク３５、カメラ３６、及びディスプレイ３７は、バス３９を介して相互に接続されている。
二次記憶部３３は、プログラム格納領域３３Ａ及びデータ格納領域３３Ｂを含む。プログラム格納領域３３Ａは、一例として、応対評価プログラムを記憶している。ＣＰＵ３１は、プログラム格納領域３３Ａから応対評価プログラムを読み出して一次記憶部３２に展開する。
ＣＰＵ３１は、応対評価プログラムを実行することで、図６の状態取得部２３、うなずき値取得部２４、及びうなずき評価値取得部２８として動作する。なお、応対評価プログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部３２に展開されてもよいし、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部３２に展開されてもよい。ディスプレイ３７は、出力部２９の一例であり、後述するうなずき評価値を表示する。
なお、応対評価装置１１は、例えば、パーソナルコンピュータであってよいが、本実施形態は、これに限定されない。例えば、応対評価装置１１は、タブレット、スマートデバイス、又は、応対評価専用装置などであってよい。
次に、応対評価装置１１の作用の概略について説明する。本実施形態では、図８に例示するように、ＣＰＵ３１は、マイク３５が検出した第１ユーザの発話音声の音声データを取得し、音声データから第１ユーザから発せられた第１ユーザの状態を表す状態値の一例である発話速度５１Ａを取得する。ＣＰＵ３１は、カメラ３６が検出した第２ユーザの画像データを取得し、第１ユーザの状態に対して反応した第２ユーザのうなずき動作の程度を表すうなずき値の一例であるうなずき動作の速度５２Ａを取得する。
ＣＰＵ３１は、発話速度の変化割合５１Ｂが所定値を越えた場合に、発話速度の変化割合５１Ｂとうなずき動作の速度５２Ｂの変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値５４を取得する。ＣＰＵ３１は、うなずき評価値５４をディスプレイ３７に表示する。
次に、応対評価装置１１の作用について説明する。図９Ａに例示するように、ＣＰＵ３１は、ステップ１４１で、後述する変数Ｆ１、変数Ｆ２、及びカウンタＳＮに０を設定する。ＣＰＵ３１は、ステップ１４２で、マイク３５が検出した第１ユーザの発話音声の音声データ及びカメラ３６が検出した第２ユーザの画像データを所定時間分取得する。所定時間は、例えば、５秒であってよい。
ＣＰＵ３１は、ステップ１４３で、後述する発話音声情報処理を実行し、ステップ１４４で、後述するうなずき画像処理を実行し、ステップ１４５で、後述するうなずき評価値表示処理を実行する。ＣＰＵ３１は、ステップ１４６で、例えば、第２ユーザが応対評価装置１１をオフしたか否かを判定することにより、応対が終了したか否か判定する。ステップ１４６の判定が否定された場合、即ち、応対が終了していない場合、ＣＰＵ３１は、ステップ１４２に戻る。ステップ１４６の判定が肯定された場合、即ち、応対が終了した場合、ＣＰＵ３１は、応対評価処理を終了する。
図９Ａのステップ１４３の発話音声情報処理の詳細を図９Ｂに例示する。ＣＰＵ３１は、ステップ１５１で、音声データの発話速度を取得し、ステップ１５２で、今回の発話音声情報処理で処理している音声データが応対開始直後の音声データであるか否か判定する。ステップ１５２の判定が肯定された場合、即ち、今回の発話音声情報処理で処理している音声データが応対開始直後の音声データである場合、ＣＰＵ３１は発話音声情報処理を終了する。
ステップ１５２の判定が否定された場合、ＣＰＵ３１はステップ１５３で、発話速度の変化割合が所定値より大きいか否か判定する。詳細には、上記したように、式（１）が所定値より大きいか否か判定する。
ステップ１５３の判定が否定された場合、即ち、発話速度の変化割合が所定値以下であると判定された場合、ＣＰＵ３１は、発話音声情報処理を終了する。ステップ１５３の判定が肯定された場合、即ち、発話速度の変化割合が所定値より大きいと判定された場合、ＣＰＵ３１は、ステップ１５４で、音声データの開始時刻を変化時刻ＴＴとして取得する。
ＣＰＵ３１は、ステップ１５５で、ステップ１５４で取得した変化時刻ＴＴの前に開始されたうなずき動作が少なくとも１つ存在するか否か判定する。うなずき動作は、後述するうなずき画像処理で検出される。
ステップ１５５の判定が否定されると、即ち、変化時刻ＴＴの前に開始されたうなずき動作が存在しないと判定されると、ＣＰＵ３１は発話音声情報処理を終了する。ステップ１５５の判定が肯定されると、即ち、変化時刻ＴＴの前に開始されたうなずき動作が存在すると判定されると、ＣＰＵ３１は変数Ｆ１に１を設定し、発話音声情報処理を終了する。即ち、変数Ｆ１は、発話速度の変化割合が所定値を越え、変化時刻ＴＴの前に開始されたうなずき動作が存在するため、うなずき評価値を取得することが可能であることを示す変数である。
図９Ａのステップ１４４のうなずき画像処理の詳細を図９Ｃに例示する。ＣＰＵ３１は、ステップ１６１で、ステップ１４２で取得した画像データにうなずき動作が含まれているか否か判定する。ステップ１６１の判定が否定された場合、即ち、画像データにうなずき動作が含まれていない場合、ＣＰＵ３１は、うなずき画像処理を終了する。
ステップ１６１の判定が肯定された場合、即ち、画像データにうなずき動作が含まれている場合、ＣＰＵ３１は、ステップ１６２で、うなずき動作の速度を取得する。ＣＰＵ３１は、うなずき動作毎にうなずき動作の速度と開始時間とを対応付けて、二次記憶部３３のデータ格納領域３３Ｂに記憶する。
なお、今回のステップ１４２で取得した画像データに完了していないうなずき動作が含まれる場合、完了していないうなずき動作の開始時点からの画像データは次回のうなずき画像処理で処理される。即ち、完了していないうなずき動作の開始時点からの画像データは、次回のうなずき画像処理で、次回のステップ１４２で取得される画像データと併せて処理される。次回のステップ１４２で取得される画像データは、完了していないうなずき動作の続きのうなずき動作を含むためである。
ＣＰＵ３１は、ステップ１６３で、変数Ｆ１に１が設定されているか否か、即ち、発話速度の変化割合が所定値を越えたか否かを判定し、併せて、後述するステップ１６４で類似うなずきであるか否か判定していない未判定うなずきが存在するか否か判定する。ステップ１６３の判定が否定された場合、即ち、発話速度の変化割合が所定値を越えていないか、もしくは未判定うなずきが存在しない場合、ＣＰＵ３１は、うなずき画像処理を終了する。
ステップ１６３の判定が肯定された場合、即ち、発話速度の変化割合が所定値を越えており、未判定うなずきが存在する場合、ＣＰＵ３１は、ステップ１６４で、未判定うなずきの各々が類似うなずきであるか否か時系列に判定する。詳細には、図１０Ａに例示する変化時刻ＴＴの直前のうなずき動作ＮＩＢと、変化時刻ＴＴ以降のうなずき動作ＮＯＤ（Ｎ）（Ｎは自然数）の各々とが類似するか否かＮを１から１つずつ増加させて判定する。
うなずき動作ＮＩＢとＮＯＤ（Ｎ）とが類似するか否かは、ＮＳをうなずき動作ＮＯＤ（Ｎ）の速度、ＮＳＴをうなずき動作ＮＩＢの速度、ｗを正の係数としたとき、式（４）の類似度合いを示す値ＦＳが所定値を下回るか否かで判定することができる。
ＦＳ（ＮＳ，ＮＳＴ） …（４）
ＦＳ（ＮＳ，ＮＳＴ） …（４）
ここで、ＦＳ（ｘ、ｙ）は、ｘ及びｙを入力としたとき、１−｜ｘ−ｙ｜／ｗを出力する関数である。但し、１−｜ｘ−ｙ｜／ｗ＜０である場合、ＦＳ（ｘ、ｙ）の出力は０である。
ステップ１６４の判定が肯定された場合、即ち、未判定うなずきが類似うなずきであると判定された場合、ＣＰＵ３１は、ステップ１６６でカウンタＳＮのカウント値に１を加算する。変数ＳＮは連続する類似うなずきの回数をカウントする変数である。うなずき動作ＮＩＢとうなずき動作ＮＯＤ（Ｎ）とが類似しないと判定されるまで、Ｎの値を１ずつ増加させてステップ１６３〜ステップ１６４の判定を繰り返す。
ステップ１６４の判定が否定された場合、即ち、未判定うなずきが類似うなずきではないと判定された場合、ＣＰＵ３１は、ステップ１６５で、変数Ｆ２に１を設定する。即ち、変数Ｆ２は、変化割合が所定値を越えた後、類似うなずき動作が存在しない、あるいは、存在しなくなったことを示す変数である。ＣＰＵ３１は、うなずき画像処理を終了する。
図９Ａのステップ１４５のうなずき評価値表示処理の詳細を図９Ｄに例示する。ＣＰＵ３１は、ステップ１７１で、変数Ｆ２に１が設定されているか否か、即ち、発話速度の変化割合が所定値を越えた後、類似うなずきが存在しない、あるいは、存在しなくなったか否か判定する。判定が否定された場合、即ち、変数Ｆ２に１が設定されていない場合、ＣＰＵ３１はうなずき評価値表示処理を終了する。
ステップ１７１の判定が肯定された場合、即ち、変数Ｆ２に１が設定されている場合、ＣＰＵ３１は、ステップ１７２でうなずき評価値を取得する。うなずき評価値ＮＥは、所定値を越える前後の発話速度の変化割合をＳＵＣ、所定値を越える前後のうなずき動作の速度の変化割合をＮＵＣ、変化時刻ＴＴの直前のうなずき動作ＮＩＢと類似する連続するうなずき動作の回数をＭ、ｂｂ、ｃｃ及びｄｄを調整係数としたとき、式（５）で表される。
式（５）の分母に含まれる｜ＳＵＣ−ｂｂ・ＮＵＣ｜は、所定値を越える前後の発話速度の変化割合ＳＵＣとうなずき動作の速度の変化割合ＮＵＣとの同調度合いを表し、同調の度合いが大きくなるにしたがって小さくなる。即ち、同調度合いが大きくなるにしたがって、うなずき評価値ＮＥは大きくなる。
調整係数ｂｂは、発話速度の変化割合ＳＵＣとうなずき動作の速度の変化割合ＮＵＣとを一致させる値である。例えば、観察者が発話速度の変化割合ＳＵＣとうなずき動作の速度の変化割合ＮＵＣとが同じであると主観的に判定する場合に、発話速度の変化割合ＳＵＣとｂｂ×うなずき動作の速度の変化割合ＮＵＣとが同じ値となるように値ｂｂを設定する。
図１０Ｂに例示する変化時刻ＴＴの直前のうなずき動作ＮＩＢと類似する連続するうなずき動作の回数Ｍは、図９Ｃのステップ１６６でカウンタＳＮを使用してカウントされた値である。回数Ｍは式（５）の分母に含まれるため、回数Ｍが増加するにしたがって、うなずき評価値ＮＥは小さくなる。変化時刻ＴＴ以降のうなずき動作は、発話速度の変化割合ＳＵＣと同調して変化することが期待されるためである。
ＣＰＵ３１は、ステップ１７３で、ステップ１７２で取得したうなずき評価値を表す情報をディスプレイ３７に表示し、ステップ１７４で、変数Ｆ１、変数Ｆ２及びカウンタＳＮに０を設定し、うなずき評価値表示処理を終了する。
例えば、うなずき評価値を表す情報はうなずき評価値の数値であってもよいし、うなずき評価値のレベルを表す図形（例えば、よい評価にはスターマーク５個、悪い評価にはスターマーク１個、など）であってもよい。また、うなずき評価値を表す情報は、「もっと速く」、「もっと遅く」などの文字列であってもよい。また、ディスプレイ３７にうなずき評価値を表す情報を表示すると共に、例えば、出力部２９の一例であるスピーカからうなずき評価値のレベルに対応する音量（例えば、よい評価には小さい音量、悪い評価には大きい音量、など）で音声を出力してもよい。また、ディスプレイ３７にうなずき評価値を表す情報を表示すると共に、うなずき評価値のレベルに対応する強さ（例えば、よい評価には弱い振動、悪い評価には強い振動、など）で、出力部２９の一例であるバイブレータを振動させてもよい。
また、ディスプレイ３７にうなずき評価値を表す情報を表示する代わりに、出力部２９の一例であるスピーカからうなずき評価値のレベルに対応する音量で音声を出力してもよい。また、ディスプレイ３７にうなずき評価値を表す情報を表示する代わりに、うなずき評価値のレベルに対応する強さで出力部２９の一例であるバイブレータを振動させてもよい。
なお、第１実施形態の応対支援処理と第２実施形態の応対評価処理とを並行して実行し、最適うなずき予測値を表す情報をうなずき評価値を表す情報と共にディスプレイ３７に表示してもよい。また、うなずき評価値が所定値を越える場合には、うなずき評価値を表す情報をディスプレイ３７に表示しなくてもよい。
なお、図９Ｃのステップ１６４で類似うなずきを判定するために、うなずき動作の速度を使用したが、本実施形態はこれに限定されない。例えば、うなずき動作の深さ、またはリピート数を使用して類似うなずきを判定するようにしてもよい。うなずき動作の速度による類似度合いをＦＳ、深さによる類似度合いをＦＤ、リピート数による類似度合いをＦＲとすると、類似度合いは、例えば、ＦＳ×ＦＤ、ＦＳ×ＦＲ、ＦＤ×ＦＲ、または、ＦＳ×ＦＤ×ＦＲで取得されてもよい。なお、類似度合いＦＤ及びＦＲは、類似度合いＦＳと同様に取得できるため、詳細な説明を省略する。
なお、うなずき評価値ＮＥが式（５）で表される例について説明したが、うなずき評価値ＮＥは、変化時間ＴＴの直前のうなずき動作ＮＩＢと類似する連続するうなずき動作の回数Ｍを含めない式（６）で表されてもよい。
また、うなずき評価値ＮＥは、式（７）で表されてもよい。ここで、図１０Ｃに例示するように、変化時刻ＴＴの直前のうなずき動作ＮＩＢに類似する、変化時刻ＴＴ以前の連続するうなずき動作の回数をＬ、ｔｈを所定の閾値、Ｉを（Ｌ＋Ｍ）個のうなずき動作の類似度合いの平均とする。また、ｅｅ、ｇｇ、ｈｈを調整係数、ＦＦ（ｘ）を入力ｘがｘ≧０の場合ｘ、ｘ＜０の場合０を出力する関数とする。
うなずき動作の回数Ｌは、うなずき動作の回数Ｍと同様に取得することができるため、詳細な説明を省略する。本実施形態では、類似うなずきであるか否か判定する際に、変化時刻ＴＴの直前のうなずき動作ＮＩＢと類似するか否かについて判定する例について説明したが、本実施形態はこれに限定されない。例えば、変化時刻ＴＴの直前のうなずき動作と隣接するうなずき動作以外のうなずき動作については、各々のうなずき動作がうなずき動作ＮＩＢ側で隣接するうなずき動作と類似するか否かについて判定するようにしてもよい。
本実施形態では、状態値が、第１ユーザによる発話の速度である例について説明したが、本実施形態はこれに限定されない。状態値は、第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、第１ユーザの動作を表す骨格の位置を表す値であってよい。
この場合、応対評価装置１１は、第１検出部２１として、例えば、第１ユーザを撮影するカメラ、または第１ユーザの動作を検知するセンサを含む。また、状態値は、第１ユーザによる発話の速度を表す値、第１ユーザの表情を表す顔の特徴点の位置を表す値、または、第１ユーザの動作を表す骨格の位置を表す値の内、少なくとも２つの組み合わせであってよい。
本実施形態では、うなずき値が、うなずき動作の速度である例について説明したが、本実施形態はこれに限定されない。うなずき値は、うなずき動作の速度を表す値、１回のうなずき動作に含まれるサブうなずき動作のリピート数を表す値、及びうなずき動作の深さを表す値、の少なくとも１つであってよい。
本実施形態は、状態値が、第１ユーザによる発話の速度を表す値であり、うなずき値が、うなずき動作の速度を表す値である例のうなずき評価値について説明したが、本実施形態はこれに限定されない。うなずき評価値ＮＥは、所定値を越える前後の状態値の変化の割合をＳＣ、所定値を越える前後のうなずき値の変化の割合をＮＣ、ｂ、ｃ、ｄ、ｅ、ｇ、ｈを調整係数したとき、式（８）〜式（１０）の何れかで表されてもよい。
本実施形態では、状態取得部は、第１ユーザの状態を表す状態値を取得する。うなずき取得部は、第１ユーザの状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得する。うなずき評価値取得部は、状態値の変化割合が所定値を越えた場合に、状態値の変化割合とうなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する。
本実施形態では、うなずき評価値は、状態値の変化割合が所定値を越える前後にわたって連続する類似うなずき動作の回数の増加、または、類似うなずき動作の類似度合いの増大にしたがって小さくなる。または、本実施形態では、うなずき評価値は、状態値の変化割合が所定値を越えた後の、所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数の増加にしたがって小さくなる。
本実施形態では、状態値の変化割合が所定値を越えた場合に、状態値の変化割合とうなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する。これにより、本実施形態では、第１ユーザが示す態度が変化した場合に、第２ユーザが行ったうなずき動作を適切に評価することができる。
なお、第１及び第２実施形態では、図４Ａのステップ１０１または図９Ａのステップ１４２で取得した音声データ毎に発話速度を取得し、取得した分の音声データの開始時間または終了時間で発話速度の変化割合が所定値を越えたか否か判定する例について説明した。しかしながら、本実施形態はこれに限定されない。
例えば、所定時間以上の音声の休止時間で音声データを区切り、休止時間の終了時間で発話速度の変化割合が所定値を越えたか否か判定するようにしてもよい。一般的に、発話される文と文との間、又は句と句との間には休止時間が存在し、新しい文または句を発話する際に発話速度が変化することが多いためである。
なお、第１実施形態では、最適うなずき値を取得する際に、変化時刻ＴＴの直前のうなずき動作ＮＩＢのうなずき値を使用する例について説明したが、第１実施形態はこれに限定されない。例えば、図５Ｂに例示するように、変化時刻ＴＴの直前のうなずき動作ＮＩＢに類似する、変化時刻ＴＴ以前のＬ回連続するうなずき動作のうなずき値の平均を使用してもよい。
なお、第１及び第２実施形態では、応対と並行してリアルタイムに応対支援処理もしくは応対評価処理を実行する例について説明したが、本実施形態はこれに限定されない。例えば、応対の画像データ及び音声データを予め二次記憶部３３のデータ格納部３３Ｂに記憶しておき、当該画像データ及び音声データを使用して応対支援処理もしくは応対評価装置を実行してもよい。
なお、式（１）〜式（１０）は例示であり、本実施形態は、これらの式に限定されない。また、図４Ａ〜図４Ｄ、及び図９Ａ〜図９Ｄのフローチャートは一例であり、ステップの順序は、図４Ａ〜図４Ｄ、及び図９Ａ〜図９Ｄのフローチャートのステップの順序に限定されない。
例えば、顧客である第１ユーザの態度が変化した場合、例えば、店員である第２ユーザのうなずき動作が変化しなければ、第１ユーザは、第２ユーザが、第１ユーザの状況を適切に理解しているか否か不安に感じ、第１ユーザの第２ユーザへの印象は悪化する。第２ユーザのうなずき動作は、第１ユーザが示す態度に対する肯定的動作であるためである。
一方、第１ユーザの態度が変化した場合、第１ユーザの態度の変化割合に同調するように、第２ユーザのうなずき動作が変化すれば、第１ユーザは、第２ユーザが、第１ユーザの態度を適切に理解していると感じ、第１ユーザは第２ユーザの応対に好印象をもつ。なお、第２ユーザは、例えば、カウンセラー、コンサルタントなどであってもよく、第１ユーザは、例えば、クライアントなどであってもよい。
第１実施形態によれば、状態値の変化割合が所定値を越えた場合に、変化割合を用いて第２ユーザが行う最適うなずき動作の情報を提供することで、第２ユーザが第１ユーザに好印象を与える応対を行うことができるように支援することができる。また、第２実施形態によれば、状態値の変化割合が所定値を越えた場合に、状態値の変化割合とうなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき動作の評価値を取得する。これにより、第２ユーザの応対が第１ユーザに好印象を与える印象であるか否かについて客観的に評価することができる。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
第１ユーザの状態を表す状態値を取得する状態取得部と、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得するうなずき値取得部と、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測する最適うなずき値予測部と、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する最適うなずき情報出力部と、
を含む応対支援装置。
（付記２）
前記最適うなずき値は、前記状態値の変化割合と前記所定値を越える前のうなずき値とから予測したうなずき値の予測変化量と、前記所定値を越える前のうなずき値との和で表される、
付記１の応対支援装置。
（付記３）
前記所定値を越えた後の状態値をＳＡ、前記所定値を越える前の状態値をＳＢ、前記所定値を越える前のうなずき値をＮＢ、正の係数をａとしたとき、前記最適うなずき値ＯＮは以下の式で表される、
付記１または付記２の応対支援装置。
（付記４）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記１〜付記３の何れかの応対支援装置。
（付記５）
第１ユーザの状態を表す状態値を取得する状態取得部と、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得するうなずき値取得部と、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得するうなずき評価値取得部と、
を含む応対評価装置。
（付記６）
前記うなずき評価値は、
前記状態値の変化割合が前記所定値を越える前後にわたって連続する類似うなずき動作の回数の増加、
前記類似うなずき動作の類似度合いの増大、または、
前記状態値の変化割合が前記所定値を越えた後の、前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数の増加、
の少なくとも１つにしたがって小さくなる、
付記５の応対評価装置。
（付記７）
前記うなずき評価値ＮＥは、
前記所定値を越える前後の前記状態値の変化の割合をＳＣ、前記所定値を越える前後の前記うなずき値の変化の割合をＮＣ、前記所定値を越えた後の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＭ、前記所定値を越える前の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＬ、前記所定値を越える前後にわたって連続する類似うなずき動作の類似度合いの平均をＩ、ｂ、ｃ、ｄ、ｅ、ｇ、ｈを調整係数、ｔｈを類似うなずき回数閾値、ＦＦ（ｘ）を入力ｘがｘ≧０の場合ｘ、ｘ＜０の場合０を出力する関数とする場合、以下の式の何れかで表される、
付記５または付記６の応対評価装置。
（付記８）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記５〜付記７の何れかの応対評価装置。
（付記９）
プロセッサが、
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測し、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する、
応対支援方法。
（付記１０）
前記最適うなずき値は、前記状態値の変化割合と前記所定値を越える前のうなずき値とから予測したうなずき値の予測変化量と、前記所定値を越える前のうなずき値との和で表される、
付記９の応対支援方法。
（付記１１）
前記所定値を越えた後の状態値をＳＡ、前記所定値を越える前の状態値をＳＢ、前記所定値を越える前のうなずき値をＮＢ、正の係数をａとしたとき、前記最適うなずき値ＯＮは以下の式で表される、
付記９または付記１０の応対支援方法。
（付記１２）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記９〜付記１１の何れかの応対支援方法。
（付記１３）
プロセッサが、
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する、
応対評価方法。
（付記１４）
前記うなずき評価値は、
前記状態値の変化割合が前記所定値を越える前後にわたって連続する類似うなずき動作の回数の増加、
前記類似うなずき動作の類似度合いの増大、または、
前記状態値の変化割合が前記所定値を越えた後の、前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数の増加、
の少なくとも１つにしたがって小さくなる、
付記１３の応対評価方法。
（付記１５）
前記うなずき評価値ＮＥは、
前記所定値を越える前後の前記状態値の変化の割合をＳＣ、前記所定値を越える前後の前記うなずき値の変化の割合をＮＣ、前記所定値を越えた後の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＭ、前記所定値を越える前の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＬ、前記所定値を越える前後にわたって連続する類似うなずき動作の類似度合いの平均をＩ、ｂ、ｃ、ｄ、ｅ、ｇ、ｈを調整係数、ｔｈを類似うなずき回数閾値、ＦＦ（ｘ）を入力ｘがｘ≧０の場合ｘ、ｘ＜０の場合０を出力する関数とする場合、以下の式の何れかで表される、
付記１３または付記１４の応対評価方法。
（付記１６）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記１３〜付記１５の何れかの応対評価方法。
（付記１７）
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測し、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する、
応対支援処理をプロセッサに実行させるためのプログラム。
（付記１８）
前記最適うなずき値は、前記状態値の変化割合と前記所定値を越える前のうなずき値とから予測したうなずき値の予測変化量と、前記所定値を越える前のうなずき値との和で表される、
付記１７のプログラム。
（付記１９）
前記所定値を越えた後の状態値をＳＡ、前記所定値を越える前の状態値をＳＢ、前記所定値を越える前のうなずき値をＮＢ、正の係数をａとしたとき、前記最適うなずき値ＯＮは以下の式で表される、
付記１７または付記１８のプログラム。
（付記２０）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記１７〜付記１９の何れかのプログラム。
（付記２１）
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する、
応対評価処理をプロセッサに実行させるためのプログラム。
（付記２２）
前記うなずき評価値は、
前記状態値の変化割合が前記所定値を越える前後にわたって連続する類似うなずき動作の回数の増加、
前記類似うなずき動作の類似度合いの増大、または、
前記状態値の変化割合が前記所定値を越えた後の、前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数の増加、
の少なくとも１つにしたがって小さくなる、
付記２１のプログラム。
（付記２３）
前記うなずき評価値ＮＥは、
前記所定値を越える前後の前記状態値の変化の割合をＳＣ、前記所定値を越える前後の前記うなずき値の変化の割合をＮＣ、前記所定値を越えた後の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＭ、前記所定値を越える前の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＬ、前記所定値を越える前後にわたって連続する類似うなずき動作の類似度合いの平均をＩ、ｂ、ｃ、ｄ、ｅ、ｇ、ｈを調整係数、ｔｈを類似うなずき回数閾値、ＦＦ（ｘ）を入力ｘがｘ≧０の場合ｘ、ｘ＜０の場合０を出力する関数とする場合、以下の式の何れかで表される、
付記２１または付記２２のプログラム。
（付記２４）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記２１〜付記２３の何れかのプログラム。
第１ユーザの状態を表す状態値を取得する状態取得部と、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得するうなずき値取得部と、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測する最適うなずき値予測部と、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する最適うなずき情報出力部と、
を含む応対支援装置。
（付記２）
前記最適うなずき値は、前記状態値の変化割合と前記所定値を越える前のうなずき値とから予測したうなずき値の予測変化量と、前記所定値を越える前のうなずき値との和で表される、
付記１の応対支援装置。
（付記３）
前記所定値を越えた後の状態値をＳＡ、前記所定値を越える前の状態値をＳＢ、前記所定値を越える前のうなずき値をＮＢ、正の係数をａとしたとき、前記最適うなずき値ＯＮは以下の式で表される、
付記１または付記２の応対支援装置。
（付記４）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記１〜付記３の何れかの応対支援装置。
（付記５）
第１ユーザの状態を表す状態値を取得する状態取得部と、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得するうなずき値取得部と、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得するうなずき評価値取得部と、
を含む応対評価装置。
（付記６）
前記うなずき評価値は、
前記状態値の変化割合が前記所定値を越える前後にわたって連続する類似うなずき動作の回数の増加、
前記類似うなずき動作の類似度合いの増大、または、
前記状態値の変化割合が前記所定値を越えた後の、前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数の増加、
の少なくとも１つにしたがって小さくなる、
付記５の応対評価装置。
（付記７）
前記うなずき評価値ＮＥは、
前記所定値を越える前後の前記状態値の変化の割合をＳＣ、前記所定値を越える前後の前記うなずき値の変化の割合をＮＣ、前記所定値を越えた後の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＭ、前記所定値を越える前の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＬ、前記所定値を越える前後にわたって連続する類似うなずき動作の類似度合いの平均をＩ、ｂ、ｃ、ｄ、ｅ、ｇ、ｈを調整係数、ｔｈを類似うなずき回数閾値、ＦＦ（ｘ）を入力ｘがｘ≧０の場合ｘ、ｘ＜０の場合０を出力する関数とする場合、以下の式の何れかで表される、
付記５または付記６の応対評価装置。
（付記８）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記５〜付記７の何れかの応対評価装置。
（付記９）
プロセッサが、
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測し、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する、
応対支援方法。
（付記１０）
前記最適うなずき値は、前記状態値の変化割合と前記所定値を越える前のうなずき値とから予測したうなずき値の予測変化量と、前記所定値を越える前のうなずき値との和で表される、
付記９の応対支援方法。
（付記１１）
前記所定値を越えた後の状態値をＳＡ、前記所定値を越える前の状態値をＳＢ、前記所定値を越える前のうなずき値をＮＢ、正の係数をａとしたとき、前記最適うなずき値ＯＮは以下の式で表される、
付記９または付記１０の応対支援方法。
（付記１２）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記９〜付記１１の何れかの応対支援方法。
（付記１３）
プロセッサが、
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する、
応対評価方法。
（付記１４）
前記うなずき評価値は、
前記状態値の変化割合が前記所定値を越える前後にわたって連続する類似うなずき動作の回数の増加、
前記類似うなずき動作の類似度合いの増大、または、
前記状態値の変化割合が前記所定値を越えた後の、前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数の増加、
の少なくとも１つにしたがって小さくなる、
付記１３の応対評価方法。
（付記１５）
前記うなずき評価値ＮＥは、
前記所定値を越える前後の前記状態値の変化の割合をＳＣ、前記所定値を越える前後の前記うなずき値の変化の割合をＮＣ、前記所定値を越えた後の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＭ、前記所定値を越える前の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＬ、前記所定値を越える前後にわたって連続する類似うなずき動作の類似度合いの平均をＩ、ｂ、ｃ、ｄ、ｅ、ｇ、ｈを調整係数、ｔｈを類似うなずき回数閾値、ＦＦ（ｘ）を入力ｘがｘ≧０の場合ｘ、ｘ＜０の場合０を出力する関数とする場合、以下の式の何れかで表される、
付記１３または付記１４の応対評価方法。
（付記１６）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記１３〜付記１５の何れかの応対評価方法。
（付記１７）
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測し、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する、
応対支援処理をプロセッサに実行させるためのプログラム。
（付記１８）
前記最適うなずき値は、前記状態値の変化割合と前記所定値を越える前のうなずき値とから予測したうなずき値の予測変化量と、前記所定値を越える前のうなずき値との和で表される、
付記１７のプログラム。
（付記１９）
前記所定値を越えた後の状態値をＳＡ、前記所定値を越える前の状態値をＳＢ、前記所定値を越える前のうなずき値をＮＢ、正の係数をａとしたとき、前記最適うなずき値ＯＮは以下の式で表される、
付記１７または付記１８のプログラム。
（付記２０）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記１７〜付記１９の何れかのプログラム。
（付記２１）
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する、
応対評価処理をプロセッサに実行させるためのプログラム。
（付記２２）
前記うなずき評価値は、
前記状態値の変化割合が前記所定値を越える前後にわたって連続する類似うなずき動作の回数の増加、
前記類似うなずき動作の類似度合いの増大、または、
前記状態値の変化割合が前記所定値を越えた後の、前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数の増加、
の少なくとも１つにしたがって小さくなる、
付記２１のプログラム。
（付記２３）
前記うなずき評価値ＮＥは、
前記所定値を越える前後の前記状態値の変化の割合をＳＣ、前記所定値を越える前後の前記うなずき値の変化の割合をＮＣ、前記所定値を越えた後の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＭ、前記所定値を越える前の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＬ、前記所定値を越える前後にわたって連続する類似うなずき動作の類似度合いの平均をＩ、ｂ、ｃ、ｄ、ｅ、ｇ、ｈを調整係数、ｔｈを類似うなずき回数閾値、ＦＦ（ｘ）を入力ｘがｘ≧０の場合ｘ、ｘ＜０の場合０を出力する関数とする場合、以下の式の何れかで表される、
付記２１または付記２２のプログラム。
（付記２４）
前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
付記２１〜付記２３の何れかのプログラム。
１０ 応対支援装置
１１ 応対評価装置
２３ 状態取得部
２４ うなずき値取得部
２５ 最適うなずき値予測部
２６ 最適うなずき情報出力部
２８ うなずき評価値取得部
３１ ＣＰＵ
３２ 一次記憶部
３３ 二次記憶部
１１ 応対評価装置
２３ 状態取得部
２４ うなずき値取得部
２５ 最適うなずき値予測部
２６ 最適うなずき情報出力部
２８ うなずき評価値取得部
３１ ＣＰＵ
３２ 一次記憶部
３３ 二次記憶部
Claims (12)
- 第１ユーザの状態を表す状態値を取得する状態取得部と、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得するうなずき値取得部と、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測する最適うなずき値予測部と、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する最適うなずき情報出力部と、
を含む応対支援装置。 - 前記最適うなずき値は、前記状態値の変化割合と前記所定値を越える前のうなずき値とから予測したうなずき値の予測変化量と、前記所定値を越える前のうなずき値との和で表される、
請求項１に記載の応対支援装置。 - 前記所定値を越えた後の状態値をＳＡ、前記所定値を越える前の状態値をＳＢ、前記所定値を越える前のうなずき値をＮＢ、正の係数をａとしたとき、前記最適うなずき値ＯＮは以下の式で表される、
請求項１または請求項２に記載の応対支援装置。 - 前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
請求項１〜請求項３の何れか１項に記載の応対支援装置。 - 第１ユーザの状態を表す状態値を取得する状態取得部と、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得するうなずき値取得部と、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得するうなずき評価値取得部と、
を含む応対評価装置。 - 前記うなずき評価値は、
前記状態値の変化割合が前記所定値を越える前後にわたって連続する類似うなずき動作の回数の増加、
前記類似うなずき動作の類似度合いの増大、または、
前記状態値の変化割合が前記所定値を越えた後の、前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数の増加、
の少なくとも１つにしたがって小さくなる、
請求項５に記載の応対評価装置。 - 前記うなずき評価値ＮＥは、
前記所定値を越える前後の前記状態値の変化の割合をＳＣ、前記所定値を越える前後の前記うなずき値の変化の割合をＮＣ、前記所定値を越えた後の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＭ、前記所定値を越える前の前記所定値を越える直前のうなずき動作と類似する連続するうなずき動作の回数をＬ、前記所定値を越える前後にわたって連続する類似うなずき動作の類似度合いの平均をＩ、ｂ、ｃ、ｄ、ｅ、ｇ、ｈを調整係数、ｔｈを類似うなずき回数閾値、ＦＦ（ｘ）を入力ｘがｘ≧０の場合ｘ、ｘ＜０の場合０を出力する関数とする場合、以下の式の何れかで表される、
請求項５または請求項６に記載の応対評価装置。 - 前記状態値は、前記第１ユーザによる発話の速度を表す値、前記第１ユーザの表情を表す顔の特徴点の位置を表す値、及び、前記第１ユーザの動作を表す骨格の位置を表す値、の少なくとも１つであり、
前記うなずき値は、前記うなずき動作の速度を表す値、前記うなずき動作において所定時間内の間隔で行われるサブうなずき動作のリピート数を表す値、及び前記うなずき動作の深さを表す値、の少なくとも１つである、
請求項５〜請求項７の何れか１項に記載の応対評価装置。 - プロセッサが、
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測し、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する、
応対支援方法。 - プロセッサが、
第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する、
応対評価方法。 - 第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記所定値を越える前の前記うなずき値及び前記変化割合を用いて、前記所定値を越えた後の最適うなずき値を予測し、
予測した前記最適うなずき値に基づいて、最適うなずき動作を表す情報を出力部に出力する、
応対支援処理をプロセッサに実行させるためのプログラム。 - 第１ユーザの状態を表す状態値を取得し、
前記第１ユーザの前記状態に対する第２ユーザのうなずき動作の程度を表すうなずき値を取得し、
前記状態値の変化割合が所定値を越えた場合に、前記状態値の変化割合と前記うなずき値の変化割合との同調度合いが大きくなるにしたがって大きくなるうなずき評価値を取得する、
応対評価処理をプロセッサに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016079530A JP6627625B2 (ja) | 2016-04-12 | 2016-04-12 | 応対支援装置、応対支援方法、応対支援プログラム、応対評価装置、応対評価方法、及び応対評価プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016079530A JP6627625B2 (ja) | 2016-04-12 | 2016-04-12 | 応対支援装置、応対支援方法、応対支援プログラム、応対評価装置、応対評価方法、及び応対評価プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017189291A JP2017189291A (ja) | 2017-10-19 |
| JP6627625B2 true JP6627625B2 (ja) | 2020-01-08 |
Family
ID=60084636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016079530A Active JP6627625B2 (ja) | 2016-04-12 | 2016-04-12 | 応対支援装置、応対支援方法、応対支援プログラム、応対評価装置、応対評価方法、及び応対評価プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6627625B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6867971B2 (ja) * | 2018-03-26 | 2021-05-12 | 株式会社 日立産業制御ソリューションズ | 会議支援装置及び会議支援システム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8715178B2 (en) * | 2010-02-18 | 2014-05-06 | Bank Of America Corporation | Wearable badge with sensor |
| JP2013052049A (ja) * | 2011-09-02 | 2013-03-21 | National Institute Of Information & Communication Technology | 対人コミュニケーションにおける同調性検出装置 |
| JP6407521B2 (ja) * | 2013-11-27 | 2018-10-17 | キヤノンメディカルシステムズ株式会社 | 診療支援装置 |
-
2016
- 2016-04-12 JP JP2016079530A patent/JP6627625B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017189291A (ja) | 2017-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3469582B1 (en) | Neural network-based voiceprint information extraction method and apparatus | |
| US10020007B2 (en) | Conversation analysis device, conversation analysis method, and program | |
| US7369991B2 (en) | Speech recognition system, speech recognition method, speech synthesis system, speech synthesis method, and program product having increased accuracy | |
| WO2017187712A1 (ja) | 情報処理装置 | |
| JP4546767B2 (ja) | 感情推定装置及び感情推定プログラム | |
| JP6251145B2 (ja) | 音声処理装置、音声処理方法およびプログラム | |
| US20110224978A1 (en) | Information processing device, information processing method and program | |
| KR20060090687A (ko) | 시청각 콘텐츠 합성을 위한 시스템 및 방법 | |
| JP2003162294A (ja) | 感情検出方法及び感情検出装置 | |
| US20210174702A1 (en) | Communication skill evaluation system, device, method, and program | |
| JP2021152682A (ja) | 音声処理装置、音声処理方法、およびプログラム | |
| JP4792703B2 (ja) | 音声解析装置、音声解析方法及び音声解析プログラム | |
| JP2018169506A (ja) | 会話満足度推定装置、音声処理装置および会話満足度推定方法 | |
| JP2008158055A (ja) | 言語発音練習支援システム | |
| KR20210071713A (ko) | 스피치 스킬 피드백 시스템 | |
| JP6627625B2 (ja) | 応対支援装置、応対支援方法、応対支援プログラム、応対評価装置、応対評価方法、及び応対評価プログラム | |
| JP2015038725A (ja) | 発話アニメーション生成装置、方法、及びプログラム | |
| JP4775961B2 (ja) | 映像を用いた発音の推定方法 | |
| JP7370050B2 (ja) | 読唇装置及び読唇方法 | |
| JP6784255B2 (ja) | 音声処理装置、音声処理システム、音声処理方法、およびプログラム | |
| JP6791816B2 (ja) | 音声区間検出装置、音声区間検出方法、およびプログラム | |
| Abel et al. | A data driven approach to audiovisual speech mapping | |
| WO2019073668A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6686553B2 (ja) | 応対品質評価プログラム、応対品質評価方法及び応対品質評価装置 | |
| JP6233103B2 (ja) | 音声合成装置、音声合成方法及び音声合成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6627625 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |