JP7397527B1 - 感情分析アプリケーション及び感情分析装置及び感情分析方法 - Google Patents

Abstract

【課題】利用者が環境で行う行為の趣旨に応じた感情分析を行うことが可能な感情分析アプリケーションを提供する。【解決手段】利用者が利用する端末コンピュータ１２にネットワーク１３を介して接続され、かつ、端末コンピュータ１２から利用者の映像を取得する管理コンピュータ１１を、利用者が端末コンピュータ１２を利用してネットワーク１３上の環境内で行う行為の趣旨を判断する行為判断部２２、行為の趣旨の判断結果、及び利用者が環境内で行為を行っている間における利用者の顔映像に基づいて、利用者の感情を分析する感情分析部２３、として機能させる、感情分析アプリケーション１７を構成した。【選択図】図１

Description

本開示は、利用者の映像から利用者の感情を分析することの可能な、感情分析アプリケーション及び感情分析装置及び感情分析方法に関する。

利用者の顔映像から利用者の感情を分析することの可能な感情分析技術の一例が、特許文献１に記載されている。特許文献１に記載されている会議支援システムは、会議の出席者の感情表現を検出する感情分析部と、感情表現に基づいて出席者が発言の意図を有するか予測する予測部と、出席者が発言の意図を有すると予測された場合、出席者に意見を尋ねる質問部と、を有する。感情分析部は、カメラが生成した時系列の顔画像のデータから、出席者の感情表現を検出する。検出される出席者の感情は、悲しみ、怒り、喜び等である。特許文献１に記載された会議支援システムは、会議アプリケーションによって起動する。

また、特許文献２には、顧客端末及び担当者端末に対してネットワークを介して接続される提案支援システムが規制されている。提案支援システムは、担当者が顧客の課題に対する提案を行う場合、面談時における顧客の感情をカメラ映像から分析することに加え、顧客の日々の動きに応じた提案資料を提示し得る技術が記載されている。さらに、特許文献３には、面接システムが記載されている。面接システムは、面接装置で取得された顔の映像情報に基づいて応募者の時間経過に伴って変化する様子を分析し、質疑応答時における感情の種類を判別する制御装置と、制御装置で判別された感情の種類と、面接装置で取得された応答情報とが、応募者に対応付けて蓄積された応募者情報データベースを記憶する記憶装置と、応募者情報データベースにアクセス可能な端末装置と、を有する。

さらに、特許文献４に記載されたコンピュータプログラムは、会議の議事録を生成するコンピュータに用いられるコンピュータプログラムであって、会議の出席者の顔の画像を入力する処理と、入力された画像に基づいて出席者ごとの感情を判別する感情判別処理と、出席者の音声を入力する処理と、入力された音声に基づいて、出席者の発言の内容を示すテキストデータを生成する処理と、入力された音声のパターンを分析することにより、発言を行った出席者である発言者を特定する処理と、感情判別処理の結果、テキストデータ、および発言者に基づいて、発言の内容と当該発言を行った出席者と当該発言があったときの各出席者の感情とを記録した議事録を生成する処理と、をコンピュータに実行させる。

特開２０２２－１３９４３６号公報 特開２０２０－１８４２１６号公報 特開２０１８－３２１６４号公報 特許第４４５８８８８号公報

本願発明者は、特許文献１、特許文献２、特許文献３及び特許文献４に記載されている感情分析技術によると、利用者が環境で行う行為の趣旨に応じた感情分析を行うことについて、未だ改善の余地があるという課題を認識した。

本開示の目的は、利用者が環境で行う行為の趣旨に応じた感情分析を行うことの可能な、感情分析アプリケーション及び感情分析装置及び感情分析方法を提供することにある。

本開示は、利用者が利用する端末コンピュータにネットワークを介して接続され、かつ、前記端末コンピュータから前記利用者の映像を取得する管理コンピュータを、前記利用者が前記端末コンピュータを利用して前記ネットワーク上の環境内で行う行為の趣旨を判断する行為判断部、前記行為の趣旨の判断結果、及び前記利用者が環境内で行為を行っている間における前記利用者の顔映像に基づいて、前記利用者の感情を分析する感情分析部、として機能させる、感情分析アプリケーションである。

本開示によれば、利用者が環境で行う行為の趣旨に応じた感情分析を行うことが可能である。

感情分析アプリケーションによって動作する感情分析システムの概要を示すブロック図である。 感情分析方法の一例を示すフローチャートである。 図３（Ａ）及び図３（Ｂ）は、管理コンピュータまたは端末コンピュータの表示部に表示される情報の一例を示す模式図である。 図４（Ａ）及び図４（Ｂ）は、感情分析システムの構成例を示すブロック図である。

（概要）
本開示では、感情分析アプリケーション、及び感情分析アプリケーションによって機能する感情分析システムに含まれるいくつかの実施形態を、図面を参照して説明する。各図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。本開示の感情分析アプリケーションは、利用者の顔の映像から、利用者の感情を分析する。図１に示す感情分析システム１０は、管理コンピュータ１１及び複数の端末コンピュータ１２を含む。管理コンピュータ１１と複数の端末コンピュータ１２とは、ネットワーク１３を介して相互に通信可能である。

感情分析システム１０は、ネットワーク１３上に、利用者が各種の行為を行う環境Ａ１を提供する。複数の端末コンピュータ１２は、それぞれ利用者により利用される。管理コンピュータ（サーバ）１１は、例えば、感情分析アプリケーションの提供者（ベンダー）により管理及び運営される。利用者の一例は、後述する。そして、端末コンピュータ１２を利用する利用者の顔の映像が、端末コンピュータ１２から管理コンピュータ１１へ送られ、管理コンピュータ１１は、顔の映像を処理することにより、利用者の感情を分析できる。

（管理コンピュータの説明）
管理コンピュータ１１は、端末コンピュータ１２から取得する信号及び情報、予め記憶されているプログラム、アプリケーション、データ等の情報に基づいて、各種の処理、判断、決定、分析等を行う。管理コンピュータ１１は、制御部１４、記憶部１５及び通信部１６を有する。通信部１６は、ネットワーク１３を介して端末コンピュータ１２へ信号及び情報を送る機能と、端末コンピュータ１２からネットワーク１３を介して信号及び情報を取得する機能と、を有する。制御部１４は、入力ポート、出力ポート及び演算処理回路を有する。制御部１４は、記憶部１５及び通信部１６との間で、相互に信号及び情報の授受を行うことができる。

記憶部１５には、感情分析アプリケーション１７、プログラム、データ、端末コンピュータ１２に関する端末情報、端末コンピュータ１２の利用者に関する利用者情報、環境に関する情報、等が記憶される。端末情報は、端末コンピュータ１２毎に付される固有の識別番号、メールアドレス等を含む。利用者情報は、利用者毎に付される利用者ＩＤ、利用者固有の名前、利用者の顔を含む上半身の映像、使用者の等を含む。なお、名前は、本名またはハンドルネームの何れでもよい。

また、制御部１４は、端末コンピュータ１２から取得した各種の情報を記憶部１５へ記憶（記録）し、かつ、記憶部１５に記憶されている情報を更新する処理を行う。制御部１４は、利用者が環境で行為を行う前の状態、及び利用者が環境で行為を行っている状態、の何れにおいても、端末コンピュータ１２から信号及び各種の情報を取得できる。なお、環境、及び利用者が環境で行う行為の趣旨は、後述する。

制御部１４は、記憶部１５に記憶されている感情分析アプリケーション１７を起動させることにより、環境提供部１８、映像処理部１９、利用者識別部２０、音声処理部２１、行為判断部２２、感情分析部２３、情報提供部２４等を構成できる。環境提供部１８は、ネットワーク１３上に環境を生成する。環境は、利用者が各種の行為を行うことができるネットワーク１３上の仮想空間である。環境は、例えば、会議室、相談室、セミナー会場等を含む。

映像処理部１９は、管理コンピュータ１１が、端末コンピュータ１２から取得する利用者の顔を含む上半身の映像を処理する。管理コンピュータ１１が、端末コンピュータ１２から取得する映像は、静止画及び動画を含む。利用者識別部２０は、端末情報に基づいて、端末コンピュータ１２を識別する機能と、利用者情報に基づいて、利用者を識別する機能と、を有する。また、利用者識別部２０は、環境内で発言する利用者の特定のキーワードから、利用者を識別してもよい。さらに、記憶部１５に利用者の顔の映像が予め登録されている場合、環境へ参加した利用者の顔の映像と、登録されている顔の映像とを対比して、利用者を識別することもできる。

音声処理部２１は、管理コンピュータ１１が、端末コンピュータ１２から取得する音声情報を処理する。音声情報は、例えば、利用者が環境で所定時間内に音声を発した回数、音声を発する速度、音量、音質、声の抑揚、音域、発言の有無等を含む。また、音声情報は、環境で発せられる利用者の会話の内容、会話に含まれる用語及びキーワード等も含む。

行為判断部２２は、利用者が環境で行う行為の趣旨を判断する。行為の趣旨は、行為の種類、行為の内容、行為の意義等の意味を含む。行為判断部２２は、管理コンピュータ１１が、端末コンピュータ１２から取得する端末情報、利用者情報、音声情報等のうち少なくとも１つの情報に基づいて、行為の趣旨を判断できる。行為の趣旨としては、例えば、営業系の打ち合わせ、社内会議、社内におけるメンタルヘルスの相談、会社が求職者に対して行う採用面接、Ｗｅｂ（World Wide Web）セミナー等がある。

営業系の打ち合わせの一例は、サービスを提供する会社の社員と、会社からサービスを受ける対象となる顧客と、の間で行われる打ち合わせである。社員及び顧客は、何れも利用者であり、かつ、それぞれ異なる端末コンピュータ１２を利用できる。この打ち合わせでは、社員が、自社が提供するサービスの内容、及びサービスの内容に関連する契約条件等を、資料を用いて顧客に説明すること、顧客の質問に回答すること、等を行う。顧客は、会社の社員に対して質問を出すこと、社員から回答を受けること、契約の成立または不成立を社員に伝えること、等を行う。

社内会議では、主催者が議題を説明すること、社員が議題に対して意見を述べること、社員が議題に関する質問を出すこと、社員が議題に関する解決案を出すこと、社員が質問への回答を受けること、等が行われる。主催者及び社員は、それぞれ利用者であり、異なる端末コンピュータ１２を利用する。メンタルヘルスの相談では、社員が、精神的な不安、健康上の問題、業務上の問題等を、カウンセラーに相談する。また、カウンセラーは、社員から受けた相談に対し回答・アドバイスを行う。カウンセラー及び社員は、それぞれ利用者であり、かつ、異なる端末コンピュータ１２を利用できる。

採用面接は、求人を行っている会社の社員と、求人を行っている会社への就職を希望する求職者との間で行われる。社員及び求職者は、それぞれ利用者であり、異なる端末コンピュータ１２を利用できる。この採用面接では、会社の社員が、求人に関わる業務・職種、待遇、福利厚生、社会保険等を、求職者に説明する。また、求職者は、会社の社員に対して質問し、かつ、会社の社員から回答及び説明を受ける。さらに、採用面接では、面接を行った後、会社が求職者を採用するか否かを、求職者に対して伝達することもある。

Ｗｅｂセミナーでは、主催者がセミナーを開催し、受講者がセミナーを受講する。主催者及び受講者は、それぞれ利用者であり、かつ、異なる端末コンピュータ１２を利用できる。このＷｅｂセミナーでは、主催者が資料、テキスト等を使用して講義を行い、受講者は、講義を聴取し、かつ、講義内容に対する質問等を、主催者へ出すことができる。また、主催者は、受講者の質問に対する回答を行うことができる。

感情分析部２３は、環境で行われる行為の趣旨の判断結果、及び利用者の顔映像に基づいて、利用者の感情を分析する。感情分析部２３は、例えば、利用者の顔を含む上半身の映像、利用者の音声情報、予め記憶部１５に記憶されている情報、データ、等を用いて、人工知能（ＡＩ：artificial intelligence）が処理、推論、判断等を実行することにより、利用者の感情を分析する。利用者の感情には、幸福、安心、平常、驚き、軽蔑、嫌悪、恐怖、悲しみ、怒り、諦め、退屈、苦悩、無力、挫折、狼狽、苛立ち、執念、高慢、賛成、同意、理解、同情、反対、異議、疑問、反感、苦手、狂気、興奮、等が含まれる。

これらの感情は、顔の映像に含まれる、瞼の開度、視線、眉の動作、鼻の皺の有無、口の動き、口の開度等から判断可能である。また、これらの感情は、上半身の動作、例えば、首をかしげたか否か、頷いたか否か、手の動作等からも判断可能である。さらに、これらの感情は、音声情報からも判断可能である。記憶部１５には、感情分析部２３が感情を分析するために使用する基準、例えば、情報、データ、プログラム、マップ等が記憶されている。

なお、顔を含む上半身の映像、人の音声情報等に基づいて、人の感情を分析する技術は、例えば、特許第６０４２０１５号公報、特許第３９５３０２４号公報、特許第４４５８８８８号公報、特開２０１５－２２９０４０号公報、特開２０１８－３２１６４号公報、特開２０２２－１３９４３６号公報、特開２０２０－１８４２１６号公報等に示されているように、公知技術であるため、その具体的な説明は、省略する。

情報提供部２４は、感情分析部２３で分析された感情の分析結果を端末コンピュータ１２へ提供できる。また、情報提供部２４は、感情の分析結果と他の情報とに基づいて補助情報を生成し、かつ、補助情報を端末コンピュータ１２へ提供できる。ここで、補助情報は、環境Ａ１で行われる行為の趣旨に応じたアドバイスを含む。情報提供部２４が行う補助情報生成例は、後述する。また、管理コンピュータ１１が表示部を備えていると、情報提供部２４は、感情分析部２３で分析された感情の分析結果及び補助情報を、管理コンピュータ１１の表示部２７で表示させることもできる。その他の情報は、「感情の分析結果及び行為の趣旨」に適したアドバイスを含む。なお、管理コンピュータ１１の表示部は、後述する。さらに、管理コンピュータ１１は、図１では、単数のコンピュータとして示されているが、管理コンピュータ１１は、複数のコンピュータの組み合わせにより構成されていてもよい。この場合、複数のコンピュータにより、制御部１４の機能が分担されていてもよい。

（端末コンピュータの説明）
端末コンピュータ１２は、利用者により操作及び利用される。端末コンピュータ１２は、デスクトップ型パーソナルコンピュータ、ノート型パーソナルコンピュータ、スマートフォン、タブレット端末等のうちの何れでもよい。端末コンピュータ１２は、制御部２５、操作部２６、表示部２７、カメラ２８、スピーカ２９、記憶部３０、通信部３１、マイク３２を有する。制御部は２５、演算処理回路、入力ポート及び出力ポートを有する。制御部は２５、記憶部３０及び通信部３１との間で相互に信号の送信及び受信を行うことができる。記憶部３０には、プログラム、アプリケーション、データ等の情報が記憶される。

通信部３１は、信号及び情報をネットワークを１３を介して管理コンピュータ１１へ送信する機能と、管理コンピュータ１１からネットワーク１３を介して信号及び情報を取得する機能と、を有する。通信部３１が管理コンピュータ１１へ信号及び情報を送る場合、利用者情報及び個人情報端末情報と関連付けて送られる。

操作部２６は、タッチスイッチ、液晶パネル等の表示画面、キーボード、マウス、スキャナ等のうちの少なくとも１要素により構築されている。利用者が操作部２６を操作すると、その操作に応じた信号が、制御部２５へ入力される。表示部２７は、タッチパネル、液晶パネル等により構築されている。表示部２７には、端末コンピュータ１２で入力される情報、及び管理コンピュータ１１から取得する情報等が表示される。表示部２７に表示される内容は、制御部２５により制御及び切り替えられる。端末コンピュータ１２がスマートフォン、またはタブレット端末であると、操作部２６は、表示部２７に表示される操作メニュー（操作ボタン）に相当する。制御部２５は、通信部３１を介して入力される信号及び情報、操作部２６の操作に応じた信号、及び記憶部３０に記憶されている情報に基づいて、処理、比較、判断等を行う。

カメラ２８は、端末コンピュータ１２の本体に直接に設けられる構造、または、端末コンピュータ１２に信号ケーブルを介して接続される構造の何れでもよい。カメラ２８は、利用者の顔を含む上半身を撮影し、撮影した映像情報の信号が制御部２５へ入力される。カメラ２８が撮影する映像は、静止画または動画の何れでもよい。カメラ２８で撮影された映像には、撮影年月日、撮影時刻等の撮影情報を含む信号が添付される。マイク３２は、利用者が発した音声を回収し、回収された音声に応じた信号が制御部２５へ入力される。スピーカ２９は、制御部２５により制御され、かつ、管理コンピュータ１１から提供される情報に含まれる音声、音楽等を出力する。

（制御例）
感情分析システム１０で行われる制御例、つまり、感情分析方法の一例が、図２に示されている。参照して説明する。管理コンピュータ１１は、ステップＳ１０において、ネットワーク１３に環境を提供する。また、端末コンピュータ１２が操作されて、利用者が環境へ参加する。利用者は、環境で各種の行為を行う。管理コンピュータ１１は、ステップＳ１１において、端末コンピュータ１２から端末情報、利用者情報、音声情報、映像情報等を取得する。管理コンピュータ１１は、ステップＳ１２において、端末コンピュータ１２の識別及び利用者の識別を行う。

管理コンピュータ１１は、端末情報に基づいて端末コンピュータ１２を識別できる。管理コンピュータ１１は、利用者情報に基づいて利用者を識別できる。また、管理コンピュータ１１は、環境内で発言する利用者の特定のキーワードから、利用者を識別することもできる。さらに、管理コンピュータ１１に、利用者の顔画像が予め登録されている場合、環境へ参加した利用者の顔の映像と、登録されている顔画像とを対比して、利用者を識別することもできる。

具体的に説明すると、管理コンピュータ１１は、社内会議の主催者、社内のカウンセラー、採用面接の担当者、Ｗｅｂセミナーの主催者の何れかが利用する端末コンピュータ１２と、社内会議の主催者以外の参加者（社員）、カウンセラーに相談を行う社員、採用面接を受ける求人者、Ｗｅｂセミナーの受講者の何れかが利用する端末コンピュータ１２と、を識別できる。また、管理コンピュータ１１は、社内会議の主催者、社内のカウンセラー、採用面接の担当者、Ｗｅｂセミナーの主催者の何れかと、社内会議の主催者以外の参加者、カウンセラーに相談を行う社員、採用面接を受ける求人者、Ｗｅｂセミナーの受講者の何れかと、を識別できる。

管理コンピュータ１１の行為判断部２２は、ステップＳ１３において、利用者が参加している“行為の趣旨”を判断する。また、管理コンピュータ１１の感情分析部２３は、環境に参加している利用者の感情を、ステップＳ１４において分析する。さらに、管理コンピュータ１１は、感情の分析結果に応じた各種の処理をステップＳ１５で行う。そして、管理コンピュータ１１の情報提供部２４は、感情の分析結果、及び各種の情報を、ステップＳ１６において出力し、図２に示す制御例を終了する。

ここでは、管理コンピュータ１１の情報提供部２４が、感情の分析結果、及び各種の情報を、ステップＳ１６において端末コンピュータ１２へ出力する例を説明する。管理コンピュータ１１は、端末コンピュータ１２から要求を受けた場合にステップＳ１６の処理を行ってもよいし、端末コンピュータ１２からの要求の有無に関わりなく、所定のタイミングでステップＳ１６の処理を行ってもよい。端末コンピュータ１２は、ステップＳ１６において、感情の分析結果をＣＳＶ（Comma Separated Value ）ファイルとしてダウンロードすることも可能である。

また、管理コンピュータ１１は、感情の分析結果を提供する端末コンピュータ１２を選択できる。管理コンピュータ１１は、例えば、社内会議の主催者、社内のカウンセラー、採用面接の担当者、Ｗｅｂセミナーの主催者が利用する端末コンピュータ１２へ提供する。管理コンピュータ１１は、社内会議の主催者以外の参加者、カウンセラーに相談を行う社員、採用面接を受ける求人者、Ｗｅｂセミナーの受講者が利用する端末コンピュータ１２には、感情の分析結果を提供しない。

管理コンピュータ１１が、ステップＳ１５で行う各種の処理には、次のような処理が含まれる。前述した、営業系、社内コミュニケーション・人事系、採用系、Ｗｅｂセミナー系の全てについては、感情の分析対象である“環境”が生成された年月日の記録、利用者の全てについて、感情の種類毎の時系列の変化の記録、利用者の全てについて、所定期間内における感情の種類毎の時系列の変化傾向の記録等の処理が含まれる。

また、営業系の打ち合わせについてステップＳ１５で行われる処理には、社員の説明内容と、その説明を受けた顧客の感情の分析結果の記録、顧客が社員に対し質問を行っている場合における顧客の感情の分析結果の記録、社員の感情の分析結果と、顧客の感情の分析結果とを時系列で対比した場合の記録、等が含まれる。また、社員の説明を顧客が受け、その後に、会社と顧客との間で契約が成立した場合において、社員が説明を開始した時点から、契約が成立するまでの間における顧客の感情の時系列の変化の記録、等が含まれる。さらに、社員の説明を顧客が受け、その後に、会社と顧客との間で契約が不成立であった場合において、社員が説明を開始した時点から、契約が不成立になるまでの間における顧客の感情の時系列の変化の記録、等が含まれる。

また、社内コミュニケーション系の社内会議についてステップＳ１５で行われる処理には、議題の説明を受けている社員の感情の分析結果の記録、社員が議題の説明者に対し質問を行っている場合における社員の感情の分析結果の記録、社員の感情の分析結果と、議題の説明者の感情の分析結果とを対比した記録、等が含まれる。また、社員が議題を解決する案を提案している場合に、他の社員の感情の分析結果とを対比した記録、等が含まれる。さらに、社内におけるメンタルヘルスの相談では、社員が、精神的な不安・健康上の問題、業務上の問題等をカウンセラーに相談している間における、社員の感情の分析結果の記録等が、含まれる。さらに、社員がカウンセラーから回答・アドバイスを受けている場合に、社員の感情の分析結果の記録が行われる。

さらに、採用面接においては、ステップＳ１５において、採用担当者が説明を行っている場合における求職者の感情の分析結果の記録、求職者が採用担当者に対して質問を行っている場合における感情の分析結果の記録、求職者が採用担当者から質問に対する回答を受けている場合における感情の分析結果の記録、求職者が採用担当者から採用または不採用の伝達を受けた時点における感情の分析結果の記録、等が行われる。

さらに、Ｗｅｂセミナーの開催中、ステップＳ１５において、講義を聴取している受講者の感情の分析結果の記録、主催者に対して質問を行っている受講者の感情の分析結果の記録、主催者から質問への回答を受けている受講者の感情の分析結果の記録、講義が盛り上がっているかどうか等の処理が行われる。

管理コンピュータ１１は、営業系の感情分析結果の少なくとも一部を、ステップＳ１６において端末コンピュータ１２へ提供する。このため、端末コンピュータ１２の利用者である社員、その社員の上司（営業責任者）は、どのような営業を行った場合に、契約が成立し易いか、または、契約が不成立になり易いかを推定できる。また、上司は、自社の社員による顧客への説明中に、自社の社員が顧客に愛想良く対応していたかどうか、を推定できる。さらに、営業社員の営業トークと空気を読む力の教育に利用できる。また、営業責任者が部下のパフォーマンスを管理することに利用できる。さらに、営業責任者が、部下が顧客を怒らせているかいないかのリスク管理に利用できる。さらに、営業責任者は、有望な見込み顧客の見極めに利用できる。さらにまた、営業部としての受注確度の精度向上、収支シミュレーションの分析データに利用できる。さらに、営業部としての受注確度の精度向上、収支シミュレーションの分析データに利用できる。また、営業による売り上げ実績と、感情の分析結果と関係に基づいて、売上予測にも活用できる。

管理コンピュータ１１は、社内コミュニケーション・人事系の感情分析結果の少なくとも一部を、ステップＳ１６において、端末コンピュータ１２へ提供する。このため、社内会議の主催者は、利用者に無用な威圧感を与えているかどうか、説明が的外れになっているかどうか、質問者への回答を質問者が理解してくれたかどうか、会議の利用者が退屈になっているかどうか、等を推定できる。さらに、社員から相談を受けるカウンセラーは、社員の落ち込み程度がどのくらいか、社員が退職を決意するような状況になっているかどうか、社員の健康状態が悪化しているかどうか、等を推定できる。また、メンタルヘルスを抱える社員の発見に利用できる。さらに、メンタルヘルスを抱える社員のサポートに利用できる。また、メンタルヘルスを抱える社員を、管理者にアラートを出すこともできる。感情の分析結果に応じて、社員の勤務スケジュール、リモート日数、業務内容等を調整することに活用できる。さらに、感情の分析結果を会社の人事部で管理し、各部署（現場）へフィードバックしたり、労務管理に活用することもできる。さらに、空気を読むことの気づきからのハラスメントリスク軽減につながる。また、会社で利用する産業医の診断の補助資料に利用できる。

管理コンピュータ１１は、求職者の感情の分析結果の少なくとも一部を、ステップＳ１６において、採用担当者が利用する端末コンピュータ１２へ提供する。このため、採用面接を行った会社は、客観的に見て圧迫面接になっていないかどうか、求職者が回答を理解したかどうか、求職者が真剣に採用面接に臨んでいるかどうか、求職者が内定を喜んでいるかどうか、等を推定できる。さらに、採用面接者の表情から、志望度の予測に利用できる。さらに、採用面接者の内定受託率予測に利用できる。さらにまた、会社説明イベントでの好感度測定にも利用できる。

管理コンピュータは１１、Ｗｅｂセミナーの開催中における感情の分析結果の少なくとも一部を、ステップＳ１６において、セミナーの主催者が利用する端末コンピュータ１２へリアルタイムで提供できる。このため、Ｗｅｂセミナーの内容・話題に対する参加者の反応を検出できる。具体的に説明すると、主催者は、受講者が講義に退屈しているかどうか、受講者が講義に興奮しているかどうか、講義が盛り上がっているかどうか、質問に対する回答に受講者が賛同したかどうか、受講者が回答を理解したかどうか、等をリアルタイムで推定できる。

（感情の分析例）
管理コンピュータ１１の感情分析部２３は、ステップＳ１４において感情の分析を行うにあたり、環境で行われる行為の種類に応じて、感情の分析処理に用いる基準を異ならせることができる。例えば、社内会議である場合に感情分析を行うための基準として、賛成、同意、反対、疑問、異議、等の感情を、幸福、軽蔑、挫折、狂気等の感情よりも重視・優先するような重み付け処理を行う基準が、記憶部１５に記憶されている。

また、社内カウンセリングである場合に感情分析を行うための基準として、幸福、安心、嫌悪、恐怖、悲しみ、怒り、同情、等の感情を、狂気、執念、高慢等の感情よりも重視・優先するような重み付け処理を行う基準が、記憶部１５に記憶されている。

さらに、採用面接である場合に感情分析を行う基準として、幸福、安心、平常、賛成、同意、理解、反対、疑問、苦手等の感情を、執念、高慢、狂気、興奮等の感情よりも重視・優先するような重み付け処理を行う基準が、記憶部１５に記憶されている。

さらに、Ｗｅｂセミナーである場合に感情分析を行う基準として、賛成、同意、反対、疑問、異議、興奮等の感情を、幸福、軽蔑、挫折、狂気、執念、挫折等の感情よりも重視・優先するような重み付け処理を行う基準が、記憶部１５に記憶されている。

記憶部１５には、感情分析部２３でこのような感情の分析処理を行うための基準、例えば、情報、データ、マップ、テーブル等が記憶されている。また、過去の行為中における利用者の映像の履歴、環境内で利用者が示した感情の分析結果の過去の履歴等が、環境で行われた行為毎に分類されて、記憶部１５に蓄積される。つまり、図２の制御例が実行される毎に、各ステップで検出、判断、処理等が行われた情報、データは、記憶部１５に蓄積される。

（感情の分析結果の出力例）
図２のステップＳ１６で行われる感情の分析結果の出力例は、次のようなものを含む。図３（Ａ），（Ｂ）は、採用面接を行う面接担当者、社内会議またはセミナーの主催者、社内カウンセリングのカウンセラー、Ｗｅｂセミナーの主催者等が利用する端末コンピュータ１２の表示部２７に表示される感情の分析結果の一例である。図３（Ａ）の表示部２７には、複数の表示領域４０が設けられ、各表示領域４０内には、利用者の映像４１と、結果表示部４２とが、それぞれ表示される。結果表示部４２には、各利用者毎に感情の分析結果が、例えば、文字で表示される。

図３（Ｂ）は、感情の分析結果の他の表示例を示す図表４３である。この図表４３には、各利用者の氏名、感情の種類、時間がグラフで示されている。図表４３からは、感情の変化を時系列で判断することができる。なお、感情毎に、時系列でグラフ化したり、異なる色で分ける等の視覚的な効果を増してもよい。なお、表示部２７に、表示領域４０及び図表４３が両方表示されてもよい。さらに、図表４３に示されている利用者の氏名の何れかを選択すると、その氏名の感情の変化が、より具体的に表示されてもよい。例えば、平常という感情が表示されていても、利用者の氏名の何れかを選択すると、実際には、平常、幸福、驚き等の感情が検出されていることが分かる。感情分析部２３は、それぞれの感情のレベル、発生回数、継続的な発生時間等から重み付け処理を行い、平常という感情を簡易的に表示できるようにしている。

（利用例）
感情分析システム１０は、クラウド型、ブラウザ型、オンプレミス型等のように、各種の環境で利用できる。図４（Ａ）に示す感情分析システム１０は、クラウド型及びブラウザ型の両方に対応する模式図である。管理コンピュータ１１は、感情分析アプリケーション１７の提供者（ベンダー）５０により、管理及び運営される。管理コンピュータ１１は、ネットワーク１３上に環境Ａ１を提供する。

クラウド型の感情分析システム１０は、各端末コンピュータ１２がブラウザ無しで管理コンピュータ１１へ接続できる。各端末コンピュータ１２は、各利用者５３により利用及び操作される。ブラウザ型の感情分析システム１０は、各端末コンピュータ１２は、提供者５０が運営するＷｅｂサイト、または、提供者５０が発行する共有ＵＲＬにアクセスすることで、環境Ａ１へ参加できる。

図４（Ｂ）に示す感情分析システム１０は、オンプレミス型に対応する模式図である。オンプレミス型の感情分析システム１０は、社内で構築されるネットワーク１３を介して、管理コンピュータ１１と端末コンピュータ１２とが接続される。管理コンピュータ１１及び端末コンピュータ１２は、何れも利用者５３により利用及び操作される。会社は、感情分析アプリケーション１７の提供者５０から、管理コンピュータ１１を貸与または買取りで入手できる。

また、感情分析アプリケーション１７の提供者５０は、サーバ５１を運営及び管理する。会社は、サーバ５１がネットワーク１３上で運営するＷｅｂサイトから、感情分析アプリケーション１７を、自社が所有する管理コンピュータ１１へダウンロードしてもよい。さらにまた、提供者５０は、感情分析アプリケーション１７が記録されている記録媒体５２を販売し、会社は、記録媒体５２を購入し、かつ、記録媒体５２に記録されている感情分析アプリケーション１７を、管理コンピュータ１１の記憶部１５へ格納してもよい。記録媒体５２は、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等を含む。

オンプレミス型の感情分析システム１０は、会社内における会議の主催者、カウンセリングのカウンセラー等の利用者５３（５３Ａ）が、管理コンピュータ１１を利用し、会議へ参加者（社員）、カウンセリングを受ける相談者等の利用者５３（５３Ｂ）が、端末コンピュータ１２を利用する。さらにまた、Ｗｅｂセミナーの主催者としての利用者５３（５３Ａ）が、管理コンピュータ１１を利用し、Ｗｅｂセミナーの受講者としての利用者５３（５３Ｂ）が、端末コンピュータ１２を利用する。

図４（Ｂ）に示す管理コンピュータ１１は、図１に示す管理コンピュータ１１のように、操作部２６、表示部２７、カメラ２８、スピーカ２９、マイク３２を有する。管理コンピュータ１１が有する操作部２６、表示部２７、カメラ２８、スピーカ２９、マイク３２は、制御部１４に接続されている。操作部２６の操作信号は、制御部１４へ入力され、カメラ２８で撮影される映像は、制御部１４で処理される。マイク３２が回収する音声は、制御部１４で処理される。

制御部１４は、スピーカ２９から出力される音声、音楽等を制御し、かつ、表示部２７に表示される情報を制御する。オンプレミス型の感情分析システム１０における管理コンピュータ１１の情報提供部２４は、図２のステップＳ１６において、感情の分析結果を、管理コンピュータ１１の表示部２７へ出力し、端末コンピュータ１２へは提供しない。つまり、図３（Ａ），（Ｂ）の表示例は、管理コンピュータ１１の表示部２７へ表示され、端末コンピュータ１２の表示部２７へは表示されない。

（情報提供部が感情の分析結果等を出力する例の補足）
感情の分析結果を、情報提供部２４が図２のステップＳ１６で出力する例、及び情報提供部２４がステップＳ１６で行う補助情報の生成、及び補助情報の出力例を説明する。情報提供部２４は、感情の分析結果に加え、環境Ａ１で行われる行為の趣旨に応じたアドバイスを生成し、生成したアドバイスを、図４（Ａ）の端末コンピュータ１２へ提供して表示部２７で表示させること、または、図４（Ｂ）の管理コンピュータ１１の表示部２７で表示させること、を行ってもよい。例えば、社内の会議中において、社員の“疑問”という感情の分析結果と共に、“分かり易く説明してください”、“資料を追加してください”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。社内の会議中において、社員の“同意”という感情の分析結果と共に、“会議のまとめに進んでください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。社内の会議中において、会議が混乱している場合に、会議がまとまり易くなるようなアドバイスを生成し、かつ、そのアドバイスを提供してもよい。

また、情報提供部２４は、カウンセラーが社員から相談を受けている場合において、社員の“悲しみ”という感情の分析結果と共に、“いたわりの言葉をかけてください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。また、カウンセラーが社員から相談を受けている場合において、社員の“幸福”という感情の分析結果と共に、“称賛する言葉をかけてください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。

また、情報提供部２４は、社員が顧客へサービスの説明を行っている場合において、顧客の“疑問”という感情の分析結果と共に、“分かり易く説明してください。”、“資料を追加してください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。さらに、社員が顧客へサービスの説明を行っている場合において、顧客の“幸福”または“理解”という感情の分析結果と共に、“現在の説明を終了して、契約の手続きに進んでください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。
さらに、情報提供部２４は、採用面接中に、求職者の“疑問”という感情の分析結果と共に、“分かり易く説明してください。”、“資料を追加してください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。採用面接中に、求職者の“退屈”という感情の分析結果と共に、“話題を変えてください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。

さらに、情報提供部２４は、Ｗｅｂセミナーの開催中において、受講者の“疑問”という感情の分析結果と共に、“分かり易く説明してください。”、“資料を追加してください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。Ｗｅｂセミナーの開催中において、受講者の“退屈”という感情の分析結果と共に、“話題を変えてください。”等のアドバイスを生成し、かつ、そのアドバイスを提供してもよい。さらに、Ｗｅｂセミナーの開催中において、“講義が盛り下がっています”等のポップアップを行うこともできる。

また、感情分析部２３は、過去における利用者の映像（表情例）と、その時点における発言の有無とを関連付けて、記憶部１５に記憶させることも可能である。そして、情報提供部２４は、ステップＳ１６おいて、過去における利用者の映像（表情例）及び発言の有無と、現在における利用者の映像（表情）とに基づいて、現在における利用者が発言を希望しているかどうかを判断し、かつ、その判断結果に基づいたアドバイスを、何れかのコンピュータへ出力してもよい。このアドバイスには、利用者の○○さんが発言を希望しています、等が含まれる。

また、情報提供部２４は、ステップＳ１６において、会議中の議題と、その議題に対する利用者の発言内容（回答）と基づいて、利用者に適した業務を判断し、かつ、判断結果を何れかのコンピュータへ出力してもよい。また、情報提供部２４は、ステップＳ１６において、求職者へ出した質問と、その質問に対する求職者の回答と基づいて、求職者に適した業務、または、採用の可否等を判断し、かつ、判断結果に応じたアドバイスを、ステップＳ１６で何れかのコンピュータへ出力してもよい。さらに、情報提供部２４は、ステップＳ１６において、カウンセリングを受ける相談者へ出した質問と、その質問に対する相談者の回答と基づいて、相談者に適したアドバイスを生成し、かつ、そのアドバイスを、何れかのコンピュータへ出力してもよい。また、情報提供部２４は、ステップＳ１６において、利用者の感情の分析結果と、利用者の発言とに隔たりがあるかどうかを判断し、かつ、その判断結果に応じたアドバイスを、何れかのコンピュータへ出力してもよい。このアドバイスは、利用者の感情の分析結果と、利用者の発言とに隔たりがありますので、真意を確かめるような質問を行ってください、等が含まれる。

（実施形態の効果）
本開示によれば、管理コンピュータ１１は、利用者が環境で行う行為の趣旨に応じた感情分析を行うことが可能である。したがって、利用者及び社会の役に立つとともに、よりよい暮らしを実現できる。また、情報提供部２４は、利用者の感情の分析結果及び行為の趣旨に適したアドバイスを生成する。したがって、環境で行われる行為の質が向上する。

（補足説明）
本実施形態で説明した事項の技術的意味の一例は、次の通りである。管理コンピュータ１１は、管理コンピュータ及び感情分析装置の一例である。端末コンピュータ１２は、端末コンピュータの一例である。環境Ａ１は、環境の一例である。行為判断部２２は、行為判断部の一例である。音声処理部２１は、音声処理部の一例である。感情分析部２３は、感情分析部の一例である。感情分析アプリケーション１７は、感情分析アプリケーションの一例である。管理コンピュータは、感情分析装置の一例である。図２に示す制御例は、感情分析方法の一例である。図２に示すステップＳ１３は、行為判断ステップの一例であり、ステップＳ１４は、感情分析ステップの一例である。行為判断ステップは、行為判断手段として把握することも可能である。感情分析ステップは、感情分析手段として把握することも可能である。

本実施形態は、図面を用いて開示されたものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、管理コンピュータは、サーバ、ワークステーション、メインフレーム、スーパーコンピュータ等のうちの少なくとも１つにより構成可能である。また、各コンピュータは、複数のデバイス、システムなどにより構成されていてもよい。

本実施形態には、次の事項も開示されている。行為判断部が、行為の趣旨を端末コンピュータを利用する利用者同士が参加する社内会議であると判断するように、管理コンピュータを機能させる、感情分析アプリケーション。行為判断部が、行為の趣旨を、端末コンピュータを所有する会社の社員と、会社が提供するサービスを受ける顧客との間で行われる営業の打ち合わせであると判断するように、管理コンピュータを機能させる、感情分析アプリケーション。行為判断部が、行為の趣旨を、端末コンピュータを所有する会社の採用担当者と、会社への就職を希望する求職者のとの間で行われる採用面接であると判断するように、管理コンピュータを機能させる、感情分析アプリケーション。行為判断部が、行為の趣旨を、端末コンピュータを利用してＷｅｂセミナーを開催する主催者と、端末コンピュータを利用してＷｅｂセミナーへ参加する受講者との間で行われるＷｅｂセミナーであると判断するように、管理コンピュータを機能させる、感情分析アプリケーション。

利用者が利用する端末コンピュータにネットワークを介して接続され、かつ、前記端末コンピュータから前記利用者の映像を取得する管理コンピュータを、前記利用者が前記端末コンピュータを利用して前記ネットワーク上で利用する環境内で行う行為の趣旨を判断する行為判断部、前記行為の趣旨、及び前記利用者が環境内で行為を行っている間における前記利用者の顔映像に基づいて、前記利用者の感情を分析する感情分析部、として機能させる感情分析アプリケーションが記録された記録媒体。

本開示は、利用者の映像から利用者の感情を分析することの可能な、感情分析アプリケーション及び感情分析装置及び感情分析方法として利用可能である。

１０…感情分析システム、１１…管理コンピュータ、１２…端末コンピュータ、１７…感情分析アプリケーション、２１…音声処理部、２２…行為判断部、２３…感情分析部、Ａ１…環境

Claims (9)

1. 利用者が利用する端末コンピュータにネットワークを介して接続され、かつ、前記端末コンピュータから前記利用者の映像を取得する管理コンピュータを、
   前記利用者が前記端末コンピュータを利用して前記ネットワーク上の環境内で行う行為の趣旨を判断する行為判断部、
   前記行為の趣旨の判断結果、及び前記利用者が環境内で行為を行っている間における前記利用者の顔映像に基づいて、前記利用者の感情を分析する感情分析部、
   として機能させる、感情分析アプリケーション。
2. 請求項１記載の感情分析アプリケーションにおいて、
   前記管理コンピュータが前記端末コンピュータから取得する、前記利用者を識別する利用者情報、または、前記端末コンピュータを識別する端末情報のうち、少なくとも一方の情報に基づいて、前記行為判断部が前記行為の趣旨を判断するように、前記管理コンピュータを機能させる、感情分析アプリケーション。
3. 請求項１または２記載の感情分析アプリケーションにおいて、
   前記感情分析部が前記利用者の感情を分析する場合に利用する基準が、前記行為の趣旨の判断結果に応じて異なるものとなるように、前記管理コンピュータを機能させる、感情分析アプリケーション。
4. 請求項１または２記載の感情分析アプリケーションにおいて、
   前記管理コンピュータを、
   前記利用者の感情の分析結果及び前記行為の趣旨に適したアドバイスを生成する情報提供部として機能させる、感情分析アプリケーション。
5. 請求項４記載の感情分析アプリケーションにおいて、
   前記管理コンピュータを、過去における前記利用者の発言の有無を含む音声情報を処理する音声処理部として機能させ、
   前記情報提供部に、過去における前記利用者の映像及び前記利用者の発言の有無と、現在における前記利用者の映像とに基づいて、現在における前記利用者が発言を希望しているかどうかを判断させ、その判断結果に基づいたアドバイスを生成させるように、前記管理コンピュータを機能させる、感情分析アプリケーション。
6. 請求項４記載の感情分析アプリケーションにおいて、
   前記管理コンピュータを、質問に対する前記利用者の回答を含む音声情報を処理する音声処理部として機能させ、
   前記情報提供部に、前記質問に対する前記利用者の回答に基づいて、前記利用者に適した業務を判断させ、その判断結果に基づいたアドバイスを生成させるように、前記管理コンピュータを機能させる、感情分析アプリケーション。
7. 請求項４記載の感情分析アプリケーションにおいて、
   前記管理コンピュータを、前記利用者の発言を含む音声情報を処理する音声処理部として機能させ、
   前記情報提供部に、前記感情の分析結果と、前記利用者の発言とに隔たりがあるかどうかを判断させ、その判断結果に基づいたアドバイスを生成させるように、前記管理コンピュータを機能させる、感情分析アプリケーション。
8. 利用者が利用する端末コンピュータにネットワークを介して接続され、かつ、前記端末コンピュータから前記利用者の映像を取得する感情分析装置であって、
   前記利用者が前記端末コンピュータを利用して前記ネットワーク上で利用する環境内で行う行為の趣旨を判断する行為判断部と、
   前記行為の趣旨の判断結果、及び前記利用者が環境内で行為を行っている間における前記利用者の顔映像に基づいて、前記利用者の感情を分析する感情分析部と、
   を有する感情分析装置。
9. 利用者が利用する端末コンピュータにネットワークを介して接続され、かつ、前記端末コンピュータから前記利用者の映像を取得する管理コンピュータが実行する感情分析方法であって、
   前記利用者が前記端末コンピュータを利用して前記ネットワーク上の環境内で行う行為の趣旨を判断する行為判断ステップと、
   前記行為の趣旨の判断結果、及び前記利用者が環境内で行為を行っている間における前記利用者の顔映像に基づいて、前記利用者の感情を分析する感情分析ステップと、
   を有する、感情分析方法。