JP7098949B2 - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP7098949B2
JP7098949B2 JP2018023971A JP2018023971A JP7098949B2 JP 7098949 B2 JP7098949 B2 JP 7098949B2 JP 2018023971 A JP2018023971 A JP 2018023971A JP 2018023971 A JP2018023971 A JP 2018023971A JP 7098949 B2 JP7098949 B2 JP 7098949B2
Authority
JP
Japan
Prior art keywords
term
target data
unit
excitement
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018023971A
Other languages
English (en)
Other versions
JP2019139625A (ja
Inventor
あおい 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018023971A priority Critical patent/JP7098949B2/ja
Priority to US16/100,517 priority patent/US10902301B2/en
Publication of JP2019139625A publication Critical patent/JP2019139625A/ja
Application granted granted Critical
Publication of JP7098949B2 publication Critical patent/JP7098949B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9038Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/268Morphological analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/085Methods for reducing search complexity, pruning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
従来、会議における盛り上がり度を判定し、会議の内容を表すテキストデータと共に、盛り上がり度の高いタイミングで撮影された会議の画像、盛り上がり度の高いタイミングで表示されていた資料、あるいは盛り上がり度の時間変化を示すグラフを含む議事録を生成する技術が提案されている(例えば特許文献1)。
また、従来、ワードクラウドと呼ばれる技術が提案されている(例えば特許文献2)。ワードクラウドとは、例えば、ウェブページなどのドキュメントにおいて出現する各単語が並列に(同時に)表示されたものであり、出現回数が多い単語ほど大きく表示されるものである。
特開2017-112545号広報 特開2014-106968号公報
ところで、ドキュメント、動画像、あるいは音声データを含む対象データにおいて盛り上がった内容を利用者が把握したいという要望がある。
本発明の目的は、対象データにおいて盛り上がった内容を利用者に通知することにある。
請求項1に係る発明は、対象データに登場する各用語の登場回数を計数する計数部と、前記対象データの盛り上がり度を算出する盛り上がり度算出部と、前記用語の登場回数及び前記盛り上がり度に基づいて演算された指標値に基づく表示態様で、当該用語を表現した用語表現を表示部に表示する表示制御部と、を備え、前記計数部は、前記対象データに登場する各用語の登場回数を単位時間毎に計数し、前記盛り上がり度算出部は、前記対象データの盛り上がり度を前記単位時間毎に算出し、前記表示制御部は、各前記単位時間における前記用語の登場回数及び前記盛り上がり度に基づいて、各単位時間についての単位指標値を演算し、複数の単位時間についての複数の前記単位指標値に基づいて演算された前記指標値に基づく表示態様で、当該用語を表現した用語表現を表示部に表示する、ことを特徴とする情報処理装置である。
請求項2に係る発明は、前記盛り上がり度は、前記対象データの内容に関する1又は複数のパラメータに基づいて算出される、請求項1に記載の情報処理装置である。
請求項3に係る発明は、前記対象データに登場する複数の前記用語のうち、意味の類似度が閾値以上の複数の用語をまとめて1つの用語とみなす、請求項1又は2に記載の情報処理装置である。
請求項に係る発明は、対象データに登場する用語が登場したときの前記対象データの盛り上がり度、及び、前記対象データに登場する用語の登場回数に基づく表示態様で、前記用語を表現した用語表現を表示部に表示する表示制御部と、前記対象データにおいて前記盛り上がり度が極大値を取る盛り上がり極大時に最も多く登場した前記用語の前記用語表現が利用者により選択された場合に、前記盛り上がり極大時を含む前記対象データの一部分を出力する対象データ出力部と、を備える情報処理装置である。
請求項に係る発明は、前記表示制御部は、前記対象データにおいて前記盛り上がり度が極小値を取る盛り上がり極小時に最も多く登場した前記用語の前記用語表現を識別可能な表示態様で表示する、請求項に記載の情報処理装置である。
請求項に係る発明は、前記対象データに登場する用語、前記用語の登場回数、及び前記用語が登場したときの前記対象データの盛り上がり度に関する複数の前記対象データの比較に基づく、前記複数の対象データ間における内容の変化具合を利用者に通知する通知部、をさらに備える請求項に記載の情報処理装置である。
請求項に係る発明は、前記通知部は、複数の前記対象データに対応する複数の前記用語表現の比較に基づく、前記複数の対象データ間における内容の変化具合を利用者に通知する、請求項に記載の情報処理装置である。
請求項に係る発明は、対象データに登場する用語が登場したときの前記対象データの盛り上がり度、及び、前記対象データに登場する用語の登場回数に基づく表示態様で、前記用語を表現した用語表現を表示部に表示する表示制御部と、前記対象データに登場する用語、前記用語の登場回数、及び前記用語が登場したときの前記対象データの盛り上がり度に関する複数の前記対象データの比較に基づく、前記複数の対象データ間における内容の変化具合を利用者に通知する通知部と、を備え、前記通知部は、第1の対象データにおいて前記盛り上がり度が最大となった最大盛り上がり時に最も多く登場した前記用語と、第2の対象データにおいて前記盛り上がり度が極大値を取る複数の盛り上がり極大時それぞれに最も多く登場した複数の前記用語との比較に基づく、前記第1の対象データと前記第2の対象データとの間における内容の変化具合を利用者に通知する、ことを特徴とする情報処理装置である。
請求項に係る発明は、前記通知部は、さらに、第1の対象データにおける前記最大盛り上がり時以外の前記盛り上がり極大時に最も多く登場した前記用語に基づく、前記第1の対象データと前記第2の対象データとの間における内容の変化具合を利用者に通知する、請求項に記載の情報処理装置である。
請求項10に係る発明は、前記対象データは会議の内容を示す会議データであり、前記通知部は、複数の前記会議データ間における内容の変化が停滞又は発散している場合に利用者に警告を通知する、ことを特徴とする請求項からのいずれか1項に記載の情報処理装置である。
請求項11に係る発明は、コンピュータを、対象データに登場する各用語の登場回数を計数する計数部と、前記対象データの盛り上がり度を算出する盛り上がり度算出部と、前記用語の登場回数及び前記盛り上がり度に基づいて演算された指標値に基づく表示態様で、当該用語を表現した用語表現を表示部に表示する表示制御部と、として機能させ、前記計数部は、前記対象データに登場する各用語の登場回数を単位時間毎に計数し、前記盛り上がり度算出部は、前記対象データの盛り上がり度を前記単位時間毎に算出し、前記表示制御部は、各前記単位時間における前記用語の登場回数及び前記盛り上がり度に基づいて、各単位時間についての単位指標値を演算し、複数の単位時間についての複数の前記単位指標値に基づいて演算された前記指標値に基づく表示態様で、当該用語を表現した用語表現を表示部に表示する、ことを特徴とする情報処理プログラムである。
請求項1、2又は11に係る発明によれば、対象データにおいて盛り上がった内容を利用者に通知することができる。
請求項3に係る発明によれば、意味が類似する用語をまとめて1つの用語表現で表示することができる。
請求項1,11に係る発明によれば、さらに、対象データにおける用語の登場回数に応じた表示態様で用語表現を表示することができる。
請求項に係る発明によれば、利用者が選択した用語が最も多く登場した盛り上がり極大時を含む対象データの一部分を出力することができる。
請求項に係る発明によれば、盛り上がり極小時に最も多く登場した用語を利用者に通知することができる。
請求項に係る発明によれば、複数の対象データにおける内容の変化具合を利用者に通知することができる。
請求項に係る発明によれば、複数の対象データに対応する複数の用語表現の比較に基づく、複数の対象データにおける内容の変化具合を利用者に通知することができる。
請求項に係る発明によれば、第1の対象データにおいて最大盛り上がり時に最も多く登場した用語と、第2の対象データにおいて複数の盛り上がり極大時それぞれに最も多く登場した複数の用語との比較に基づく、複数の対象データにおける内容の変化具合を利用者に通知することができる。
請求項に係る発明によれば、第1の対象データにおける最大盛り上がり時以外の盛り上がり度極大時に最も多く登場した用語にさらに基づく、複数の対象データにおける内容の変化具合を利用者に通知することができる。
請求項10に係る発明によれば、複数の会議データ間において内容の変化が停滞又は発散していることを利用者に通知することができる。
本実施形態に係る情報処理装置の構成概略図である。 対象データに登場する各用語の登場回数の集計結果の例を示す図である。 盛り上がり度算出のための対象データに関するパラメータの集計結果の例を示す図である。 本実施形態に係るワードクラウドの第1の表示例を示す図である。 盛り上がり度及び各用語の登場回数の時間変化の例を示すグラフである。 本実施形態に係るワードクラウドの第2の表示例を示す図である。 2つのワードクラウドを比較する様子を示す図である。 各用語の登場回数の例を示す図である。 2つの対象データにおける盛り上がり極大時で最も多く登場した用語を示す第1の図である。 2つの対象データにおける盛り上がり極大時で最も多く登場した用語を示す第2の図である。 2つの対象データにおける盛り上がり極大時で最も多く登場した用語を示す第3の図である。 警告の表示例を示す図である。
図1は、第1実施形態に係る情報処理装置10の構成概略図である。本実施形態では、情報処理装置10は、会議室に設置されたロボットである。しかしながら、情報処理装置10は、以下に説明する機能を実現可能な限りにおいてどのような装置であってもよい。例えばパーソナルコンピュータ、スマートフォンなどの携帯端末、あるいはサーバなどであってもよい。
記憶部12は、例えばROM、RAM、あるいはハードディスクなどを含んで構成される。記憶部12には、情報処理装置10の各部を動作させるための情報処理プログラムが記憶される。さらに、図1に示すように、記憶部12には対象データ14が記憶される。
対象データ14は、情報処理装置10の処理の対象となるデータである。本実施形態では、対象データ14は会議の内容を示す会議データであり、より詳しくは会議の様子を撮影した動画像である。しかしながら、対象データ14としては会議データに限られず、ウェブページあるいは電子ドキュメントなどの電子文書、その他の動画像データ、あるいは音声データなどであってもよい。対象データ14は、後述の通信部24を介して情報処理装置10以外の装置から取得してもよく、情報処理装置10が作成したものであってもよい。
撮像部16は、例えばカメラなどを含んで構成される。撮像部16は、情報処理装置10の周囲を撮像するものである。具体的には、撮像部16は、会議の様子、例えば会議の参加者の顔などを撮像する。
音声取得部18は、例えばマイクなどを含んで構成される。音声取得部18は、会議の音声を取得するために用いられる。あるいは、音声取得部18は、情報処理装置10に対して利用者(ユーザ)の声によって指示を入力するために用いられる。また、情報処理装置10は、ユーザの指示を入力する手段として、ボタンあるいはタッチパネルなどから構成される入力部(不図示)を含んでいてもよい。また、当該入力部としては、撮像部16、音声取得部18、あるいはその他センサを利用した非接触操作(ジェスチャー)を受け付けるユーザインターフェイスを含んでいてもよい。
表示部20は、例えば液晶パネルなどを含んで構成される。表示部20には、種々の画面が表示され、特に、後述する制御部26の処理結果が表示される。
音声出力部22は、例えばスピーカなどを含んで構成される。音声出力部22は、制御部26の処理結果、特にユーザへの通知を音声にて出力するために用いられる。
なお、情報処理装置10がサーバなどの装置である場合、情報処理装置10としては撮像部16、音声取得部18、表示部20、及び音声出力部22を備えていなくてもよい。この場合は、撮像部16に相当するカメラなど、音声取得部18に相当するマイクなど、表示部20に相当するディスプレイなど、及び音声出力部22に相当するスピーカなどが情報処理装置10と通信可能な状態で会議室に設置される。その上で、カメラが撮像した画像、あるいはマイクが取得した音声データが情報処理装置10に送信され、情報処理装置10からの指示に従って、ディスプレイに画面が表示され、あるいはスピーカから音声が出力される。
通信部24は、例えば通信モジュールなどを含んで構成される。通信部24は、他の装置と通信するために用いられる。
制御部26は、例えばCPUあるいはマイクロコントローラを含んで構成される。制御部26は、記憶部12に記憶された情報処理プログラムに従って、情報処理装置10の各部を制御する。図1に示されるように、制御部26は、計数部28、盛り上がり度算出部30、出力制御部32、比較部34、及び通知部36としても機能する。
計数部28は、対象データ14に登場する用語の登場回数を計数する。対象データ14に複数の用語が登場する場合には、計数部28は複数の用語それぞれの用語の登場回数を計数する。ここで、「用語」とは、文構成の最小単位である単語、及び、複数の単語がまとまった語あるいは句を含む概念である。
具体的には、計数部28は、予め定められた単位時間毎に、対象データ14に登場する各用語の登場計数を計測する。本実施形態では、単位時間は1分に設定され、計数部28は1分毎に各用語の登場回数を計測する。もちろん、単位時間はその他の時間に設定されてもよい。図2に、計数部28が計数した、対象データ14における各用語の登場回数の例が示されている。例えば、図2の例では、14時14分から14時15分までの間に、「海」という用語が10回登場し、「山」という用語が2回登場し、「川」という用語が5回登場している。図2に示すような、対象データ14の各単位時間における各用語の登場回数は記憶部12に記憶される。
対象データ14において、同じ用語が違う意味で用いられている場合が考えられる。したがって、計数部28は、対象データ14から抽出したテキストデータ(例えば対象データ14に含まれる音声を文章化したデータ)に対して、形態素解析、構文解析、意味解析、あるいは文脈解析などを含む自然言語処理を行うことで、各用語の対象データ14における意味を解析し、同じ用語であっても意味が異なる場合には区別して計数するようにしてもよい。
盛り上がり度算出部30は、対象データ14の内容における盛り上がり度を算出する。具体的には、盛り上がり度算出部30は、対象データ14の内容に関する1又は複数のパラメータに基づいて盛り上がり度を算出する。本実施形態では、対象データ14が会議データであるため、盛り上がり度算出のためのパラメータとして、会議出席者の表情に基づく表情パラメータ、会議室の音量に基づく音量パラメータ、発言した会議出席者の数に基づく発言人数パラメータ、会議室の温度に基づく温度パラメータ、ポジティブな用語や相槌が発言された回数に基づくポジティブ発言パラメータを用いる。
表情パラメータとして、盛り上がり度算出部30は、各会議出席者の表情を数値で表現する。本実施形態では、喜びなどのポジティブな感情を示す表情を1~10のプラスの値で表現し、怒りあるいは悲しみなどのネガティブな感情を示す表情を-1~-10のマイナスの値で表現する。値0はどちらでもない感情を示す表情(無表情など)を表すものとする。
表情パラメータは、撮像部16が撮影した各会議出席者の顔画像に基づいて算出することができる。具体的には、人の顔画像と当該顔画像が表す感情を示す情報との組を学習データとして用いて学習器を学習させ、十分に学習された当該学習器に撮像部16が撮影した各会議出席者の顔画像を入力することで、各会議出席者の感情を推定する。その上で、推定された感情において、ポジティブな感情が強い程表情パラメータを大きな値とし、ネガティブな感情が強い程表情パラメータを小さな値とする。
音量パラメータとして、盛り上がり度算出部30は、音声取得部18が取得した会議室の音量を数値で表現する。具体的には、会議室の音量を0~10の値で表現する。なお、音量パラメータは、音量測定開始時(例えば会議開始時)から、音量測定終了時(例えば会議終了時)までの音量を相対的に示すものであってよい。これは、会議出席者数や環境音など、音の要素は様々であり、音量を絶対値で示す場合よりも好適に会議中の音量の大小比較が可能となるためである。
発言人数パラメータとしては、基本的には、発言した会議出席者(発言人数)の数に基づく値を用いることができる。ちなみに、発言人数は、音声取得部18が取得した音声データに基づいて、既知の話者認識技術を用いることなどにより取得することができる。あるいは、撮像部16が会議の様子を撮影した画像も併せて考慮して話者を識別するようにしてもよい。
しかしながら、会議においては、発言人数が多かったとしても、必ずしも会議が盛り上がったとは言えない場合がある。例えば、全員同時に会話はしているが、会議の主題とは異なる話題で盛り上がっている一部の会議出席者がいる場合が考えられる。本実施形態では、このような発言の「ばらつき」を考慮して、盛り上がり度算出部30は、以下の式1によって発言人数パラメータを算出する。
Figure 0007098949000001
式1において、発言人数とは、所定時間以上発言を続けた人の数である。グループは同じ話題の会話をしている複数の会議出席者から構成される。例えば、会議の主題について話し合っているグループと、他の話題で会話をしているグループがある場合、グループ数は2となる。盛り上がり度算出部30は、撮像部16が撮影した各会議出席者の様子(顔の向きなど)に基づいてグループ数を判定することができる。
式1が示すように、発言人数が多い程、発言人数パラメータが大きくなり、グループ数が多い程、発言人数パラメータが小さくなる。
温度パラメータとしては、本実施形態では、会議開始時点の温度を0としたときの会議室の温度を用いる。会議が盛り上がる程、会議室の温度が高くなる観点から、本実施形態では、盛り上がり度算出のためのパラメータとして温度パラメータを加えている。
ポジティブ発言パラメータとしては、音声取得部18が取得したポジティブな用語(「いいね」など)の発言回数や、相槌(「うん」など)の発言回数の和を用いることができる。
本実施形態では、盛り上がり度算出部30は、上述の各パラメータの和を対象データ14の盛り上がり度として算出する。
なお、本実施形態では、対象データ14が会議データであるために、盛り上がり度を算出するために上記の各パラメータを計測したが、盛り上がり度を算出するためのパラメータとしては他のパラメータを用いてもよく、盛り上がり度算出のためのパラメータは、対象データ14の内容に応じて適宜設定されてよい。また、本実施形態では各パラメータの和を盛り上がり度としているが、各パラメータに基づく盛り上がり度の算出方法は他の方法であってもよい。
より詳しくは、盛り上がり度算出部30は、上述の単位時間毎に、対象データ14の盛り上がり度を算出する。本実施形態では単位時間は1分に設定されているから、盛り上がり度算出部30は、1分毎に対象データ14の盛り上がり度を算出する。
なお、会議出席者が会議の主題とは関係のない雑談をしているときに盛り上がり度が高く算出される可能性が考えられる。したがって、盛り上がり度算出部30は、雑談時における上記各パラメータを計測しないか、あるいは盛り上がり度に寄与する影響をかなり小さくするようにしてもよい。具体的には、予め会議の主題を示すキーワードを記憶部12に登録しておき、盛り上がり度算出部30は、当該キーワードに関係ない用語の登場が続いた場合には雑談時と判定するようにしてもよい。あるいは、予め会議出席者の人数を記憶部12に登録しておき、盛り上がり度算出部30は、全ての会議出席者が集まる前は雑談時であると判定するようにしてもよい。
図3に、盛り上がり度算出部30が算出した、対象データ14の各パラメータの値と、盛り上がり度との例が示されている。例えば、図3の例では、14時14分から14時15分までの間において、表情パラメータが5であり、音量パラメータが5であり、発言人数パラメータが8であり、温度パラメータが2であり、ポジティブ発言パラメータが16であるから、それらの総和として、14時14分から14時15分までの間の盛り上がり度が36と算出されている。図3に示すような、対象データ14の各単位時間における盛り上がり度は記憶部12に記憶される。
図1に戻り、出力制御部32は、対象データ14に基づいてワードクラウドを生成して表示させる。ワードクラウドとは、対象データ14に登場する用語が並列に並べられた画像であり、いわば用語群画像である。以下、概念としての用語と、ワードクラウドに含まれる構成要素としての用語とを区別するために、ワードクラウドの構成要素としての用語を「用語表現」と記載する。具体的には、出力制御部32は、ワードクラウドにおいて、対象データ14における用語が登場したときの対象データ14の盛り上がり度に基づく表示態様で当該用語を表現した用語表現を表示させる。このように、出力制御部32は表示制御部として機能する。好ましくは、出力制御部32は、さらに、対象データ14に登場する用語の登場回数に基づく表示態様で用語表現を表示する。図4に、複数の用語表現42を含むワードクラウド40の例が示されている。
本実施形態では、出力制御部32は、単位時間における用語の登場回数と当該単位時間における盛り上がり度との積を単位指標値として算出し、各単位時間について算出された各単位指標値の和を当該用語の指標値として算出する。用語の指標値とは、対象データ14における当該用語の登場回数と、当該用語が登場したときの盛り上がり度の双方が反映された値である。その上で、算出された指標値に基づいて当該用語についての用語表現42の表示態様を決定する。なお、用語の指標値としては、対象データ14における用語の登場回数と、当該用語が登場したときの対象データ14の盛り上がり度が反映されている限りにおいてその他の方法で算出されてもよい。
例えば、計数部28によって図2に示す通りに各用語の登場回数が計数され、盛り上がり度算出部30によって図3に示す通りの盛り上がり度が算出されたとする。用語「海」に着目すると、14時14分の1分間においては、単位指標値は、登場回数「10」と盛り上がり度「36」の積である「360」となる。他の単位時間についても同様に単位指標値を算出する。そして、14時14分~14時17分までの3分間を対象としたワードクラウド40においては、各単位時間について算出された各単位指標値の和である指標値は「850」となる。したがって、出力制御部32は、指標値「850」に応じた表示態様で「海」の用語表現42を表示する。
なお、上記例では、単位時間における登場回数と盛り上がり度の積を単位指標値として算出していたが、登場回数と盛り上がり度にそれぞれ重み係数を乗じたものの和を単位指標値とするようにしてもよい。例えば、単位指標値を以下の式で算出する。
(単位指標値)=(t-1)(単位時間における用語の登場回数)+t(単位時間の盛り上がり度) ・・・(式2)
式2において、t及び(t-1)が重み係数である。式2によれば、例えば、tを大きくすることで、盛り上がり度がより重視された指標値を算出することができる。逆に、tを小さくすることで、登場回数がより重視された指標値を算出することができる。
また、単に、用語が登場したときの対象データの盛り上がり度に基づく表示態様で用語表現を表示する場合には、出力制御部32は、例えば、用語が登場した単位時間の盛り上がり度を累積した値を当該用語の指標値として用いるようにしてもよい。
本実施形態では、出力制御部32は、用語の指標値が大きい程、ワードクラウド40において当該用語についての用語表現42を大きく表示する。換言すれば、出力制御部32は、用語の指標値が小さい程、ワードクラウド40において当該用語についての用語表現42を小さく表示する。なお、指標値に応じた用語表現42の表示態様としては、各用語表現42を指標値に応じた大きさとすることに代えてあるいは加えて、用語表現42の太さ、色相、あるいは濃さなどを当該用語の指標値に応じたものとするようにしてもよい。
なお、対象データ14に含まれる複数の用語の指標値の相対関係に応じて各用語についての各用語表現42の表示態様を決定するようにしてもよい。例えば、用語「海」についての指標値が同じ値であっても、その他の用語の指標値が用語「海」の指標値よりも大きい場合の「海」の用語表現42に比して、その他の用語の指標値が「海」の指標値よりも小さい場合の「海」の用語表現42を大きく表示するようにしてもよい。
ワードクラウド40に含まれる各用語表現42の表示態様によって、対象データ14において盛り上がった時に多く登場した用語を把握することができる。例えば、図4の例においては、「海」という用語表現42が比較的大きく表示されているため、対象データ14において盛り上がった時に「海」という用語が多く登場したことが分かる。
対象データ14に登場する用語毎に登場回数が計数されるため、意味が類似する用語についても区別して登場回数が計数される。しかしながら、意味が類似する用語が区別して計数された場合、対象データ14において重要な用語が複数の類似用語で表現されていたとすると、各類似用語の登場回数が分散してしまうことになる。この場合、各類似用語が意味する概念が盛り上がり時において多く登場していたとしても、ワードクラウド40において各類似用語についての用語表現42が小さく表示されてしまい、それが分かりにくくなる場合が考えられる。
したがって、出力制御部32は、意味の類似度が所定の閾値以上の複数の用語をまとめて1つの用語とみなすようにしてもよい。例えば、「湖」と「池」の意味の類似度が閾値以上であり、「湖」の指標値が300であり、「池」の指標値も300である場合、両者の指標値を合算した指標値600に応じた表示態様で「湖」と「池」のいずれか一方の用語表現42を表示させるようにしてもよい。用語間の類似度は、用語の上位/下位関係、部分/全体関係、同義関係、類義関係などによって用語を分類して体系づけたデータベースであるシソーラスに基づいて判定することができる。なお、本明細書における「類似」には、用語が示す意味が類似しているもの(例えば「PC」と「機械」)のみならず、用語が示す意味の関連性が高いもの(例えば「虫」と「土」)も含まれていてよい。
また、本実施形態においては、出力制御部32は、ワードクラウド40において、用語表現42を図形あるいは写真などで表示するようにしてもよい。例えば、対象データ14に登場した複数の用語のうち、指標値が閾値以上の用語を写真で表現するようにしてもよい。例えば、用語「夏」について、「夏」という用語を画像検索したときに最も上位に表示される画像(写真)を用語表現42として表示させるようにしてもよい。もちろん、この場合であっても、用語「夏」の指標値に応じて用語表現42としての当該写真の表示態様が決定される。
対象データ14に登場するすべての用語についての用語表現42をワードクラウド40に含める場合、対象データ14の内容に対して本質的ではない用語についての用語表現42が含められてしまう場合がある。例えば、「いいね」あるいは「多分」といった用語が会議において頻繁に使用される場合があり、その場合はワードクラウド40において「いいね」や「多分」といった用語表現42が大きく表示されてしまう。このような事態を回避するために、本実施形態では、出力制御部32は、網羅性のある大規模なテキストデータ(SNSのテキストデータを含んでもよい)を参照し、当該テキストデータにおいて頻繁に表れる用語についての用語表現42をワードクラウド40から除外するようにしてもよい。
出力制御部32は、ユーザからのフィードバックに応じてワードクラウド40を編集するようにしてもよい。例えば、入力部あるいは通信部24を介してユーザから特定の用語表現42を削除する指示を受けた場合には、出力制御部32はワードクラウド40から当該用語表現42を削除するようにしてもよい。あるいは、ユーザから特定の用語表現42の表示態様(大きさ、色など)を指定された場合には、出力制御部32は、当該用語表現42の表示態様をユーザの指示通りに変更するようにしてもよい。ユーザからの指示は記憶部12に記憶されてもよく、出力制御部32は、新たなワードクラウド40を生成する際に、記憶部12に記憶されたユーザの指示に応じた(特定の用語表現42を表示させない、あるいは特定の用語表現42の表示態様をユーザの指定通りにした)ワードクラウド40を生成するようにしてもよい。
また、出力制御部32は、会議が終了した後に、会議全体の内容を含む対象データ14に基づいて事後的にワードクラウド40を生成して表示するようにしてもよいが、会議中においてリアルタイムにワードクラウド40を生成して表示するようにしてもよい。
この場合、計数部28は、ユーザから入力される開始トリガに応じて、会議に登場する用語の単位時間毎の計数を開始する。同様に、盛り上がり度算出部30は、当該開始トリガに応じて、単位時間毎の、盛り上がり度算出のためのパラメータの算出及び盛り上がり度の算出を開始する。なお、開始トリガとしては、例えば、会議出席者による「会議を始めようか」などの音声を用いることができるが、その他の方法によって入力されてもよい。
出力制御部32は、現時点までの各用語の登場回数と盛り上がり度に基づいてワードクラウド40を生成して表示させる。出力制御部32は、単位時間が経過する度に、過去の各単位時間における各用語の登場回数及び盛り上がり度、並びに、新たな単位時間における各用語の登場回数及び盛り上がり度に基づいて、新たなワードクラウド40を生成して表示する。このように、ワードクラウド40に含まれる用語表現42の表示態様が単位時間毎に動的に変化することになる。
ユーザから終了トリガが入力されると、計数部28及び盛り上がり度算出部30は処理を停止する。出力制御部32は、当該会議全体についてのワードクラウド40を生成して表示する。なお、終了トリガとしては、会議出席者による「これで会議を終わります」などの音声を用いることができるが、その他の方法によって入力されてもよい。
出力制御部32は、表示部20に表示されたワードクラウド40に含まれる用語表現42がユーザにより選択された場合、選択された用語表現42に対応する対象データ14の一部分を出力するようにしてもよい。本実施形態では、各用語表現42に対応する対象データ14の一部分を以下の手順で決定する。
図5には、対象データ14における盛り上がり度の時間変化を示すグラフ(太実線)、及び、対象データ14に登場した用語「海」の単位時間毎の登場回数を示すグラフ(細実線)、用語「山」の単位時間毎の登場回数を示すグラフ(破線)、及び用語「川」の単位時間毎の登場回数を示すグラフ(一点鎖線)が示されている。図5に示す各グラフは、計数部28及び盛り上がり度算出部30の処理結果(図2及び3参照)に基づいて得ることができる。
出力制御部32は、盛り上がり度の極大値(盛り上がり度の山)を取る単位時間を特定する。以後、盛り上がり度の極大値を取る単位時間を盛り上がり極大時と記載する。図5の例では、盛り上がり極大時として14時15分からの1分間が特定される。なお、一般に、盛り上がり度の極大値は複数存在し、盛り上がり極大時は複数特定される。
次いで、出力制御部32は、複数の盛り上がり極大時それぞれにおいて、最も登場回数が多い用語を列挙する。当然ながら、盛り上がり極大時の数だけ用語が列挙されることになる。
出力制御部32は、列挙された複数の用語において、他に列挙された用語と重複しない用語については、当該用語が最も多く登場した盛り上がり極大時を含む部分を当該用語に対応する対象データ14の一部分として設定する。例えば、図5の例において、盛り上がり極大時である14時15分からの1分間において最も多く登場した用語は「海」であり、その他の盛り上がり極大時において最も多く登場した用語が「海」でない場合、用語「海」に対応する対象データ14の一部分を14時15分からの1分間に設定する。
出力制御部32は、列挙された複数の用語において、他に列挙された用語と重複する用語については、当該用語が最も多く登場した複数の盛り上がり極大時のうち、最も盛り上がり度が大きい盛り上がり極大時を含む部分を当該用語に対応する対象データ14の一部分として設定する。
以上のようにして各用語に対応する対象データ14の一部分が設定される。そして、出力制御部32は、ワードクラウド40において用語表現42がユーザにより選択されると、当該用語表現42に応じた用語に対応する対象データ14の一部分を出力する。例えば、図5の例において、「海」の用語表現42がユーザによって選択されると、出力制御部32は、動画像(あるいは音声データ)である対象データ14の14時15分からの1分間を出力(再生)する。このように、出力制御部32は対象データ出力部としても機能する。
これにより、ユーザは、用語表現42を選択することで、対象データ14のうち、選択した用語表現42に応じた用語が最も多く登場する盛り上がり極大時を動画像あるいは音声などで確認することができる。
なお、対象データ14において登場した用語のうち、いずれの盛り上がり極大時において最も多く登場した用語として列挙されなかった用語については、当該用語の登場回数の時間変化において、当該用語が最も多く登場した単位時間が当該用語に対応する対象データの一部分として設定される。例えば、図5の例では、用語「山」がいずれの盛り上がり極大時において最も多く登場した用語でない場合、用語「山」の登場回数の時間変化において、用語「山」が最も多く登場した単位時間が14時14分からの1分間であるとすると、用語「山」に対応する対象データ14の一部分として14時14分からの1分間が設定される。同様に、用語「川」がいずれの盛り上がり極大時において最も多く登場した用語でない場合、用語「川」の登場回数の時間変化において、用語「川」が最も多く登場した単位時間が14時16分からの1分間であるとすると、用語「川」に対応する対象データ14の一部分として14時16分からの1分間が設定される。
上述のワードクラウド40によれば、ユーザは、対象データ14において盛り上がった時に多く登場した用語を把握することができるが、反対に、ユーザが、対象データ14において盛り下がった時に多く登場した用語を把握したい場合も考えられる。その場合は、出力制御部32は、図5に示す盛り上がり度の時間変化を示すグラフにおいて、盛り上がり度の極小値(盛り上がり度の谷)を取る単位時間(盛り上がり極小時)を特定し、盛り上がり極小時において最も多く登場した用語を特定する。その上で、出力制御部32は、当該用語をワードクラウド40において識別可能な表示態様で表示する。
例えば、用語「山」が盛り上がり極小時において最も多く登場した用語である場合、図6に示すように、「山」の用語表現42’を薄く(例えば半透明に)表示する。これにより、ユーザは、用語「山」が盛り上がり極小時において最も多く登場した用語であることを把握できる。また、図6において、「山」の用語表現42’がユーザにより選択された場合には、出力制御部32は、当該盛り上がり極小時に対応する対象データ14の一部分を出力するようにしてもよい。
なお、ワードクラウド40に含まれる用語表現42の数を減らしてワードクラウド40を簡潔にする観点から、盛り上がり極小時において最も多く登場した用語の用語表現をワードクラウド40に表示しないようにしてもよい。
図1に戻り、比較部34は、対象データ14に登場する用語、当該用語の登場回数、及び、当該用語が登場したときの盛り上がり度に関して複数の対象データ14を比較することで、複数の対象データ14の内容の比較を行う。これにより、複数の対象データ14の内容の変化具合を判定する。複数の対象データ14の内容の変化具合とは、例えば、対象データ14が会議データである場合、複数の会議データ間における内容の変化の停滞あるいは発散などである。
例えば、比較部34は、複数の対象データ14に対応する複数のワードクラウド40に含まれる用語表現42を比較することで、複数の対象データ14の内容の変化具合の判定を行うことができる。
複数のワードクラウド40に含まれる用語表現42が同じ用語に対応するものであり、且つ、各用語表現42の表示態様が同様(つまり各用語の指標値が同様)である場合は、当該複数のワードクラウド40に対応する複数の対象データ14のいずれにおいても、盛り上がった時に同じ用語が多く登場しているといえる。したがって、この場合、比較部34は、当該複数のワードクラウド40に対応する複数の対象データ14の内容が変化していないと判定することができる。逆に、各ワードクラウド40に含まれる用語表現42が異なる用語に対応するものである場合、あるいは、各ワードクラウド40において最も大きく表示された用語表現42が異なる場合には、当該複数のワードクラウド40に対応する複数の対象データ14において、盛り上がった時に多く登場した用語がそれぞれ異なるといえる。したがって、この場合、比較部34は、当該複数のワードクラウド40に対応する複数の対象データ14の内容が変化していると判定することができる。
用語表現42の比較の具体的な方法は以下の通りである。
第1の方法としては、ワードクラウド40が例えばjpgデータなどの画像データで保存された場合において、一方のワードクラウド40における用語表現42と、他方のワードクラウド40における用語表現42とを画像比較により比較する方法である。
図7に、複数のワードクラウド40間において用語表現42が画像比較される様子が示されている。図7に示す通り、まず、比較部34は、画像データであるワードクラウド40aに対して画像解析処理(例えばOCRなど)を施し、用語表現42aを抽出することで、用語表現42aを含む用語領域50aを切り出す。比較部34は、ワードクラウド40aに含まれるすべての用語表現42aを抽出してもよいし、一部の用語表現42a、例えば、大きさ順(すなわち指標値が大きい順)に並べたときの上位いくつかの用語表現42aを抽出するようにしてもよい。同様に、比較部34は、画像データであるワードクラウド40bに対して画像解析処理(例えばOCRなど)を施して用語表現42bを抽出することで、用語表現42を含む用語領域50bを切り出す。
次いで、比較部34は、用語領域50aと用語領域50bとを比較する。もちろん、同じ用語の用語表現42に対応する用語領域50同士(例えば「海」の用語領域50aと「海」の用語領域50b)を比較する。具体的には、比較部34は、用語領域50aの各ピクセルと、用語領域50bの対応する各ピクセルとの画素値を比較することで、用語領域50aと用語領域50bを比較する。
上記の画像比較方法によれば、用語表現42aと用語表現42bとが同じ用語を表すものであるか、及び、用語表現42aと用語表現42bとの表示態様が比較できる。特に、本実施形態では、各用語表現42は、用語の指標値に応じた表示態様、すなわち、用語の登場回数及び用語が登場したときの盛り上がり度が反映された表示態様となっていることから、用語表現42の比較により、ワードクラウド40aに対応する対象データ14とワードクラウド40bに対応する対象データ14と間で、単に用語の登場回数のみならず、盛り上がり度を考慮した上での内容の変化を判定することができる。
なお、本実施形態では、ワードクラウド40における各用語表現42の表示位置が定まっていない(ランダムである)ことから、ワードクラウド40から用語領域50を切り出した上で用語領域50同士を比較していたが、ワードクラウド40における各用語表現42の表示位置が定まっている(例えば「海」の用語表現42のワードクラウド40における表示位置が決められている)ならば、用語領域50の切り出し処理を行わずに、ワードクラウド40全体同士を画像比較することも可能である。
第2の方法としては、ワードクラウド40が、各用語表現42が示す用語と、各用語表現42の表示態様(例えば大きさ)を数値として有するデータ形式(例えばHTML形式)で保存された場合において、一方のワードクラウド40における用語表現42と、他方のワードクラウド40における用語表現42とを、そのデータ形式に含まれる用語表現42に関する数値に基づいて比較する方法である。
再度図7を参照すると、ワードクラウド40a及び40bがHTML形式であるとすると、比較部34は、ワードクラウド40aのHTMLデータから「海」の用語表現42aの大きさを示す数値を取得し、ワードクラウド40bのHTMLデータから「海」の用語表現42の大きさを示す数値を取得し、取得した両数値の差分により「海」の用語表現42の比較を行う。他の用語表現42についても同様に比較を行う。
なお、比較部34は、複数の対象データ14間において、計数された各用語の登場回数を比較することで、複数の対象データ14の内容の比較を行うようにしてもよい。図8には、複数の対象データ14a~cにおいて計数部28により計数された各用語表現42の登場回数が示されている。
例えば、比較部34は、複数の対象データ14間の各用語の出現率の差がいずれも閾値(例えば5%)以下である場合、当該複数の対象データ14の内容の変化がない可能性があると判定する。例えば、図8において、対象データ14aの各用語の出現率は、「海」が50%、「山」が25%、「川」が25%となっており、対象データ14bの各用語の出現率は、「海」が53%、「山」が21%、「川」が26%となっている。したがって、各用語の出現率の差がいずれも5%以下であるので、比較部34は、対象データ14aと14bの間では内容の変化がない可能性があると判定する。
また、例えば、比較部34は、複数の対象データ14において、登場回数が上位のいくつかの用語(例えば1位~3位)が同じ用語である場合、当該複数の対象データ14の内容の変化がない可能性があると判定するようにしてもよい。例えば、図8において、対象データ14a~cにおいては、登場回数の1位~3位の用語は、いずれも、「海」、「山」、「川」である。したがって、比較部34は、対象データ14a~14cの間では内容の変化がない可能性があると判定する。
なお、比較部34は、意味の類似度が所定の閾値以上の複数の用語をまとめて1つの用語とみなした上で、複数の対象データ14間の各用語の登場回数を比較するようにしてもよい。
比較部34は、第1の対象データ14において盛り上がり度が最大となった最大盛り上がり時に最も多く登場した用語と、第2の対象データ14における複数の盛り上がり極大時それぞれにおいて最も多く登場した複数の用語との比較に基づいて、複数の対象データ14の内容の変化具合を判定するようにしてもよい。
図9(a)、図10(a)、及び図11(a)には、第1の対象データ14としての1回目の会議データの盛り上がり度の時間変化を示すグラフが示され、図9(b)、図10(b)、及び図11(b)には、第2の対象データ14としての2回目の会議データの盛り上がり度の時間変化を示すグラフが示されている。
図9の例では、1回目の会議データにおける最大盛り上がり時に最も多く登場した用語は「海」であるとし、2回目の会議データにおける複数の盛り上がり極大時において最も多く登場した用語はいずれも「海」であるとする。
このような場合、2回目の会議においては、1回目の会議における重要用語である「海」を議題として話し合いを進めていると考えることができるため、比較部34は、1回目と2回目の会議で内容の変化が停滞していないと判定することができる。
図10の例では、1回目の会議データにおける最大盛り上がり時に最も多く登場した用語は「海」であるとし、2回目の会議データにおける複数の盛り上がり極大時において最も多く登場した用語にばらつきがあるとする。
このような場合、1回目の会議における重要用語が「海」であったにも拘らず、2回目の会議においては他の話題について話し合っている、すなわち話題が進んでいないと考えることができるため、比較部34は、1回目と2回目の会議で内容の変化が停滞していると判定することができる。また、この場合、比較部34は、1回目と2回目の会議で内容の変化が発散していると判定するようにしてもよい。特に、1回目の会議データにおける最大盛り上がり時に最も多く登場した用語(本例では「海」)と、2回目の会議データにおける最大盛り上がり時に最も多く登場した用語とが同じである場合、2回目の会議においては、1回目の会議の盛り上がりを引きずっており、且つ話題が進んでいないと考えることができる。
なお、図11に示すように、2回目の会議における最大盛り上がり時の盛り上がり度が閾値以下である場合、2回目の会議がほとんど盛り上がっていないと考えることができるため、比較部34は、1回目と2回目の会議の間で内容の変化が停滞していると判定することができる。
また、比較部34は、第1の対象データ14における最大盛り上がり時以外の盛り上がり極大時に最も多く登場した用語をさらに考慮して、複数の対象データ14の内容の変化具合を判定するようにしてもよい。
例えば、図9の例において、1回目の会議データにおける最大盛り上がり時に最も多く登場した用語は「海」であり、最大盛り上がり時以外の盛り上がり極大時に最も多く登場した用語が「海」以外の用語(図9では「山」)である場合、1回目の会議において、「海」あるいは「山」を含む種々の話題について話し合った上で、2回目の会議においてはその中で特に重要な「海」について絞って話し合いが進んだと考えることができる。したがって、この場合、比較部34は、1回目と2回目の会議で内容の変化が停滞していないと判定することができる。
一方、仮に、図9の例において、最大盛り上がり時以外の盛り上がり極大時に最も多く登場した用語が「海」であった場合、1回目の会議においても2回目の会議においても、ずっと「海」について話し合っていると考えることができる。したがって、この場合、比較部34は、1回目と2回目の会議で内容の変化が停滞していると判定することができる。
また、図10の例において、1回目の会議データにおける最大盛り上がり時に最も多く登場した用語は「海」であり、最大盛り上がり時以外の盛り上がり極大時に最も多く登場した用語が「海」以外の用語(図10では「山」)である場合、1回目の会議において、「海」あるいは「山」を含む種々の話題について話し合っているにも関わらず、2回目の会議においても依然として種々の話題について話し合っていると考えられる。したがって、この場合、比較部34は、1回目と2回目の会議で内容の変化が停滞していると判定することができる。また、この場合、比較部34は、1回目と2回目の会議で内容の変化が発散していると判定するようにしてもよい。
一方、仮に、図10の例において、最大盛り上がり時以外の盛り上がり極大時に最も多く登場した用語が「海」であった場合、1回目の会議において十分に「海」について話し合い、2回目の会議においては、別の新たな議題に進んだと考えることができる。したがって、この場合、比較部34は、1回目と2回目の会議で内容の変化が停滞していないと判定することができる。また、この場合、比較部34は、1回目と2回目の会議で内容の変化が発散していると判定するようにしてもよい。
上記においては、比較部34による複数の対象データ14の比較方法として、ワードクラウド40に含まれる用語表現42を比較する方法と、盛り上がり最大時を含む盛り上がり極大時において最も多く登場した用語を比較する方法の2つの方法を説明した。比較部34は、当該2つの方法を個別に行うようにしてもよいし、順次行うようにしてもよい。例えば、用語表現42を比較する方法で複数の会議データの内容の変化が停滞している可能性があると判定した上で、さらに盛り上がり極大時において最も多く登場した用語を比較する方法で、確かに会議データの内容の変化が停滞していることを確かめるようにしてもよい。
比較部34が比較する対象データ14は、ユーザが任意に指定することができる。例えば、2つの対象データ14を比較してもよいし、3つ以上の対象データを比較するようにしてもよい。また、ある対象データ14と、他の対象データ14の累積とを比較するようにしてもよい。累積で比較する場合、累積された他の対象データ14それぞれについて重み付けした上で比較するようにしてもよい。
特に、対象データ14が会議データである場合において、ユーザが「過去に同じ話をした気がするけれど覚えていない」という場合などには、1回目の会議データと4回目の会議データ、2回目の会議データと4回目の会議データ、3回目の会議データと4回目の会議データとをそれぞれ比較してもよい。
また、任意の会議データ同士を比較することもユーザにとって有益となる場合がある。例えば、4回目の会議データを1回目の会議データと比較することで会議全体の進捗度合いを確認することができる。また、3回目の会議と4回目の会議とでは議題が違い、2回目の会議と4回目の会議とで議題が同じ場合には、2回目の会議データと4回目の会議データを比較することができる。
さらに、比較部34は、会議中においてリアルタイムに比較を行うようにしてもよい。この場合における比較対象としては、対象データ14のうち、ある単位時間と他の単位時間であってもよいし、複数の単位時間をまとめたもの同士を比較するようにしてもよい。例えば、対象データ14のうち、会議開始から10分後までと、会議開始10分後から20分後までを比較するようにしてもよい。
通知部36は、比較部34による複数の対象データ14の比較に基づいて、当該複数の対象データ14間における内容の変化具合をユーザに通知する。例えば、通知部36は、比較部34の処理対象となった複数の対象データ14間において、内容が変化していない、あるいは変化していることをユーザに通知する。
特に、本実施形態では、対象データ14が会議データであるために、比較部34が複数の会議データの内容の変化が停滞していると判定した場合に、通知部36はユーザに対して警告を出力する。警告を受けることにより、ユーザは、会議の進行方法を変更するなど、会議をより好適に進めるための対策を行うことができる。また、比較部34が会議中においてリアルタイムに比較を行うならば、ユーザは、会議中に、会議の内容の変化が停滞しているなどを把握し、会議中において会議をより好適に進めるための対策を行うことができる。
また、会議によっては、アイディアを収束させる方向に進めたい会議も考えられる。そのような場合を想定して、通知部36は、比較部34が複数の会議データの内容の変化が発散していると判定した場合にユーザに対して警告を出力するようにしてもよい。
複数の会議データの内容の変化が停滞しているときに通知部36が警告を出力するか、複数の会議データの内容の変化が発散しているときに通知部36が警告を出力するかは、ユーザが任意に設定できるようになっているのが好ましい。これによれば、ユーザは、会議の内容に応じた適切な警告を受けることができる。
また、予め禁止用語が定められている場合には、通知部36は、対象データ14に当該禁止用語が登場した場合にユーザに警告を出力するようにしてもよい。
通知部36による通知の出力方法としては種々の方法が考えられる。例えば、通知部36は、音声出力部22から音声として通知を出力してもよい。例えば、「会議が進んでないみたいだね」というような音声を出力する。もちろん、出力する音声の内容はユーザが任意に設定できてよい。
また、通知部36は、表示部20に通知を表示するようにしてもよい。通知の表示態様としては、様々な表示態様が考えられるが、例えば、図12(a)に示す通り、複数の対象データ14に対応する複数のワードクラウド40を開くためのリンク60がリスト表示される場合に、当該リンク60に対応して警告アイコン62を表示するようにしてもよい。図12の例では、2017年10月12日の会議データに対して警告アイコン62が付されており、これは、2017年10月12日の会議データの内容が2017年10月7日の会議データに比して停滞していることを示している。
あるいは、図12(b)に示す通り、ワードクラウド40と共に警告アイコン62を表示するようにしてもよい。これは、会議中にリアルタイムにワードクラウド40が生成されて表示される場合に特に有効である。
通知部36による通知の出力方法は、ユーザによって任意に設定可能となっていてよい。
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
10 情報処理装置、12 記憶部、14 対象データ、16 撮像部、18 音声取得部、20 表示部、22 音声出力部、24 通信部、26 制御部、28 計数部、30 盛り上がり度算出部、32 出力制御部、34 比較部、36 通知部。

Claims (11)

  1. 対象データに登場する各用語の登場回数を計数する計数部と、
    前記対象データの盛り上がり度を算出する盛り上がり度算出部と、
    前記用語の登場回数及び前記盛り上がり度に基づいて演算された指標値に基づく表示態様で、当該用語を表現した用語表現を表示部に表示する表示制御部と、
    を備え
    前記計数部は、前記対象データに登場する各用語の登場回数を単位時間毎に計数し、
    前記盛り上がり度算出部は、前記対象データの盛り上がり度を前記単位時間毎に算出し、
    前記表示制御部は、各前記単位時間における前記用語の登場回数及び前記盛り上がり度に基づいて、各単位時間についての単位指標値を演算し、複数の単位時間についての複数の前記単位指標値に基づいて演算された前記指標値に基づく表示態様で、当該用語を表現した用語表現を表示部に表示する、
    ことを特徴とする情報処理装置。
  2. 前記盛り上がり度は、前記対象データの内容に関する1又は複数のパラメータに基づいて算出される、
    請求項1に記載の情報処理装置。
  3. 前記対象データに登場する複数の前記用語のうち、意味の類似度が閾値以上の複数の用語をまとめて1つの用語とみなす、
    請求項1又は2に記載の情報処理装置。
  4. 対象データに登場する用語が登場したときの前記対象データの盛り上がり度、及び、前記対象データに登場する用語の登場回数に基づく表示態様で、前記用語を表現した用語表現を表示部に表示する表示制御部と、
    前記対象データにおいて前記盛り上がり度が極大値を取る盛り上がり極大時に最も多く登場した前記用語の前記用語表現が利用者により選択された場合に、前記盛り上がり極大時を含む前記対象データの一部分を出力する対象データ出力部と、
    を備える情報処理装置。
  5. 前記表示制御部は、前記対象データにおいて前記盛り上がり度が極小値を取る盛り上がり極小時に最も多く登場した前記用語の前記用語表現を識別可能な表示態様で表示する、
    請求項に記載の情報処理装置。
  6. 前記対象データに登場する用語、前記用語の登場回数、及び前記用語が登場したときの前記対象データの盛り上がり度に関する複数の前記対象データの比較に基づく、前記複数の対象データ間における内容の変化具合を利用者に通知する通知部、
    をさらに備える請求項に記載の情報処理装置。
  7. 前記通知部は、複数の前記対象データに対応する複数の前記用語表現の比較に基づく、前記複数の対象データ間における内容の変化具合を利用者に通知する、
    請求項に記載の情報処理装置。
  8. 対象データに登場する用語が登場したときの前記対象データの盛り上がり度、及び、前記対象データに登場する用語の登場回数に基づく表示態様で、前記用語を表現した用語表現を表示部に表示する表示制御部と、
    前記対象データに登場する用語、前記用語の登場回数、及び前記用語が登場したときの前記対象データの盛り上がり度に関する複数の前記対象データの比較に基づく、前記複数の対象データ間における内容の変化具合を利用者に通知する通知部と、
    を備え、
    前記通知部は、第1の対象データにおいて前記盛り上がり度が最大となった最大盛り上がり時に最も多く登場した前記用語と、第2の対象データにおいて前記盛り上がり度が極大値を取る複数の盛り上がり極大時それぞれに最も多く登場した複数の前記用語との比較に基づく、前記第1の対象データと前記第2の対象データとの間における内容の変化具合を利用者に通知する、
    ことを特徴とする情報処理装置。
  9. 前記通知部は、さらに、第1の対象データにおける前記最大盛り上がり時以外の前記盛り上がり極大時に最も多く登場した前記用語に基づく、前記第1の対象データと前記第2の対象データとの間における内容の変化具合を利用者に通知する、
    請求項に記載の情報処理装置。
  10. 前記対象データは会議の内容を示す会議データであり、
    前記通知部は、複数の前記会議データ間における内容の変化が停滞又は発散している場合に利用者に警告を通知する、
    ことを特徴とする請求項からのいずれか1項に記載の情報処理装置。
  11. コンピュータを、
    対象データに登場する各用語の登場回数を計数する計数部と、
    前記対象データの盛り上がり度を算出する盛り上がり度算出部と、
    前記用語の登場回数及び前記盛り上がり度に基づいて演算された指標値に基づく表示態様で、当該用語を表現した用語表現を表示部に表示する表示制御部と、
    として機能させ
    前記計数部は、前記対象データに登場する各用語の登場回数を単位時間毎に計数し、
    前記盛り上がり度算出部は、前記対象データの盛り上がり度を前記単位時間毎に算出し、
    前記表示制御部は、各前記単位時間における前記用語の登場回数及び前記盛り上がり度に基づいて、各単位時間についての単位指標値を演算し、複数の単位時間についての複数の前記単位指標値に基づいて演算された前記指標値に基づく表示態様で、当該用語を表現した用語表現を表示部に表示する、
    ことを特徴とする情報処理プログラム。
JP2018023971A 2018-02-14 2018-02-14 情報処理装置及び情報処理プログラム Active JP7098949B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018023971A JP7098949B2 (ja) 2018-02-14 2018-02-14 情報処理装置及び情報処理プログラム
US16/100,517 US10902301B2 (en) 2018-02-14 2018-08-10 Information processing device and non-transitory computer readable medium storing information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018023971A JP7098949B2 (ja) 2018-02-14 2018-02-14 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2019139625A JP2019139625A (ja) 2019-08-22
JP7098949B2 true JP7098949B2 (ja) 2022-07-12

Family

ID=67541744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018023971A Active JP7098949B2 (ja) 2018-02-14 2018-02-14 情報処理装置及び情報処理プログラム

Country Status (2)

Country Link
US (1) US10902301B2 (ja)
JP (1) JP7098949B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328263B2 (en) * 2019-02-21 2022-05-10 Microsoft Technology Licensing, Llc User interfaces for filtering electronic calendar data sets
KR102424342B1 (ko) * 2020-11-24 2022-07-25 울산과학기술원 섬네일 이미지 생성 방법 및 장치
US11789999B2 (en) * 2020-12-02 2023-10-17 International Business Machines Corporation Heuristic video searching
JP7337977B2 (ja) * 2022-02-08 2023-09-04 楽天グループ株式会社 投稿解析装置、投稿解析プログラム、投稿解析方法、および、解析情報提供システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222156A (ja) 2001-01-29 2002-08-09 Yuhei Yamauchi 電子会議室用処理装置
JP2006146802A (ja) 2004-11-24 2006-06-08 Mitsubishi Electric Corp テキストマイニング装置およびテキストマイニング方法
JP2016062333A (ja) 2014-09-18 2016-04-25 株式会社日立製作所 検索サーバ、及び検索方法
WO2017038794A1 (ja) 2015-08-31 2017-03-09 株式会社 東芝 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム
JP2017112545A (ja) 2015-12-17 2017-06-22 株式会社イトーキ 会議支援システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298930B1 (en) * 2002-11-29 2007-11-20 Ricoh Company, Ltd. Multimodal access of meeting recordings
JP5284990B2 (ja) * 2010-01-08 2013-09-11 インターナショナル・ビジネス・マシーンズ・コーポレーション キーワードの時系列解析のための処理方法、並びにその処理システム及びコンピュータ・プログラム
JP5338835B2 (ja) * 2011-03-24 2013-11-13 カシオ計算機株式会社 類義語リストの生成方法および生成装置、当該類義語リストを用いた検索方法および検索装置、ならびに、コンピュータプログラム
US9294474B1 (en) * 2012-11-15 2016-03-22 Emc Corporation Verification based on input comprising captured images, captured audio and tracked eye movement
KR101414195B1 (ko) 2012-11-26 2014-07-01 네이버 주식회사 복수의 아이템들을 공간 내에 자동으로 배치하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN105247879B (zh) * 2013-05-30 2019-07-12 索尼公司 客户机设备、控制方法、系统和程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222156A (ja) 2001-01-29 2002-08-09 Yuhei Yamauchi 電子会議室用処理装置
JP2006146802A (ja) 2004-11-24 2006-06-08 Mitsubishi Electric Corp テキストマイニング装置およびテキストマイニング方法
JP2016062333A (ja) 2014-09-18 2016-04-25 株式会社日立製作所 検索サーバ、及び検索方法
WO2017038794A1 (ja) 2015-08-31 2017-03-09 株式会社 東芝 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム
JP2017112545A (ja) 2015-12-17 2017-06-22 株式会社イトーキ 会議支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中川 慶一郎 外,データサイエンティストの基礎知識,第1版,日本,株式会社リックテレコム,2014年10月29日,pp. 279--281

Also Published As

Publication number Publication date
US10902301B2 (en) 2021-01-26
JP2019139625A (ja) 2019-08-22
US20190251400A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
JP7098949B2 (ja) 情報処理装置及び情報処理プログラム
JP6023685B2 (ja) 感情情報表示制御装置、その方法及びプログラム
JP6467965B2 (ja) 感情推定装置及び感情推定方法
US8903176B2 (en) Systems and methods using observed emotional data
CN115668371A (zh) 对听觉和视觉会议数据分类以推断用户话语的重要性
KR20160011620A (ko) 상호 작용하는 합성 캐릭터 대화 시스템 및 방법
KR101870849B1 (ko) 정보 전송 방법 및 전송 장치
JP2018072876A (ja) 感情推定システム、感情推定モデル生成システム
US20180129647A1 (en) Systems and methods for dynamically collecting and evaluating potential imprecise characteristics for creating precise characteristics
JP2017123149A (ja) ユーザー状態検出による集団相互作用の方法及びシステム
CN107393529A (zh) 语音识别方法、装置、终端及计算机可读存储介质
US20150195378A1 (en) Information processing apparatus, server, information processing method, and information processing system
JP7323098B2 (ja) 対話支援装置、対話支援システム、及び対話支援プログラム
Ishii et al. Multimodal fusion using respiration and gaze for predicting next speaker in multi-party meetings
US20220417194A1 (en) Systems and methods for mitigating the spread of offensive content and/or behavior
JP2023103335A (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
Nakano et al. Generating robot gaze on the basis of participation roles and dominance estimation in multiparty interaction
CN107463684A (zh) 语音回复方法及装置、计算机装置和计算机可读存储介质
JP2018171683A (ja) ロボットの制御プログラム、ロボット装置、及びロボットの制御方法
Byun et al. Honest signals in video conferencing
JP7123856B2 (ja) プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置
US20230049015A1 (en) Selecting and Reporting Objects Based on Events
JP5840186B2 (ja) 感情検索装置、方法及びプログラム
KR20240036715A (ko) 메시징 시스템에서의 화제들의 진화
JP5909472B2 (ja) 共感解釈推定装置、方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R150 Certificate of patent or registration of utility model

Ref document number: 7098949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150