JP7465012B2 - ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム - Google Patents
ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム Download PDFInfo
- Publication number
- JP7465012B2 JP7465012B2 JP2022517944A JP2022517944A JP7465012B2 JP 7465012 B2 JP7465012 B2 JP 7465012B2 JP 2022517944 A JP2022517944 A JP 2022517944A JP 2022517944 A JP2022517944 A JP 2022517944A JP 7465012 B2 JP7465012 B2 JP 7465012B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- analysis
- unit
- subject
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title description 54
- 230000008451 emotion Effects 0.000 claims description 57
- 238000004458 analytical method Methods 0.000 description 84
- 238000006243 chemical reaction Methods 0.000 description 71
- 230000008859 change Effects 0.000 description 57
- 230000001815 facial effect Effects 0.000 description 33
- 230000008512 biological response Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000008921 facial expression Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 6
- 230000006397 emotional response Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000027534 Emotional disease Diseases 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
少なくとも第1カメラ部及び第1表示部を有する第1ユーザ端末と、
少なくとも第2カメラ部及び第2表示部を有する第2ユーザ端末と、
少なくとも前記第1ユーザ端末と前記第2ユーザ端末とにビデオミーティングを提供すると共に少なくとも前記第1カメラ部又は前記第2カメラ部で取得した動画像を記憶するビデオミーティングサービス端末と、を含むビデオミーティングシステムであって、
前記第1ユーザ端末は、前記第2ユーザ端末との前記ビデオミーティングから取得される少なくとも動画像を表示する表示手段を備えており、
前記第2ユーザ端末は、
前記第2カメラの前記動画像を取得する取得手段と、
当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別する識別手段と、
識別した前記顔画像に関する顔情報を前記第1ユーザ端末に提供する提供手段を備える、
ビデオミーティング評価端末が得られる。
[項目1]
少なくとも第1カメラ部及び第1表示部を有する第1ユーザ端末と、
少なくとも第2カメラ部及び第2表示部を有する第2ユーザ端末と、
少なくとも前記第1ユーザ端末と前記第2ユーザ端末とにビデオミーティングを提供すると共に少なくとも前記第1カメラ部又は前記第2カメラ部で取得した動画像を記憶するビデオミーティングサービス端末と、を含むビデオミーティングシステムであって、
前記第1ユーザ端末は、前記第2ユーザ端末との前記ビデオミーティングから取得される少なくとも動画像を表示する表示手段を備えており、
前記第2ユーザ端末は、
前記第2カメラの前記動画像を取得する取得手段と、
当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別する識別手段と、
識別した前記顔画像に関する顔情報を前記第1ユーザ端末に提供する提供手段を備える、
ビデオミーティングシステム。
[項目2]
項目1に記載のビデオミーティングシステムであって、
前記第2ユーザ端末は、識別した前記顔画像に基づいて、感情に関する評価値を算出する評価手段を更に備え、
前記提供手段は、第2カメラから得られる顔に関する情報としては、前記評価値のみを前記第1ユーザ端末に提供する、
ビデオミーティングシステム。
[項目3]
項目1又は項目2に記載のビデオミーティングシステムであって、
前記顔情報は、第2カメラで取得されたユーザの顔の有無に関する情報を含む、
ビデオミーティングシステム。
[項目4]
項目1乃至項目3に記載のビデオミーティングシステムであって、
前記顔情報は、第2カメラで取得されたユーザの顔の向きに関する情報を含む、
ビデオミーティングシステム。
[項目5]
項目1又は項目2に記載のビデオミーティングシステムであって、
前記顔情報は、第2カメラで取得されたユーザの感情に基づいて生成されたオブジェクトに関する情報を含む、
ビデオミーティングシステム。
[項目6]
他のユーザ端末とビデオミーティングが可能なビデオミーティング端末であって、
カメラ部によって取得された自己の動画像を取得する取得手段と、
当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別する識別手段と、
識別した前記顔画像に関する顔情報を前記他のユーザ端末に提供する提供手段を備える、
ビデオミーティング端末。
[項目7]
他のユーザ端末とビデオミーティングが可能なビデオミーティング端末を、
カメラ部によって取得された自己の動画像を取得する取得手段、
当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別する識別手段、
識別した前記顔画像に関する顔情報を前記他のユーザ端末に提供する提供手段として機能させる、
ビデオミーティングプログラム。
[項目8]
他のユーザ端末とビデオミーティングが可能なビデオミーティング端末を利用したビデオミーティング方法であって、
カメラ部によって取得された自己の動画像を取得する取得ステップと、
当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別する識別ステップと、
識別した前記顔画像に関する顔情報を前記他のユーザ端末に提供する提供ステップを含む、
ビデオミーティング方法。
本実施形態のビデオミーティング評価システム(以下、単に「本システム」という場合がある)は、複数人でビデオミーティング(以下、一方向及び双方向含めてオンラインセッションという)が行われる環境において、当該複数人の中の解析対象者について他者とは異なる特異的な感情(自分または他人の言動に対して起こる気持ち。快・不快またはその程度など)を解析し評価するシステムである。
図2は、本実施形態に係る各端末10乃至40を実現するコンピュータのハードウェア構成例を示す図である。コンピュータは、少なくとも、制御部110、メモリ120、ストレージ130、通信部140および入出力部150等を備える。これらはバス160を通じて相互に電気的に接続される。
<動画の取得方法>
図3に示されるように、ビデオミーティングサービス端末が提供するビデオミーティングサービス(以下、単に「本サービス」と言うことがある」)は、ユーザ端末10、20に対して双方向に画像および音声によって通信が可能となるものである。本サービスは、ユーザ端末のディスプレイに相手のユーザ端末のカメラ部で取得した動画像を表示し、相手のユーザ端末のマイク部で取得した音声をスピーカーから出力可能となっている。
図6乃至図8を参照して、上述した構成に基づく本システムの第1の実施の形態を説明する。本実施の形態においては、動画像内に含まれる対象者の顔画像を所定のフレーム単位ごとに認識するとともに、対象者の音声を認識する。認識は複数の対象者に対して行うこととしてもよい。
図9及び図10を参照して本発明の第2の実施の形態を説明する。図に示されるように本実施の形態による画面には、検索ワードを受け付ける検索ワードボックスが表示されている。検索ワードボックスにワードが入力されると(例えば、「塩基」と入力されると)入力された検索ワードに対応する音声が含まれる動画像内の所定範囲が抽出され表示される。
図11を参照して本発明の第3の実施の形態によるシステムを説明する。本実施の形態においては、特に、相手側がカメラをOFF(カメラから得られた視覚的な情報が提供されない状態)にした際であっても、他方に対して、当該ユーザがカメラの範囲内(即ち、コンピュータの正面)に存在していることやその時の表情を提供することが可能になる。
図12を参照して本発明の第4の実施の形態によるシステムを説明する。本実施の形態においては、動画像から取得されたテキスト情報に感情に関する情報を付加するものである。
図13を参照して本発明の第5の実施の形態によるシステムを説明する。本実施の形態においては、動画像から取得された複数の観点による分析評価情報それぞれの間における矛盾(評価値の乖離)によって、潜在的な感情の分析を行うものである。
図14を参照して本発明の第6の実施の形態によるシステムを説明する。本実施の形態においては、同時に参加している多数のユーザによる動画像から分析評価された評価値を当該動画像のそれぞれに関連付けて表示する。これにより、参加者全体の状態が、ヒートマップのように一括して理解できるようになる。
再度図4を参照して、本発明の第7の実施の形態を説明する。本実施の形態においては、上述した特異判定部13によって、判定された同一のユーザについて以前とは異なる特異的な反応を解析した場合に所定の端末(画面等)にアラートを出す通知手段を備えている。
本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報共有支援装置10の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することが可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
30 ビデオミーティングサービス端末
40 評価端末
Claims (1)
- 少なくとも第1カメラ部及び第1表示部を有する第1ユーザ端末と、
少なくとも第2カメラ部及び第2表示部を有する第2ユーザ端末と、
少なくとも前記第1ユーザ端末と前記第2ユーザ端末とにビデオミーティングを提供すると共に少なくとも前記第1カメラ部又は前記第2カメラ部で取得した動画像を記憶するビデオミーティングサービス端末と、を含むビデオミーティングシステムであって、
前記第1ユーザ端末は、前記第2ユーザ端末との前記ビデオミーティングから取得される少なくとも動画像を表示する表示手段を備えており、
前記第2ユーザ端末は、
前記第2カメラの前記動画像を取得する取得手段と、
当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別する識別手段と、
識別した前記顔画像に関する顔情報を前記第1ユーザ端末に提供する提供手段を備え、
前記提供手段は、前記第2ユーザが前記第2カメラをOFFにした場合、少なくとも、前記第2カメラにおける前記第2ユーザの顔の有無に関する情報、前記第2ユーザの顔の向きに関する情報、又は、前記第2ユーザの感情に基づいて生成されたオブジェクトのいずれかを前記顔情報として提供する、
ビデオミーティングシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/049295 WO2022145040A1 (ja) | 2020-12-31 | 2020-12-31 | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022145040A1 JPWO2022145040A1 (ja) | 2022-07-07 |
JPWO2022145040A5 JPWO2022145040A5 (ja) | 2024-01-11 |
JP7465012B2 true JP7465012B2 (ja) | 2024-04-10 |
Family
ID=82259229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022517944A Active JP7465012B2 (ja) | 2020-12-31 | 2020-12-31 | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7465012B2 (ja) |
WO (1) | WO2022145040A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020525946A (ja) | 2017-07-05 | 2020-08-27 | フランシスカ ジョーンズ,マリア | 仮想会議の参加者の反応を示す方法及びシステム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4534470B2 (ja) * | 2003-12-02 | 2010-09-01 | 日本電気株式会社 | 仮想会話システム |
JP5940944B2 (ja) * | 2012-09-14 | 2016-06-29 | 日本電信電話株式会社 | 視聴状況判定装置、識別器構築装置、視聴状況判定方法、識別器構築方法およびプログラム |
-
2020
- 2020-12-31 JP JP2022517944A patent/JP7465012B2/ja active Active
- 2020-12-31 WO PCT/JP2020/049295 patent/WO2022145040A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020525946A (ja) | 2017-07-05 | 2020-08-27 | フランシスカ ジョーンズ,マリア | 仮想会議の参加者の反応を示す方法及びシステム |
Also Published As
Publication number | Publication date |
---|---|
WO2022145040A1 (ja) | 2022-07-07 |
JPWO2022145040A1 (ja) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022064621A1 (ja) | ビデオミーティング評価システム及びビデオミーティング評価サーバ | |
JP7465012B2 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
JP7465013B2 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
JP7471683B2 (ja) | 反応通知システム | |
JP7477909B2 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
WO2022145043A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
JP7445331B2 (ja) | ビデオミーティング評価端末及びビデオミーティング評価方法 | |
WO2022145038A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
WO2022145039A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
WO2022145041A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
WO2022074785A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
WO2022064620A1 (ja) | ビデオミーティング評価システム及びビデオミーティング評価サーバ | |
WO2023032058A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022064617A1 (ja) | ビデオミーティング評価システム及びビデオミーティング評価サーバ | |
JP7100938B1 (ja) | 動画像分析プログラム | |
WO2022064619A1 (ja) | ビデオミーティング評価システム及びビデオミーティング評価サーバ | |
JP7388768B2 (ja) | 動画像分析プログラム | |
JP7138998B1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022064618A1 (ja) | ビデオミーティング評価システム及びビデオミーティング評価サーバ | |
JP7197955B1 (ja) | ビデオミーティング評価端末 | |
JP7145556B1 (ja) | 動画像分析システム | |
JP7121433B1 (ja) | 動画像分析プログラム | |
JP7121439B1 (ja) | 動画像分析システム | |
JP7121436B1 (ja) | 動画像分析プログラム | |
US11935329B2 (en) | Video analysis program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231227 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7465012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |