JP7284401B2 - 視線情報処理プログラム、情報処理装置および視線情報処理方法 - Google Patents
視線情報処理プログラム、情報処理装置および視線情報処理方法 Download PDFInfo
- Publication number
- JP7284401B2 JP7284401B2 JP2019166031A JP2019166031A JP7284401B2 JP 7284401 B2 JP7284401 B2 JP 7284401B2 JP 2019166031 A JP2019166031 A JP 2019166031A JP 2019166031 A JP2019166031 A JP 2019166031A JP 7284401 B2 JP7284401 B2 JP 7284401B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- line
- period
- sight
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Description
コンピュータは、ネットワークで接続された第1端末装置を用いる第1ユーザと第2端末装置を用いる第2ユーザとのビデオ通話の通話実施期間において、第1端末装置の第1表示部に表示される第2ユーザの顔が写った複数の第2ユーザ画像と、第1表示部に表示されるコンテンツとの第1表示部における画面内の表示領域を示すレイアウト情報と、第1ユーザの顔が写った複数の第1ユーザ画像から算出される、通話実施期間において第1ユーザが第1表示部に対して向けた視線を示す第1視線情報とに基づいて、第1ユーザによるコンテンツに関する説明が行われた第1期間と、第1ユーザと第2ユーザとでコンテンツの説明以外のコミュニケーションが行われた第2期間とを判定し、第1表示部に表示される複数の第2ユーザ画像に基づいて、通話実施期間において第2ユーザが向けた視線を示す第2視線情報を算出し、第2視線情報に示される、第1期間と第2期間とにおける第2ユーザの視線の違いに基づいて、コンテンツと複数の第1ユーザ画像とが表示された第2端末装置の第2表示部における、複数の第1ユーザ画像の第2表示部の画面内の表示領域を推定し、推定された複数の第1ユーザ画像の表示領域と第2視線情報とに基づいて、通話実施期間において、第2ユーザが、第2端末装置の第2表示部に表示される複数の第1ユーザ画像を見ているか否かを推定する。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。
次に第2の実施の形態について説明する。第2の実施の形態は、ビデオ通話による遠隔カウンセリングにおいて、カウンセリングの対象であるクライアントがカウンセラの動画を見ているか否かをリアルタイムで推定するものである。なお、以下の説明では、視線が向けられた位置を、単に視線と呼ぶこともある。
第2の実施の形態の遠隔カウンセリングでは、カウンセラ端末100およびクライアント端末200は、ビデオ通話アプリケーションを実行する。ビデオ通話アプリケーションは、相手方の動画をリアルタイムでモニタに表示する。つまりカウンセラ21とクライアント22は、カウンセラ端末100およびクライアント端末200を介したビデオ通話でコミュニケーションを行う。このときカウンセラ21は、話題に応じて、モニタに表示された資料を用いた説明をクライアント22にすることがある。以下では図4,5を参照して、モニタの表示とカウンセラ21およびクライアント22の視線の傾向とについて説明する。
視線増加領域43は、カウンセラ21による資料説明が行われている期間(資料説明期間)にカウンセラ21が視線を向ける頻度が高頻度となる領域である。視線増加領域43には、モニタ31の画面上で説明資料42が表示された領域が含まれる。これは、資料説明期間にカウンセラ21が、説明資料42を見ながらクライアント22と話をするためである。
視線増加領域63は、資料説明期間にクライアント22が視線を向ける頻度が高頻度となる領域である。視線増加領域63には、モニタ51の画面上で説明資料62が表示された領域が含まれる。これは、資料説明期間にクライアント22が、説明資料62を見ながらカウンセラ21と話をするためである。
上記のように、カウンセラ21およびクライアント22の視線の傾向は、資料説明期間と自由会話期間とで異なる。この傾向の違いに基づいて、カウンセラ端末100は、モニタ51のレイアウト情報なしに、クライアント22がカウンセラ動画61を見ているか否かを推定する。まずカウンセラ端末100は、カウンセラ21の視線とモニタ31のレイアウトとに基づいて、資料説明期間と自由会話期間とを特定する。例えばカウンセラ端末100は、カウンセラ21の視線が説明資料42の表示領域周辺で停留している割合が高い期間を、資料説明期間と判定する。またカウンセラ端末100は、カウンセラ21の視線がクライアント動画41の表示領域周辺で停留するか、またはカメラ32を向いている割合が高い期間を、自由会話期間と判定する。
図6は、カウンセラ端末の機能を示すブロック図である。カウンセラ端末100は、記憶部120、レイアウト取得部130、画像取得部140、視線座標算出部150、顔向き算出部160、カウンセラ動画位置推定部170、視線推定部180および推定結果表示部190を有する。
図9は、視線推定結果テーブルの一例を示す図である。視線推定結果テーブル126には、時刻に対応付けて、視線推定結果および関心度が設定されている。時刻は、例えば視線推定が開始してからの時間で表される。
図10は、カウンセラ動画位置推定の手順の一例を示すフローチャートである。以下、図10に示す処理をステップ番号に沿って説明する。
図11は、期間判定の手順の一例を示すフローチャートである。以下、図11に示す処理をステップ番号に沿って説明する。
[ステップS112]期間判定部171は、視線座標算出部150に、カウンセラ画像121-1,121-2,121-3,・・・から、カウンセラ21の視線座標を算出させる。視線座標算出部150は、カウンセラ画像121-1,121-2,121-3,・・・が撮影された各時刻のカウンセラ21の視線座標を算出する。
[ステップS114]期間判定部171は、全単位期間から、判定対象単位期間を1つ選択する。
[ステップS120]期間判定部171は、全ての単位期間を判定対象単位期間として選択したか否かを判定する。期間判定部171は、全ての単位期間を判定対象単位期間として選択したと判定した場合、処理を終了する。また期間判定部171は、判定対象単位期間として選択していない単位期間が残っていると判定した場合、処理をステップS114に進める。
図12は、カウンセラ動画ビットマップ生成の手順の一例を示すフローチャートである。以下、図12に示す処理をステップ番号に沿って説明する。
[ステップS134]位置推定部172は、視線座標算出部150に、ステップS131で取得したクライアント画像から、クライアント22の視線座標を算出させる。視線座標算出部150は、資料説明期間の各時刻のクライアント22の視線座標を算出する。
図14は、視線推定の手順の一例を示すフローチャートである。以下、図14に示す処理をステップ番号に沿って説明する。
[ステップS204]視線推定部180は、ステップS203で算出されたクライアント22の視線座標が、カウンセラ動画ビットマップ125で「1」のビットに対応する領域内にあるか否かを判定する。視線推定部180は、視線座標がカウンセラ動画ビットマップ125で「1」のビットに対応する領域内にあると判定した場合、処理をステップS205に進める。また視線推定部180は、視線座標がカウンセラ動画ビットマップ125で「1」のビットに対応する領域内にないと判定した場合、処理をステップS206に進める。
[ステップS210]視線推定部180は、カウンセリングが終了したか否かを判定する。例えば視線推定部180は、カウンセラ端末100とクライアント端末200との間の通信が終了している場合、カウンセリングが終了したと判定する。視線推定部180は、カウンセリングが終了したと判定した場合、処理を終了する。また視線推定部180は、カウンセリングが終了していないと判定した場合、処理をステップS201に進める。
2a,2b 端末装置
3a,3b 表示部
4a,4b,4c,・・・,5a,5b,5c,・・・ ユーザ画像
6 レイアウト情報
7,8 視線情報
7a,7b,7c,・・・,8a,8b,8c,・・・ 視線座標
9 推定表示領域
10 情報処理装置
11 記憶部
12 処理部
Claims (7)
- コンピュータに、
ネットワークで接続された第1端末装置を用いる第1ユーザと第2端末装置を用いる第2ユーザとのビデオ通話の通話実施期間において、前記第1端末装置の第1表示部に表示される前記第2ユーザの顔が写った複数の第2ユーザ画像と、前記第1表示部に表示されるコンテンツとの前記第1表示部における画面内の表示領域を示すレイアウト情報と、前記第1ユーザの顔が写った複数の第1ユーザ画像から算出される、前記通話実施期間において前記第1ユーザが前記第1表示部に対して向けた視線を示す第1視線情報とに基づいて、前記第1ユーザによる前記コンテンツに関する説明が行われた第1期間と、前記第1ユーザと前記第2ユーザとで前記コンテンツの説明以外のコミュニケーションが行われた第2期間とを判定し、
前記第1表示部に表示される前記複数の第2ユーザ画像に基づいて、前記通話実施期間において前記第2ユーザが向けた視線を示す第2視線情報を算出し、
前記第2視線情報に示される、前記第1期間と前記第2期間とにおける前記第2ユーザの視線の違いに基づいて、前記コンテンツと前記複数の第1ユーザ画像とが表示された前記第2端末装置の第2表示部における、前記複数の第1ユーザ画像の第2表示部の画面内の表示領域を推定し、
推定された前記複数の第1ユーザ画像の表示領域と前記第2視線情報とに基づいて、前記通話実施期間において、前記第2ユーザが、前記第2端末装置の第2表示部に表示される前記複数の第1ユーザ画像を見ているか否かを推定する、
処理を実行させる視線情報処理プログラム。 - 前記複数の第1ユーザ画像の表示領域の推定では、
前記第2表示部の画面を分割して得られる単位領域ごとに、前記第1期間内において、前記第2ユーザの視線が前記単位領域に向けられた回数を示す第1回数を集計し、
前記単位領域ごとに、前記第2期間内において、前記第2ユーザの視線が前記単位領域に向けられた回数を示す第2回数を集計し、
単位時間あたりの前記第2回数から前記単位時間あたりの前記第1回数を減算した値が所定値以上となる前記単位領域の集合を、前記複数の第1ユーザ画像の表示領域と推定する、
請求項1記載の視線情報処理プログラム。 - 前記コンピュータに、さらに、
前記複数の第2ユーザ画像から、前記通話実施期間における前記第2ユーザの顔向きを示す値を算出し、
前記第1期間における前記顔向きを示す値の平均値を算出する、
処理を実行させ、
前記複数の第1ユーザ画像の表示領域の推定では、前記第2期間内の前記第2ユーザの顔が写った所定の第2ユーザ画像から算出される前記顔向きを示す値と前記平均値との差の絶対値が閾値以上である場合、前記所定の第2ユーザ画像から算出される前記第2ユーザの視線を集計対象から除外する、
請求項2記載の視線情報処理プログラム。 - 前記第1期間と前記第2期間との判定では、前記通話実施期間を分割して得られる複数の単位期間のうちの判定対象単位期間内の前記第1ユーザの視線のうち、前記コンテンツの表示領域に向けられた視線の割合が所定値以上の場合、前記判定対象単位期間を前記第1期間と判定する、
請求項1ないし3のいずれかに記載の視線情報処理プログラム。 - 前記第1期間と前記第2期間との判定では、前記通話実施期間を分割して得られる複数の単位期間のうちの判定対象単位期間内の前記第1ユーザの視線のうち、前記複数の第2ユーザ画像の表示領域または前記第1ユーザを撮影するカメラの設置領域に向けられた視線の割合が所定値未満の場合、前記判定対象単位期間を前記第1期間と判定する、
請求項1ないし3のいずれかに記載の視線情報処理プログラム。 - ネットワークで接続された第1端末装置を用いる第1ユーザと第2端末装置を用いる第2ユーザとのビデオ通話の通話実施期間において、前記第2端末装置の第2表示部に表示される前記第1ユーザの顔が写った複数の第1ユーザ画像と、前記通話実施期間において、前記第1端末装置の第1表示部に表示される前記第2ユーザの顔が写った複数の第2ユーザ画像と、前記複数の第2ユーザ画像と前記第1表示部に表示されるコンテンツとの前記第1表示部における画面内の表示領域を示すレイアウト情報とを記憶する記憶部と、
前記レイアウト情報と、前記複数の第1ユーザ画像から算出される、前記通話実施期間において前記第1ユーザが前記第1表示部に対して向けた視線を示す第1視線情報とに基づいて、前記第1ユーザによる前記コンテンツに関する説明が行われた第1期間と、前記第1ユーザと前記第2ユーザとで前記コンテンツの説明以外のコミュニケーションが行われた第2期間とを判定し、前記複数の第2ユーザ画像に基づいて、前記通話実施期間において前記第2ユーザが向けた視線を示す第2視線情報を算出し、前記第2視線情報に示される、前記第1期間と前記第2期間とにおける前記第2ユーザの視線の違いに基づいて、前記コンテンツと前記複数の第1ユーザ画像とが表示された前記第2端末装置の第2表示部における、前記複数の第1ユーザ画像の第2表示部の画面内の表示領域を推定し、推定された前記複数の第1ユーザ画像の表示領域と前記第2視線情報とに基づいて、前記通話実施期間において、前記第2ユーザが、前記第2端末装置の第2表示部に表示される前記複数の第1ユーザ画像を見ているか否かを推定する処理部と、
を有する情報処理装置。 - コンピュータが、
ネットワークで接続された第1端末装置を用いる第1ユーザと第2端末装置を用いる第2ユーザとのビデオ通話の通話実施期間において、前記第1端末装置の第1表示部に表示される前記第2ユーザの顔が写った複数の第2ユーザ画像と、前記第1表示部に表示されるコンテンツとの前記第1表示部における画面内の表示領域を示すレイアウト情報と、前記第1ユーザの顔が写った複数の第1ユーザ画像から算出される、前記通話実施期間において前記第1ユーザが前記第1表示部に対して向けた視線を示す第1視線情報とに基づいて、前記第1ユーザによる前記コンテンツに関する説明が行われた第1期間と、前記第1ユーザと前記第2ユーザとで前記コンテンツの説明以外のコミュニケーションが行われた第2期間とを判定し、
前記第1表示部に表示される前記複数の第2ユーザ画像に基づいて、前記通話実施期間において前記第2ユーザが向けた視線を示す第2視線情報を算出し、
前記第2視線情報に示される、前記第1期間と前記第2期間とにおける前記第2ユーザの視線の違いに基づいて、前記コンテンツと前記複数の第1ユーザ画像とが表示された前記第2端末装置の第2表示部における、前記複数の第1ユーザ画像の第2表示部の画面内の表示領域を推定し、
推定された前記複数の第1ユーザ画像の表示領域と前記第2視線情報とに基づいて、前記通話実施期間において、前記第2ユーザが、前記第2端末装置の第2表示部に表示される前記複数の第1ユーザ画像を見ているか否かを推定する、
視線情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166031A JP7284401B2 (ja) | 2019-09-12 | 2019-09-12 | 視線情報処理プログラム、情報処理装置および視線情報処理方法 |
US17/015,777 US11468657B2 (en) | 2019-09-12 | 2020-09-09 | Storage medium, information processing apparatus, and line-of-sight information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166031A JP7284401B2 (ja) | 2019-09-12 | 2019-09-12 | 視線情報処理プログラム、情報処理装置および視線情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021044723A JP2021044723A (ja) | 2021-03-18 |
JP7284401B2 true JP7284401B2 (ja) | 2023-05-31 |
Family
ID=74862592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019166031A Active JP7284401B2 (ja) | 2019-09-12 | 2019-09-12 | 視線情報処理プログラム、情報処理装置および視線情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11468657B2 (ja) |
JP (1) | JP7284401B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009147792A (ja) | 2007-12-17 | 2009-07-02 | Nec Corp | 画像付通信装置、画像付通信表示方法、プログラムおよび画像付通信システム |
JP2011097531A (ja) | 2009-11-02 | 2011-05-12 | Advanced Telecommunication Research Institute International | 傾聴対話持続システム |
JP2013046319A (ja) | 2011-08-26 | 2013-03-04 | Hitachi Consumer Electronics Co Ltd | 画像処理装置及び、画像処理方法 |
JP2014090230A (ja) | 2012-10-29 | 2014-05-15 | Kyocera Corp | テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法 |
JP2016140720A (ja) | 2015-02-05 | 2016-08-08 | 株式会社リコー | 通信端末、面談システム、表示方法及びプログラム |
JP2016163166A (ja) | 2015-03-02 | 2016-09-05 | 株式会社リコー | 通信端末、面談システム、表示方法及びプログラム |
US20160378183A1 (en) | 2015-06-26 | 2016-12-29 | Samsung Electronics Co., Ltd. | Display apparatus and image correction method thereof |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4168980B2 (ja) | 2003-08-22 | 2008-10-22 | セイコーエプソン株式会社 | 要素レイアウト装置および要素レイアウトプログラム、並びに要素レイアウト方法 |
JP2015219892A (ja) | 2014-05-21 | 2015-12-07 | 大日本印刷株式会社 | 視線分析システムおよび視線分析装置 |
JP6433209B2 (ja) | 2014-09-18 | 2018-12-05 | 大和ハウス工業株式会社 | 対話用通信システム及び対話用通信方法 |
US20210405865A1 (en) * | 2020-06-26 | 2021-12-30 | Microsoft Technology Licensing, Llc | Dynamic positioning of content views based on a camera position relative to a display screen |
-
2019
- 2019-09-12 JP JP2019166031A patent/JP7284401B2/ja active Active
-
2020
- 2020-09-09 US US17/015,777 patent/US11468657B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009147792A (ja) | 2007-12-17 | 2009-07-02 | Nec Corp | 画像付通信装置、画像付通信表示方法、プログラムおよび画像付通信システム |
JP2011097531A (ja) | 2009-11-02 | 2011-05-12 | Advanced Telecommunication Research Institute International | 傾聴対話持続システム |
JP2013046319A (ja) | 2011-08-26 | 2013-03-04 | Hitachi Consumer Electronics Co Ltd | 画像処理装置及び、画像処理方法 |
JP2014090230A (ja) | 2012-10-29 | 2014-05-15 | Kyocera Corp | テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法 |
JP2016140720A (ja) | 2015-02-05 | 2016-08-08 | 株式会社リコー | 通信端末、面談システム、表示方法及びプログラム |
JP2016163166A (ja) | 2015-03-02 | 2016-09-05 | 株式会社リコー | 通信端末、面談システム、表示方法及びプログラム |
US20160378183A1 (en) | 2015-06-26 | 2016-12-29 | Samsung Electronics Co., Ltd. | Display apparatus and image correction method thereof |
Also Published As
Publication number | Publication date |
---|---|
US11468657B2 (en) | 2022-10-11 |
US20210081697A1 (en) | 2021-03-18 |
JP2021044723A (ja) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10586395B2 (en) | Remote object detection and local tracking using visual odometry | |
CN109891189B (zh) | 策划的摄影测量 | |
RU2607774C2 (ru) | Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных | |
US10235574B2 (en) | Image-capturing device, recording device, and video output control device | |
US20130135295A1 (en) | Method and system for a augmented reality | |
US9875408B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
JP2007310454A (ja) | 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム | |
CN109154862B (zh) | 用于处理虚拟现实内容的装置、方法和计算机可读介质 | |
EP2798853A1 (en) | Interactive media systems | |
JP6867056B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2009277097A (ja) | 情報処理装置 | |
KR20180074180A (ko) | 가상현실 영상에 대한 정보를 제공하는 장치 및 방법 | |
JP2012123513A (ja) | 情報処理装置、および情報処理システム | |
JP2017162103A (ja) | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム | |
US9619707B2 (en) | Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium | |
JP5489197B2 (ja) | 電子広告装置・方法及びプログラム | |
JP2008288707A (ja) | 監視装置 | |
JP6214334B2 (ja) | 電子機器、判定方法及びプログラム | |
JP7284401B2 (ja) | 視線情報処理プログラム、情報処理装置および視線情報処理方法 | |
US10057321B2 (en) | Image management apparatus and control method capable of automatically creating comment data relevant to an image | |
CN109218620B (zh) | 基于环境亮度的拍照方法、装置、存储介质及移动终端 | |
US20220189200A1 (en) | Information processing system and information processing method | |
JPWO2018179119A1 (ja) | 映像解析装置、映像解析方法およびプログラム | |
CN109040604B (zh) | 拍摄图像的处理方法、装置、存储介质及移动终端 | |
US9483125B2 (en) | Position information obtaining device and method, and image display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220609 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230412 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7284401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |