JP6642191B2 - ビデオ会議を制御する方法、システム、及びプログラム - Google Patents

ビデオ会議を制御する方法、システム、及びプログラム Download PDF

Info

Publication number
JP6642191B2
JP6642191B2 JP2016065159A JP2016065159A JP6642191B2 JP 6642191 B2 JP6642191 B2 JP 6642191B2 JP 2016065159 A JP2016065159 A JP 2016065159A JP 2016065159 A JP2016065159 A JP 2016065159A JP 6642191 B2 JP6642191 B2 JP 6642191B2
Authority
JP
Japan
Prior art keywords
camera
video conference
user
video
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016065159A
Other languages
English (en)
Other versions
JP2017108366A (ja
Inventor
ダニエル アブラハミ
ダニエル アブラハミ
メロー ジェニファー
メロー ジェニファー
ヴァン エフェルディンゲン エヴェリン
ヴァン エフェルディンゲン エヴェリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2017108366A publication Critical patent/JP2017108366A/ja
Application granted granted Critical
Publication of JP6642191B2 publication Critical patent/JP6642191B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ビデオ会議を制御する方法、システム、及びプログラムに関する。
一人もしくは複数のユーザは他のユーザから離隔した位置からビデオ会議に参加する可能性がある。ビデオ会議の間、ユーザは、通知、通信を受け取り、他の情報への即時アクセスを行うことができる。したがって、ユーザは、ビデオ会議の間、マルチタスクを行うことを所望する可能性がある。例えば、ビデオ会議に参加するユーザは、他の表示装置または他のデバイス(例えば、モバイルフォン)で受信した通知または通信に基づいて、自身の注意を、ビデオ会議に関連するカメラ及び表示装置から遠ざけてしまうことがある。
その際、他のユーザのビデオ会議間のマルチタスクの認識に対して、異なる計算処理構成がどのように影響するのか、に焦点が当てられている。詳細には、シングルディスプレイ構成、またはデュアルディスプレイ構成によるビデオ会議に参加しているユーザの例について、マルチタスクが検討されている。
米国特許第6,680,745号明細書
「ポリコムイーグルアイプロデューサ(Polycom Eagle Eye Producer)」、[online]、2015年、[2016年2月24日検索]、インターネット(URL:http://www.polycom.com/products-services/hd-telepresence-video-conferencing/realpresence-accessories/eagleeye-producer.html) ギガー(Giger)ら、「シングルウェブカメラによる注視修正(Gaze Correction with a Single Webcam)」、マルチメディアに関するIEEE国際会議及び展示(IEEE International Conference on Multimedia & Expo)、2014年
図1は、デュアルディスプレイ構成でのマルチタスク挙動に関与するユーザの関連技術における表示を例示する。ユーザの注視(例えば、目の位置)及びユーザの頭部の姿勢はカメラに向かわず、ユーザの左側に向かっている(もしくは、観察している参加者の右側に向かっている)。マルチタスクが明らかになり、ユーザは、ビデオ会議に関与していないように見える。
マルチタスクが行われていることがあまり明らかとならず、ユーザがビデオ会議により関与しているように見えるように、マルチディスプレイユーザ環境におけるユーザのマルチタスクを補うことができるシステム及び方法の改善が望まれている。
第1の態様は、第1表示装置に接続された第1カメラによって撮影されるビデオ会議を制御する方法であって、プロセッサが、ユーザ環境において、前記第1カメラに対する顔の向きが、第2表示装置に接続されている第2カメラに対する顔の向きよりも正面から離れている場合、又は、前記第1カメラにおいて前記顔の向きが検出できない場合であって、前記第2表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、前記ビデオ会議を前記第2カメラに切り替える。
第2の態様は、第1の態様のビデオ会議制御方法であって、前記入出力イベントは、前記第2表示装置上でのカーソルアクティビティに関連するポインティングデバイスアクション及びキーボードアクションの少なくとも一方を含む。
第3の態様は、第2の態様のビデオ会議制御方法であって、前記アプリケーションイベントは、オンラインアプリケーションの機能が前記第2表示装置でアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第2カメラに切り替える。
第4の態様は、第1〜第3の何れかの態様のビデオ会議制御方法であって、前記ビデオ会議を前記第2カメラに切り替えることは、前記第2カメラに切り替えることを判定してから予め定めた第1期間が経過した後に、前記第1カメラから前記第2カメラに、前記ビデオ会議への入力信号を切り替え、前記第2カメラを介して、前記ビデオ会議に、ビデオを出力する、ことをさらに含む。
第5の態様は、第1〜第4の何れかの態様のビデオ会議制御方法であって、前記第2カメラに前記ビデオ会議を切り替えることは、前記第2カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第1カメラ及び第2カメラで実行されていない場合、前記第1カメラから前記第2カメラに、前記ビデオ会議への入力信号を切り替え、前記第2カメラを介して、前記ビデオ会議にビデオを出力する、ことをさらに含む。
第6の態様は、第1〜第5の何れかの態様のビデオ会議制御方法であって、前記第1カメラ及び前記第2カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的注釈の少なくとも一方を付されている。
第7の態様は、第6の態様のビデオ会議制御方法であって、前記肯定的注釈は前記第1カメラ及び前記第2カメラに関連付けられていない前記ユーザ環境の表示板に関連付けられており、前記否定的注釈は表示されるべきではない出入り口もしくは窓の領域、もしくは他のユーザと関連付けられている。
第8の態様は、第1〜第7の何れかの態様のビデオ会議制御方法であって、ユーザ環境において、前記第1カメラによって顔が検出されない場合に、前記第1カメラ及び前記第2カメラのオフディスプレイ環境のビデオを分析し、前記ビデオ会議で表示するフォーカス領域を検出することを更に含み、前記第2カメラが、前記第1カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第1カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第1カメラから前記第2カメラに切り替えるように制御することを含む。
第9の態様は、第1〜第8の何れかの態様のビデオ会議制御方法であって、予め定められた期間よりも短い期間、前記顔の向きが前記第1カメラで前記第2カメラよりも正面から離れている場合、もしくは、前記ビデオ分析及びフォーカス領域の検出が前記第2表示装置で発生した場合、前記第2カメラに前記ビデオ会議を切り替えない。
第10の態様はビデオ会議制御システムであって、ユーザ環境において、第1表示装置に接続されている第1カメラ及び第2表示装置に接続されている第2カメラと、前記第1カメラ及び前記第2カメラに隣接し、前記第1カメラ及び前記第2カメラに接続されていない少なくとも1つの物理的な表示面を有する、ユーザ環境と、プロセッサと、を含み、前記プロセッサは、(a)前記第1カメラに対する顔の向きが前記第2カメラに対する顔の向きよりも正面から離れている場合、もしくは、(b)前記第1カメラにおいて顔の向きが検出できない場合であって、前記第2表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、ビデオ会議を前記第2カメラに切り替える。
第11の態様は、第10の態様のビデオ会議制御システムであって、前記アプリケーションイベントは、前記プロセッサが、前記第2表示装置でオンラインアプリケーションの機能がアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第2カメラに切り替える、ことを含む。
第12の態様は、第10の態様のビデオ会議制御システムであって、前記プロセッサは、前記第2カメラに切り替えることを判定し、前記第2カメラに切り替えることを判定してから予め定めた第1期間を経過した後に、もしくは、前記第2カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第1カメラ及び前記第2カメラで実行されていない場合、前記第1カメラから前記第2カメラに、前記ビデオ会議への入力信号を切り替え、前記第2カメラを介して、前記ビデオ会議に、ビデオを出力する、ことにより、前記第2カメラに前記ビデオ会議を切り替える。
第13の態様は、第10〜第12の何れかの態様のビデオ会議制御システムであって、前記第1カメラ及び前記第2カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的な注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的な注釈、の少なくとも一方を付されている。
第14の態様は、第10〜第13の何れかの態様のビデオ会議制御システムであって、ユーザ環境において、前記第1カメラによって顔が検出されない場合に、前記第1カメラ及び前記第2カメラのオフディスプレイ環境のビデオを分析し、前記ビデオ会議で表示するフォーカス領域を検出する、ことを更に含み、前記第2カメラが、前記第1カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第1カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第1カメラから前記第2カメラに切り替えるように制御することを含む。
第15の態様は、ビデオ会議を入力及び表示する処理をプロセッサに実行させるためのプログラムであって、ユーザ環境において、第1カメラに対する顔の向きが、第2表示装置に接続されている第2カメラに対する顔の向きよりも正面から離れている場合、又は、
前記第1カメラにおいて前記顔の向きが検出できない場合であって、前記第2表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、前記ビデオ会議を前記第2カメラに切り替える。
第16の態様は、第15の態様のプログラムであって、前記アプリケーションイベントは、オンラインアプリケーションの機能が前記第2表示装置でアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第2カメラに切り替える、ことを含む。
第17の態様は、第15の態様のプログラムであって、前記第2カメラに前記ビデオ会議を切り替えることは、前記第2カメラに切り替えることを判定してから予め定めた第1期間が経過した後に、もしくは、前記第2カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第1カメラ及び前記第2カメラで実行されていない場合、前記第1カメラから前記第2カメラに、前記ビデオ会議への入力信号を切り替え、
前記第2カメラを介して、前記ビデオ会議にビデオを出力する、ことを、さらに含む。
第18の態様は、第15〜第17の何れかの態様のプログラムであって、前記第1カメラ及び前記第2カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的な注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的な注釈、の少なくとも一方を付されている。
第19の態様は、第15〜第18の何れかの態様のプログラムであって、ユーザ環境において、前記第1カメラによって顔が検出されない場合に、前記第1カメラ及び前記第2カメラのオフディスプレイ環境のビデオを分析し、前記ビデオ会議で表示するフォーカス領域を検出する、ことを更に含み、前記第2カメラが、前記第1カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第1カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第1カメラから前記第2カメラに切り替えるように制御することを含む。
マルチディスプレイユーザ環境におけるユーザのマルチタスクを補うことができる。
関連技術において、デュアルディスプレイ構成でのマルチタスク振る舞いに関与しているユーザを例示する。 例示的な実装において、デュアルディスプレイ構成で、ビデオ会議と、マルチタスク振る舞いと、に関与しているユーザを例示する。 例示的な実装によるカメラ選択システムに関連するプロセスを例示する。 例示的な実装によるカメラ選択システムに関連するプロセスを例示する。 例示的な実装によるカメラ選択システムに関連するプロセスを例示する。 例示的な実装のいくつかに適した例示的な環境を示す。 例示的な実装のいくつかでの使用に適した例示的な計算処理装置を含む例示的な計算処理環境を示す。
本発明の概念の他の特徴及び効果は、以下の詳細な説明及び図面を参照することでより明らかとなる。
例示的な実装の構造及び動作は、以下の詳細な説明及び添付の図面を検討することで理解される。図面において、同様の構成要素は同様の参照符号を付されている。
以下の詳細な説明は、本開示の詳細な図及び実施例を含む。複数の図面にわたる冗長な構成要素の参照符号及び説明は、説明を簡潔にするために省略する。説明にわたって使用される用語は、例示であり、限定を意図していない。例えば、用語「自動的」は、全自動もしくは、実装のある態様にわたってユーザもしくはオペレータによる制御が関与する半自動の実装を含み、本開示の実装を実行する際に所望される実装に依存する。さらに、例示的な実装において、用語「表示装置」は、モニタ、ディスプレイ、表示画面、ビデオ出力、もしくは、ユーザに対して表示を行う他のよく知られたデバイスを含み、これらは、内部カメラもしくは外部カメラと関連付けられていてもよい。また、用語「マウス」は、マウス、トラックボール、タッチパッド、ポインタもしくは他のよく知られたデバイスなどを含んでいてもよい。
また、ここでは、ユーザ間のユーザインターフェイスの共有を含む遠隔ユーザ間のオンライン会議のコンテキストで実装例について説明するが、例示的な実装はこれに限定されない。
したがって、本発明の概念と関連する方法及びシステムの例示的な実装は、遠隔協働ミーティングにおけるマルチカメラユーザ環境に関連するアクティビティを検出し、検出したアクティビティに基づくアクションを判定することに関連する。詳細には、例示的な実装は、現在のカメラを維持するか、ユーザ環境の他のカメラに切り替えるかを判定するために、表示装置でのアクティビティ、表示装置以外でのアクティビティ、ユーザの頭部の姿勢を検出することを含むが、例示的な実装はこれらに限定されない。
例示的な実装の態様は、複数のカメラ(例えば、ウェブカメラ)間で表示を切り替えるための、視覚的な合図(例えば、顔検出及び姿勢推定)及び表示装置でのユーザのアクティビティ(例えば、キーボードイベント、ポインティングデバイスイベント、所定のカメラと関連するオンラインアプリケーションとのインタラクション)の使用に関連する。詳細には、例示的な実装はユーザの態様の組み込み(例えば、個々のウェブカメラ参加者)及びユーザの注意が向けられている位置を推定するための関連するアクティビティ、及びシームレスな表示装置エクスペリエンスを提供することに関連する。また、例示的な実装は、ユーザの構成及びユーザのカメラの視野内の他の領域の注釈を組み込むことに関連する。
同様に、本発明の概念は、ユーザの注視に関連する。ハードウェアについては、2つのカメラが、ユーザの注視に関する判定を行うために使用されてもよい。また、深度カメラが頭部の向きを判定するために使用されてもよい。カメラは、ユーザが実行し、表示装置上で観察され得るアクティビティを受信し、コンピュータベースイベントを撮影する機能を有する。どのカメラもユーザの顔を撮影していない場合(例えば、マーカボードへのユーザ書き込み、スケルトン追跡によるユーザ移動などの物理的なアクティビティ、もしくは近くを歩く人などを撮影していない場合)、他のアクションが採られてもよい。例えば、ビデオ会議の出力から歩いている人の画像を取り除くことによって、ビデオ会議が行われている部屋の近くを歩く人を表示することを避けることができる。
例示的な実装の態様は、オフィス環境に関連する。以下の開示において、オフィス環境について説明するが、例示的な実装の範囲はこれに限定されない。本発明の範囲から逸脱することなく、他の環境に置き替えられてもよい。例えば、マルチカメラビデオ会議が行われる他の環境が、住居(例えば、戸建て、もしくはアパートの部屋)、車両(自動車の助手席)などの、遠隔ビデオ会議が行われるプライベートな環境、及び、パブリックな環境(例えば、パブリックミーティング領域、レストラン、カフェ、公園など)を含んでもよい。
この例示的な実装が「顔」の検出もしくはその態様に関するのに対し、目、歯、頭部の形状もしくはビデオ会議に参加しているユーザを識別する他の特徴が「顔」の代わりに用いられてもよい。「顔」及び他の特徴は、頭部の姿勢に基づいて他のユーザによって観察され得るマルチタスクの程度を判定するために、ビデオ会議に関与しているカメラにユーザが向かっている程度を判定するために用いられてもよい。
例示的な実装によるオフィス環境において、複数の表示装置が提供される。したがって、複数のカメラが実装される(例えば、表示装置毎に1つのカメラが実装される)。例えば、ビルトインカメラを有する表示装置が用いられてもよいし、バス(例えば、ユニバーサルシリアルバス(USB)など)を介して接続された外部カメラを有する表示装置が用いられてもよい。さらに、ビデオ会議システムがソフトウェア(例えば、メモリに保存された命令を含む非一時的コンピュータ可読媒体)によって提供される。
メモリの命令(例えば、ソフトウェア)は第1カメラと第2カメラとを切り替えるように構成されている(例えば、第1表示装置のカメラと第2表示装置のカメラとを切り替えるように構成されている)。この切り替えにより、ビデオ会議を観察しているユーザにビデオ会議に関与している印象を与える。例えば、頭部の姿勢及び注視追跡が、ユーザに関連するオンディスプレイ及びオフディスプレイの双方でのアクティビティの理解と組み合わされて実装される。
図2は、マルチ表示装置環境においてビデオ会議に関与するユーザを例示する。ビデオ会議が第1表示装置に表示されている場合に、入力(例えば、ユーザに関連する頭部の姿勢、注視追跡及び/もしくはアクティビティ)に基づいて、第2表示装置の情報を見ることによって、ユーザがマルチタスクを行っている可能性があることが判定される。したがって、ビデオ会議のカメラは第1表示装置のカメラから第2表示装置のカメラに切り替えられる。したがって、ユーザはビデオ会議に関与しているように見える。
例示的な実装として、2つの表示装置が提供され、表示装置の各々が付着されたウェブカメラを(例えば、表示装置の上部に)有し、表示装置の各々は一般的にコンピュータに接続されている(例えば、通信可能に及び/もしくは電子的に、直接的にもしくは間接的に接続されている)。動作の間、ユーザは、ビデオ会議に参加することを選択する場合があり、この場合、ビデオ会議ソフトウェアを実行する。例示的な実装によれば、ビデオ会議ソフトウェアが実行されると、2つのカメラは稼動され(例えば、オンされ)、サーバ側のモジュールにビデオをストリーミングする。モジュールは、他のユーザに対してビデオ会議アプリケーションを介してビデオを送信するために2つのカメラのどちらが選択されたか判定する。
上記した例示的な実装は2つの表示装置に関連しているが、本開示はこれに限定されない。他の構成に置き替えられてもよい。例えば、例示的な実装は、ビデオ会議ソフトウェアアプリケーションに一般的に接続されている、ラップトップコンピュータ及びタブレットもしくはスマートフォンなどの複数のデバイスからカメラを用いてもよい。
上記モジュールはマルチタスクによる負の印象を低減するように、ビデオ会議に対するユーザを最適に撮影するカメラを(必要であれば、デバイスも)判定してもよい。カメラ判定に関する技術については、以下で詳細に説明する。
上記例示的な実装について、ソフトウェアモジュール(例えば、カメラを選択する命令を含む非一時的コンピュータ可読媒体)、ハードウェア(例えば、論理ゲート、回路チップ)もしくはソフトウェアモジュールとハードウェアとの組み合わせとして実装される、プロセスを提供する。以下の例示的な実装において、ソフトウェア、ハードウェアもしくはソフトウェア及びハードウェアの組み合わせで実装されてもよいカメラ選択のプロセスが開示される。
例示的な実装によれば、様々なタイプの入力から情報を受信し、選択されるカメラに関する判定を行うために受信した情報を処理する、カメラ選択プロセスが実装される。様々なタイプの入力については、図3A〜図3Cに例示し、以下で説明する。
様々な入力タイプ及び入力タイプの各々の入力、カメラ選択を判定するための入力情報を用いたプロセス、カメラ選択の判定に関する出力及びアクションを含む、カメラ選択システム300の例示的な実装を図3A〜図3Cに例示する。図3Aはシステム300の形態を提供する。また、図3B及び図3Cは、プロセスフローで以下に説明する例を示す。図3A〜図3Cの例示的なシステム及びプロセスを以下に開示する。
入力タイプは、注視及び頭部姿勢追跡手段301、オンディスプレイアクティビティ監視及び/もしくは分析手段303及びオフディスプレイアクティビティ監視及び/もしくは分析手段305を含む。これらの手段301、303、305の各々については、以下で詳細に説明する。しかしながら、この例示的な実装は、本発明の範囲から逸脱することなく追加的な他のもしくは異なる入力タイプを含んでもよい。
注視及び頭部姿勢追跡手段301はこの例示的な実装について入力タイプとして用いられてもよい。例えば、ユーザの顔に最も近い正面で撮影するカメラから受信したビデオが、ユーザが見ている印象と共にビデオ会議で遠隔の観察者に提供される。これは、図1と比較して、例えば、図2で、示されている。
詳細には、例示的な実装によれば、カメラ307、309、311の一つもしくは複数で顔検出が用いられてもよい。注視及び頭部姿勢追跡手段は、選択した表示装置(例えば、カメラに関連する表示装置)のフレームの各々について画像頭部情報を収集してもよい。3つのカメラが図3Aの例で開示されているが、本発明の概念はこの数に限定されない。より少ない数の、もしくはより多い数のカメラがよく知られた技術による顔検出に用いられてもよい。例えば、カメラ307、309、311の各々に顔検出が実装されてもよい。カメラ307、309、311は、第1表示装置に関連付けられている第1カメラ、第2表示装置に関連付けられている第2カメラ、及びモバイルデバイスカメラに関連付けられていてもよい。
図3A〜図3Cにおいて、動作319で、カメラ307、309、311によって、ユーザの顔が検出できるか否か判定する。判定が肯定された場合、処理は、以下で説明するように動作321〜325でカメラを切り替えるか否か判定する。カメラ307、309、311がユーザの顔を検出できない場合、以下で説明するように、オフディスプレイ監視及び/もしくは分析手段305の情報が用いられる。
動作321で、以下で説明するように、最適な正面撮影に関連するカメラを判定する。ビデオ会議で用いられている現在のカメラが最適な正面画像を撮影すると判定された場合、現在のカメラをビデオ会議で用いるカメラとして維持するように、動作327で推奨し、ビデオカメラは動作337でビデオを送信する。ビデオ会議で用いられていない他のカメラが最適な正面撮影画像を有すると判定された場合、動作325で、アクティビティが短期間変化に関連するか否か判定する(例えば、予測される短期間注視による現在のカメラへのユーザの目の迅速な戻りに関連するか否か判定する)。動作325において、変化が短期間ではないと判定された場合、動作329で、切り替えが推奨される。続いて、動作331で「イン」タイマー閾値がオプションで使用され、動作333で、「アウト」タイマー閾値がオプションで使用される。動作335のカメラの切り替えに続いて、動作337で、ビデオカメラがビデオを送信する。動作325で、変化が短期間であると判定された場合、動作327で、切り替えないことが推奨される。
詳細には、動作321は以下の環境の一つもしくは複数を含むことができる。カメラ307、309、311の内1つのカメラだけがユーザの顔を検出した場合、そのカメラに関連付けられている表示装置の方向に頭部が向いている頭部の姿勢であると推定される。ユーザの顔を検出したカメラが現在ビデオ会議に使用されているカメラでない場合、この入力はプロセスに提供され、以下で説明するように、カメラを切り替える判定が行われる。例えば、(頭部の側方もしくは後方など、頭部の顔のない領域と対向する)カメラ307がユーザの顔(頭部)を検出した場合、ユーザはカメラ307に対面していると看做される。
カメラ307が進行中のビデオ会議で使用されていないが、他のカメラの1つ(例えば、カメラ309)が現在ビデオ会議に使用されているカメラである場合、ビデオ会議の他の参加者はユーザの顔を見ていない状態であり、上記関連する印象(例えば、マルチタスクもしくは注意散漫によりユーザの非関与がより明らかであるような印象)を観察する可能性がある。このような状況に対処するために、ビデオ会議において、ユーザの顔正面が観察されるように、また、マルチタスクアクティビティに拘わらず、ユーザがよりビデオ会議に関与しているように見えるように、カメラ309からカメラ307にビデオ会議で使用されているカメラを切り替えるように、プロセスにおいて決定が行われる。切り替え決定及び切り替え実装については、以下でより詳細に説明する。
視界に複数の顔が存在することをカメラが判定した場合、カメラの切り替えは推奨されない。複数の顔はビデオ会議における複数の参加者の存在を表しているためである。しかしながら、以下で説明する代替的な実施形態によれば、ユーザがビデオ会議に他のユーザが加わることを期待しないミーティングについてはこのような構成を変更することができる。この代替的な実施形態によれば、(例えば、ユーザからの入力に関してビデオ会議における他のユーザの表示をブランクにするように、もしくは他のユーザの顔を隠すようにプロセスを適用することによって、)ユーザは他のユーザを見せることを避けることができる。
ユーザは、意図せず、ビデオ会議に加わるカメラに第2の顔が入り、ビデオ会議の他の観察者の注意がそれることを避けることができる。例えば、追加的な顔は、作業領域に存在する他のユーザ(例えば、同僚または協働作業者が存在する多くの机もしくはキュービクルが存在する部屋での会議の場合)、もしくはビデオ会議領域の背後を移動する他のユーザ(例えば、廊下もしくは部屋の反対側、もしくは窓の外を歩いている他のユーザ)の顔であり得る。
2つ以上のカメラが1つの顔を検出し、その顔が同じユーザの顔であることが判定された場合、姿勢推定プロセスが実行される。姿勢推定プロセスにおいて、表示装置の各々に向けられている顔との相対的な角度が比較される。比較の結果に応じて、ビデオ会議で現在使用されているカメラがユーザの正面に最も近い角度を有するカメラである場合、プロセスはカメラを切り替えない、という決定を行う。
ビデオ会議で現在使用されているカメラがユーザの正面に最も近い角度を有さないカメラである場合、プロセスは、正面に最も近い角度を有するカメラにカメラを切り替える決定を行う。さらに、以下に説明するように、オンディスプレイ入力監視及び/もしくは分析手段303が決定に関与してもよい。
何れのカメラも顔を検出しない場合、頭部姿勢追跡手段は適切なカメラについて決定を行うことができない。この場合、オフディスプレイ監視及び/もしくは分析手段305が以下に説明するように考慮される。
頭部姿勢追跡手段301が、単独で、最適な正面画像を決定できない場合(例えば、正面画像が不明瞭である場合)、動作323は、オンディスプレイアクティビティ監視及び/もしくは分析手段303を用いて、最近の関連イベントを受信したカメラに関連する表示装置を決定するように、実行されてもよい。現在のカメラが最近の関連イベントを受信したことが判定された場合、動作327で、現在使用されているカメラをビデオ会議で使用するカメラとして維持することが推奨され、動作337で、当該ビデオカメラはビデオを送信する。他のカメラに接続されている表示装置が最近の関連イベントを受信したことが判定された場合、動作325で、アクティビティが短期間の変化(例えば、以下で説明するような、アプリケーションの機能もしくはタイプによる、現在のカメラへのユーザの目の切迫した戻り、など)に関連するか否かについて判定される。
動作325で、変化が短期的な変化ではないと判定された場合、動作329で切り替えが推奨され、その後、動作331で「イン」タイマー閾値及び動作333で「アウト」タイマー閾値がオプションで使用され、カメラ切り替え動作335の後、動作337でビデオカメラがビデオを送信する。動作325で、変化が短期的な変化であると看做された場合、動作327で、切り替えないように推奨される。動作323及び動作325については、以下でより詳細に説明する。
より詳細には、動作323に関して、カメラに関連付けられている表示装置でユーザが実行している進行中の計算処理アクティビティとカメラとの相互関係に基づいて、ビデオ会議について推奨されるアクティブなカメラ(例えば、ユーザの画像及び/もしくはビデオを送受信するためにビデオ会議で現在使用されているカメラ)であるとして、当該カメラは判定されてもよい。オンディスプレイアクティビティタイプは、表示装置、他の関連する表示装置もしくはカメラに関連付けられている入出力デバイスの各々について用いられてもよい。
例えば、ユーザがポインティングデバイスイベント313と関連付けられているポインティングデバイスとインタラクションしている場合(例えば、移動、ポインティング、スクローリングしている場合)、もしくは、表示装置のウィンドウで、キーボードイベント315と関連付けられているキーボードを介してタイピングしている場合、この情報は推奨されるカメラを決定するために使用され得る。本発明の範囲から逸脱することなく、他の入出力デバイス(例えば、タッチスクリーン、マウスパッド、トラックボール、ポインタなど)と置き換えることができる。イベントに関連する信号は、ビルトインデバイスセンサ(例えば、ジャイロスコープ、慣性測定ユニット、タッチスクリーンなどを有するモバイルデバイス)によって受信されてもよい。
即ち、ユーザインタラクション(例えば、マウス、キーボードもしくは他の入出力デバイスなどのポインティングデバイスによる)が、ビデオ会議で現在使用されているカメラではないカメラと関連付けられている場合、入出力イベント及びデバイスと関連付けられている表示装置をユーザが能動的に見ている可能性が高い。したがって、表示装置に関連付けられているカメラに切り替えられるべきであることが判定され得る。
さらに、動作325に関して、ユーザが、現在ビデオ会議と関連付けられているカメラを有する表示装置とインタラクションしている場合、システムは、ユーザが現在インタラクションしている(おそらく見ている)アプリケーションイベント317に関連付けられているアプリケーションと関連付けられている情報も使用し得る。この情報はアプリケーションとのインタラクションをユーザが継続し、表示装置の部分を見る期間を推定するために使用される。推定された期間が閾値よりも短い場合、システムは、カメラの切り替えを避けるように決定を行う。
例えば、イベントが、ユーザインターフェイスを有するオンライン電子メールアプリケーションが、新しい電子メールが到着したことを示すことであり、ユーザが能動的に当該アプリケーションに関与している場合、着信電子メール報知機能が使用されていることが判定され得る。着信電子メール報知はユーザが見て、ユーザの注視がビデオ会議に迅速に戻される可能性があるアプリケーションの機能であると看做されるため、カメラは切り替えないように決定する。
しかしながら、ユーザが着信電子メールの報知をアクティベートし(例えば、クリックし)、電子メールを開いた場合、このタイプのイベントは、ユーザの時間をより多く必要とし、ユーザの注視はアプリケーション上に維持される可能性がより高いと看做される。したがって、プロセスは、アプリケーションに関連付けられている表示装置のカメラが現在使用されているカメラでない場合、当該カメラに切り替えるべきであることを判定する。
上記したオンライン電子メールアプリケーションの例は一つの例に過ぎず、ユーザがインタラクションする可能性がある他のアプリケーションと置き替えられてもよい。例えば、ブラウザ、ワードプロセッサ、スプレッドシート、プレゼンテーションもしくは設計ツールなどのアプリケーション、もしくは他のアプリケーションと置き替えられてもよい。
同様に、アプリケーションの機能もしくは特徴とユーザが当該アプリケーションにアクティブに関与する時間量とを関連付ける規則ベースが適用されてもよい。また、アプリケーションとのユーザインタラクションに基づいてカメラ切り替え決定を行うか否かに関する一つもしくは複数の規則が存在してもよい。このような規則は、ビデオ会議イベントの間、表示装置で用いられてもよいアプリケーションの規則ベースを生成するために、手動で、もしくは自動で決定されてもよい。アプリケーションからの情報は(例えば、オペレーティングシステム、ビデオ会議ソフトウェア、もしくは他の処理によって、)システムに提供されてもよい。アプリケーション情報を取得するために、オンディスプレイアクティビティ認識手段はリスニングループを含んでいてもよい。
以下に説明するように、頭部及び注視姿勢追跡手段301及びオンディスプレイアクティビティ監視及び分析手段303と共に、オフディスプレイアクティビティ入力タイプが判定に加えられてもよい。
動作331及び333については、以下で詳細に説明する。
例示的な実装によれば、ユーザの注視の小さな変化(例えば、第2の表示装置を迅速に見る)に基づいて、第1のカメラから第2のカメラに切り替えるように、判定が行われてもよい。しかしながら、この判定は、ビデオ会議の遠隔参加者にとってたいへん不愉快なエクスペリエンスとなる(例えば、カメラが痙攣したような振る舞いとなる)可能性がある。この状況に対処するために、以下に説明するように、スイッチイン及びスイッチアウト閾値が用いられてもよい。
第1の代替的な実装によれば、上記状況は、切り替えが受け入れられる前に少なくともnミリ秒のカメラ切り替え余裕(例えば、スイッチイン閾値=500ミリ秒)を設定することで対処可能である。第2の代替的な実装によれば、カメラを切り替えた後、少なくともmミリ秒(例えば、スイッチアウト閾値1000ミリ秒)などの所定の期間の間、他のカメラへの切り替えを許可しないことで対処可能である。これらの基準によれば、切り替えは、ユーザの注視が最小期間の間移動した場合にのみ行われ、カメラの視界は、少なくともある最小期間の間、元に戻らないことが保証される。基準は、別個に用いられてもよいし、併せて用いられてもよい。また、カメラ間の遷移に、ハード的なスイッチの代わりに、クロスフェードなどの効果が適用されてもよい。
上記したように、動作319で、頭部姿勢追跡手段301がユーザの顔を検出できないと判定した場合、オフディスプレイ監視及び/もしくは分析手段305が実装される。動作339で、ビデオ会議に関連付けられている現在のカメラが、ビデオ会議についてプライベートであるとユーザが看做すアクティビティを獲得しているか、不適切であるとユーザが看做すアクティビティを獲得しているか、ユーザの嗜好(ユーザは予め情報を入力してもよいし、もしくは、以下で詳細に説明するように、他の顔の存在がこの環境に含まれることを示してもよい)に基づいて判定する。現在のカメラが当該アクティビティを含む場合、動作335で、カメラは切り替えられ、プライバシーを保護し、ビデオ会議における他の参加者による妨害を避ける。続いて、動作337で、新しく決定されたビデオ会議カメラからビデオを送信する。現在のカメラがプライベートなアクティビティを含まない場合、動作341で、ユーザの領域でオフディスプレイアクティビティの何れかがあるか否か判定する。判定が否定された場合、動作327で、カメラを切り替えないよう推奨される。判定が肯定された場合、動作343で、ビデオ会議で使用されている現在のカメラにおいて、オフディスプレイアクティビティがあるか否か判定される。判定が否定された場合、動作329で、カメラを切り替えるように推奨され、上記したように、動作331、333、335、337の切り替えプロセスが開始される。ビデオ会議で使用されている現在のカメラにおいてオフディスプレイアクティビティがある場合、動作327で、カメラを切り替えないように推奨される(例えば、ボードの使用など)。
これらの動作339〜343については、以下で詳細に説明する。
上記したように、オフディスプレイアクティビティ監視及び/もしくは分析手段305によれば、カメラ307、309、311の何れもユーザの顔が正面であることを判定できない場合、上記したように、どのカメラを使用するかについての決定は、オンディスプレイアクティビティ監視及び/もしくは分析手段303によって実行されてもよいし、ここで説明するように、オフディスプレイアクティビティ監視及び/もしくは分析手段305によって実行されてもよい。例えば、ビデオ会議の遠隔参加者に対して、視覚的なデモを提供するために、物理的なボード(例えば、マーカボード、黒板、ホワイトボードなど)に何かを描くために、ユーザは自分が座っている椅子を物理的に回転させてもよい。
例示的な実装によれば、カメラ307、309、311の視界は、縦方向面でのインタラクション(例えば、ボードに何かを描く)を推定するために用いられてもよく、ボードへの書き込み内容が遠隔参加者によりよく見える視界を提供するカメラを選択する。例えば、ボードの正面のカメラ、ユーザまたは椅子などの他のオブジェクトによる隠れが最小のカメラ、グレア、明るさ、コントラスト、明瞭さもしくはこれらのファクタの組み合わせなどのパラメータのパラメータ評価が最高のカメラが最適な視界を提供するカメラであると、システムは判定してもよい。
ボードに関連した例は、単に例示を目的としており、ユーザの周囲に関連付けられている空間を利用する他の例と、本発明の範囲から逸脱することなく置き替えることができる。また、以下に説明するように、ユーザの背後の空間についての情報は、構成及び空間注釈プロセスのためにユーザによって提供され得る。
上記例示的なシステム及びプロセスに加えて、ユーザは、以下に説明するような一つもしくは複数の態様を構成し得る。例示的な構成によれば、ユーザはビデオ会議システムのアカウントの設定に、ビデオ会議の間使用され得るユーザの空間に関連付けられている情報を含む構成を、含めることができる。例えば、ユーザは、オンラインカメラ画像上のユーザの物理的な空間内の位置に注釈を付けることができる。例示的な実装によれば、ユーザは、複数のカメラの各々から当該空間の視界(例えば、写真)を提供される。
次に、ユーザは、一つもしくは複数のカメラの視界における異なるオブジェクト、領域、もしくは面をクリックし、当該視界に(例えば、肯定的な、もしくは否定的な)注釈を付けることができる。例えば、肯定的な注釈は、ビデオ会議の間、ユーザが表示装置と対面していない、もしくは、表示装置の何れともインタラクションしていない場合、例示的な実装が、面またはオブジェクトを表示すべきことを示してもよい。ユーザが肯定的な注釈を付ける可能性がある面の例は、ホワイトボード、テーブルトップなどを含むことができる。一方、ビデオ会議の間、ユーザが表示装置に対面していない、もしくは表示装置の何れともインタラクションしていない場合、例示的な実装は当該領域の表示装置を避けるべきであることを示してもよい。ユーザが否定的な注釈を付けることを所望する領域の例は、例えば、廊下に通じる扉もしくは窓などを含む。
ユーザによる異なる例示的な構成は、例示的な実装が、複数のカメラにおける複数の顔の外観をどのように処理するか、に関連する。例えば、1つのカメラがユーザだけを撮影し、第2のカメラが第2の人(例えば、同じ部屋にいる協働作業者もしくはオフィスの傍を通る人)を撮影する場合、ユーザはシステムがユーザだけを撮影するカメラを好むべきであることを示すことができる。これにより、例えば、他の人のプライバシーを保護することができ、ビデオ会議の間、注意が逸らされることを避けることができる。
図4は、例示的な実装のいくつかに適した例示的な環境を示す。環境400はデバイス405〜445を含み、デバイスの各々は、例えば、ネットワーク450を介して(例えば、有線接続及び/もしくは無線接続によって)、少なくとも1つの他のデバイスに通信可能に接続されている。デバイスのいくつかは、ストレージデバイス430及び445の一つもしくは複数に通信可能に接続されていてもよい。
デバイス405〜445の一つもしくは複数の例示は、図5に示される計算処理デバイス505であってよい。デバイス405〜445は、表示装置及び上記した関連付けられているウェブカメラを有するコンピュータ405(例えば、ラップトップ計算処理デバイス)、モバイルデバイス410(例えば、スマートフォンもしくはタブレット)、テレビ415、乗り物420と関連付けられているデバイス、サーバコンピュータ425、計算処理デバイス435〜440、ストレージデバイス430及び445、などを含んでいてもよい。上記説明したように、ユーザのミーティング環境は多様であり、オフィス環境に限定されない。
実装のいくつかにおいて、デバイス405〜420は企業のユーザに関連付けられているユーザデバイスであると看做されてもよい。デバイス425〜445は、サービスプロバイダに関連付けられているデバイスであってよい。(サービスプロバイダは、例えば、図3A〜図3Cに関連して上記説明したサービスを提供する外部ホストによって使用され、及び/もしくは、ウェブページ、テキスト、テキスト部分、画像、画像部分、音声、音声セグメント、ビデオ、ビデオセグメント、及び/もしくはこれらに関する情報などのデータを記憶する。)
図5は、例示的な実装のいくつかにおいて使用する外部ホストに関連付けられている例示的な計算処理デバイスを含む計算処理環境を例示する。計算処理環境500の計算処理デバイス505は、一つもしくは複数の処理ユニット、コア、もしくはプロセッサ510、メモリ525(例えば、RAM、ROMなど)、内部ストレージ520(例えば、磁気、光、ソリッドステートストレージ及び/もしくは有機)及び/もしくは入出力インターフェイス515を含み、これらの何れかを情報を伝達するために通信機構もしくはバス530に接続し、または、計算処理デバイス505に埋め込んでいてもよい。
計算処理デバイス505は、入力/ユーザインターフェイス535及び出力デバイス/インターフェイス540に、通信可能に、接続されていてもよい。入力/ユーザインターフェイス535及び出力デバイス/インターフェイス540の何れか一方、もしくは双方は、有線または無線インターフェイスであってよく、取り外し可能である。入力/ユーザインターフェイス535は、入力を提供する任意のデバイス、コンポーネント、センサ、もしくはインターフェイス、物理的または仮想的なデバイス(例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング/カーソル制御、マイクロフォン、カメラ、点字手段、モーションセンサ、オプティカルリーダーなど)を含み得る。
出力デバイス/インターフェイス540は表示装置、テレビ、モニタ、プリンタ、スピーカ、点字手段などを含み得る。例示的な実装のいくつかにおいて、入力/ユーザインターフェイス535及び出力デバイス/インターフェイス540は計算処理デバイス505に物理的に接続されるか、埋め込まれていてもよい。他の例示的な実装において、他の計算処理デバイスは、計算処理デバイス505の入力/ユーザインターフェイス535及び出力デバイス/インターフェイス540として機能してもよいし、これらのインターフェイスの機能を提供してもよい。
計算処理デバイス505の例は、高度なモバイルデバイス(例えば、スマートフォン、乗り物及び他の機械のデバイス、人及び動物によって運ばれるデバイスなど)、モバイルデバイス(例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど)及び移動可能に設計されていないデバイス(例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、一つもしくは複数のプロセッサが埋め込まれているテレビ、一つもしくは複数のプロセッサに接続されているラジオなど)を含み得る。
計算処理デバイス505は、外部ストレージ545及びネットワーク550に(例えば、入出力インターフェイス515を介して、)通信可能に、同一のもしくは異なる構成の一つもしくは複数の計算処理デバイスを含む、任意の数のネットワーク接続されたコンポーネント、デバイス及びシステムと情報の伝達を行うように、接続されていてもよい。計算処理デバイス505もしくは任意の接続された計算処理デバイスは、サーバ、クライアント、シンサーバ、汎用機械、特定目的マシン、もしくは他のラベルとして機能し、これらとして参照され、これらのサービスを提供してもよい。
入出力インターフェイス515は、音声及び/もしくはデータネットワークを介して、無線通信を促進する(図示しない)無線通信コンポーネントを含んでいてもよい。無線通信コンポーネントは、一つもしくは複数のアンテナ、無線システム、ベースバンドシステムもしくはこれらの組み合わせなどを含んでいてもよい。無線周波数(RF)信号は、無線システムの管理下において、アンテナシステムによって空中で送受信され得る。
入出力インターフェイス515は、計算処理環境500において接続されたコンポーネント、デバイス、及びネットワークの全てに、及び/もしくは、これらの全てから情報を伝達するために、任意の通信、入出力プロトコルもしくは標準規格(例えば、イーサネット(登録商標)、802.11x、USB、WiMax、モデム、携帯電話ネットワークプロトコルなど)を用いて、有線及び/もしくは無線インターフェイスを含み得る。ネットワーク550は、任意のネットワークまたはネットワーク(例えば、インターネット、LAN、WAN、電話回線、携帯電話ネットワーク、衛星ネットワークなど)の組み合わせであってよい。
計算処理デバイス505は、一時的媒体及び非一時的媒体を含むコンピュータ利用可能もしくはコンピュータ可読媒体を用い、及び/もしくは、これらを用いて情報を伝達することができる。一時的媒体は、伝送媒体(例えば、金属ケーブル、光ファイバ)、信号、搬送波などを含む。非一時的媒体は、磁気媒体(例えば、ディスク及びテープ)、光媒体(例えば、CD ROM、デジタルビデオディスク、ブルーレイディスク)、ソリッドステート媒体(例えば、RAM、ROM、フラッシュメモリ、ソリッドステートストレージ)及び他の不揮発性ストレージもしくはメモリを含む。
計算処理デバイス505は、例示的な計算処理環境のいくつかにおいて、技術、方法、アプリケーション、プロセス、もしくはコンピュータ実行可能命令を実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に保存され、非一時的媒体から取り出されてもよい。実行可能命令は、プログラミング言語、記述言語、及び機械言語(例えば、C、C++、C#、Java(登録商標)、Visual Basic、Python、Perl、JavaScript(登録商標)及び他の言語)の何れかの一つもしくは複数によって記載されていてもよい。
プロセッサ510は、自然環境もしくは仮想環境において、(図示しない)任意のオペレーティングシステム(OS)の下で稼動され得る。論理ユニット560、アプリケーションプログラミングインターフェイス(API)ユニット565、入力ユニット570、出力ユニット575、入力受信ユニット580、切り替え判定ユニット585、及びアクションユニット590及び、異なるユニット間で相互に情報を伝達するための内部ユニット通信機構595を含む、一つもしくは複数のアプリケーションが、(図示しない)OSと共に、及び、他のアプリケーションと共に展開され得る。例えば、入力受信ユニット580、切り替え判定ユニット585、及びアクションユニット590は図3A〜図3Cに示される一つもしくは複数のプロセスを実装してもよい。上記ユニット及びエレメントは、設計、機能、構成もしくは実装において変動可能であり、上記に限定されない。
例示的な実装のいくつかにおいて、情報または実行命令がAPIユニット565によって受信されると、一つもしくは複数の他のユニット(例えば、論理ユニット560、入力ユニット570、出力ユニット575、入力受信ユニット580、切り替え判定ユニット585及びアクションユニット590)との間で通信し得る。
入力受信ユニット580は、APIユニット565を介して、頭部姿勢追跡手段301、オンディスプレイアクティビティ監視及び/もしくは分析手段303及びオフディスプレイアクティビティ監視及び/もしくは分析手段305の入力情報を提供するために、切り替え判定ユニット585とインタラクションしてもよい。APIユニット565を用いて、切り替え判定ユニット585は、カメラが切り替えられ、ビデオ会議のために新しいカメラが使用されるべきか否かに関する判定を行うために、アクションユニット590とインタラクションしてもよい。これにより、アクションユニット590は、カメラの切り替え及び、ビデオの送信などに関連する動作331〜337を実行してもよい。
いくつかの例において、論理ユニット560は、上記した例示的な実装におけるユニット間の情報フローを制御し、APIユニット565、入力ユニット570、出力ユニット575、入力受信ユニット580、切り替え判定ユニット585及びアクションユニット590によって提供されるサービスを管理するように構成されていてもよい。例えば、一つもしくは複数のプロセスもしくは実装のフローは、論理ユニット560単独で制御されてもよいし、APIユニット565との組み合わせで制御されてもよい。
詳細な説明のいくつかの部分は、コンピュータ内の動作を表すアルゴリズム及び象徴的表現で提示される。これらのアルゴリズム的な記述及び象徴的表現は、発明の骨子を伝えるために使用される手段である。アルゴリズムは、所望の最終状態もしくは結果を導くために定義された動作のシリーズである。例示的な実装において、実行される動作は、実体的な結果を達成するために実体的な量の物理的な操作を要求する。
特定の記載がない限り、説明から明らかなように、「処理する」、「計算処理する」、「計算する」、「判定する」、「表示する」などの用語を用いた説明は、全体にわたって、コンピュータシステムのレジスタ及びメモリの物理的な(電子的な)量として表されるデータを操作して、コンピュータシステムのメモリ、レジスタ、もしくは他の情報ストレージデバイス、情報伝送デバイス、情報表示デバイス内の物理的な量として表される同様の他のデータに、これらを変換するコンピュータシステムもしくは他の情報処理デバイスのアクション及びプロセスを含むことができる。
例示的な実装は、動作を実行するための装置に関連してもよい。この装置は、要求された目的のために特別に構成されてもよく、一つもしくは複数のコンピュータプログラムによって選択的にアクティベートされる、もしくは再構成される一つもしくは複数の汎用目的コンピュータを含んでいてもよい。このようなコンピュータプログラムは、コンピュータ可読ストレージ媒体もしくはコンピュータ可読信号媒体などのコンピュータ可読媒体に保存されていてもよい。
コンピュータ可読ストレージ媒体は、光ディスク、磁気ディスク、リードオンリーメモリ、ランダムアクセスメモリ、ソリッドステートデバイス及び電子的な情報の保存に適した他の任意のタイプの実体的な、もしくは非一時的な媒体などの実体的な媒体を含み得る。コンピュータ可読信号媒体は、搬送波などの媒体を含み得る。ここで提示されるアルゴリズム及び表示は、任意の特定のコンピュータもしくは他の装置に固有に関連するものではない。コンピュータプログラムは、所望の実装の動作を実行する命令を含む純粋ソフトウェア実装を含み得る。
様々な汎用目的システムは、例に従って、プログラム及びモジュールと共に使用されてもよく、所望の方法動作を実行するためにより特殊化された装置を構成することが適切であることが示される場合もある。加えて、例示的な実装は任意の特定のプログラミング言語を参照して説明されない。様々なプログラム言語を使用して、上記例示的な実装の教示を実装することができる。プログラム言語の命令は、一つもしくは複数のデバイス、例えば、中央処理ユニット(CPU)、プロセッサ、コントローラなどによって実行され得る。
上記動作は、ハードウェア、ソフトウェア、もしくはハードウェア及びソフトウェアの組み合わせによって実行され得る。例示的な実装の様々な態様が、回路及び論理デバイス(ハードウェア)を用いて実装可能であるが、他の態様は、命令がプロセッサによって実行され、本アプリケーションの実装を実行するための方法をプロセッサに実行させる場合、機械可読媒体に保存された当該命令(ソフトウェア)を用いて実装可能である。
また、本アプリケーションの例示的な実装のいくつかは、ハードウェアのみで実行され、他の例示的な実装はソフトウェアのみで実行されてもよい。また、記述された様々な機能は単一のユニットで実行されてもよいし、任意の数の方法で、複数のコンポーネントにわたって分散されて実行されてもよい。ソフトウェアによって実行される場合、方法は、汎用目的コンピュータなどのプロセッサによって、コンピュータ可読媒体に保存された命令に基づいて実行されてもよい。所望されるならば、命令は、圧縮及び/もしくは暗号化されたフォーマットで媒体に保存されてもよい。
例示的な実装は、関連技術との間に様々な差異を有してもよいし、関連技術と異なる効果を有していてもよい。例えば、関連技術に関して上記したようにJavascriptによるウェブページの計装と反対に、ビデオドキュメントにおいて、テキスト及びマウス(例えば、ポインティング)アクションが検出され、分析されてもよい。
また、本アプリケーションの他の実装は、本アプリケーションの教示の詳細及び実行を検討すれば、明らかである。上記例示的な実装の様々な態様及び/もしくはコンポーネントは単一でもしくは組み合わせて使用されてもよい。詳細な説明及び例示的な実装は説明のためのものであり、本アプリケーションの真の範囲及び思想は請求項に示される。
400 環境
405 コンピュータ
450 ネットワーク
505 計算処理デバイス
510 プロセッサ
525 メモリ
550 ネットワーク

Claims (8)

  1. 第1表示装置に接続された第1カメラによって撮影されるビデオ会議を制御する方法であって、
    プロセッサが、
    記第1カメラにおいて顔の向きが検出できない場合であって、第2表示装置でユーザがポインティングデバイスとインタラクションしている場合又はキーボードを介してタイピングしている場合、前記ビデオ会議への入力信号を第2カメラに切り替える、
    ビデオ会議制御方法。
  2. 第1表示装置に接続された第1カメラによって撮影されるビデオ会議を制御する方法であって、
    プロセッサが、
    前記第1カメラにおいて顔の向きが検出できない場合であって、第2表示装置でユーザが電子メールを開いた場合、前記ビデオ会議への入力信号を第2カメラに切り替える、
    ビデオ会議制御方法。
  3. 前記ビデオ会議への入力信号を前記第2カメラに切り替えることは、
    前記第2カメラに切り替えることを判定してから予め定めた第1期間が経過した後に、前記第1カメラから前記第2カメラに、前記ビデオ会議への入力信号を切り替え、
    前記第2カメラを介して、前記ビデオ会議に、ビデオを出力する、
    ことをさらに含む、
    請求項1又は請求項2に記載のビデオ会議制御方法。
  4. 予め定められた期間よりも短い期間、前記顔の向きが前記第1カメラで前記第2カメラよりも正面から離れている場合、前記第2カメラに前記ビデオ会議への入力信号を切り替えない、
    請求項1〜請求項3の何れか1項に記載のビデオ会議制御方法。
  5. ユーザ環境において、第1表示装置に接続されている第1カメラ及び第2表示装置に接続されている第2カメラと、
    前記第1カメラ及び前記第2カメラに隣接し、前記第1カメラ及び前記第2カメラに接続されていない少なくとも1つの物理的な表示面を有する、ユーザ環境と、
    プロセッサと、
    を含み、
    前記プロセッサは、
    記第1カメラにおいて顔の向きが検出できない場合であって、第2表示装置でユーザがポインティングデバイスとインタラクションしている場合又はキーボードを介してタイピングしている場合、ビデオ会議への入力信号を前記第2カメラに切り替える、
    ビデオ会議制御システム。
  6. ユーザ環境において、第1表示装置に接続されている第1カメラ及び第2表示装置に接続されている第2カメラと、
    前記第1カメラ及び前記第2カメラに隣接し、前記第1カメラ及び前記第2カメラに接続されていない少なくとも1つの物理的な表示面を有する、ユーザ環境と、
    プロセッサと、
    を含み、
    前記プロセッサは、
    前記第1カメラにおいて顔の向きが検出できない場合であって、第2表示装置でユーザが電子メールを開いた場合、ビデオ会議への入力信号を前記第2カメラに切り替える、
    ビデオ会議制御システム。
  7. 前記ビデオ会議への入力信号を前記第2カメラに切り替えることは、
    前記第2カメラに切り替えることを判定してから予め定めた第1期間が経過した後に、前記第1カメラから前記第2カメラに、前記ビデオ会議への入力信号を切り替え、
    前記第2カメラを介して、前記ビデオ会議に、ビデオを出力する、
    ことをさらに含む、
    請求項5又は請求項6に記載のビデオ会議制御システム。
  8. 予め定められた期間よりも短い期間、前記顔の向きが前記第1カメラで前記第2カメラよりも正面から離れている場合、前記第2カメラに前記ビデオ会議への入力信号を切り替えない、
    請求項5〜請求項7の何れか1項に記載のビデオ会議制御システム。
JP2016065159A 2015-12-11 2016-03-29 ビデオ会議を制御する方法、システム、及びプログラム Expired - Fee Related JP6642191B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/966,365 2015-12-11
US14/966,365 US9491374B1 (en) 2015-12-11 2015-12-11 Systems and methods for videoconferencing input and display management based on activity

Publications (2)

Publication Number Publication Date
JP2017108366A JP2017108366A (ja) 2017-06-15
JP6642191B2 true JP6642191B2 (ja) 2020-02-05

Family

ID=57210887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016065159A Expired - Fee Related JP6642191B2 (ja) 2015-12-11 2016-03-29 ビデオ会議を制御する方法、システム、及びプログラム

Country Status (2)

Country Link
US (1) US9491374B1 (ja)
JP (1) JP6642191B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9479730B1 (en) 2014-02-13 2016-10-25 Steelcase, Inc. Inferred activity based conference enhancement method and system
US10409366B2 (en) 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
US9386272B2 (en) * 2014-06-27 2016-07-05 Intel Corporation Technologies for audiovisual communication using interestingness algorithms
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
EP3481661A4 (en) 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
WO2018009552A1 (en) 2016-07-05 2018-01-11 Nauto Global Limited System and method for image analysis
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10733460B2 (en) * 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
US9928432B1 (en) * 2016-09-14 2018-03-27 Nauto Global Limited Systems and methods for near-crash determination
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
CN108737640A (zh) * 2018-04-11 2018-11-02 Oppo广东移动通信有限公司 防误触方法、装置、移动终端及存储介质
JP6881401B2 (ja) * 2018-07-09 2021-06-02 株式会社デンソー 異常判定装置
CN109036479A (zh) * 2018-08-01 2018-12-18 曹清 剪辑点判断系统及剪辑点判断方法
CN109005352B (zh) * 2018-09-05 2021-02-02 阿里巴巴(中国)有限公司 合拍视频的方法及装置
JP7376524B2 (ja) * 2020-10-28 2023-11-08 Necパーソナルコンピュータ株式会社 情報処理システム
US20230036861A1 (en) * 2021-07-30 2023-02-02 Zoom Video Communications, Inc. Automatic Multi-Camera Production In Video Conferencing
US11558209B1 (en) 2021-07-30 2023-01-17 Zoom Video Communications, Inc. Automatic spotlight in video conferencing
US11720237B2 (en) 2021-08-05 2023-08-08 Motorola Mobility Llc Input session between devices based on an input trigger
US11583760B1 (en) 2021-08-09 2023-02-21 Motorola Mobility Llc Controller mode for a mobile device
CN115734267A (zh) 2021-09-01 2023-03-03 摩托罗拉移动有限责任公司 基于连接触发的设备之间的连接会话
US11641440B2 (en) * 2021-09-13 2023-05-02 Motorola Mobility Llc Video content based on multiple capture devices
US11838677B2 (en) * 2021-10-15 2023-12-05 Motorola Mobility Llc Composite presentation surface and presenter imaging for a multiple camera transmitting device in a video communication session
US12021906B2 (en) * 2022-02-28 2024-06-25 Motorola Mobility Llc Electronic device with automatic selection of image capturing devices for video communication
US20240257553A1 (en) * 2023-01-27 2024-08-01 Huddly As Systems and methods for correlating individuals across outputs of a multi-camera system and framing interactions between meeting participants

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3797678B2 (ja) * 1994-05-26 2006-07-19 富士通株式会社 ウィンドウとカメラの協調制御方法および装置
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
US8248448B2 (en) * 2010-05-18 2012-08-21 Polycom, Inc. Automatic camera framing for videoconferencing
US9030520B2 (en) * 2011-06-20 2015-05-12 Polycom, Inc. Automatic camera selection for videoconferencing
JP5888034B2 (ja) * 2012-03-16 2016-03-16 富士通株式会社 利用者検知装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2017108366A (ja) 2017-06-15
US9491374B1 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
JP6642191B2 (ja) ビデオ会議を制御する方法、システム、及びプログラム
JP6911305B2 (ja) ビデオを動画と置き替える装置、プログラム及び方法
US10554921B1 (en) Gaze-correct video conferencing systems and methods
US9800831B2 (en) Conveying attention information in virtual conference
US10013805B2 (en) Control of enhanced communication between remote participants using augmented and virtual reality
US10075491B2 (en) Directing communications using gaze interaction
CN107430629B (zh) 计算机呈现中的视觉内容的分优先级显示
US9729824B2 (en) Privacy camera
CN107533417B (zh) 在通信会话中呈现消息
US9386270B2 (en) Displaying information about at least one participant in a video conference session
CA2874715C (en) Dynamic video and sound adjustment in a video conference
EP3881170B1 (en) Interactive viewing system
US11443560B1 (en) View layout configuration for increasing eye contact in video communications
US20160065625A1 (en) Notification of Change in Online Conferencing
EP3047351A2 (en) User experience for conferencing with a touch screen display
US20150033146A1 (en) Automatic detection and magnification of focus region for content shared during an online meeting session
US20200201512A1 (en) Interactive editing system
US10942633B2 (en) Interactive viewing and editing system
EP2953351A1 (en) Method and apparatus for eye-line augmentation during a video conference
US9740378B2 (en) Collaboration content sharing
WO2018142222A1 (en) Augmented video reality
US20160301729A1 (en) Methods and systems for presenting video in a context-sensitive manner
US20230386162A1 (en) Virtual action center based on segmented video feed for a video communication session
US8943411B1 (en) System, method, and computer program for displaying controls to a user
US12019943B2 (en) Function based selective segmented video feed from a transmitting device to different participants on a video communication session

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6642191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees