JP7326254B2 - 物理的な筆記面を含むビデオの処理 - Google Patents

物理的な筆記面を含むビデオの処理 Download PDF

Info

Publication number
JP7326254B2
JP7326254B2 JP2020514261A JP2020514261A JP7326254B2 JP 7326254 B2 JP7326254 B2 JP 7326254B2 JP 2020514261 A JP2020514261 A JP 2020514261A JP 2020514261 A JP2020514261 A JP 2020514261A JP 7326254 B2 JP7326254 B2 JP 7326254B2
Authority
JP
Japan
Prior art keywords
image
video frame
mask
pen stroke
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020514261A
Other languages
English (en)
Other versions
JP2020535688A5 (ja
JP2020535688A (ja
Inventor
アラン ポート，ティモシー
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2020535688A publication Critical patent/JP2020535688A/ja
Publication of JP2020535688A5 publication Critical patent/JP2020535688A5/ja
Application granted granted Critical
Publication of JP7326254B2 publication Critical patent/JP7326254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563—User guidance or feature selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Description

本開示は、概括的には、ビデオ会議に関する。より詳細には、本開示の実施形態は、ビデオ会議中に、ホワイトボード、黒板またはフリップチャートなどの物理的な筆記面（writing surface）に書かれたコンテンツを共有することに関する。
ビデオ会議は、異なる場所にいる人々が仮想的に会うことを可能にする電気通信技術であり、ビデオ会議の参加者が互いを見たり聞いたりすることを可能にするオーディオ・データおよびビデオ・データを通信することによる。典型的なビデオ会議は、データ通信ネットワークを介して互いに通信するいくつかのエンドポイントを含む。各エンドポイントは、そのエンドポイントにおける参加者のビデオを取り込むために、一つまたは複数のカメラに接続される。各エンドポイントは、そのビデオを他のエンドポイントに送信する。エンドポイントは、他のエンドポイントから受信したビデオを表示するディスプレイにも接続される。各エンドポイントは、他のエンドポイントに送信されるオーディオを捕捉するための少なくとも一つのマイクロフォンおよび他のエンドポイントから受信したオーディオを再生するための少なくとも一つのスピーカーにも接続される。
本開示の実施形態は、物理的な筆記面に書かれたコンテンツを共有するためのビデオ会議方法に関する。
筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法のある実施形態は：カメラからビデオ・フレームのシーケンスを受領するステップと；ビデオ・フレーム内の関心画像領域を選択するステップと；ビデオ・フレームのシーケンスのそれぞれの現在ビデオ・フレームについて：前記関心画像領域に適応的な閾値を適用することによってペン・ストローク・マスクを生成し；前記ペン・ストローク・マスクを用いて出力ビデオ・フレームを生成することを含む、ステップとを含む。ビデオ・フレーム内の関心画像領域を選択することは、ビデオ・フレームのサブ領域およびビデオ・フレームの領域全体のうちの一つを選択することを含んでいてもよい。
ビデオ会議システムのための制御システムのある実施形態は、セットアップ・フェーズの間に、カメラを用いて少なくとも一つの画像を捕捉するステップと；前記少なくとも一つの画像をディスプレイ上にレンダリングするステップと；前記少なくとも一つの画像の領域のユーザー選択を電話を介して取得するステップであって、該領域は、前記カメラの視野内の物理的な筆記面の画像を含む、ステップと；物理的な筆記面の位置をメモリに保存するステップであって、保存される物理的な筆記面の位置は前記領域に対応する、ステップとを実行するように構成される。
本発明の実施形態は、添付の図面において、限定としてではなく例として示されており、ここで、同様の参照符号は、同様の要素を指す。
ビデオ会議システムの第1の例の概略図を示す。 ビデオ会議システムの第2の例の概略図を示す。 物理的な筆記面のビデオにおけるペン・ストロークの判読性を向上させるための方法の第1の例の流れ図を示す。 図2Aの方法のための任意的な処理ステップを示す。 AおよびBは、それぞれ、適応的な閾値処理を用いてペン・ストローク・マスクを生成することの例の流れ図を示す。 ペン・ストローク・マスクを用いて出力ビデオ・フレームを生成する例の流れ図を示している。 ペン・ストローク・マスクを用いて出力ビデオ・フレームを生成する例の流れ図を示している。 ペン・ストローク・マスクを用いて出力ビデオ・フレームを生成する例の流れ図を示している。 物理的な筆記面のビデオにおけるペン・ストロークの判読性を向上させるための方法の第2の例の流れ図を示す。 物理的な筆記面のビデオにおけるペン・ストロークの判読性を向上させるための方法の第3の例の流れ図を示す。 ビデオ会議システムの第3の例の概略図を示す。 第3の例のビデオ会議システムの会議用電話の概略図を示しており、会議用電話のタッチスクリーンを強調している。 セットアップ段階において第3の例のビデオ会議システムを構成する方法の一例の流れ図を示す。 図9の方法のための任意的な処理ステップを示す。 第3の例のビデオ会議システムを用いて、ビデオ会議中にホワイトボードなどの筆記面の画像を共有するための方法の一例の流れ図を示す。 図11に示した方法により共有されたホワイトボードの画像がレンダリングされたディスプレイの概略図を示す。
諸図面を通して、文脈がそうでないことを要求するのでない限り、同様の参照番号は同様の部分を指す。
本発明の十全な理解を与えるために、下記では多数の具体的な詳細が記載される。しかしながら、本発明は、これらの具体的な詳細なしに実施されてもよい。さらに、周知の部分は、それほど網羅的な詳細をもって記載されていないことがある。図面は概略的であり、本開示を理解するのに関連する部分を含んでいるが、他の部分は、省略され、あるいは単に示唆されるだけのことがありうる。
ホワイトボードや他の型の物理的な筆記面は、情報を提示するために、会議において一般的に使用されるツールである。これらの従来の筆記面は、すべての参加者が同じ部屋にいる会合には好適だが、ビデオ会議中の使用にはそれほど実用的ではない。ユーザーは、ビデオ会議システムのカメラを筆記面にパンさせて、そこに書かれたコンテンツを共有することができるが、これは、カメラがもはやその部屋にいる参加者のビデオを捕捉していないことを意味する。さらに、ホワイトボードに書かれたコンテンツは、このように取り込んでしまうと読みにくくなる可能性がある。
これらの従来の筆記面の代わりとして、参加者がタッチ感応性ディスプレイのような電子的な表面上に書いたり、描画したりできるようにする特化されたハードウェアを使用することができる。この型の装置は、時に「デジタル黒板」または「仮想ホワイトボード」と称される。電子的な表面上に書かれた入力は、デジタル信号としてビデオ会議の他のエンドポイントに送信される。これらの装置の欠点は、購入の点でもメンテナンスの点でも比較的高価であることである。さらに、これらの装置は、従来のローテクな筆記面ほど操作が直感的でない。
本開示の実施形態は、物理的な筆記面に書かれたコンテンツを共有することができる改良されたビデオ会議システムを提供する。
図1Aでは、例示的なビデオ会議システム100Aが示されている。システムは、ビデオ会議エンドポイント102を備える。たとえば、エンドポイント102は、ビデオ会議クライアントを含んでいてもよい。エンドポイント102は、たとえば他のビデオ会議クライアントとの直接通信のために他のビデオ会議エンドポイントと、あるいはそれに接続された2つ以上のビデオ会議クライアントの間の通信を管理するビデオ会議サーバーと通信するためのネットワーク・インターフェース104を有する。ネットワーク・インターフェース104は、データ通信ネットワーク106を介して通信する。データ通信ネットワーク106は、たとえばIPネットワークのようなパケット・ネットワークである。たとえば、データ通信ネットワークは、ローカルエリアネットワーク（LAN）または広域ネットワーク（WAN）である。図示した例では、ネットワーク106はインターネットである。
エンドポイント102は、ビデオ信号の入出力のための複数のビデオ・インターフェースを含むビデオ入出力（I/O）コンポーネント108をさらに含む。I/Oコンポーネント108は、入力ビデオ信号を受信するためにコンピュータを接続するためのディスプレイ入力コネクタ110を有する。図示した例では、入力コネクタ110は、HDMI（登録商標）入力コネクタである。
I/Oコンポーネント108は、カメラ信号を受信するための入力コネクタ112と、ディスプレイ出力コネクタ114とをさらに備える。入力コネクタ112は、ビデオ会議の参加者のビデオを捕捉するために、ビデオ会議システム100Aのカメラ116に接続される。図示した例では、カメラ116はケーブルを介して入力コネクタ112に接続されている。代替的な例では、カメラは、無線接続を介して入力コネクタ112に接続される。カメラ116によって捕捉されたビデオはエンドポイント102に送信され、エンドポイント102は、ネットワーク・インターフェース104を使用して、ビデオをネットワーク106を介してビデオ会議の他のエンドポイントに送信する。
I/Oコンポーネント108の出力コネクタ114は、ビデオ会議システムのディスプレイ118に接続される。図示した例では、出力コネクタ114はHDMI出力コネクタであり、HDMIケーブルを使用してディスプレイ118のHDMI入力に接続されている。エンドポイント102は、ネットワーク・インターフェース104を使用して、ネットワーク106を通じて他の参加者によって送信された一つまたは複数のビデオを受信し、対応するビデオ信号をディスプレイ118に出力するように構成される。
システム100は、コンピューティング装置120をさらに備える。コンピューティング装置120は、ディスプレイ上の出力用の出力ビデオ信号を生成するディスプレイ・コントローラ122と、プロセッサ123とを含む。図示した例では、コンピューティング装置のディスプレイ・コントローラ122およびプロセッサ123は、データを交換するために互いに接続された2つ以上の別個のコンポーネントとして具体化されている。たとえば、プロセッサ123が中央処理ユニット（CPU）を含む一方、ディスプレイ・コントローラ122はグラフィックス処理ユニット（GPU）の一部として実装されてもよい。あるいはまた、ディスプレイ・コントローラ122およびプロセッサ123は、ディスプレイ・コントローラ122およびプロセッサ123の両方の機能を実行するように構成された単一の処理コンポーネントとして具体化されてもよい。
コンピューティング装置120はまた、カメラ信号を受領するための入力コネクタ126と、ディスプレイ・コントローラ122によって生成されたビデオ信号の出力のためのディスプレイ出力コネクタ128とを有するI/Oコンポーネント124を含む。入力コネクタ126は、物理的な筆記面132のビデオを捕捉するように構成されたカメラ130に接続されている。図示した例では、物理的な筆記面132はホワイトボードであるが、システム100は、フリップチャートや黒板のような他の筆記面のビデオを捕捉するためにも使用できる。図示した例では、カメラ130は、ケーブルを使用して入力コネクタ126に接続される。たとえば、入力コネクタ126はUSBケーブルを介してカメラ130を接続するためのUSBコネクタである。あるいはまた、カメラ130は、無線接続を介してコンピューティング装置120に接続してもよい。
I/Oコンポーネント124は、入力コネクタ126を介して受領されたビデオ・データの、プロセッサ123への通信のため、および出力コネクタ128を介した、ディスプレイ・コントローラ122によって生成された出力ビデオ信号の出力のために、ディスプレイ・コントローラ122およびプロセッサ123に接続される。プロセッサ122は、カメラ130によって捕捉されたホワイトボード132のビデオ・フレームのシーケンスを受領する。プロセッサは、ビデオ向上プロセスをビデオ・フレームのシーケンスに適用することによって、処理されたビデオ・データを生成するように構成される。ビデオ向上プロセスは、物理的な筆記面上のペン・ストローク、たとえばテキストおよび描画の読みやすさ／判読性を向上させる。
コンピューティング装置120の出力コネクタ128は、ビデオ会議エンドポイント102のビデオ入力コネクタ110に接続される。図示した例では、入力コネクタ110および出力コネクタ128は両方ともHDMIコネクタであり、コネクタ110、128はHDMIケーブルを介して接続される。コンピューティング装置120は、プロセッサ123によって生成される、処理されたビデオ・データに対応する向上されたビデオ信号を出力するように構成される。向上されたビデオ信号は、コネクタ110および128を接続するケーブルを介して、コンピューティング装置からビデオ会議エンドポイント102に出力される。
図1Aの例では、HDMIビデオ・インターフェースが、コネクタ110、114および128のために使用されている。しかしながら、本開示はHDMIビデオ・インターフェースに限定されず、S-ビデオ、DVI、コンポジットビデオ、コンポーネントビデオ、DisplayPort、FireWire、VGAまたはSCARTのような他の型のビデオ・インターフェースを追加的または代替的に使用することができる。
ビデオ会議エンドポイント102のディスプレイ入力コネクタ110は、コンピュータを接続し、コンピュータの画面を共有するために意図されている。たとえば、典型的なビデオ会議シナリオでは、ディスプレイ入力コネクタ110は、プレゼンテーションのスライドをビデオ会議の他の参加者と共有するために、マイクロソフト・パワーポイントのようなプレゼンテーション・ソフトウェアを実行するコンピュータに接続される。このシナリオでは、ビデオ会議は、他の参加者が、カメラ116によって捕捉される、プレゼンテーションしている人物の画像と一緒にスライドを見ることを可能にする。しかしながら、本発明の実施形態では、ディスプレイ入力コネクタ110は、コンピューティング装置120を接続し、それにより、追加的なカメラ130によって捕捉されたビデオの処理されたバージョンに対応するビデオ信号をエンドポイント102に提供することによって、その意図された用途とは異なる仕方で使用される。よって、第1の部屋にいる参加者は、通常のホワイトボード132を使用することができ、それでも、該ホワイトボードに書き込んだコンテンツは、明瞭に判読可能な仕方で、他の参加者と共有される。さらに、エンドポイント102のビデオカメラ116が第1の部屋のビデオを共有するために依然として利用可能であるので、他の参加者は依然として第1の部屋を見ることができる。
カメラ130は、任意的に、参加者を捕捉するためのカメラ116と比較して、比較的低品質のカメラであることができる。というのは、ホワイトボード132に書かれたコンテンツの画像は、他の参加者に送信する前に、判読性を高めるように処理されるからである。たとえば、カメラ130の解像度は、カメラ116の解像度よりも低くできる。
一例では、コンピューティング装置120はポータブル装置である。たとえば、装置120は、ラップトップ、タブレットまたはスマートフォンであってもよい。カメラ130もポータブル装置であってもよい。一例では、カメラ130は、コンピューティング装置120の統合された部分、たとえばラップトップの統合されたウェブカメラである。別の例では、カメラ130およびコンピューティング装置120は、別個のコンポーネントであり、たとえば、コンピューティング装置は、USBウェブカメラに接続されたラップトップである。
コンピューティング装置およびそれに接続されたカメラをポータブル・システムとして提供することによって、それらは複数のビデオ会議室を横断して共有できる。対照的に、デジタル黒板や仮想ホワイトボードのような、書かれたコンテンツを共有するための従来の装置は、典型的には、大型で重い、壁に取り付ける装置であり、この型の設備を複数の部屋の間で移動させることは実際的ではない。
一例では、コンピューティング装置120は、スクリーンレス装置である。換言すれば、コンピューティング装置は、ディスプレイをもたない。これは、装置が小さな形状因子を有することができるという利点を有する。小さな形状因子を有するスクリーンレス・コンピューティング装置の例は、Intel Compute Stick、InFocus KangarooおよびRaspberry Piを含む。コンピューティング装置120は、たとえば、シングル・ボード・コンピュータであってもよい。
一例では、コンピューティング装置120はドングルである。ドングルは、小さな形状因子を有し、当該ドングルを他の装置に接続するための少なくとも一つのコネクタを有する装置である。今の例では、ドングルは、ビデオ・インターフェース出力コネクタ128を備える。ビデオ・インターフェース出力コネクタ128は、ビデオ会議エンドポイント102の入力コネクタ110に接続可能である。ドングルは、たとえば、電源アダプターを介して幹線電源に接続することによって、またはUSBを通じた電源によって、電力供給されてもよく、ドングルは、利用可能であれば、ビデオ会議エンドポイント102のUSBポートに接続されてもよい。
図1Bは、ビデオ処理が、図1Aのように別個のコンピューティング装置120としてではなく、エンドポイント102内に統合される、ビデオ会議システム100Bの一例を示す。カメラ116は、ホワイトボード132および室内の参加者の両方のビデオを捕捉する。図1Aと同様に、カメラ116によって捕捉されたビデオは、I/Oコンポーネント108の入力コネクタ112を介してエンドポイント102に通信される。図1Bでは、カメラ116はケーブルを介してエンドポイント112に接続されている。あるいはまた、カメラ116は、無線接続を介してエンドポイント112に接続されてもよい。
図1Bの実施形態では、エンドポイントはプロセッサ134を含む。プロセッサ134は、カメラ116によって捕捉されたビデオを処理するために専用であってもよく、ビデオ会議機能を実装するエンドポイント102の一つまたは複数の他の処理コンポーネントに処理されたビデオを送信する。あるいはまた、エンドポイント102は、ビデオ処理およびビデオ会議能力の両方を実装するプロセッサを備える。プロセッサ134は、たとえば、中央処理装置（CPU）および／またはグラフィックス処理装置（GPU）を含んでいてもよい。
ディスプレイ入力コネクタ110は、この実施形態では任意的であり、たとえば、画面共有のためにコンピュータを接続するために使用されてもよい。
プロセッサ134は、カメラ116によって捕捉される、ホワイトボード132および室内の参加者のビデオ・フレームのシーケンスを取得する。プロセッサ134は、ビデオ向上プロセスをビデオ・フレームのシーケンスに適用することによって、処理されたビデオ・データを生成するように構成される。ビデオ向上プロセスは、物理的な筆記面上のペン・ストローク、たとえばテキストおよび描画の判読性を向上させる。任意的に、プロセッサ134は、ビデオ向上プロセスを、受領されたビデオ・フレームの、ホワイトボードに対応する画像領域のみに適用し、室内の参加者を捕捉するなど他の画像領域には適用しないように構成される。ホワイトボード132に対応する画像領域に適用されるビデオ向上プロセスは、物理的な筆記面上のペン・ストローク、たとえば、テキストおよび描画の判読性を高める。
別の例では、ホワイトボード132を捕捉するための専用カメラ、および参加者を捕捉するための専用カメラと、複数のカメラが設けられる。この例では、ビデオ向上プロセスは、専用のホワイトボード・カメラによって捕捉されたビデオに適用される。
ホワイトボードの処理されたビデオおよび参加者のビデオは、エンドポイント102によって、2つの別々のビデオ・ストリームとして、またはホワイトボードの向上されたビデオに対応する一つの画像領域と参加者のビデオに対応する別の画像領域とを有する組み合わされたビデオ・フレームを含む単一のビデオ・ストリームとして、ビデオ会議サーバーおよび／または他のビデオ会議エンドポイントに通信されうる。
図2Aは、コンピューティング装置120またはプロセッサ134によって実行される、それぞれカメラ130またはカメラ116によって捕捉されたビデオ・フレームのシーケンスにおけるペン・ストロークの判読性を向上させるビデオ向上プロセス200の例を示す。コンピューティング装置120またはプロセッサ134は、ビデオ・フレームのシーケンスをフレームごとに処理する。プロセスは、202で開始される。ステップ204において、現在のビデオ・フレームが受領される。ステップ205aでは、関心画像領域が選択される。関心画像領域は、ビデオ・フレームの実質的に全画像領域を含んでいてもよい。たとえば、専用カメラ130がホワイトボードの画像を捕捉するとき、ホワイトボードは、ビデオ・フレームの画像領域全体、または少なくとも実質的にビデオ・フレームの画像領域全体にまたがることがある。別の例では、関心画像領域はビデオ・フレームのサブ領域である。たとえば、カメラ116が室内の参加者とホワイトボードの両方を捕捉するとき、関心画像領域は、ビデオ・フレームの、ホワイトボードを含むサブ領域に対応しうる。
たとえば、関心画像領域は、ユーザー・インターフェースを介してユーザーによって設定されてもよい。ユーザーは、ビデオ中の、ホワイトボードに対応する領域を指定する。別の例では、ホワイトボードに対応するビデオの領域は、たとえば、オブジェクト認識アルゴリズムを使用して自動的に決定される。関心領域の選択は、カメラ116のようなカメラの操作を含んでいてもよい。たとえば、操作は、ホワイトボードがその視野に入るように、またはその視野内で動かされるように、たとえばホワイトボードがカメラの視野内で実質的に中心になるように、カメラをパンすることを含んでいてもよい。追加的または代替的に、操作は、ホワイトボードがその視野のより多くを占めるようにカメラをズームすることを含んでいてもよい。追加的または代替的に、操作は、ホワイトボードがその視野のより多くを占めるように、および／またはその視野内で実質的に中心になる、または少なくともより中心に近づくように、カメラを物理的に再配置することを含んでいてもよい。
ある実施形態では、選択された関心画像領域は、後続のすべてのフレームについて同じである。ひとたびユーザーが関心画像領域を指定するか、またはシステムが関心画像領域を自動的に決定したら、後続のすべてのフレームについて同じ関心画像領域が使用される。たとえば、選択された画像関心領域の境界は、ユーザー入力または自動決定に基づいて決定される。たとえば、ホワイトボードの2つ以上のコーナー、または4つのコーナーすべてのピクセル位置が記憶されて、後続のフレームにおいて、ホワイトボード上の書き込みの筆記の判読性を高めるための向上処理にかけられるべき関心画像領域を同定するために使用される。
ステップ206では、ペン・ストローク・マスクが生成される。ステップ208では、ペン・ストローク・マスクに基づいて出力ビデオ・フレームが生成される。ステップ210において、現在のフレームがビデオ・フレームのシーケンスの最終フレームであるかどうかが判定される。シーケンスがさらなるビデオ・フレームを含む場合、ステップ212が実行され、次のビデオが現在のビデオ・フレームとして設定される。換言すれば、ステップ204～210の次の反復は、現在のビデオ・フレームの代わりに次のビデオ・フレームを使用して実行される。ステップ210で最終フレームが検出された場合、プロセスはステップ214で終了する。
さらに、この方法は、選択された画像領域、たとえば、ホワイトボードに対応するサブ領域を実質的に長方形の形状に変換する任意的なステップ205b（図2A）を含んでいてもよい。カメラによって捕捉された画像において、遠近感のため、ホワイトボードが歪んで見えることがある。ステップ205bでは、結果として得られる画像においてホワイトボードが長方形の形状を有するように、幾何学的変換が適用される。一般には、幾何学的変換は射影変換である。典型的には、幾何学的変換は透視変換である。一例として、選択された画像領域にアフィン変換が適用されてもよい。
本開示の実施形態の利点は、ビデオ・フレーム内のペン・ストロークの判読性を高めることが、ビデオ・フレームのシーケンスのエントロピーを減少させるということである。よって、ビデオ会議エンドポイント102が、サーバーまたは他のエンドポイントへの送信のためにビデオをエンコードするとき、エンコードの圧縮効率は、特にエンコードがフレーム間圧縮を含む場合に、増加する。
図2Bは、ステップ204、すなわち、現在のビデオ・フレームを受領するステップの任意的なサブステップを示している。図2Bの実施形態では、カメラは高ダイナミックレンジ（HDR）カメラである。さらに、図2Bの例のカメラは、魚眼レンズまたは異なる型の広角レンズを備えている。ステップ204Aは、広角レンズを装備したHDRカメラから現在のビデオ・フレームを受領することを含む。ステップ204Bにおいて、HDR画像にトーンマッピングが適用される。トーンマッピングは、コンピューティング装置120またはプロセッサ134によって実行されて、トーンマッピングされた画像を得てもよい。別の例では、トーンマッピングは、カメラによって実行される、すなわち、トーンマッピング動作は、カメラによって適用される内部ビデオ処理の一体的な部分であり、トーンマッピングされたビデオを、それぞれ、コンピューティング装置120またはプロセッサ134に直接提供する。この場合、コンピューティング装置120またはプロセッサ134はそれぞれ、ステップ204Bを省略する。
HDRビデオ捕捉の利点は、ホワイトボード上の反射による画像の飽和が回避されることである。そのような反射は、たとえば、頭上の照明によって生じることがある。よって、ホワイトボードに書かれた情報の喪失を防止または低減することができる。
ステップ204Cでは、現在のビデオ・フレームが歪みを取り除かれる。広角レンズ、たとえば、魚眼レンズを使用することは、大きな画角でビデオ会議室を捕捉し、たとえば、室内の参加者と室内に位置するホワイトボードの両方を捕捉することができるという利点を有する。しかしながら、一部のレンズは画像を歪めることがあり、捕捉された画像において直線がまっすぐに見えないことがある。いくつかのレンズ型のこの歪み効果を取り消すために、ステップ204Cにおいて、歪み除去（de-warping）動作が適用されることができる。歪み除去後は、ホワイトボードのエッジのような直線は、捕捉されたビデオ・フレームでも直線に見える。たとえば、歪み除去動作は、それぞれコンピューティング装置120またはプロセッサ134によって適用されてもよい。別の例として、歪み除去は、カメラの内部ビデオ処理に組み込まれてもよく、その場合、コンピューティング装置120またはプロセッサ134は、ステップ204Cを省略する。
任意的に、ステップ204Bおよび204Cの順序は、逆にされてもよく、ステップ204Cは、ステップ204Bの前に実行される。
ある実施形態では、トーンマッピングおよび／または歪み除去がフル・ビデオ・フレームに適用され、ホワイトボードに対応しない画像領域もこれらの動作から恩恵を受けることができる。
図3のAおよびBは、ステップ206、すなわち、ペン・ストローク・マスクを生成するステップの2つの例を示している。どちらの例も、適応的な閾値処理を適用する。ここで、画像の異なる部分について変化する閾値を適用することによって、前景（たとえば、ホワイトボード上のペン・ストローク）が背景（たとえば、ホワイトボードの書き込まれていない領域）から分離される。画像の一部に適用すべき閾値は、局所的な画像特性に基づいて選択される。
一つの型の適応的な閾値処理は、各ピクセルの近傍におけるピクセル値、すなわちピクセル強度または輝度に依存して設定される局所的な閾値を使用する。たとえば、局所的な閾値は、前記近傍におけるピクセルの平均値、ガウス重み付け平均値などの重み付け平均値、および中央値のうちの少なくとも一つに基づくことができる。追加的または代替的に、閾値は、前記近傍におけるピクセルのうちの最大ピクセル値および最小値の平均に基づくことができる。
適応的な閾値処理の結果は、バイナリー画像の形式を取ってもよい。バイナリー画像の各ピクセルは、当該ピクセルが前景として分類されるか背景として分類されるかを示すために、最小値VMINおよび最大値VMAXの一つを有する。たとえば、ペン・ストローク・マスクのピクセルは、VMIN＝0またはVMAX＝1のいずれかの値をもつことができる。異なる例では、バイナリー画像の各ピクセルはMビットを用いて格納され、VMIN＝0またはVMAX＝2M－1のいずれかの値を取りうる。
図3Aの例では、適応的な閾値処理が現在のビデオ・フレームの選択された関心画像領域に直接適用されて、中間マスクを生成する。ステップ218では、N個の最後のビデオ・フレームの中間マスクの平均が計算される。換言すれば、現在のビデオ・フレームの中間マスクと、N－1個の先行ビデオ・フレームの中間マスクの平均が計算される。たとえば、Nは、4～32フレームの範囲内、たとえば、10、15または20である。一例では、ステップ218で計算された中間マスクは、待ち行列のようなFIFOデータ構造に格納される。次いで、待ち行列内のすべての中間マスクを平均することによって、中間マスクの平均が計算される。
中間マスクはバイナリー画像であるため、中間マスクを平均化すると、VMINからVMAXまでの間のピクセル値をもつマスクになる。バイナリー・ペン・ストローク・マスクを得るために、固定閾値が、平均された中間マスクに適用される。閾値は、たとえば、floor[(VMIN＋VMAX)/2]に設定され、ここで、floor(X)は、XをX以下の最も近い整数に丸める。
図3のBの例では、適応的な閾値処理は、N個の最後のビデオ・フレームの選択された関心画像領域の平均に適用される。ステップ222では、N個の最後のビデオ・フレームにわたる平均が計算される。換言すれば、現在のビデオ・フレームの関心画像領域と、N－1個の先行ビデオ・フレームの関心画像領域の平均が計算される。たとえば、Nは、4～32フレームの範囲内であり、たとえば、10、15または20である。一例では、各反復において、現在のビデオ・フレームの関心画像領域は、待ち行列のようなFIFOデータ構造に格納される。次いで、待ち行列内のすべての画像を平均することによって、平均化された画像が計算される。
ステップ224では、ステップ222で計算された平均画像に対して、適応的な閾値処理が適用される。その結果が、ペン・ストローク・マスクとして使用されるバイナリー画像である。
図3のAおよびBの例は、ペン・ストローク・マスクを生成するための平均化演算に言及している。しかしながら、本開示は、平均化演算に限定されない。一般に、中間マスクまたはビデオ・フレームに対して、平均化の代わりに、任意の時間的平滑化フィルタが適用されることができる。例示的な平均化フィルタの代わりに使用できる平滑化フィルタの例は、重み付き移動平均フィルタ、マルチパス（multipass）移動平均フィルタ、指数（exponential）平滑化フィルタ、ガウスフィルタまたはローパスフィルタを含む。
第1の例では、時間的平滑化フィルタは、現在のマスクまたはビデオ・フレーム、およびそれぞれ少なくとも一つの先行するマスクまたはビデオ・フレームに適用される。第2の例では、時間的平滑化フィルタは、少なくとも2つの先行するマスク／ビデオ・フレームに適用される。
任意的に、この方法は、2つ以上の平滑化モード間のスイッチングを含んでいてもよい。一例では、第1の平滑化モードは、平滑化が適用されない、すなわちステップ218および220またはステップ222を省略する「オフ」モードを含む。こうして、ペン・ストローク・マスクは、現在のビデオ・フレームの関心画像領域に対して適応的な閾値処理を適用することによって生成される。別の例では、第2の平滑化モードは、たとえば上記のように平滑化が適用される「オン」モードを含む。任意的に、「オン」モードで適用される平滑化の量を制御することができる。たとえば、平滑化に使用する先行ビデオ・フレームの数が調整可能であり、平滑化に使用される先行ビデオ・フレームの数を増加させると平滑化の量が増加し、平滑化に使用される先行ビデオ・フレームの数を減少させると、平滑化の量が減少する。平滑化モードの切り換えおよび平滑化量の制御は、ユーザー制御されても、あるいは自動であってもよい。
図3のAおよびBに記載される適応的な閾値処理動作は、入力として強度画像を要求することがある。カメラ130から受領されたビデオ・フレームは、典型的には、カラー画像を含む。ビデオ・フレームがカラー画像である場合、カラー画像を強度画像に変換するために、ステップ206の前に前処理ステップを実行されてもよい。次いで、結果として得られる強度画像に対して、図3のAおよびBに記載されるステップが適用される。たとえば、入力画像がRGB画像またはBGR画像である場合、強度画像Yへの変換は、Y＝αR＋βG＋γBを計算することを含んでいてもよく、ここで、α、βおよびγは、重み付け因子であり、たとえばα＝0.299、β＝0.587およびγ＝0.114である。
発明者は、背景からペン・ストロークを分離するプロセスは、ホワイトボードの内容が時間とともに急激に変化しないという事実から恩恵を受けられることを認識した。実際、ひとたびホワイトボードの一部にペン・ストロークが作成されたら、ホワイトボードが消去される／フリップチャートが反転されるまで、これらの部分は通常、不変のままである。時間的平滑化および適応的な閾値処理の組み合わせは、ホワイトボード内容のこの特性を利用し、困難な照明条件（弱い照明条件、またはホワイトボードの領域にわたって光の強度が変化する場合など）下および／または低品質のカメラを使用した場合でも、ペン・ストロークを背景から良好に分離する結果となる。
図4A、4Bおよび4Cは、ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する例を示す。図4Aの例のステップ226では、ペン・ストローク・マスクが現在のビデオ・フレームの関心画像領域に適用され、それにより現在のビデオからペン・ストロークを抽出する。ステップ228では、ペン・ストローク画像を使って、出力ビデオ・フレームが生成される。
図4Bの例では、ペン・ストローク・マスクを適用する前に、現在のビデオ・フレームの関心画像領域に対して画像向上プロセスが適用される。いくつかの実施形態では、ペン・ストローク・マスクは、もとの入力画像を強度画像に変換することによって生成されてもよいが、画像向上プロセスは、もとの入力画像に適用される。ステップ230では、画像向上プロセスがもとの入力画像の関心画像領域に適用され、結果として向上された画像を与える。ステップ232では、該向上された画像にペン・ストローク・マスクを適用することによって、向上されたペン・ストローク画像が生成される。ステップ234では、向上されたペン・ストローク画像を使って、出力ビデオ・フレームが生成される。
図4Cの例では、ペン・ストローク・マスクおよび画像向上プロセスを適用する順序が、図4Bの例に比べて逆になっている。ステップ226では、ペン・ストローク・マスクを現在のビデオ・フレームに適用することによってペン・ストローク画像が生成される。ステップ228Aでは、結果として得られるペン・ストローク画像に対して画像向上プロセスが適用される。ステップ228Bでは、向上されたペン・ストローク画像を使って、出力ビデオ・フレームが生成される。
図4Bおよび4Cを参照して説明した画像向上プロセスは、たとえば、色調整プロセスを含んでいてもよい。一例では、色調整プロセスは、色の彩度を変化させる、たとえば増加させる彩度調整プロセスを含む。代替的または追加的に、色調整プロセスは、一つまたは複数の色成分のヒストグラム等化を含む。たとえば、色調整プロセスは：A）現在のビデオ・フレーム／ペン・ストローク画像の色相、彩度、値（HSV）表現の色相および／または彩度および／または値成分；またはB）現在のビデオ・フレーム／ペン・ストローク画像の色相、彩度、値（HSL）表現の色相および／または彩度および／または明度成分のヒストグラム等化を含む。さらなる例では、HSVまたはHSL表現の彩度成分のヒストグラムは等化されるが、他の2つの成分は変更されない。別の例では、ヒストグラム等化はLAB色空間で適用される。
出力ビデオ・フレームは、ペン・ストローク画像（図4A）または向上されたペン・ストローク画像（図4B、4C）に基づいて生成される。第1の例では、出力ビデオ・フレームは、（向上された）ペン・ストローク画像をソリッドな背景と組み合わせて、たとえば、白い背景上の（向上された）ペン・ストローク画像を提供することによって生成される。図5は、出力ビデオ・フレームが、（向上された）ペン・ストローク画像を、もとの入力画像から得られた背景と組み合わせることによって生成される第2の例を示している。
図5の方法300において、ステップ302、304、305a、305b、306、310、312、314は、それぞれ、図2の例のステップ202、204、205a、205b、206、210、212、214に対応する。方法300は、さらに、ステップ306で得られたペン・ストローク・マスクを反転させるステップ307Aを含む。さらに、ステップ307Bにおいて、反転されたペン・ストローク・マスクがもとの入力ビデオ・フレームの関心画像領域に適用されて、背景画像を得る。ステップ308Aは、ペン・ストローク・マスクに基づいて、ペン・ストローク画像または向上されたペン・ストローク画像を生成する4A～4Cの例を要約する。ステップ308Bでは、（向上された）ペン・ストローク画像が背景画像と組み合わされる。たとえば、（向上された）ペン・ストローク画像が背景画像に加えられてもよい。すなわち、ステップ308Bの結果は、ステップ308Aの（向上された）ペン・ストローク画像とステップ307Bの背景画像の和である。次いで、ステップ308Cにおいて、前記組み合わされた画像に基づいて出力ビデオ・フレームが生成される。
選択された関心画像領域がビデオ・フレームのサブ領域に対応する場合、出力ビデオ・フレームは、ステップ308Bの結果（よって、選択されたサブ領域外の領域を省略する）、またはステップ308Bの結果と選択されたサブ領域外の領域との組み合わせのいずれかを含みうる。
いくつかの実施形態では、出力ビデオ・フレームは、ステップ308Cから帰結する組み合わされた画像に等しい。他の実施形態では、出力ビデオ・フレームは、該組み合わされた画像に基づいてもよく、さらなる画像処理ステップを伴う。たとえば、図6の方法400は、出力ビデオ・フレームを、前記組み合わされた画像と、図3のAのプロセス206Aのステップ216で得られた平均中間マスクおよび現在のビデオ・フレーム、すなわち、もともと受領されたビデオ・フレームのうちの少なくとも一方との重み付けされた和として生成する。図6において、ステップ402、404、405a、405b、407A、407B、408A、および408Bは、それぞれ図5のステップ302、304、305a、305b、307A、307B、308A、および308Bに対応し、一方、ステップ416、418、および420は、それぞれ図3Aのステップ216、218、および220に対応する。図6の方法400は、ステップ408Cをさらに含み、出力ビデオ・フレームは、A）ステップ408Bの前記組み合わされた画像と、B）ステップ404のもともと受領された現在のビデオ・フレームの関心画像領域および／またはステップ418の平均中間マスクとの重み付けされた和を含む。ステップ404および418をステップ408Cにつなぐ破線は、現在のビデオ・フレームの関心画像領域および平均中間マスクのいずれか一方または両方が、ステップ408Cにおいて使用できることを示す。
たとえば、出力ビデオ・フレームFはF＝w1A＋w2B＋w3Cとして得られ、ここで、A、B、Cはそれぞれ前記組み合わされた画像、前記平均中間マスク、もとのビデオ・フレームであり、w1、w2、w3は重み付け因子である。いくつかの実施態様では、w1、w2およびw3はすべて、ゼロでない。他の実施形態では、w2またはw3はゼロに設定される。たとえば、w3がゼロに設定され、w1およびw2は、それぞれ、0.6～0.9および0.2～0.4であってもよい（たとえば、w1＝0.75、w2＝0.35）。別の例では、w2がゼロに設定され、一方、w1およびw3は、それぞれ、0.6～0.9および0.2～0.4であってもよい（たとえば、w1＝0.75およびw3＝0.35）。これらの重み付け因子は、合計すると1になってもよいが、それは必須ではないことを注意しておく。
本開示に記載される、物理的な筆記面のビデオにおけるペン・ストロークの判読性を高めるための方法の実施形態は、各ビデオ・フレームの全領域に、またはビデオ・フレームの選択されたサブ領域のみに適用することができる。たとえば、ユーザーは、ホワイトボードに対応するビデオ内の領域を選択することができ、本方法は、選択された領域のみに適用され、ビデオの他の領域は処理されない。たとえば、各ビデオ・フレーム内の領域を選択するために選択マスクが適用され、ペン・ストロークの判読性を高めるためのプロセスが選択された領域に適用され、その結果が、選択された領域の外の入力ビデオ・フレームの領域、すなわち、選択されず、処理されていない領域と組み合わされる。別の例では、ホワイトボードに対応するビデオの領域は、たとえば、オブジェクト認識アルゴリズムを使用して、自動的に選択される。
各ビデオ・フレーム内でサブ領域が選択され、上記のようなヒストグラム等化も実行される実施形態では、ヒストグラム等化は、もとの入力画像の全領域に対して、または選択されたサブ領域のみに対して実行されうる。
任意的に、筆記面が長方形形状として見えるようにするよう、たとえばステップ205b、305bおよび／または405bにおいて、幾何学的変換が、前処理または後処理ステップとして適用される。幾何学的変換は、各ビデオ・フレームの全領域に適用されてもよく、または選択された領域にのみ適用されてもよい。特に、物理的な筆記面に対応するビデオ・フレームの選択された関心領域は、幾何学的変換を用いて前処理されてもよく、次いで、本明細書に記載される方法のいずれかを用いて、判読性が増加されてもよい。出力ビデオ・フレームは、たとえば、ビデオ・フレームの選択された領域の、幾何学的変換され、向上されたバージョンであってもよい。さらなる例では、幾何学的変換され、向上された選択領域が、もとのフレームと一緒に表示され、たとえばもとのフレームに重ね合わせられ、あるいはもとのフレームに隣接して表示される。
本開示に記載されるような判読性を高める方法は、任意的に、リアルタイムで実行されてもよい。
本明細書に記載の実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの組み合わせで実装されうる。たとえば、実施形態は、コンピュータ・システムのような電子回路およびコンポーネントを含むシステム上で実装されてもよい。コンピュータ・システムの例は、デスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム（たとえば、ラップトップ）、ハンドヘルド装置（たとえば、スマートフォンまたはタブレット）、およびネットワーキング装置を含む。実施形態を実装するためのシステムは、たとえば、集積回路（IC）、フィールドプログラマブルゲートアレイ（FPGA）のようなプログラマブル論理デバイス、デジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、中央処理装置（CPU）、およびグラフィックス処理装置（GPU）のうちの少なくとも一つを含んでいてもよい。
本明細書に記載する実施形態のある種の実装は、データ処理システムによって実行されると、該データ処理システムに本明細書に記載される実施形態のいずれかの方法を実行させる命令を含むコンピュータ・プログラム製品を含んでいてもよい。コンピュータ・プログラム製品は、前記命令を記憶する非一時的媒体、たとえばフロッピーディスケットおよびハードディスクドライブを含む磁気データ記憶媒体、CD-ROMおよびDVDを含む光データ記憶媒体、ならびにROMを含む電子的なデータ記憶媒体、フラッシュRAMまたはUSBフラッシュドライブのようなフラッシュメモリを含む物理的な媒体を含みうる。別の例では、コンピュータ・プログラム製品は、前記命令を含むデータ・ストリーム、または分散コンピューティング・システムに記憶された、たとえば一つまたは複数のデータ・センターに記憶された前記命令を含むファイルを含む。
本開示は、上記の実施形態および例に限定されない。添付の特許請求の範囲によって定義される、本開示の範囲から逸脱することなく、多数の修正および変形を行うことができる。
一例では、ウェブカメラを備えたラップトップのようなコンピュータがビデオ会議エンドポイントとして構成され、たとえば、該コンピュータは、遠隔ビデオ会議クライアントおよび遠隔ビデオ会議サーバーのうちの少なくとも一つと通信するためのビデオ会議ソフトウェアを実行するように構成される。該コンピュータはさらに、筆記面のビデオにおけるペン・ストロークの判読性を高めるために、本開示の方法のいずれかを実行し、結果として得られる出力ビデオ・フレームを、前記ビデオ会議ソフトウェアを使用して、前記遠隔ビデオ会議クライアントおよび遠隔ビデオ会議サーバーのうちの少なくとも一つに通信するように構成される。
図7では、別の例示的なビデオ会議システム700が示されている。
システム700は、ビデオ会議クライアントを含みうるビデオ会議ハブ710を備える。ハブ710は、たとえば他のビデオ会議クライアントとの直接通信のために他のビデオ会議エンドポイントと、または、それに接続された2つ以上のビデオ会議クライアント間の通信を管理するビデオ会議サーバーと通信するためのネットワーク・インターフェースを有する。ネットワーク・インターフェースは、データ通信ネットワーク106を介して通信する。
システム700は、さらに、画像を受領するためにハブ710に接続されている、テレビジョンなどだがそれに限定されないディスプレイ702を含む。
システム700は、その視野706内にホワイトボード132（または他の物理的な筆記面）を有するカメラ704をさらに備える。カメラ704は、ディスプレイに、たとえばディスプレイの上に固定されてもよい。カメラ704は、いかなる種類の電動式パンニングもできなくてもよく、その視野706は一般に固定されている。それは、光学式および／またはデジタル式のズームができてもよい。視野内でのホワイトボード132の位置に依存して、カメラ704によって捕捉されるその画像は、長方形または非長方形（少なくとも遠近感のため）であってもよい。カメラ704は、捕捉された画像をハブ710に送信し、任意的にはハブ710から制御データを受信するため、ハブ710に接続される。カメラ704はまた、捕捉された画像をディスプレイ710に直接送信するために、ディスプレイ710に接続されてもよい。
システム700は、電話708をさらに備える。電話708は、ビデオ会議ハブ710に接続され、オーディオ信号および制御データがその間で通信される。接続は、直接接続、たとえば有線イーサネット（登録商標）接続であってもよい。電話708は、データ通信ネットワーク106を介してビデオ会議ハブ710と通信するためのネットワーク・インターフェースを有してもよい。電話708は、ビデオ会議システムの恒久的なコンポーネント、たとえば、会議電話であることが意図された専用装置であってもよい。会議電話は、ローカル電源に、そしておそらくはデータ通信ネットワーク106に配線接続されてもよい。代替的に、電話708は、共有目的装置、たとえば、ビデオ会議システムを構成するために持ち込まれる、および／または、ビデオ会議システムによって提供されるビデオ会議中に使用されるスマートフォンまたはタブレットコンピュータであってもよい。
システム700は、ディスプレイ702、カメラ704、電話708、およびハブ710のうちの一つに位置されていてもよく、またはそれらの2つ以上に分散されていてもよい制御システムをさらに備える。典型的には、制御システムは、ほとんどハブ710に位置される。制御システムは、セットアップ・フェーズ中に構成可能であり、その間に、図8および図9を参照してこれから述べるステップのシーケンスを実行する。なお、各ステップは、記述される順序で実行される必要はなく、逐次的に実行される必要はない。
ステップのシーケンスは、カメラ704を使用して少なくとも一つの画像を捕捉するステップS902を含む。ビデオ画像のストリームが捕捉されてもよい。
ステップのシーケンスは、捕捉された画像（単数または複数）をディスプレイ702上にレンダリングするステップS904を含む。このステップにより、ユーザーは、カメラ704の視野706内にあるものを見ることができる。この時点で、ユーザーは、たとえば、視野706内で家具およびおそらくホワイトボードを再配置してもよい。
ステップのシーケンスは、電話を介して前記少なくとも一つの画像のある領域のユーザー選択を取得するステップS906を含み、該領域はホワイトボードの画像を含む。取得するステップS906は、ユーザーが、電話を介して、ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定することを可能にする方法1000を含む。方法1000は、図10を参照して、以下に記載される。
ステップのシーケンスは、選択された領域に対応するホワイトボード位置をメモリに保存するステップS908で終了する。ホワイトボード位置を保存する特定の仕方は本質的ではない。たとえば、保存される位置は、中心点、中心点および最長寸法、長方形の4つのコーナーなどの形であってもよい。
図10を参照するに、ユーザーが、前記領域の表現のサイズ、形状、または位置のうちの前記少なくとも一つを設定することを可能にする方法1000が、ここで、図7および8をも参照して記述される一連のステップを含む。なお、各ステップは、記述される順序で実行する必要はなく、逐次的に実行する必要はない。
一連のステップは、電話708のタッチスクリーン804上に第1の形状802（図8参照）を表示するステップS1000-2を含み、第1の形状は前記領域の事前選択を表わす。たとえば、示されるように、第1の形状は、長方形であってもよい。
一連のステップは、ディスプレイ702（図8参照）上に第2の形状714を表示するステップS1000-4を含み、第2の形状は第1の形状に対応する。典型的には、第1および第2の形状は同じ形状であり、第2の形状は、ディスプレイ702上に描画されるので、より大きい。
一連のステップは、ユーザーが、タッチスクリーンを介して、第1の形状802の操作を実行できるようにするステップS1000-6を含む。たとえば、第1の形状は、前記少なくとも一つの画像の異なる領域を占めるように、移動可能、たとえばドラッグ可能であってもよい。第1の形状上のコーナーなどのある種の点は、そのサイズおよび／または形状を変更するためにドラッグ可能であってもよい。
一連のステップは、制御システムによって、第1の形状802の操作に応じて第2の形状714を操作するステップS1000-8を含む。したがって、実際には、電話上の第1の形状のユーザー操作が、ディスプレイ上の第2の図形のレンダリングに反映される。
このセットアップ・フェーズに続いて、カメラの視野内のホワイトボードの位置が保存され、そのためシステムのユーザーにとって、後述するように、ビデオ会議中にホワイトボードの画像を他のビデオ会議参加者と共有することが簡単になる。制御システムは、ビデオ会議中に、図11および図12を参照してここで記述される一連のステップを実行するように構成される。なお、各ステップは、記述される順序で実行する必要はなく、逐次的に実行する必要はない。
一連のステップは、電話を介して、筆記面共有ソフトボタンを提供すること1102を含み、該ボタンの選択は、筆記面共有命令を生成する。これは、電話708のタッチスクリーン804上にレンダリングされたソフトボタンであってもよい。
一連のステップは、電話を介して筆記面共有命令を受信することS1104を含む。
一連のステップは、保存されたホワイトボード位置にアクセスするステップS1106を含む。このステップは、筆記面共有命令を受け取る前に、たとえばビデオ会議の開始時に、または他の何らかのより早い時に、実行されうる。
一連のステップは、ホワイトボードの非長方形画像上に幾何学的変換を実行することS1108を含み、それによりホワイトボードの実質的に長方形の画像が生成される。これは、ホワイトボードの画像が非長方形であるかどうかを判定する前置ステップと、次いでホワイトボードの画像が非長方形である場合にのみ幾何学的変換を実行するステップとを含んでいてもよい。
一連のステップは、たとえば図12に示すように、ビデオ・フレームの出力ストリームのビデオ・フレームのピクセルの少なくとも大半を占めるように、ホワイトボードの画像を拡大することS1110を含む。
一連のステップは、ホワイトボードの画像に対してホワイトボード向上処理を実行することS1112を含む。
図11に示されるステップのうち、少なくとも前記拡大S1110は、筆記面共有命令に応答する。
本発明の種々の側面は、以下の箇条書き例示的実施形態（enumerated example embodiment、EEE）から理解されうる。
〔EEEA1〕ビデオ会議エンドポイントおよびコンピューティング装置を有するビデオ会議システムであって：
・前記ビデオ会議エンドポイントは：
〇データ通信ネットワークを介して、ビデオ会議サーバーおよびビデオ会議クライアントの少なくとも一つと通信するためのネットワーク・インターフェース；および
〇画面共有のために入力ビデオ信号をコンピュータから受信するために前記コンピュータを前記ビデオ会議エンドポイントに接続するためのビデオ・インターフェース入力コネクタを備える第1のビデオ・インターフェースを有しており、
前記ビデオ会議エンドポイントは、前記ビデオ・インターフェース入力コネクタを介して受信された前記入力ビデオ信号に対応するビデオ・データを、前記ネットワーク・インターフェースを介して前記ビデオ会議サーバーおよび前記ビデオ会議クライアントのうちの前記少なくとも一つに通信するように構成され、
・前記コンピューティング装置は：
〇ディスプレイ上の出力用の出力ビデオ信号を生成するためのディスプレイ・コントローラ；
〇ディスプレイ・コントローラに接続され、前記ディスプレイ・コントローラによって生成された出力ビデオ信号の出力のために適応されたビデオ・インターフェース出力コネクタを備える第2のビデオ・インターフェース；および
〇プロセッサを有しており、
前記コンピューティング装置は、物理的な筆記面のビデオ・フレームのシーケンスを捕捉するためのカメラに接続され、前記プロセッサは、前記カメラによって捕捉された前記物理的な筆記面のビデオ・フレームのシーケンスに、前記物理的な筆記面上のペン・ストロークの判読性を高めるためのビデオ向上処理を適用することによって、処理されたビデオ・データを生成するように構成され、前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタは、前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタに接続され、前記コンピューティング装置は、前記ビデオ・インターフェース出力コネクタを介して、前記処理されたビデオ・データに対応する向上されたビデオ信号を出力するように構成される、
システム。
〔EEEA2A〕
前記第1および第2のビデオ・インターフェースは、両方とも、HDMIインターフェース、Sビデオ・インターフェース、DVIインターフェース、コンポジットビデオ・インターフェース、コンポーネントビデオ・インターフェース、ディスプレイポート・インターフェース、FireWireインターフェース、VGAインターフェース、またはSCARTインターフェースである、EEEA1のシステム。
〔EEEA2B〕
前記第1のビデオ・インターフェースが無線インターフェースを含む、または前記第2のビデオ・インターフェースが無線インターフェースを含む、の少なくとも一方である、EEEA1のシステム。
〔EEEA3〕
前記コンピューティング装置がスクリーンレス装置である、EEEA1、A2AまたはA2Bのシステム。
〔EEEA4〕
前記コンピューティング装置がドングルを含む、EEEA3のシステム。
〔EEEA5〕
前記コンピューティング装置の前記プロセッサが：
・ビデオ・フレームの前記シーケンスを前記カメラから受信する段階と；
・ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
〇適応的な閾値処理を適用することによりペン・ストローク・マスクを生成し：
〇ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを実行するよう構成されている、
EEEA1～A4のいずれかのシステム。
〔EEEA6〕
前記コンピューティング装置の前記プロセッサが、
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記現在のビデオ・フレームに適応的な閾値処理を適用することによって中間マスクを生成し；
・所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
・平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成するよう構成される、
EEEA5のシステム。
〔EEEA7〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・所定数のビデオ・フレームを時間的平滑化することによって、平滑化されたビデオ・フレームを決定し；
・平滑化されたビデオ・フレームに適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成するよう構成されている、
EEEA5記載のシステム。
〔EEEA8〕
前記コンピューティング装置の前記プロセッサが、ペン・ストローク・マスクを前記現在のビデオ・フレームに適用してペン・ストローク画像を生成し、前記ペン・ストローク画像を用いて前記出力ビデオ・フレームを生成するように構成されることを特徴とするEEEA5、EEEA6またはEEEA7に記載のシステム。
〔EEEA9〕
前記コンピューティング装置のプロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、画像向上プロセスを前記現在のビデオ・フレームに適用して、向上されたビデオ・フレームを生成し、前記ペン・ストローク・マスクを前記向上されたビデオ・フレームに適用して、向上されたペン・ストローク画像を生成するように構成される、EEEA5～A8のいずれかに記載のシステム。
〔EEEA10〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、画像向上プロセスを前記ペン・ストローク画像に適用して、向上されたペン・ストローク画像を生成するように構成される、EEEA8に記載のシステム。
〔EEEA11〕
前記コンピューティング装置の前記プロセッサが、前記画像向上プロセスとして色調整プロセスを適用するように構成され、任意的に、該色調整プロセスとして彩度調整プロセスを適用するように構成される、EEEA9またはEEEA10に記載のシステム。
〔EEEA12〕
前記コンピューティング装置の前記プロセッサが、それぞれ現在のビデオ・フレームまたはペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行するように構成される、EEEA11に記載のシステム。
〔EEEA13〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記ペン・ストローク・マスクを反転させることによって反転マスクを生成し；
・反転されたマスクを現在のビデオ・フレームに適用することによって背景画像を生成し；
・背景画像をそれぞれ前記ペン・ストローク画像または前記向上されたペン・ストローク画像に加えるよう構成される、
EEEA8～EEEA12のうちいずれかに記載のシステム。
〔EEEA14〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記出力ビデオ・フレームを、少なくとも：
・前記向上されたペン・ストローク画像または前記ペン・ストローク画像と；
・前記現在のビデオ・フレーム、または前記平滑化されたマスク、または前記ペン・ストローク・マスク
の重み付けされた和として生成するよう構成される、EEEA13に記載のシステム。
〔EEEA15〕
コンピュータ画面を共有するためのビデオ・インターフェース入力コネクタを有するビデオ会議エンドポイントを用いて、物理的な筆記面上に書かれたコンテンツを共有するための方法であって、当該方法は：
・物理的な筆記面のビデオ・フレームのシーケンスを捕捉するためのカメラに接続されたコンピューティング装置を提供する段階であって、前記コンピューティング装置は、出力ビデオ信号を生成するためのディスプレイ・コントローラと、前記ディスプレイ・コントローラに接続され、前記ディスプレイ・コントローラによって生成された前記出力ビデオ信号の出力のために適応されたビデオ・インターフェース出力コネクタと、プロセッサとを備える、段階；
・前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタを前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタに接続する段階；
・前記コンピューティング装置の前記プロセッサを使用して、物理的な筆記面に書かれたコンテンツの判読性を向上させるビデオ向上プロセスを、前記カメラによって捕捉された前記物理的な筆記面の画像フレームの前記シーケンスに適用する段階；および
前記コンピューティング装置を使用して、処理されたビデオ・データに対応する向上されたビデオ信号を出力し、それにより、向上されたビデオ信号を、前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタおよび前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタを介して、前記ビデオ会議エンドポイントに送信する段階を含む、
方法。
〔EEEB1〕
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって、当該方法は：
・前記カメラからビデオ・フレームの前記シーケンスを受領する段階と；
・ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
〇適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
〇前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含む、
方法。
〔EEEB2〕
前記処理がリアルタイムで実行される、EEEB1に記載の方法。
〔EEEB3〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記現在のビデオ・フレームに適応的な閾値処理を適用することによって中間マスクを生成し；
・所定数のビデオ・フレームの前記中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
・平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
EEEB1またはEEEB2に記載の方法。
〔EEEB4〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・所定数のビデオ・フレームを時間的平滑化することによって、平滑化されたビデオ・フレームを決定し；
・平滑化されたビデオ・フレームに対して適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
EEEB1またはEEEB2に記載の方法。
〔EEEB5〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク・マスクを前記現在のビデオ・フレームに適用してペン・ストローク画像を生成することを含む、EEEB1～B4のいずれかに記載の方法。
〔EEEB6〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームに画像向上プロセスを適用して、向上されたビデオ・フレームを生成し、前記向上されたビデオ・フレームに前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、EEEB1～B5のいずれかに記載の方法。
〔EEEB7〕
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、EEEB5に記載の方法。
〔EEEB8〕
前記画像向上プロセスは色調整プロセスを含み、任意的に、前記色調整プロセスは彩度調整プロセスを含む、EEEB6またはEEEB7に記載の方法。
〔EEEB9〕
前記色調整プロセスは、それぞれ前記現在のビデオ・フレームまたはペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行することを含む、EEEB8に記載の方法。
〔EEEB10〕
前記出力ビデオ・フレームを生成する段階が
・前記ストローク・マスクを反転させることによって反転マスクを生成し；
・前記反転マスクを前記現在のビデオ・フレームに適用することによって背景画像を生成し；
・前記背景画像を前記ペン・ストローク画像または前記向上されたペン・ストローク画像にそれぞれ加えることを含む、EEEB5～B9のいずれかに記載の方法:。
〔EEEB11〕
前記出力ビデオ・フレームを生成する段階が、少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と；B）前記現在のビデオ・フレームまたは前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、EEEB5～B10のいずれかに記載の方法。
〔EEEB12〕
前記出力ビデオ・フレームを生成する段階が、少なくとも：A）前記背景画像に加えられた前記ペン・ストローク画像または前記向上されたペン・ストローク画像と；B）前記現在のビデオ・フレームまたは前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、EEEB10およびB11に記載の方法。
〔EEEB13〕
コンピューティング装置またはシステムによって実行されると、前記コンピューティング装置またはシステムにEEEB1～B12のいずれかに従う方法を実行させる命令を有するコンピュータ・プログラム製品。
〔EEEB14〕
EEEB1～B12のいずれかに従った方法を実行するように構成されたデータ処理システム。
〔EEEB15〕
ビデオ・フレームのシーケンスを捕捉するためのウェブカメラを備えたラップトップとして具現されたEEEB14のデータ処理システムであって、前記ラップトップは、データ通信ネットワークを介して、ビデオ会議サーバーおよびビデオ会議クライアントの少なくとも一つと通信するためのネットワーク・インターフェースを備え、前記ラップトップは、EEEB1～B12のいずれかに記載の方法を実行することによって、処理されたビデオ・データを生成し、前記処理されたビデオ・データを前記ネットワーク・インターフェースを介して、前記ビデオ会議サーバーおよび前記ビデオ会議クライアントの前記少なくとも一つに通信するように構成される、データ処理システム。
〔EEEB16〕
〇カメラによって捕捉された物理的な筆記面のビデオ・フレームシーケンスを受領する段階と；
〇前記ビデオ・フレームにおける関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択する段階と；
〇ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
・前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを実行するよう構成された、
ビデオ会議装置。

いくつかの態様を記載しておく。
〔態様１〕
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後の伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって：
前記カメラからのビデオ・フレームの前記シーケンスを受領する段階と；
前記ビデオ・フレーム内の関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択することを含む、段階と；
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含む、
方法。
〔態様２〕
前記処理がリアルタイムで実行される、態様１に記載の方法。
〔態様３〕
前記関心画像領域は、前記筆記面を含む、態様１または２に記載の方法。
〔態様４〕
態様１ないし３のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記関心画像領域を長方形領域に変換することをさらに含む、方法。
〔態様５〕
前記関心画像領域を長方形領域に変換することが、幾何学的変換を適用することを含む、態様４に記載の方法。
〔態様６〕
ビデオ・フレームの前記シーケンスが、魚眼レンズを備えたカメラから受領され、当該方法は、前記ビデオ・フレームの歪みを除去することをさらに含む、態様１～５のうちいずれか一項に記載の方法。
〔態様７〕
態様１ないし６のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスは、HDRカメラから受領され、当該方法は、前記ビデオ・フレームをトーンマッピングすることをさらに含む、方法。
〔態様８〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記現在のビデオ・フレームの前記関心画像領域に適応的な閾値処理を適用することによって中間マスクを生成し；
所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
前記平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
態様１ないし７のうちいずれか一項に記載の方法。
〔態様９〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
所定数のビデオ・フレームの前記関心画像領域の時間的平滑化によって、平滑化された画像を決定し；
前記平滑化された画像に適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
態様１ないし８のうちいずれか一項に記載の方法。
〔態様１０〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク・マスクを前記現在のビデオ・フレームの前記関心画像領域に適用して、ペン・ストローク画像を生成することを含む、態様１ないし９のうちいずれか一項に記載の方法。
〔態様１１〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームの少なくとも前記関心画像領域に対して画像向上プロセスを適用して、向上された画像を生成し、前記向上された画像に前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、態様１ないし１０のうちいずれか一項に記載の方法。
〔態様１２〕
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、態様１０に記載の方法。
〔態様１３〕
前記画像向上プロセスが、色調整プロセスを含む、態様１１または１２に記載の方法。
〔態様１４〕
前記色調整プロセスが、彩度調整プロセスを含む、態様１３に記載の方法。
〔態様１５〕
前記色調整プロセスが、それぞれ前記現在のビデオ・フレームの前記関心画像領域または前記ペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行することを含む、態様１３または１４に記載の方法。
〔態様１６〕
前記出力ビデオ・フレームを生成する段階が：
前記ストローク・マスクを反転させることによって反転マスクを生成し；
前記現在のビデオ・フレームの前記関心画像領域に前記反転マスクを適用することによって背景画像を生成し；
それぞれ前記ペン・ストローク画像または前記向上されたペン・ストローク画像に前記背景画像を加えて、組み合わされた画像を得ることを含む、
態様１０ないし１５のうちいずれか一項記載の方法。
〔態様１７〕
前記出力ビデオ・フレームを生成する段階が：少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と； B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、態様１０ないし１６のうちいずれか一項に記載の方法。
〔態様１８〕
前記出力ビデオ・フレームを生成する段階が：少なくとも:
A）前記組み合わされた画像と；B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクとの重み付けされた和を計算することを含む、態様１６に記載の方法。
〔態様１９〕
態様１ないし１８のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
〔態様２０〕
態様１ないし１８のうちいずれか一項に記載の方法を実行するように構成されたデータ処理システム。
〔態様２１〕
ディスプレイと；
視野内に物理的な筆記面を有するカメラと；
電話と；
制御システムとを有するビデオ会議システムであって、前記制御システムは、セットアップ・フェーズの間に、以下の段階：
前記カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像を前記ディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、前記電話を介して取得する段階であって、前記領域は、前記物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行するよう構成されている、
ビデオ会議システム。
〔態様２２〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様２１記載のビデオ会議システム。
〔態様２３〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを含む、
態様２２記載のビデオ会議システム。
〔態様２４〕
前記制御システムは、ビデオ会議中に、以下の段階：
前記電話を介して、筆記面共有命令を受領する段階と；
保存されている物理的な筆記面の位置にアクセスする段階と；
前記物理的な筆記面の画像を拡大して、ビデオ・フレームの出力ストリームのピクセルの少なくとも過半数を占めるようにする段階とを実行するよう構成されており、
少なくとも前記拡大することは、前記筆記面共有命令に応答する、
態様２１ないし２３のうちいずれか一項記載のビデオ会議システム。
〔態様２５〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記物理的な筆記面の画像に対して幾何学的変換を実行する段階を実行するよう構成され、それにより、前記物理的な筆記面の実質的に長方形の画像が生成される、
態様２４記載のビデオ会議システム。
〔態様２６〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記物理的な筆記面の画像に対して向上処理を実行する段階を実行するよう構成されている、
態様２４または２５記載のビデオ会議システム。
〔態様２７〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記電話を介して、筆記面共有ソフトボタンであって、その選択が前記筆記面共有命令の指示を生成するボタンを提供する段階を含む、
態様２４ないし２６のうちいずれか一項記載のビデオ会議システム。
〔態様２８〕
前記ディスプレイは：テレビジョン、コンピュータ・モニタ、またはプロジェクタおよびスクリーンを含むプロジェクタ・システムのうちの一つである、態様２１ないし２７のうちいずれか一項に記載のビデオ会議システム。
〔態様２９〕
ビデオ会議システムのための制御システムであって、当該制御システムは、セットアップ・フェーズの間、以下の段階：
カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像をディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、電話を介して取得する段階であって、前記領域は、前記カメラの視野内での物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行するよう構成されている、
制御システム。
〔態様３０〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様２９記載の制御システム。
〔態様３１〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを実行することを含む、
態様３０記載の制御システム。
〔態様３２〕
命令を含んでいる非一時的なコンピュータ可読媒体であって、前記命令は、ビデオ会議システムのための制御システムの一つまたは複数のプロセッサによって実行されると、前記制御システムに、セットアップ・フェーズの間、以下の段階：
カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像をディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、電話を介して取得する段階であって、前記領域は、前記カメラの視野内での物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行させる
非一時的なコンピュータ可読媒体。
〔態様３３〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様３２記載の非一時的なコンピュータ可読媒体。
〔態様３４〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを含む、
態様３３記載の非一時的なコンピュータ可読媒体。

Claims (14)

  1. リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後の伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって：
    前記カメラからのビデオ・フレームの前記シーケンスを受領する段階と；
    前記ビデオ・フレーム内の関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択することを含む、段階と；
    ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
    前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
    前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含み、
    前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が：
    前記現在のビデオ・フレームの前記関心画像領域に前記ペン・ストローク・マスクを適用して、生成してペン・ストローク画像を生成し；
    前記ペン・ストローク・マスクを反転させることによって反転マスクを生成し；
    前記現在のビデオ・フレームの前記関心画像領域に前記反転マスクを適用することによって背景画像を生成し；
    それぞれ前記ペン・ストローク画像または前記ペン・ストローク画像を向上させることによって得られた向上されたペン・ストローク画像に前記背景画像を加えて、組み合わされた画像を得ることを含む、
    方法。
  2. 前記処理がリアルタイムで実行される、請求項１に記載の方法。
  3. 前記関心画像領域は、前記筆記面を含む、請求項１または２に記載の方法。
  4. 請求項１ないし３のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記関心画像領域を長方形領域に変換することをさらに含む、方法。
  5. ビデオ・フレームの前記シーケンスが、魚眼レンズを備えたカメラから受領され、当該方法は、前記ビデオ・フレームの歪みを除去することをさらに含む、請求項１～４のうちいずれか一項に記載の方法。
  6. 請求項１ないし５のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスは、HDRカメラから受領され、当該方法は、前記ビデオ・フレームをトーンマッピングすることをさらに含む、方法。
  7. ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
    前記現在のビデオ・フレームの前記関心画像領域に適応的な閾値処理を適用することによって中間マスクを生成し；
    所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
    前記平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
    請求項１ないし６のうちいずれか一項に記載の方法。
  8. ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
    所定数のビデオ・フレームの前記関心画像領域の時間的平滑化によって、平滑化された画像を決定し；
    前記平滑化された画像に適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
    請求項１ないし７のうちいずれか一項に記載の方法。
  9. 前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームの少なくとも前記関心画像領域に対して画像向上プロセスを適用して、向上された画像を生成し、前記向上された画像に前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、請求項１ないし８のうちいずれか一項に記載の方法。
  10. 前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、前記向上されたペン・ストローク画像を生成することを含む、請求項１ないし９のうちいずれか一項に記載の方法。
  11. 前記出力ビデオ・フレームを生成する段階が：少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と； B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、請求項７に記載の方法。
  12. 前記出力ビデオ・フレームを生成する段階が：少なくとも:
    A）前記組み合わされた画像と；B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクとの重み付けされた和を計算することを含む、請求項７に記載の方法。
  13. 請求項１ないし１２のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
  14. 請求項１ないし１２のうちいずれか一項に記載の方法を実行するように構成されたデータ処理システム。
JP2020514261A 2017-09-27 2018-09-27 物理的な筆記面を含むビデオの処理 Active JP7326254B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762563719P 2017-09-27 2017-09-27
EP17193442.5 2017-09-27
US62/563,719 2017-09-27
EP17193442 2017-09-27
PCT/US2018/053097 WO2019067704A1 (en) 2017-09-27 2018-09-27 VIDEO PROCESSING COMPRISING A PHYSICAL WRITE SURFACE

Publications (3)

Publication Number Publication Date
JP2020535688A JP2020535688A (ja) 2020-12-03
JP2020535688A5 JP2020535688A5 (ja) 2021-09-09
JP7326254B2 true JP7326254B2 (ja) 2023-08-15

Family

ID=65903544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020514261A Active JP7326254B2 (ja) 2017-09-27 2018-09-27 物理的な筆記面を含むビデオの処理

Country Status (5)

Country Link
US (2) US11025681B2 (ja)
EP (1) EP3688982A4 (ja)
JP (1) JP7326254B2 (ja)
CN (1) CN111052732B (ja)
WO (1) WO2019067704A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301063B2 (en) 2018-07-18 2022-04-12 John J. King, JR. Smart pen device and method of implementing a smart pen device
CN113302915A (zh) 2019-01-14 2021-08-24 杜比实验室特许公司 在视频会议中共享物理书写表面
CN111930251A (zh) * 2020-08-08 2020-11-13 深圳腾千里科技有限公司 一种读取含碳码点的方法
US11044282B1 (en) * 2020-08-12 2021-06-22 Capital One Services, Llc System and method for augmented reality video conferencing
US20220051006A1 (en) * 2020-08-17 2022-02-17 Konica Minolta Business Solutions U.S.A., Inc. Method for real time extraction of content written on a whiteboard
WO2022131325A1 (ja) * 2020-12-16 2022-06-23 株式会社ワコム 画像描画方法
US11463499B1 (en) * 2020-12-18 2022-10-04 Vr Edu Llc Storage and retrieval of virtual reality sessions state based upon participants
WO2023060207A1 (en) * 2021-10-06 2023-04-13 Tangible Play, Inc. Detection and virtualization of handwritten objects

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334876A (ja) 2006-06-19 2007-12-27 Reallusion Inc 文書イメージ処理システムおよび文書イメージ処理方法
JP2011524572A (ja) 2008-06-14 2011-09-01 マイクロソフト コーポレーション マルチメディア会議イベント用のホワイトボード管理手法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613032A (en) 1994-09-02 1997-03-18 Bell Communications Research, Inc. System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved
US20010035976A1 (en) 2000-02-15 2001-11-01 Andrew Poon Method and system for online presentations of writings and line drawings
US20050281467A1 (en) * 2003-01-24 2005-12-22 Stahovich Thomas F Recognizing multi-stroke symbols
US7171056B2 (en) * 2003-02-22 2007-01-30 Microsoft Corp. System and method for converting whiteboard content into an electronic document
US7224847B2 (en) 2003-02-24 2007-05-29 Microsoft Corp. System and method for real-time whiteboard streaming
US7428000B2 (en) 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US7260278B2 (en) * 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing
US7496229B2 (en) 2004-02-17 2009-02-24 Microsoft Corp. System and method for visual echo cancellation in a projector-camera-whiteboard system
US9329827B2 (en) * 2004-12-29 2016-05-03 Funmobility, Inc. Cropping of images for display on variably sized display devices
US8019175B2 (en) 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
US8300067B2 (en) * 2006-11-16 2012-10-30 Freedom Scientific, Inc. Distance camera having a memory module
KR100847453B1 (ko) * 2006-11-20 2008-07-21 주식회사 대우일렉트로닉스 입체 음향을 위한 적응 간섭 제거 방법
US9300912B2 (en) * 2008-03-28 2016-03-29 Microsoft Technology Licensing, Llc Software based whiteboard capture solution for conference room meetings
US8334902B2 (en) * 2009-03-31 2012-12-18 Fuji Xerox Co., Ltd. System and method for facilitating the use of whiteboards
TWI389570B (zh) 2009-09-01 2013-03-11 Avermedia Information Inc 視訊會議裝置及其方法
CN102170552A (zh) 2010-02-25 2011-08-31 株式会社理光 一种视频会议系统及其中使用的处理方法
US8773464B2 (en) 2010-09-15 2014-07-08 Sharp Laboratories Of America, Inc. Methods and systems for collaborative-writing-surface image formation
US8698873B2 (en) * 2011-03-07 2014-04-15 Ricoh Company, Ltd. Video conferencing with shared drawing
US8982177B2 (en) * 2013-07-08 2015-03-17 Avaya Inc. System and method for whiteboard collaboration
WO2015116799A1 (en) * 2014-01-31 2015-08-06 3M Innovative Properties Company Note capture, recognition, and management with hints on a user interface
US20160049082A1 (en) * 2014-08-14 2016-02-18 Albert Roy Leatherman, III System for Interactive Online Instruction
GB2536408A (en) 2015-02-13 2016-09-21 Light Blue Optics Ltd Data capture adn sharing systems
CN104732211B (zh) * 2015-03-19 2017-12-08 杭州电子科技大学 一种基于自适应阈值的交通标志检测方法
US9628757B2 (en) * 2015-08-14 2017-04-18 Microsoft Technology Licensing, Llc Dynamic communication portal between locations
US9930270B2 (en) * 2015-10-15 2018-03-27 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer
US10074162B2 (en) * 2016-08-11 2018-09-11 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
US20180139374A1 (en) * 2016-11-14 2018-05-17 Hai Yu Smart and connected object view presentation system and apparatus
US20180232192A1 (en) * 2017-02-14 2018-08-16 Samson Timoner System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334876A (ja) 2006-06-19 2007-12-27 Reallusion Inc 文書イメージ処理システムおよび文書イメージ処理方法
JP2011524572A (ja) 2008-06-14 2011-09-01 マイクロソフト コーポレーション マルチメディア会議イベント用のホワイトボード管理手法

Also Published As

Publication number Publication date
CN111052732B (zh) 2022-01-28
US20210360042A1 (en) 2021-11-18
CN111052732A (zh) 2020-04-21
EP3688982A1 (en) 2020-08-05
JP2020535688A (ja) 2020-12-03
US20200220906A1 (en) 2020-07-09
US11489886B2 (en) 2022-11-01
US11025681B2 (en) 2021-06-01
WO2019067704A1 (en) 2019-04-04
EP3688982A4 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
JP7326254B2 (ja) 物理的な筆記面を含むビデオの処理
US5990931A (en) Automatic display update of still frame images for videoconferencing
US9270941B1 (en) Smart video conferencing system
US11800056B2 (en) Smart webcam system
US8717405B2 (en) Method and device for generating 3D panoramic video streams, and videoconference method and device
US9661239B2 (en) System and method for online processing of video images in real time
US8570359B2 (en) Video region of interest features
US11695812B2 (en) Sharing physical writing surfaces in videoconferencing
US20180091760A1 (en) System and method for brightening video image regions to compensate for backlighting
JP5772059B2 (ja) テレビ会議システムの処理方法、テレビ会議システム、プログラム及び記録媒体
JP2010525667A (ja) テレビ電話におけるプライバシーを最大にするための浅い被写界深度の模擬実験
US9197856B1 (en) Video conferencing framing preview
WO2014036741A1 (zh) 图像处理方法和图像处理设备
US11880983B2 (en) Image enhancement system
CN205545654U (zh) 一种双摄像头装置及其应用的终端设备
JP2020535688A5 (ja)
WO2020108060A1 (zh) 视频处理方法、装置、电子设备以及存储介质
JP7334470B2 (ja) 映像処理装置、ビデオ会議システム、映像処理方法、およびプログラム
JP7218786B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
CN113784084A (zh) 一种处理方法及装置
US10863112B1 (en) Smoothing image transitions when changing views
Zhang Computer vision technologies for remote collaboration using physical whiteboards, projectors and cameras
WO2016202286A1 (zh) 一种即时视频的传输方法和电子设备
CN114359306A (zh) 图像数据处理方法、电子设备及计算机存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230802

R150 Certificate of patent or registration of utility model

Ref document number: 7326254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150