JP6563421B2 - 関連アプリケーションに対するビデオ会議相互参照の改善 - Google Patents

関連アプリケーションに対するビデオ会議相互参照の改善 Download PDF

Info

Publication number
JP6563421B2
JP6563421B2 JP2016567335A JP2016567335A JP6563421B2 JP 6563421 B2 JP6563421 B2 JP 6563421B2 JP 2016567335 A JP2016567335 A JP 2016567335A JP 2016567335 A JP2016567335 A JP 2016567335A JP 6563421 B2 JP6563421 B2 JP 6563421B2
Authority
JP
Japan
Prior art keywords
camera
functions
controls
control
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016567335A
Other languages
English (en)
Other versions
JP2017507626A (ja
JP2017507626A5 (ja
Inventor
サージ・ラシャペル
ジェンス・エフ・オジャ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2017507626A publication Critical patent/JP2017507626A/ja
Publication of JP2017507626A5 publication Critical patent/JP2017507626A5/ja
Application granted granted Critical
Publication of JP6563421B2 publication Critical patent/JP6563421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227Providing Remote input by a user located remotely from the client device, e.g. at work
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Description

本出願は、2014年2月3日出願の米国特許仮出願シリアル番号14/171,086に対する優先権を主張するものであり、その内容は参照によりあらゆる目的のために明細書に完全に記載されているものとして本明細書に組み込まれる。
ビデオ会議は、地理的に分散した位置にわたって、リアルタイムで参加者がビデオ及びオーディオコンテンツを互いに共有することを可能にする。各位置で通信デバイスは、通常ビデオ及びオーディオストリームを送信するためにビデオカメラとマイクロフォンを使用し、並びに受信したビデオ及びオーディオストリームを再生するためにビデオモニタとスピーカーを使用する。ビデオ会議は、ビデオ及びオーディオストリームのデジタル圧縮を伴い、これは1つの位置から別の位置へネットワークを経由してリアルタイムで送信される。通信デバイスは、ビデオ及びオーディオストリームの圧縮と解凍を実行し、次いでネットワークを介してデータの連係を維持する。
実施形態は、一般にビデオ会議を改善することに関する。いくつかの実施形態において、方法は、第1のカメラによって提供されるビデオストリームの1つ又は複数の特性を決定するステップを含む。該方法は、1つ又は複数の特性に基づいて、第1のカメラの1つ又は複数の機能を決定するステップをさらに含む。該方法は、ブラウザが第1のカメラの1つ又は複数の機能を制御することを可能にするステップをさらに含み、ここでブラウザは、第1のカメラに対し遠隔にある。
該方法にさらに関して、いくつかの実施形態において、1つ又は複数の機能が、露光、コントラスト、ホワイトバランス、温度、及び絞りのうちの1つ又は複数のための制御を含む。いくつかの実施形態において、1つ又は複数の機能が、キャプチャレート及びちらつきのうちの1つ又は複数のための制御を含む。いくつかの実施形態において、1つ又は複数の機能が、パンニング及びズーミングのうちの1つ又は複数のための制御を含む。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするステップが、ブラウザにおいて1つ又は複数の制御を提供するステップを含み、ここで1つ又は複数の制御は、1つ又は複数の機能に対応する。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするステップが、ビデオストリームと関連する1つ又は複数のビデオ特性を解析するステップと、1つ又は複数のビデオ特性を解析するステップに基づいて、ブラウザにおいて1つ又は複数の制御を提供するステップと、を含み、ここで1つ又は複数の制御は、1つ又は複数の機能に対応する。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするステップが、ブラウザにおいて1つ又は複数の制御を提供するステップを含み、ここで1つ又は複数の制御は、1つ又は複数の機能に対応し、及び1つ又は複数の制御は、1つ又は複数の機能と関連する1つ又は複数の設定に対応する。いくつかの実施形態において、第1のカメラは第1のユーザと関連し、かつブラウザが第2のユーザと関連する。
いくつかの実施形態において、方法は、第1のカメラによって提供されるビデオストリームの1つ又は複数の特性を決定するステップを含む。該方法は、1つ又は複数の特性に基づいて第1のカメラの1つ又は複数の機能を決定するステップを含み、ここで1つ又は複数の機能は、キャプチャレート、ちらつき、ホワイトバランス、露光、コントラスト、温度、及び絞りのうちの1つ又は複数のための制御を含む。該方法は、ブラウザが第1のカメラの1つ又は複数の機能を制御することを可能にするステップをさらに含み、ここでブラウザは、第1のカメラに対して遠隔にあり、ブラウザが1つ又は複数の機能を制御することを可能にするステップは、ブラウザにおいて1つ又は複数の制御を提供するステップを含み、及び1つ又は複数の制御は、1つ又は複数の機能に対応する。
該方法にさらに関して、いくつかの実施形態において、1つ又は複数の機能は、パンニング及びズーミングのうちの1つ又は複数のための制御を含む。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするステップは、ビデオストリームと関連する1つ又は複数のビデオ特性を解析するステップと、1つ又は複数のビデオ特性を解析するステップに基づいて、ブラウザにおいて1つ又は複数の制御を提供するステップと、を含み、1つ又は複数の制御が1つ又は複数の機能に対応する。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするステップは、ブラウザにおいて1つ又は複数の制御を提供するステップを含み、1つ又は複数の制御が1つ又は複数の機能に対応し、かつ、1つ又は複数の制御が1つ又は複数の機能と関連する1つ又は複数の設定に対応する。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするステップは、1つ又は複数の機能と関連する1つ又は複数の設定を上書きするステップを含む。
いくつかの実施形態において、システムは、1つ又は複数のプロセッサと、1つ又は複数のプロセッサによる実行のための、1つ又は複数の有形媒体中の符号化されたロジックを含む。ロジックは、実行時に、第1のカメラによって提供されるビデオストリームの1つ又は複数の特性を決定するステップと、1つ又は複数の特性に基づいて第1のカメラの1つ又は複数の機能を決定するステップと、ブラウザが第1のカメラの1つ又は複数の機能を制御することを可能にするステップであって、ブラウザが第1のカメラに対して遠隔にある、ステップと、を含む処理を行うことが可能である。
該システムにさらに関して、いくつかの実施形態において、1つ又は複数の機能が、露光、コントラスト、ホワイトバランス、温度、及び絞りのうちの1つ又は複数のための制御を含む。いくつかの実施形態において、1つ又は複数の機能は、キャプチャレート及びちらつきのうちの1つ又は複数のための制御を含む。いくつかの実施形態において、1つ又は複数の機能は、パンニング及びズーミングのうちの1つ又は複数のための制御を含む。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするために、実行されるロジックが、ブラウザにおいて1つ又は複数の制御を提供することを含む動作を実行するのにさらに動作可能であり、1つ又は複数の制御が1つ又は複数の機能に対応する。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするために、実行されるロジックは、ビデオストリームと関連する1つ又は複数のビデオ特性を解析することと、1つ又は複数のビデオ特性を解析することに基づいて、ブラウザにおいて1つ又は複数の制御を提供することであって、1つ又は複数の制御が1つ又は複数の機能に対応することと、を含む動作を実行するのにさらに動作可能である。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするために、実行されるロジックは、ブラウザにおいて1つ又は複数の制御を提供することを含む動作を実行するのにさらに動作可能であり、1つ又は複数の制御が1つ又は複数の機能に対応し、かつ、1つ又は複数の制御が1つ又は複数の機能と関連する1つ又は複数の設定に対応する。
本明細書に記載の実施形態を実装するために使用されてもよいネットワーク環境例のブロック図である。 いくつかの実施形態に従った、ビデオ会議を改善するための簡易化したフローチャート例の図である。 いくつかの実施形態に従った、ビデオ会議を改善するための簡易化した環境例の図である。 いくつかの実施形態に従った、ビデオストリーム例の図である。 いくつかの実施形態に従った、ビデオストリーム例の図である。 いくつかの実施形態に従った、簡易化したユーザインタフェース例の図である。 いくつかの実施形態に従った、簡易化したユーザインタフェース例の図である。 いくつかの実施形態に従った、簡易化したユーザインタフェース例の図である。 本明細書に記載の実施形態を実装するために使用されてもよいサーバデバイス例のブロック図である。
本明細書で説明される実施形態は、ビデオ会議を改善する。多様な実施形態において、システムは、ビデオストリームを提供する第1のカメラの1つ又は複数の機能を決定し、第1のカメラは第1のユーザと関連する。いくつかの実施形態において、機能は、キャプチャレート、ちらつき、ホワイトバランス、露光、コントラスト、温度、絞り、パンニング、及びズーミングのうちの1つ又は複数のための制御を含んでもよい。
システムは、次いでブラウザが第1のカメラの1つ又は複数の機能を制御することを可能にし、ブラウザは第2のユーザと関連し、ブラウザは第1のカメラに対し遠隔にある。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするステップは、ビデオストリームと関連する1つ又は複数のビデオ特性を解析するステップと、1つ又は複数のビデオ特性を解析するステップに基づいて、ブラウザにおいて1つ又は複数の制御を提供するステップと、を含み、1つ又は複数の制御が1つ又は複数の機能と対応し、1つ又は複数の制御が、1つ又は複数の機能と関連する1つ又は複数の設定に対応する。いくつかの実施形態において、ブラウザが1つ又は複数の機能を制御することを可能にするステップが、1つ又は複数の機能と関連する1つ又は複数の設定を上書きするステップを含む。
図1は、ネットワーク環境例100のブロック図を図示しており、これは本明細書に記述される実装を実現するために使用されてもよい。いくつかの実施形態において、ネットワーク環境100は、サーバデバイス104及びソーシャルネットワークデータベース106を含むシステム102を含む。多様な実施形態において、用語システム102及び語句”ソーシャルネットワークシステム”は、同じ意味で使用されてもよい。ネットワーク環境100は、クライアントデバイス110、120、130、及び140も含み、これはシステム102を介して互いに通信することができる。ネットワーク環境100は、ネットワーク150も含む。
図を簡単にするために、図1は、システム102、サーバデバイス104、及びソーシャルネットワークデータベース106ごとに1つのブロックを示し、クライアントデバイス110、120、130、及び140のための4つのブロックを示す。ブロック102、104、及び106は、複数のシステム、サーバデバイス、及びソーシャルネットワークデータベースを表してもよい。また、任意の数のクライアントデバイスが存在してもよい。別の実施形態において、ネットワーク環境100は、示される全てのコンポーネントを有さなくてもよく、及び/又はその代わりに、本明細書に示されたものに加えて、別の種類の要素を含む別の要素を有してもよい。
多様な実施形態において、ユーザU1、U2、U3、及びU4は、それぞれのクライアントデバイス110、120、130、及び140を使用して、互いに通信してもよい。例えば、ユーザU1、U2、U3、及びU4は、マルチユーザビデオ会議において互いに交流してもよく、それぞれのクライアントデバイス110、120、130、及び140は、メディアストリームを互いに送信する。
本明細書に記載される多様な実施形態において、システムのプロセッサ102は、本明細書に記載される要素(例えば、ブラウザ制御ボタン等)が、1つ又は複数のディスプレイ画面上のユーザインタフェースに表示されることをもたらす。
多様な実施形態において、システム102は、ビデオ会議の改善のために認識アルゴリズムを利用してもよい。認識アルゴリズムの実施形態例は、以下により詳細に説明される。
図2は、いくつかの実施形態に従った、ビデオ会議を改善するための簡易化したフローチャート図の例を図示している。図1及び2の両方を参照すると、方法は、ブロック202で開始され、ここでシステム102は第1のカメラによって提供されるビデオストリームの1つ又は複数の特性を決定する。多様な実施形態において、1つ又は複数の特性は、ビデオの基本的なアスペクト(aspect)を含んでもよい。例えば、システム102は、露光、露光時間、明るさ、コントラスト、彩度、シャープネス、ホワイトバランス、温度(例えば、ホワイトバランス温度など)、絞り等のための値を決定してもよい。
多様な実施形態において、1つ又は複数の特性は、ビデオのより拡張されたアスペクトを含んでもよい。例えば、システム102は、電力ライン周波数(アンチフリッカー)、ちらつき、キャプチャレート、バックライト補償、フォーカス等のための値を決定してもよい。
多様な実施形態において、システム102は、ビデオストリーム内の動きを検出し、これらの特性の何れか1つ以上が最適でない箇所を検出する。例えば、いくつかの実施形態において、システム102は、カラー彩度ビデオストリームがオフであるか否か、ビデオストリーム内にちらつきがあるか否か、等を決定してもよい。ちらつきの例において、いくつかの国では電気が1つの周波数(例えば50ヘルツ(Hz))で動作しているかもしれないが、所定のカメラが別の周波数(例えば、60Hz)にセットされている可能性があり、これはちらつきの原因となり得る。システム102は、そのようなちらつき特性を検出する。以下に記述するように、システム102は、ちらつきの補正のためにカメラの周波数設定を遠隔で変更するための制御をユーザに提供することができ、及び/又はシステム102は、ちらつきの補正のためのそのような設定を自動的に変更してもよい。
多様な実施形態において、システム102は、任意の適切な位置で画像処理に基づいてビデオストリームの1つ又は複数の特性を決定してもよい。例えば、いくつかの実施形態において、システム102は、システム102又はシステム102にアクセス可能な任意の他のサーバにローカル処理を実行してもよい。いくつかの実施形態において、システム102は、いくつかの画像処理が任意の適切なブラウザで発生することをもたらしてもよい。例えば、画像がビデオ会議と関連する任意の1つ又は複数のブラウザでのプロセスである場合である。システム102は、任意の1つ又は複数のそのようなブラウザからそのようなデータにアクセスしてもよく、次いでビデオストリームの特性を決定するために、データを解析してもよい。
いくつかの実施形態において、1つ又は複数の特性は、ビデオの中に特徴及び/又は要素を含んでもよい。例えば、オブジェクトとしての顔であっても特定のユーザと関連する特定の顔であっても、システム102は、ビデオの中の顔を検出してもよい。いくつかの実施形態において、システム102は、ビデオ上の特定の顔の肌の色調を検出してもよい。
特定の特性及び特性の特定の組合せは、特定の実施形態に従って変わる。システム102は、本明細書に記述される特性を検出するために任意の適切な認識アルゴリズムを使用してもよい。認識アルゴリズムの実施形態例は、以下により詳細に記述される。
ブロック204において、システム102は、1つ又は複数の特性に基づいて第1のカメラの1つ又は複数の機能を決定する。例えば、多様な実施形態において、システム102は、ビデオ会議でビデオストリームを提供する各カメラと関連するアプリケーションプログラミングインタフェース(API)機能を確認することによって、機能を決定する。
いくつかの実施形態において、システム102は、ビデオ会議でビデオストリームを提供する各カメラと関連する低レベルAPI機能を確認することによって、機能を決定する。そのような低レベルAPI機能は、プリセット、ネイティブイベント(native event)等を含むきめ細かい設定を、システム102が制御することを可能にする。
多様な実施形態において、1つ又は複数の機能は、ビデオの基本的なアスペクトのための制御を含んでもよい。例えば、システム102は、露光、露光時間、明るさ、コントラスト、彩度、シャープネス、ホワイトバランス、温度(例えば、ホワイトバランス温度)、絞り等の制御が利用できることを決定する。多様な実施形態において、1つ又は複数の機能は、ビデオのより拡張されたアスペクトのための制御を含んでもよい。例えば、システム102は、電力ライン周波数(アンチフリッカー)、ちらつき、キャプチャレート、バックライト補償、フォーカス等のための値を決定してもよい。上述したちらつきの例において、システム102は、ちらつきと関連する任意の設定(例えば、アンチフリッカー)が低レベルAPIを介して変更のために利用可能であるか否かを決定してもよい。
多様な実施形態において、1つ又は複数の機能は、ビデオ効果の1つ又は複数の制御を含んでもよい。例えば、いくつかの実施形態において、システム102は、パンニング、ズーミング、チルト等のための機能を決定してもよい。
多様な実施形態において、システム102は、決定された特性(例えば、ブロック202から)に基づいて、本明細書に記載された機能を決定する。いくつかの実施形態において、システム102は、特定の特性に基づいて特定の機能を具体的に決定してもよい。
例えば、1つのシナリオにおいて、システム102は、ビデオストリームで特定の肌の色調を検出してもよい。その特定の決定は、システム102が、パンニング、ズーミング、チルト等が利用可能であるか否かを低レベルAPI機能から決定するきっかけであってもよい。同様に、システム102は、顔などのオブジェクトの検出に基づいて、そのような低レベルAPI機能(例えば、パンニング、ズーミング、チルト等)を決定してもよい。
ブロック206において、システム102は、ブラウザが第1のカメラの1つ又は複数の機能を制御することを可能にし、ブラウザは第1のカメラに対して遠隔である。多様な実施形態において、第1のカメラは、第1のユーザと関連し、ブラウザは第2のユーザと関連する。本明細書で記述される多様な実施形態において、カメラ設定の制御は、リアルタイムで、またはデータベースに保存された設定に基づいて実行されてもよい。いずれの場合も、制御データは、転送プロトコル(HTTP)、ウェブリアルタイムコミュニケーション(WebRTC)、データチャンネルAPI等の、任意の適切なデータ接続プロトコルを介して制御されているカメラと関連するブラウザに渡されてもよい。
本明細書の多様な実施形態で記述されたように、第1のカメラの機能の制御は、制御のユーザ提供の操作によって、システム102の自動的な制御の操作によって、あるいはデータベースに保存されたプリセット設定によって、実行されてもよい。システム102は、次いで、適切な制御信号が所定のカメラと関連するブラウザ及び/又は他のソフトウェアに渡されることをもたらす。ブラウザあるいはソフトウェアは、カメラハードウェアを直接制御するか、又はビデオストリームを変更するソフトウェアを経由して制御するために、次いで制御信号を順にカメラに渡してもよい。
図3は、いくつかの実施形態に従った、ビデオ会議を改善するための簡易化した環境例300を図示している。示されるように、環境300は、サーバ302、低レベルAPI306と関連する第1のブラウザ304、第1のカメラ308を含む。環境300は、低レベルAPI316と関連する第2のブラウザ314と、第2のカメラ318も含む。多様な実施形態において、図1のシステム102は、サーバ302の中にあってもよい。
多様な実施形態において、第1のカメラ308は、第1のユーザと関連する。図を簡単にするために、多様な実施形態の例は、第1のカメラ308の文脈で本明細書に記述される。これらの実施形態は、マルチユーザのビデオ会議にかかわる各カメラにも適用する。例えば、これらの実施形態は、第2のユーザと関連する第2のカメラ318に適用されてもよい。そのような例において、第2のカメラ318を制御するブラウザは、ブラウザ304、あるいは第2のカメラ318に対して遠隔にある任意のブラウザであってもよく、ブラウザ304は第1のユーザと関連する。本明細書で記載される多様な実施形態は、任意の種類のブラウザに適用してもよい。さらに、実施形態がブラウザのコンタクト(contact)で本明細書に記載されるが、これらの実施形態は、ビデオ会議のために使用できる他のソフトアプリケーションにも適用する。
図1及び3を参照して、多様な実施形態において、ブラウザ314が遠隔のカメラ308の1つ又は複数の機能を制御することを可能にするために、システム102はブラウザ314において1つ又は複数の制御を提供し、1つ又は複数の制御は、1つ又は複数の機能に対応する。多様な実施形態において、システム102が低レベルAPI306の利用可能な機能を決定して、システム102は、そのような制御がリアルタイムでブラウザ314で表示されることをもたらす。言い換えると、ブラウザ314で事前に表示されない制御は、利用可能な機能を決定した後に表示される。図を簡単にするために、制御はブラウザ314の文脈で記述される。多様な実施形態において、システム102は、そのような制御が、特定のビデオ会議で別のユーザと関連する他のブラウザ(図示せず)に表示されることをもたらしてもよい。そのような別のブラウザは、ブラウザ304に含まれてもよい。
図4Aは、いくつかの実施形態に従った、ビデオストリーム例400を図示している。示されるように、ビデオストリーム400は、顔402を表示する。この特定の実施形態例において、ビデオストリームはブラウザ314に表示されたビデオストリームを表してもよく、これらは複数のビデオストリームを表示してもよい。
多様な実施形態において、システム102は、本明細書に記載したように、適切な顔認識アルゴリズムを使用して顔402を検出してもよい。システム102は、ビデオ上の特定の顔の肌の色調を検出することによって、顔402を検出してもよい。図を簡単にするために、1つの顔402が図示される。他の実施形態例において、所定のビデオストリームにおいて、システム102が検出する複数の顔があってもよい。
多様な実施形態において、ブラウザ314が1つ又は複数の機能を制御することを可能にするために、システム102は、カメラ308によって提供されるビデオストリームと関連する1つ又は複数のビデオ特性を解析する(図2のブロック202で記述される)。この特定の例において、特性は、顔及び/又は肌の色調を含む。別の特徴は、本明細書で記載される別の特性などの可能性がある。システム102は、次いでビデオ特性の解析に基づいて、ブラウザ314で1つ又は複数の制御を提供する。本明細書で示されるように、1つ又は複数の制御は、1つ又は複数の決定された機能に対応する。多様な実施形態において、1つ又は複数の制御は、1つ又は複数の機能と関連する1つ又は複数の設定に対応する。多様な実施形態において、ブラウザ314が1つ又は複数の機能を制御することを可能にするために、システム102は、1つ又は複数の機能と関連するカメラ308の1つ又は複数の設定を上書きする。
図4Bは、いくつかの実施形態に従った、ビデオストリーム例400を図示している。図4Aと類似して、図4Bは、ビデオストリーム400と顔402を示す。図4Aと4Bを比較すると、図4Aからの同一のユーザが、(カメラ308によって提供される)ビデオストリーム400内でパン(pan)するためにシステム102によって提供されるブラウザ314で制御を使用してもよい。例えば、図4Aを参照すると、顔402はビデオストリーム400の中央に位置している。実施形態は、任意の適切な制御機能(例えば、ユニバーサルシリアルバスビデオクラス(UCV)など)を使用してカメラ308を制御してもよい。図4Bを参照すると、顔402は、ブラウザ318で制御によってビデオストリーム400の左隅に移動又はパンされている。
いくつかの実施形態において、システム102は、所定のビデオストリームで複数の顔を検出する。システム102は、そのような検出に基づいて、パン、チルト、及び/又はズームなどの利用可能な機能をさらに検出してもよい。システム102は、次いで、別の参加者として同一の部屋の単独の参加者に焦点を合わせるために、パン、チルト、及び/又はズームをキャプチャするためビデオストリームをキャプチャしているカメラを操作するための制御を提供してもよい。いくつかの実施形態において、システム102は、顔認識に基づいて、単独の参加者に焦点を合わせるために、カメラにパン、チルト、及び/又はズームすることをもたらす制御を自動的に操作してもよい。いくつかの実施形態において、システム102は、単独の参加者に焦点を合わせるために、カメラにパン、チルト、及び/又はズームすることをもたらす制御を遠隔のユーザが操作することを可能にしてもよい。
いくつかの実施形態において、システム102は、特定の参加者に焦点を合わせるために、パン、チルト、及び/又はズームするための別の適切な認識アルゴリズムを使用してもよい。例えば、システム102は、潜在的にどの参加者に焦点を合わせるかを決定するために、唇の動きを検出するための認識アルゴリズムを使用してもよい。いくつかの実施形態において、マイク及び/又は音声解析の使用により、システム102は、部屋の中の特定の参加者にパンニング、チルティング(tilting)及びズーミングのための制御を可能にしてもよい。例えば、システム102は、最も大きい信号に向かってカメラを動かす制御を可能にしてもよい。いくつかの実施形態において、システム102は、複数のマイクを使用して、情報を三角測量してもよい。制御例は、図5、6、及び7に関連して以下により詳細に記述される。
本明細書に記載されるように、システム102は、決定された特性に基づいて、カメラ設定に変更を自動的に適用してもよい。例えば、顔認識による及び/又は肌の色調の検出によることに関わらず、顔の検出に基づいて、システム102は、ビデオストリームが話をしている人の頭にズームインする及び/又は探知することをもたらしてもよい。そのようなズーミング及び/又は探知することは、カメラのハードウェア制御及び/又はビデオストリームのソフトウェア制御を使用して実行されてもよい。
いくつかの実施形態において、システム102は、ビデオストリームの所定のオブジェクト又は要素上にズームインする制御を利用可能にしてもよい。例えば、いくつかの実施形態において、システム102は顔402のような所定の顔を検出し、次いで顔402上に焦点を合わせる/ズームインするためにブラウザ314で制御を提供してもよい。いくつかの実施形態において、システム102は、カメラ308が高解像度モードで録画することをもたらし、次いで顔402上にズームインするズーム制御を有効にしてもよい。いくつかの実施形態において、システム102は、どこにズームするかを示すためにユーザ(例えば、ブラウザ318と関連するユーザ)が長方形を適用することを有効にしてもよい。いくつかの実施形態において、ディスプレイがタッチスクリーンである場合、システム102はユーザの指を使って、ユーザがズームイン及びアウトするだけでなく、パンニング、チルティング等の他の機能を実行することを可能にしてもよい。
多様な実施形態において、設定の変更は、ハードウェア、ソフトウェア、あるいはそれらの組合せを使用してビデオストリームを変更してもよい。いくつかの実施形態において、ハードウェア(例えば、カメラ308のハードウェア)が制御されている場合、変更はビデオ会議と関連する全てのブラウザ上で見られてもよい。いくつかの実施形態において、ソフトウェアが(例えば、任意の所定のブラウザで)制御されている場合、変更は、任意の1つ又は全てのブラウザで(例えば、ブラウザ314で)見られてもよく、及び全てのブラウザ上で見られる必要はない。
いくつかの実施形態において、システム102は、遠隔に操作されているカメラを所有するユーザが制御にいくつかの制限を置くことを可能にしてもよい。例えば、システム102は、ユーザがビデオストリームが変更されている方法を表示し、及び/又はビデオが変更されている方法を制限する(例えば、パンニング、ズーミング等にいくつかの制限を置く)ことを可能にしてもよい。
上記で示されたように、いくつかの実施形態において、システム102は、データベースに所定のユーザのための1つ又は複数の設定(例えば、好みの設定)を保存してもよい。システム102は、設定と関連するユーザがビデオ会議に参加する時はいつでも、そのような設定を後から自動的に適用してもよい。いくつかの実施形態において、所定のユーザのための設定が適用され及びユーザが次いでビデオ会議を離れる場合、設定はデフォルト設定に戻してもよい。
図5は、いくつかの実施形態に従った、簡易化したユーザインタフェース例500を図示している。示されるように、ユーザインタフェース500は、ビデオストリームと関連する基本的な機能のための多様な制御及び/又は設定を含む。例えば、ユーザインタフェース500は、露光、オート露光、露光時間、ゲイン、明るさ、コントラスト、彩度、シャープネス、ホワイトバランス、温度(例えばホワイトバランス温度)等のための制御を含む。基本的な機能のための他の制御及び設定は、特定の実施形態に応じて利用可能である。
図6は、いくつかの実施形態に従った簡易化したユーザインタフェース例600を図示している。示されるように、ユーザインタフェース600は、ビデオストリームと関連するさらに拡張した機能のための多様な制御及び設定を含む。例えば、ユーザインタフェース600は、電力ライン周波数(アンチフリッカー)、ちらつき、バックライト補償、フォーカス、ズーム、パン、チルト等のための制御を含む。この例に示されていないさらに拡張した機能のための別の制御及び設定は、特定の実施形態に応じて利用可能である。上述したちらつきの例において、システム102がちらつきと関連する設定があると決定したあとに、システム102は、ユーザインタフェース600に示されるように、ブラウザでちらつき補償制御を提供してもよい。
図7は、いくつかの実施形態に従った、簡易化したユーザインタフェース例700を図示している。示されるように、ユーザインタフェース700は、ビデオストリームと関連するより多くの選択のために、多様な制御を含む。例えば、ユーザインタフェース700は、カメラから設定を読み出す及びカメラに設定を書き込むことに関連して、選択のための制御及び設定を含む。この例に示されていない選択のための別の制御及び設定は、特定の実施形態に応じて利用可能である。
上記で記載されたように、いくつかの実施形態が、操作するために遠隔のユーザのための制御を提供する制御システム102の文脈で本明細書に記述されたが、システム102は、ユーザから要求される作用なしで自動的にそのような変更を適用してもよい。例えば、システム102は、ちらつきを自動的に検出してもよく、次いでカメラ308等のカメラにアンチフリッカー変更を自動的に適用してもよい。
いくつかの実施形態は、ビデオストリームの向上している準最適な特性の文脈において本明細書で記述されたが、これらの実施形態及び他のものは、娯楽及び/又は芸術の目的のための別の特性に適用されてもよい。例えば、システム102は、ユーザがビデオストリームの色を遠隔に変更すること(例えば、色を黒と白にする、等)を可能にしてもよい。
いくつかの実施形態において、システム102は、所定のユーザがビデオストリームのフレームレートを変更することを可能にしてもよい。例えば、フレームレートが、望ましい30の代わりに一秒あたり15フレームである場合、システム102は、そのような低いフレームレートを検出してもよく、及びそのような検出に基づいてフレームレートの変更のための制御を提供してもよい。そのような制御は、例えば手話を使用するユーザに有効である可能性がある。そのようなユーザは、ビデオ品質の費用をかけても高いフレームレートを有することを望む可能性がある。
本明細書に記載した実施形態は、多様な利点を提供する。例えば、実施形態は、各ユーザ(例えば、ビデオ会議の参加者)が、彼又は彼女のブラウザからビデオストリームの多様な特性を最適化することを可能にする。実施形態は、各ユーザが、特定のビデオカメラで通常管理されるビデオストリームの多様な特性を最適化することを可能にもする。本明細書に記載された実施形態は、ソーシャルネットワーキング環境において、ユーザ間で全体的な関わりを増加もする。
ステップ、動作、あるいは計算は、特定の順序で提示されてもよいが、順序は特定の実施形態で変更されてもよい。ステップの別の順序付けが、特定の実施形態に応じて可能である。いくつかの特定の実施形態において、この明細書においてシーケンシャルとして示される複数のステップは、同時に実行されてもよい。また、いくつかの実施形態は、示される全てのステップを有さなくてもよく、及び/又はその代わりに、本明細書に示されたものに加えて、別のステップを有してもよい。
システム102が本明細書の実施形態で説明されたステップを実行すると記述されたが、システム102の任意の適切な構成要素または構成要素の組合せ、あるいはシステム102と関連する適切なプロセッサまたは複数のプロセッサが、記述されたステップを実行してもよい。
多様な実施形態において、システム102は、画像において顔、ランドマーク、オブジェクト等を認識するための多様な認識アルゴリズムを利用してもよい。そのような認識アルゴリズムは、システム102に不可欠であってもよい。システム102は、システム102の外部にあり及びシステム102がアクセスするソフトウェアによって提供される認識アルゴリズムにアクセスしてもよい。
多様な実施形態において、システム102は、ソーシャルネットワークシステムのユーザが個人情報の使用を指定し及び/又は同意することを可能にする。これは、画像内の彼らの顔を使用するか、または画像内の識別された人の認識で彼らの識別情報を使用するシステム102を含んでもよい。例えば、システム102は、個人情報の使用のための指定及び/又は同意を対象にした複数の選択をユーザに提供してもよい。例えば、指定及び/又は同意に関しての選択は、個々の画像、全ての画像、個々のフォトアルバム、全てのフォトアルバムなどと関連してもよい。選択は、様々な方法で実装されることができる。例えば、システム102は、多様な選択の隣に表示されるボタンまたはチェックボックスをもたらしてもよい。いくつかの実施形態において、システム102は、ソーシャルネットワークのユーザが一般的に顔認識のために使用する彼らの画像の使用のための指定及び/又は同意することを可能にする。顔又は別のオブジェクトの認識のための実施形態例は、以下により詳細に記述される。
ここで議論されるシステムがユーザについての個人情報を収集するか、個人情報を使用する可能性がある状況において、ユーザは、プログラムか機能かに関わらず、ユーザ情報(例えば、ユーザのソーシャルネットワーク、社会的な行動あるいは活動、職業、ユーザの好み、あるいはユーザの現在地についての情報)を集めることを制御するための機会を提供されてもよく、あるいは、ユーザにより関連し得るコンテンツサーバからコンテンツを受信するか否か、及び/又は受信する方法を制御するための機会を提供されてもよい。さらに、特定のデータは、それが保存されるか、使用される前に1つ又は複数の方法で扱われる可能性があり、それによって、個人的に特定可能な情報が削除される。例えば、ユーザの身元は、いかなる個人情報もユーザのために決定されることができないように、処理されることができる。あるいは、ユーザの位置情報が得られる場合、ユーザの地理的位置は、一般化されてもよく(例えば、都市、郵便場合、あるいは州レベルなど)、それによってユーザの特定の位置が決定されることができない。従って、ユーザは、情報がどのようにユーザについて収集され、コンテンツサーバによって使用されるか、に対する制御を有してもよい。
多様な実施形態において、システム102は、ソーシャルネットワークシステムのユーザの参照画像を取得し、各参照画像は、既知のユーザと関連する顔の画像を含む。ユーザは、ユーザ名及び他のプロファイル情報として、システム102においてユーザの識別情報を有することが知られている。いくつかの実施形態において、参照画像は、例えば、ユーザがアップロードしているプロファイル画像であってもよい。いくつかの実施形態において、参照画像は、参照画像のグループの合成に基づいてもよい。
いくつかの実施形態において、画像の顔を認識するために、システム102は、顔(例えば、顔の画像)を比較し、及びソーシャルネットワークシステムのユーザの参照画像に顔を適合させてもよい。”顔”と”顔の画像”という語句が同じ意味で使用されることに留意されたい。説明を容易にするために、1つの顔の認識は、本明細書に記載される実施形態のいくつかの例で記述される。これらの実施形態は、認識される複数の顔の各顔に適用されてもよい。
いくつかの実施形態において、システム102は、画像の顔に類似する任意の1つ又は複数の参照画像を識別するために、参照画像を検索してもよい。いくつかの実施形態において、所定の参照画像のために、システム102は、解析のために顔の画像から特徴を抽出してもよく、次いでそれらの特徴をそれらの1つ又は複数の参照画像と比較してもよい。例えば、システム102は、目、鼻、頬骨、口、あごなどの顔の特徴の相対的な位置、サイズ、及び/又は形を分析してもよい。いくつかの実施形態において、システム102は、一致するかまたは類似の特徴を備えた1つまたは複数の参照画像に対して画像の顔を適合させるために解析から集めたデータを使用してもよい。いくつかの実施形態において、システム102は、複数の参照画像を正規化し、それらの画像からの顔データを情報(例えば、顔の特徴データ)を有する合成表示に圧縮してもよい。次いで、画像の顔と顔認識のための合成表示を比較してもよい。
いくつかのシナリオにおいて、画像は、同一のユーザと関連する複数の参照画像に類似してもよい。このように、画像の中の顔の人は、参照画像と関連する同一人物である可能性が高くなる。
いくつかのシナリオにおいて、画像の中の顔は、異なるユーザと関連する複数の参照画像に類似してもよい。このように、画像の人物が、参照画像と関連する任意の所定の人物と一致するという、減少されたがまだ中程度に高い可能性がある。このような状況に対処するために、システム102は、可能性を1つの最良の候補に理想的に絞り込むために、顔認識アルゴリズムの多様な種類を使用してもよい。
例えば、いくつかの実施形態において、顔認識を容易にするために、システム102は、特徴の区別に基づいた、幾何学的な顔認識アルゴリズムを使用してもよい。システム102はまた、比較のための値に顔の特徴を抜き出す、統計的アプローチに基づく測光のアルゴリズムを使用してもよい。幾何学的及び測光の組合せのアプローチが、1つ又は複数の参照と画像の顔を比較する際に使用されてもよい。
他の顔認識アルゴリズムが使用されてもよい。例えば、システム102は、1つ又は複数の、主成分分析、線形判別解析、弾性的束(バンチ、bunch)グラフマッチング、隠れマルコフモデル、及びダイナミックリンクマッチングを使用する顔認識アルゴリズムを使用してもよい。システム102は、他の既知または後から開発された顔認識アルゴリズム、技術、及び/又はシステムを使用してもよいことが理解されるであろう。
いくつかの実施形態において、システム102は、画像の顔が所定の参照画像と一致する尤度(又は確率)を示す出力を生成してもよい。いくつかの実施形態において、出力は、画像の顔が所定の参照画像と一致する信頼度と関連するパーセンテージのような測定基準(あるいは数値)として表されてもよい。例えば、1.0の値は、一致の100%の信頼を表してもよい。これは、例えば比較される画像が同一またはほぼ同一である時に発生する可能性がある。一致の50%の確率があるときに、例えば0.5のように値が低い可能性がある。別の出力の種類が可能である。例えば、いくつかの実施形態において、出力は、一致のための信頼スコアであってもよい。
図8は、本明細書に記載の実施形態を実装するために使用されてもよい、サーバデバイス例800のブロック図を図示している。例えば、サーバデバイス800は、図1のサーバデバイス104を実装するために使用されてもよいだけでなく、本明細書に記載の方法実施形態を実行してもよい。いくつかの実施形態において、サーバデバイス800は、プロセッサ802、オペレーティングシステム804、メモリ806、及び入出力(I/O)インタフェース808を含む。サーバデバイス800は、メモリ806あるいは任意の別の適切な記憶場所あるいはコンピュータ可読メディアに格納されてもよいソーシャルネットワークエンジン810及びメディアアプリケーション812も含む。メディアアプリケーション812は、プロセッサ802が本明細書に記載の機能及び別の機能を実行することを可能にする命令を提供する。
図を簡単にするために、図8はプロセッサ802、オペレーティングシステム804、メモリ806、I/Oインタフェース808、ソーシャルネットワークエンジン810、及びメディアアプリケーション812毎に1つのブロックを示す。これらのブロック802、804、806、808、810、及び812は、複数のプロセッサ、オペレーティングシステム、メモリ、I/Oインタフェース、ソーシャルネットワークエンジン、及びメディアアプリケーションを表してもよい。別の実施形態において、サーバデバイス800は、示される全てのコンポーネントを有しなくてもよく、及び/又はその代わりに、本明細書に示されたものに加えて、別のタイプの要素を含む別の要素を有してもよい。
説明がその特定の実施形態に関して記述されてきたが、これらの特定の実施形態は、単に例示であって、限定するものではない。実施例に示される概念は、他の例及び実施形態にも適用することができる。例えば、いくつかの実施形態は、ソーシャルネットワークシステムのコンテキストで本明細書中に記載されている。しかしながら、本明細書に記載される実施形態は、ソーシャルネットワーク以外のコンテキストに適用されてもよい。例えば、実装は、個々のユーザのためにローカルに適用されてもよい。
本開示に記載された機能ブロック、方法、装置、及びシステムは、当業者に知られているようなシステム、装置、及び機能ブロックの異なる組合せに組み込まれるか、あるいは分割されてもよいことに留意されたい。
任意の適切なプログラミング言語及びプログラミング技法が、特定の実施形態のルーチンを実装するために使用され得る。手続き型又はオブジェクト指向のような異なるプログラミング技法が用いられてもよい。ルーチンは、単独の処理デバイス又は複数のプロセッサで実行される可能性がある。ステップ、動作、又は計算が特定の順序で提示される可能性があるが、順序は異なる特定の実施形態で変更されてもよい。いくつかの特定の実施形態において、本明細書で手続き型として示される複数のステップは、同時に実行されてもよい。
”プロセッサ”は、任意の適切なハードウェア及び/又はソフトウェアシステム、データ、信号、あるいは別の情報を処理するメカニズムまたはコンポーネントを含む。プロセッサは、汎用中央処理装置、複数の処理ユニット、機能を実現するための専用回路、または別のシステムを備えたシステムを含んでもよい。処理は、地理的な位置に限られる必要がないか、あるいは時間の制限を有する必要がない。例えば、プロセッサは「リアルタイム」「オフライン」「バッチモード」等で、その機能を実行してもよい。処理の一部分は、異なる時間及び異なる場所で、異なる(あるいは同じ)処理システムによって実行されてもよい。コンピュータは、メモリと通信する任意のプロセッサであってもよい。メモリは、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、磁気記憶装置(ハードディスクドライブ、または同種のもの)、フラッシュ、光記憶装置(CD、DVDまたは同種のもの)、磁気または光学ディスク、またはプロセッサによって実行するための命令を格納するのに適した別の有形媒体を含む、任意の適切なデータストレージ、メモリ及び/又は非一時的なコンピュータ可読ストレージメディアであってもよい。ソフトウェア命令は、サーバ(例えば、分散型システム及び/又はクラウドコンピューティングシステム)から配信されるソフトウェアアズアサービス(SaaS)の形で電気信号に含まれ、及び電気信号として提供されることもできる。
102 システム
104 サーバデバイス
106 ソーシャルネットワークデータベース
110 クライアントデバイス
120 クライアントデバイス
130 クライアントデバイス
140 クライアントデバイス
150 ネットワーク
302 サーバ
304 ブラウザ
306 低レベルAPI
314 ブラウザ
316 低レベルAPI
802 プロセッサ
804 オペレーティングシステム
806 メモリ
808 I/O インタフェース
810 ソーシャルネットワークエンジン
812 メディアアプリケーション

Claims (20)

  1. 第1のカメラによって提供されるビデオストリームの1つ又は複数の特性を少なくとも1つのハードウェアプロセッサによって決定するステップであって、前記1つ又は複数の特性は、1つ又は複数のビデオ特性を含前記第1のカメラは通信ネットワークを介して前記少なくとも1つのハードウェアプロセッサと通信する、決定するステップと、
    前記ビデオストリームの前記1つ又は複数の特性を決定することに応答して、前記第1のカメラが、利用可能な1つ又は複数の機能を有するか否か、少なくとも1つのハードウェアプロセッサによって決定するステップであって、前記1つ又は複数の機能は前記1つ又は複数の特性と関連し、前記1つ又は複数の機能は、キャプチャレート、ちらつき、ホワイトバランス、露光、コントラスト、温度、及び絞りのうちの1つ又は複数のための制御を含む、決定するステップと、
    前記第1のカメラが利用可能な前記1つ又は複数の機能を有すると決定したことに応答して、ブラウザが前記第1のカメラの前記1つ又は複数の機能を制御することを可能にするステップと、を含む方法であって、前記ブラウザが前記第1のカメラに対して遠隔にあり、かつ前記少なくとも1つのハードウェアプロセッサによって実行され、前記第1のカメラが第1のユーザと関連し、前記ブラウザが第2のユーザと関連し、および前記ブラウザが前記1つ又は複数の機能を制御することを可能にする前記ステップが、
    前記ビデオストリームと関連する前記1つ又は複数のビデオ特性を、少なくとも1つのハードウェアプロセッサによって解析するステップと、
    前記1つ又は複数のビデオ特性の前記解析に基づいて、前記ブラウザにおいて1つ又は複数の制御を、前記少なくとも1つのハードウェアプロセッサによってアクティベートするステップと、を含み、前記1つ又は複数の制御が前記1つ又は複数の機能に対応し、前記1つ又は複数の制御が前記1つ又は複数の機能と関連する1つ又は複数の設定に対応し、前記1つ又は複数のアクティベートされた制御は、前記第1のカメラの前記1つ又は複数の機能を制御するために、前記通信ネットワークを介して1つ又は複数のコマンドが送信されるようにするユーザ入力を受け入れる
    方法。
  2. 第2のビデオストリームが前記第2のユーザと関連する第2のカメラによって提供され、前記第2のビデオストリームは前記通信ネットワークを介して前記第1のユーザと関連するデバイスに送信され、前記第2のカメラは前記第1のユーザによって送信されたコマンドによって制御可能である、
    請求項1に記載の方法。
  3. 前記1つ又は複数のビデオ特性を解析するステップが、顔を検出するステップを含み、前記ブラウザによって受信された、前記1つ又は複数の制御のうち少なくとも1つの特定の制御の調整に基づいて、前記顔に1回又は複数回のパンニングおよびズーミングを前記第1のカメラに行わせるステップをさらに含む、
    請求項1に記載の方法。
  4. 前記ブラウザによって、前記1つ又は複数の制御の第1の制御の調整を受信するステップと、
    前記第1のカメラに関連するアプリケーションプログラミングインタフェースを用いて、前記ブラウザによって、前記1つ又は複数の制御の前記第1の制御の前記調整に基づいて、前記第1のカメラの前記1つ又は複数の機能の特性を変更するための前記1つ又は複数のコマンドを生成するステップと、
    前記ブラウザによって、前記通信ネットワークを介して前記第1のカメラに前記1つ又は複数のコマンドを送信するステップと、をさらに含む、
    請求項1に記載の方法。
  5. 前記1つ又は複数の機能が、アクティベートする前記ステップによって、前記1つ又は複数のビデオ特性と関連付けられると決定される前記1つ又は複数の機能を制御することを可能にされるステップであって、前記1つ又は複数の機能は、変更のために利用可能な前記1つ又は複数の設定を有すると決定される、請求項1に記載の方法。
  6. 第1のカメラによって提供されるビデオストリームの1つ又は複数の特性を少なくとも1つのハードウェアプロセッサによって決定するステップであって、前記1つ又は複数の特性は、1つ又は複数のビデオ特性を含前記第1のカメラは通信ネットワークを介して前記少なくとも1つのハードウェアプロセッサと通信する、決定するステップと、
    前記ビデオストリームの前記1つ又は複数の特性を決定することに応答して、前記第1のカメラが、利用可能な1つ又は複数の機能を有するか否かを、少なくとも1つのハードウェアプロセッサによって決定するステップであって、前記1つ又は複数の機能は前記1つ又は複数の特性と関連する、決定するステップと、
    前記第1のカメラが利用可能な前記1つ又は複数の機能を有すると決定したことに応答して、ソフトウェアアプリケーションが前記第1のカメラの前記1つ又は複数の機能を制御することを可能にするステップであって、前記ソフトウェアアプリケーションは、前記第1のカメラに対し、遠隔にあり、かつ前記少なくとも1つのハードウェアプロセッサによって実行される、可能にするステップと、を含む方法であって、前記第1のカメラが第1のユーザと関連し、前記ソフトウェアアプリケーションが第2のユーザと関連し、前記ソフトウェアアプリケーションが前記1つ又は複数の機能を制御することを可能にする前記ステップは、
    前記ビデオストリームと関連する前記1つ又は複数のビデオ特性を、少なくとも1つのハードウェアプロセッサによって解析するステップと、
    前記1つ又は複数のビデオ特性の前記解析に基づいて、前記ソフトウェアアプリケーションにおいて1つ又は複数の制御を、少なくとも1つのハードウェアプロセッサによってアクティベートするステップであって、前記1つ又は複数の制御は1つ又は複数の機能に対応し、前記1つ又は複数の制御は前記1つ又は複数の機能と関連する1つ又は複数の設定に対応前記1つ又は複数のアクティベートされた制御は、前記第1のカメラの前記1つ又は複数の機能を制御するために、前記通信ネットワークを介して1つ又は複数のコマンドが送信されるようにするユーザ入力を受け入れる、アクティベートするステップと、を含む、
    方法。
  7. 前記1つ又は複数の機能が、キャプチャレート、ちらつき、露光、コントラスト、ホワイトバランス、温度、及び絞りのうちの1つ又は複数のための制御を含む、請求項6に記載の方法。
  8. 前記1つ又は複数の機能が、前記1つ又は複数のビデオ特性に基づいて、前記1つ又は複数の設定に1つ又は複数の変更を適用するステップをさらに含む、請求項6に記載の方法。
  9. 第2のビデオストリームが前記第2のユーザと関連する第2のカメラによって提供され、前記第2のビデオストリームは前記通信ネットワークを介して前記第1のユーザと関連するデバイスに送信され、前記第2のカメラは前記第1のユーザによって送信されたコマンドによって制御可能である、請求項6に記載の方法。
  10. 前記ビデオストリームの前記1つ又は複数のビデオ特性の前記解析に基づいて、前記第1のカメラの物理的環境に位置する顔を検出するステップと、
    パンニングおよびズーミングを含む前記1つ又は複数の機能のために、前記検出された顔の上に、前記第1のカメラの焦点を生じさせるステップと、をさらに含む、
    請求項に記載の方法。
  11. 前記ソフトウェアアプリケーションのユーザインタフェースにおいて、前記1つ又は複数の制御の表示をさせるステップをさらに含み、前記1つ又は複数の制御の少なくとも1つは、前記1つ又は複数の機能を前記決定するステップの前に前記ユーザインタフェースにおいて表示されない、
    請求項6に記載の方法。
  12. 前記1つ又は複数の制御が、前記アクティベートによって、前記1つ又は複数のビデオ特性と関連すると決定される前記1つ又は複数の機能を制御することを可能にされ、前記1つ又は複数の機能は、変更のために利用可能な前記1つ又は複数の設定を有することを決定される、請求項6に記載の方法。
  13. 前記ソフトウェアアプリケーションによって、前記1つ又は複数の制御の第1の制御の調整を受信するステップと、
    前記第1のカメラに関連するアプリケーションプログラミングインタフェースを用いて、前記ソフトウェアアプリケーションによって、前記1つ又は複数の制御の前記第1の制御の前記調整に基づいて、前記第1のカメラの前記1つ又は複数の機能の特性を変更するための1つ又は複数のコマンドを生成するステップと、
    前記ソフトウェアアプリケーションによって、通信ネットワークを介して前記第1のカメラに前記1つ又は複数のコマンドを送信するステップと、を含む、
    請求項6に記載の方法。
  14. システムであって、前記システムは、
    1つ又は複数のプロセッサと、
    前記1つ又は複数のプロセッサによる実行のための、1つ又は複数の非一時的なコンピュータ可読メディアに符号化されたロジックと、を含み、前記ロジックは実行された時に、
    第1のカメラによって提供されるビデオストリームの1つ又は複数の特性を決定するステップであって、前記1つ又は複数の特性は、1つ又は複数のビデオ特性を含み、前記第1のカメラは通信ネットワークを介して前記少なくとも1つのハードウェアプロセッサと通信する、決定するステップと、
    前記ビデオストリームの前記1つ又は複数の特性を決定することに応答して、前記第1のカメラが、利用可能な1つ又は複数の機能を有するか否かを決定するステップであって、前記1つ又は複数の機能は前記1つ又は複数の特性と関連する、決定するステップと、
    前記第1のカメラが利用可能な前記1つ又は複数の機能を有すると決定したことに応答して、ソフトウェアアプリケーションが前記第1のカメラの前記1つ又は複数の機能を制御することを可能にするステップと、を含む動作を行うことが可能であり、前記ソフトウェアアプリケーションが前記第1のカメラに対して遠隔にあり、かつ前記少なくとも1つのハードウェアプロセッサによって実行され、前記第1のカメラは第1のユーザと関連し、前記ソフトウェアアプリケーションは第2のユーザと関連し、前記ソフトウェアアプリケーションが前記1つ又は複数の機能を制御することを可能にするステップは、
    前記ビデオストリームと関連する前記1つ又は複数のビデオ特性を解析するステップと、
    前記1つ又は複数のビデオ特性の前記解析に基づいて、前記ソフトウェアアプリケーションにおいて1つ又は複数の制御をアクティベートするステップであって、前記1つ又は複数の制御は前記1つ又は複数の機能に対応し、前記1つ又は複数の制御は前記1つ又は複数の機能と関連する1つ又は複数の設定に対応し、前記1つ又は複数のアクティベートされた制御は、前記第1のカメラの前記1つ又は複数の機能を制御するために、前記通信ネットワークを介して1つ又は複数のコマンドが送信されるようにするユーザ入力を受け入れる、アクティベートするステップと、を含む、
    システム。
  15. 前記1つ又は複数の機能が、露光、キャプチャレート、ちらつき、コントラスト、ホワイトバランス、温度、及び絞りのうちの1つ又は複数のための制御を含む、請求項14に記載のシステム。
  16. 前記1つ又は複数の制御が、前記アクティベートによって、前記1つ又は複数のビデオ特性と関連すると決定される前記1つ又は複数の機能を制御することを可能にされ、前記1つ又は複数の機能は、変更のために利用可能な前記1つ又は複数の設定を有することを決定される、
    請求項14に記載のシステム。
  17. 第2のビデオストリームが前記第2のユーザと関連する第2のカメラによって提供され、前記第2のビデオストリームは前記通信ネットワークを介して前記第1のユーザと関連するデバイスに送信され、前記第2のカメラは前記第1のユーザによって送信されたコマンドによって制御可能である、請求項14に記載のシステム。
  18. 前記第1のカメラの前記1つ又は複数の機能を決定するステップが、前記第1のカメラの前記1つ又は複数の機能の少なくとも1つの機能が、前記ビデオストリームと関連する前記1つ又は複数の特性の少なくとも1つの特性と関連すると決定するステップを含む、
    請求項14に記載のシステム。
  19. 前記1つ又は複数のビデオ特性を解析するステップが顔を検出するステップを含み、実行される前記ロジックは、動作を実行するのにさらに動作可能であり、前記動作は、
    前記ソフトウェアアプリケーションによって受信された、前記1つ又は複数の制御の少なくとも1つの特定の制御の調整に基づいて前記顔にパンニング及びズーミングの1つ又は複数を前記第1のカメラに実行させるステップをさらに含む、
    請求項14に記載のシステム。
  20. 実行される前記ロジックは、動作を実行するのにさらに動作可能であり、前記動作は、
    前記1つ又は複数のビデオ特性に基づいて前記1つ又は複数の設定に1つ又は複数の変更を適用するステップを含む、請求項14に記載のシステム。
JP2016567335A 2014-02-03 2015-01-21 関連アプリケーションに対するビデオ会議相互参照の改善 Active JP6563421B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/171,086 US9215411B2 (en) 2014-02-03 2014-02-03 Enhancing video conferences
US14/171,086 2014-02-03
PCT/US2015/012253 WO2015116450A1 (en) 2014-02-03 2015-01-21 Enhancing video conferences

Publications (3)

Publication Number Publication Date
JP2017507626A JP2017507626A (ja) 2017-03-16
JP2017507626A5 JP2017507626A5 (ja) 2018-02-01
JP6563421B2 true JP6563421B2 (ja) 2019-08-21

Family

ID=52469910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016567335A Active JP6563421B2 (ja) 2014-02-03 2015-01-21 関連アプリケーションに対するビデオ会議相互参照の改善

Country Status (6)

Country Link
US (3) US9215411B2 (ja)
EP (1) EP3103260A1 (ja)
JP (1) JP6563421B2 (ja)
KR (1) KR102077887B1 (ja)
CN (1) CN105960801B (ja)
WO (1) WO2015116450A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9215411B2 (en) * 2014-02-03 2015-12-15 Google Inc. Enhancing video conferences
US10192272B2 (en) * 2016-01-13 2019-01-29 Sourcecode Technology Holdings, Inc. Expense report management methods and apparatus
JP2019036907A (ja) * 2017-08-21 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び機器
US10607143B2 (en) * 2017-08-22 2020-03-31 Internatonal Business Machines Corporation Profile data camera adjustment
CN109040652A (zh) * 2018-10-08 2018-12-18 北京小鱼在家科技有限公司 摄像头的调整方法、装置、视频通话设备和存储介质
US11470162B2 (en) * 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
WO2023087215A1 (en) * 2021-11-18 2023-05-25 Citrix Systems, Inc. Online meeting non-participant detection and remediation
KR102592598B1 (ko) * 2023-04-05 2023-10-23 김성 원격 카메라 제어 및 장면 공유를 위한 양방향 소셜 네트워크 서비스 플랫폼

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2416919A (en) * 1944-12-16 1947-03-04 Alfred N Goldsmith Television apparatus
EP0162311A3 (de) * 1984-04-25 1987-08-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Steuerschaltung für eine Videokamera und Verfahren zum Steuern einer Videokamera
JPH06311396A (ja) * 1993-04-27 1994-11-04 Mitsubishi Electric Corp 映像回路
JPH07135594A (ja) * 1993-11-11 1995-05-23 Canon Inc 撮像制御装置
JP3509448B2 (ja) * 1996-04-12 2004-03-22 ソニー株式会社 ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法
JP3796296B2 (ja) * 1996-08-05 2006-07-12 キヤノン株式会社 通信方法、通信装置及びカメラ制御装置
KR19980073270A (ko) * 1997-03-13 1998-11-05 이정식 화상통신시 카메라의 원격제어 장치 및 방법
JPH1185654A (ja) * 1997-09-12 1999-03-30 Matsushita Electric Ind Co Ltd 仮想wwwサーバ装置およびカメラ制御可能なwwwサーバ装置
JPH11341501A (ja) * 1998-05-26 1999-12-10 Seiko Epson Corp 電子写真撮像装置、電子写真撮像方法、電子写真撮像制御プログラムを記録した媒体
US6564380B1 (en) 1999-01-26 2003-05-13 Pixelworld Networks, Inc. System and method for sending live video on the internet
US6463343B1 (en) * 1999-08-10 2002-10-08 International Business Machines Corporation System and method for controlling remote devices from a client computer using digital images
US20050174473A1 (en) * 1999-11-18 2005-08-11 Color Kinetics, Inc. Photography methods and systems
JP2001339762A (ja) * 2000-05-29 2001-12-07 Mitsubishi Electric Corp 通信システム及び通信方法及び携帯電話
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
JP3783232B2 (ja) * 2002-04-25 2006-06-07 横河電機株式会社 カメラシステム
JP2003069883A (ja) * 2001-06-15 2003-03-07 Yokogawa Electric Corp カメラシステム
JP4629929B2 (ja) * 2001-08-23 2011-02-09 株式会社リコー デジタルカメラシステム及びこの制御方法
US20030103075A1 (en) 2001-12-03 2003-06-05 Rosselot Robert Charles System and method for control of conference facilities and equipment
JP4212274B2 (ja) * 2001-12-20 2009-01-21 シャープ株式会社 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム
JP2004040221A (ja) * 2002-06-28 2004-02-05 Minolta Co Ltd 画像配信システム
JP3768968B2 (ja) * 2003-03-28 2006-04-19 株式会社エヌ・ティ・ティ・ドコモ 通信端末及びプログラム
EP1618459A4 (en) * 2003-04-25 2007-08-08 Qualcomm Inc SYSTEM FOR THE CONTROL OF SHOOTING RESOURCE IN A PORTABLE DEVICE
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US20050134695A1 (en) 2003-12-17 2005-06-23 Deshpande Sachin G. Systems and methods for providing remote camera control
JP2005269257A (ja) * 2004-03-18 2005-09-29 Nec Corp 撮像装置および撮像装置の画質調整方法
EP2408193A3 (en) * 2004-04-16 2014-01-15 James A. Aman Visible and non-visible light sensing camera for videoing and object tracking
US7502054B2 (en) * 2004-12-20 2009-03-10 Pixim, Inc. Automatic detection of fluorescent flicker in video images
KR100703699B1 (ko) * 2005-02-05 2007-04-05 삼성전자주식회사 다자간 화상 통신을 제공하는 장치 및 방법
US20070103543A1 (en) 2005-08-08 2007-05-10 Polar Industries, Inc. Network panoramic camera system
JP4356663B2 (ja) * 2005-08-17 2009-11-04 ソニー株式会社 カメラ制御装置および電子会議システム
JP4794987B2 (ja) * 2005-11-09 2011-10-19 キヤノン株式会社 映像信号処理装置
CA2636010A1 (en) * 2006-01-17 2007-07-17 Baker Hughes Inc SYSTEM AND METHOD FOR REMOTE DATA ACQUISITION AND DISTRIBUTION
JP4475268B2 (ja) * 2006-10-27 2010-06-09 セイコーエプソン株式会社 画像表示装置、画像表示方法、画像表示プログラム、及び画像表示プログラムを記録した記録媒体、並びに電子機器
JP2008311804A (ja) * 2007-06-13 2008-12-25 Sony Corp 撮像装置および撮像方法
NO327899B1 (no) * 2007-07-13 2009-10-19 Tandberg Telecom As Fremgangsmate og system for automatisk kamerakontroll
CN101141608B (zh) * 2007-09-28 2011-05-11 腾讯科技(深圳)有限公司 一种视频即时通讯系统及方法
US20090146982A1 (en) * 2007-12-05 2009-06-11 Jeff Thielman Lighting Calibration System and Method
CN101257621A (zh) * 2008-01-04 2008-09-03 深圳市蓝韵实业有限公司 一种内镜手术网络监控系统
KR100988377B1 (ko) * 2008-05-06 2010-10-18 엘지전자 주식회사 이동단말기의 메뉴관리 장치 및 방법
DE102008049715A1 (de) * 2008-09-30 2010-04-08 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und Anordnung zum Anbinden zumindest einer Mensch-Maschine-Schnittstelle zur Manipulation von zumindest einer im Rahmen von Videokonferenzen mit einem Videokonferenzsystem verbundenen Datenquelle
US8189029B2 (en) * 2009-06-10 2012-05-29 Alcatel Lucent Portable video conferencing system with universal focal point
CN101605236B (zh) * 2009-07-10 2011-07-20 杭州华三通信技术有限公司 多画面会议中的远程摄像头控制方法及多点控制单元
NO332170B1 (no) * 2009-10-14 2012-07-16 Cisco Systems Int Sarl Anordning og fremgangsmate for kamerakontroll
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
CN101795400B (zh) * 2010-03-16 2013-03-27 上海复控华龙微系统技术有限公司 一种婴幼儿主动跟踪监护的方法及其实现系统
GB2479996A (en) * 2010-04-26 2011-11-02 Hu-Do Ltd Mobile computing device operating in conjunction with companion computing device to generate a user environment.
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US8559936B2 (en) 2010-05-28 2013-10-15 Robert Bosch Gmbh Remote control of a telephone
US20120092444A1 (en) * 2010-10-19 2012-04-19 Cisco Technology, Inc. System and method for providing videomail in a network environment
US20120092439A1 (en) * 2010-10-19 2012-04-19 Cisco Technology, Inc. System and method for providing connectivity in a network environment
JP5725793B2 (ja) * 2010-10-26 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法
JP2012138823A (ja) * 2010-12-27 2012-07-19 Brother Ind Ltd テレビ会議装置、テレビ会議方法、およびテレビ会議プログラム
CN102096823A (zh) * 2011-02-12 2011-06-15 厦门大学 基于高斯模型和最小均方差的人脸检测方法
CN102682273A (zh) * 2011-03-18 2012-09-19 夏普株式会社 嘴唇运动检测设备和方法
JP5136669B2 (ja) * 2011-03-18 2013-02-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN102244762A (zh) * 2011-06-03 2011-11-16 深圳市东微智能科技有限公司 一种会议系统的摄像跟踪方法及系统
US20130201356A1 (en) * 2012-02-07 2013-08-08 Arthrex Inc. Tablet controlled camera system
US8963986B2 (en) * 2012-07-26 2015-02-24 Cisco Technology, Inc. System and method for scaling a video presentation based on presentation complexity and room participants
US20150022674A1 (en) * 2013-07-18 2015-01-22 Koss Corporation Wireless video camera
US9215411B2 (en) * 2014-02-03 2015-12-15 Google Inc. Enhancing video conferences

Also Published As

Publication number Publication date
JP2017507626A (ja) 2017-03-16
KR102077887B1 (ko) 2020-02-14
US9661208B1 (en) 2017-05-23
US9215411B2 (en) 2015-12-15
CN105960801B (zh) 2020-02-07
US10015385B2 (en) 2018-07-03
KR20160105872A (ko) 2016-09-07
CN105960801A (zh) 2016-09-21
WO2015116450A1 (en) 2015-08-06
EP3103260A1 (en) 2016-12-14
US20150222854A1 (en) 2015-08-06
US20170257553A1 (en) 2017-09-07

Similar Documents

Publication Publication Date Title
JP6563421B2 (ja) 関連アプリケーションに対するビデオ会議相互参照の改善
US10264177B2 (en) Methods and systems to obtain desired self-pictures with an image capture device
US10541000B1 (en) User input-based video summarization
US10938725B2 (en) Load balancing multimedia conferencing system, device, and methods
KR101825569B1 (ko) 흥미 알고리즘을 이용한 시청각 통신을 위한 기술
JP7092108B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024073439A (ja) 選択的な動きの描画を伴う画像表示
US11665309B2 (en) Physical object-based visual workspace configuration system
US20180260941A1 (en) Preserving color in image brightness adjustment for exposure fusion
JP6619542B1 (ja) ビデオフレームの複数の部分のフィンガープリントを生成することによって立体ビデオを検出するための方法、システム、および媒体
JP2015198300A (ja) 情報処理装置、撮像装置、画像管理システム
CN114531564A (zh) 处理方法及电子设备
WO2021057644A1 (zh) 拍摄方法和装置
US10764535B1 (en) Facial tracking during video calls using remote control input
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
CN114375567A (zh) 在共享设备上处理带有用户特定数据的交互请求
JP7333714B2 (ja) 提示制御装置、提示装置、およびプログラム
WO2024062971A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20220021668A1 (en) User authentication based on confidence levels for identity predictions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190724

R150 Certificate of patent or registration of utility model

Ref document number: 6563421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250