JP6937809B2 - 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法 - Google Patents

制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法 Download PDF

Info

Publication number
JP6937809B2
JP6937809B2 JP2019189053A JP2019189053A JP6937809B2 JP 6937809 B2 JP6937809 B2 JP 6937809B2 JP 2019189053 A JP2019189053 A JP 2019189053A JP 2019189053 A JP2019189053 A JP 2019189053A JP 6937809 B2 JP6937809 B2 JP 6937809B2
Authority
JP
Japan
Prior art keywords
camera
camera orientation
orientation data
image frame
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019189053A
Other languages
English (en)
Other versions
JP2020005326A (ja
Inventor
カルペンコ、アレクサンドル
Original Assignee
フェイスブック,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェイスブック,インク. filed Critical フェイスブック,インク.
Publication of JP2020005326A publication Critical patent/JP2020005326A/ja
Application granted granted Critical
Publication of JP6937809B2 publication Critical patent/JP6937809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本開示の主題は、信号処理に関する。具体的には、本開示は、画像およびビデオ処理の
ためのシステムおよび方法に関する。
近年、ビデオのキャプチャが可能なデジタルスチルカメラが普及している。これらの消
費者デバイスの解像度や画像品質がいくつかの設定においてデジタル一眼レフカメラ(D
SLR)に匹敵するに至るまで改善される一方で、そのビデオ画質は依然としてフィルム
カメラのものよりかなり悪いものであり得る。品質におけるこのギャップの理由は、2つ
の要因からなり得る。第1に、フィルムカメラと比べて、携帯電話はかなり軽量のもので
あり得る。その結果、そのようなデバイス上での携帯式のビデオキャプチャは、多量のカ
メラブレを呈し得る。第2に、携帯電話カメラは、ローリングシャッタ(RS)を利用す
るセンサを有し得る。RSカメラでは、各画像の行は、わずかに異なる時間に露光され得
、それが不減衰カメラモーションと組み合わされて、出力ビデオにおける「揺れ」をもた
らし得る。
ビデオ安定化は、ビデオのカメラブレによって生成される高周波のフレーム間のジッタ
の低減に使用される技法のファミリである。専門のカメラでは、機械的な画像安定化(M
IS)システムが一般に使用される。例えば、MISシステムでは、オペレータは、オペ
レータのボディモーションからカメラモーションを切り離すハーネスを着用し得る。他の
MISシステムは、カメラボディ自体よりむしろ、カメラの光学素子の方を安定させる。
これらのシステムは、レンズまたはセンサを移動して、小さなピッチおよびヨーモーショ
ンを補償することができる。これらの技法は、リアルタイムで機能し、カメラ上での演算
を必要としない。しかし、これらの技法は、その価格やサイズを理由に、モバイルデバイ
スや安価なカメラには適さない。デジタルビデオ安定化システムは、キャプチャ後のビデ
オを安定させるために特徴トラッカを使用し得る。しかし、これらのシステムは、雑音に
対する感度が高いものであり得るため(例えば、高速移動する前景被写体)、追跡するた
めの独特の機能を必要とし得る。その結果、特徴追跡に基づくデジタル安定化は、特に不
利な照明条件や過度の前景モーションでは、損なわれる場合が多い。それに加えて、フレ
ームにわたる視覚的キューの抽出や一致は、演算上高価なものであり得る。その上、ビデ
オの解像度が高いほど、費用が高くなる。いくつかの例では、これにはコストがかかりす
ぎてリアルタイムでのビデオ安定化を実行することができない。結果的に、そのような手
法は、現在のデジタルカメラではめったに使用されない。代わりに、製造業者は、高性能
のDSLRに対して、よりロバストな(および高価な)機械的な安定化対策の方を選ぶこ
とができる。
本発明による一実施形態は、具体的には、方法、記憶媒体、およびシステムを対象とす
る添付の特許請求の範囲で開示され、1つのクレームカテゴリで言及される特徴(例えば
、方法)は、別のクレームカテゴリ(例えば、システム)でも特許請求することができる
デジタルビデオを安定させるため、コンピュータ実装方法、システム、およびコンピュ
ータ可読媒体は、一実施形態では、関連付けられたタイムスタンプを有する画像フレーム
のセットと、関連付けられたタイムスタンプを有する、カメラの向きに関するカメラ配向
データのセットとを含むデジタルビデオデータを提供することができる。連続する画像フ
レーム間の回転速度を最小化することによって、平滑化されたカメラ配向データのセット
を生成しつつ、平滑化されたカメラ配向データのセットに基づいて再配向された結果とし
て得られた平滑化画像フレームのセットにおける空き領域の量を最小化する。
一実施形態では、結果として得られた平滑化画像フレームのセットにおける空き領域の
量は、ゼロに最小化することができる。
一実施形態では、結果として得られた平滑化画像フレームのセットにおける空き領域の
量は、閾値未満に最小化することができる。
一実施形態では、画像フレームのセットおよび平滑化されたカメラ配向データのセット
における関連付けられたタイムスタンプに基づいて画像フレームのセットをゆがめること
により、補正された画像フレームのセットを形成することができる。
一実施形態では、画像フレームのセットおよび平滑化されたカメラ配向データのセット
における関連付けられたタイムスタンプに基づいて画像フレームのセットをゆがめること
により、補正された画像フレームのセットを形成することは、個々の画像フレームを複数
のサブセクションに分割することを含み得る。各サブセクションは、関連付けられたタイ
ムスタンプおよびカメラ配向を有し得る。画像フレームのセットおよび平滑化されたカメ
ラ配向データのセットにおける関連付けられたタイムスタンプに基づいて画像フレームの
セットをゆがめることにより、補正された画像フレームのセットを形成することは、関連
付けられたタイムスタンプおよびカメラ配向に基づいて各サブセクションを再編成するこ
とにより、補正された個々の画像フレームを形成することを含み得る。
一実施形態では、補正された画像フレームのセットは、ビデオとして表示することがで
きる。
一実施形態では、結果として得られた平滑化画像フレームのセットにおける空き領域の
量は、閾値未満に最小化することができる。
一実施形態では、閾値未満の空き領域の量は、修復することができる。
一実施形態では、関連付けられたタイムスタンプを有するカメラ配向データのセットは
、ハンドヘルド式デバイスのジャイロスコープから提供することができる。
一実施形態では、画像フレームのセットは、ハンドヘルド式デバイスのカメラから提供
することができる。
一実施形態では、関連付けられたタイムスタンプを有するカメラ配向データのセットは
、携帯電話およびデジタルカメラを含むハンドヘルド式デバイスのジャイロスコープから
提供することができる。画像フレームのセットは、デジタルカメラから提供することがで
きる。
一実施形態では、平滑化されたカメラ配向データのセットを生成することは、勾配降下
に基づいて反復最適化することを含む。
一実施形態では、平滑化されたカメラ配向データのセットを生成することは、ガウシア
ンフィルタに基づいてフィルタリングすることを含み得る。
一実施形態では、平滑化されたカメラ配向データのセットを生成することは、時間導関
数に基づいてフィルタリングすることを含み得る。
一実施形態では、カメラ配向データのセットは、無変換の回転を含み得る。
一実施形態では、カメラ配向データのセットは、回転と変換の両方を有するベクトルを
含み得る。
一実施形態では、平滑化されたカメラ配向データのセットを生成することは、ソーシャ
ルネットワーキングシステムによって実行される。
一実施形態では、関連付けられたタイムスタンプを有する画像フレームのセットおよび
関連付けられたタイムスタンプを有するカメラ配向データのセットは、ソーシャルネット
ワーキングシステムのユーザによってソーシャルネットワーキングシステムにアップロー
ドすることができる。
本発明のさらなる実施形態では、1つまたは複数の非一時的コンピュータ可読記憶媒体
は、実行されると、本発明による方法または上記した実施形態のいずれかを実行するよう
に動作可能なソフトウェアを具現化する。
本発明のさらなる実施形態では、システムは、1つまたは複数のプロセッサと、プロセ
ッサに結合され、プロセッサによって実行可能な命令を含むメモリとを備え、プロセッサ
は、命令を実行する際、本発明による方法または上記した実施形態のいずれかを実行する
ように動作可能である。
本発明の他の多くの特徴や実施形態は、添付の図面および以下の詳細な説明から明らか
となる。
一実施形態による、ピンホールカメラモデルの例を示す。 一実施形態による、カメラの向きおよびそれに対応する画像平面の2つの例の描写を示す。 一実施形態による、RSカメラによってキャプチャされたゆがんだ画像および画像を補正するための変換の例の描写を示す。 一実施形態による、デジタルビデオ安定化モジュールの例を示す。 一実施形態による、入力データおよび平滑化後に結果として得られたデータの例のグラフを示す。 一実施形態による、制約ベースの平滑化のための方法の例を示す。 一実施形態による、ソーシャルネットワーキングシステム内で安定したデジタルビデオを生成するためにデジタルビデオからの画像フレームのセットを修正するためのシステムのネットワーク図の例を示す。 一実施形態による、本明細書で説明される実施形態のうちの1つまたは複数の実装に使用することができるコンピュータシステムの例を示す。
図は、単なる例示を目的として本発明の様々な実施形態を描写し、図は、同様の参照番
号を使用して同様の要素を特定する。当業者であれば、以下の説明から、本明細書で説明
される本発明の原理から逸脱することなく、図に示される構造および方法の代替の実施形
態を使用できることが容易に理解し得る。
[ジャイロスコープを使用するデジタルビデオ安定化およびローリングシャッタ補正]
ローリングシャッタ補正は、フレーム内のカメラモーションによって生成された画像の
ゆがみを取り除くための技法である。高性能のカメラは、グローバルシャッタ(GS)を
有する電荷結合素子(CCD)センサを使用する。GSカメラでは、多くのDSLRを含
めて、CCDセンサ上のすべての画素の読み取りおよびリセットが同時に行われる。した
がって、すべての画素が同じ時間間隔の間に光を収集する。結果的に、露光の間のカメラ
モーションは、これらの素子上である程度の画像ブラーをもたらす。対照的に、低性能の
カメラは、通常、相補型金属酸化膜半導体(CMOS)センサを利用する。具体的には、
これらのセンサは、ローリングシャッタを使用し、画像行の読み取りおよびリセットが連
続的に行われる。この手法は、CCDセンサと比べて、より少ない回路を必要とし得、C
MOSセンサの製造をより安くすることができる。その理由のため、CMOSセンサは、
携帯電話、音楽プレーヤおよびいくつかの低性能のカムコーダで頻繁に使用される。しか
し、連続的な読み取りは、わずかに異なる時間ウインドウの間に各行が露光されることを
意味する。その結果、行の読み取りの間のカメラモーションは、ゆがんだ画像を生成する
ことになる。高速の移動被写体もまたひずんで見える。
RSカメラでの画像読み取りは、通常、ミリ秒範囲である。したがって、RSひずみは
、主に、高周波のカメラモーションによって引き起こされる。したがって、カメラを安定
させるためにMISシステムを使用することができる。この手法は、ローリングシャッタ
によるゆがみを取り除くが、実際には、MISシステムの価格帯やサイズにより、RSカ
メラには適さないものになる。いくつかのデジタルローリングシャッタ調整技法は、単一
の画像におけるRSアーチファクトを補正することができるが、ユーザ入力を必要とする
。対照的に、本開示のいくつかの実施形態は、ユーザ入力を必要とすることなく、単一の
画像に対するRSアーチファクトを補正することができる。
ビデオの場合、ビデオからのカメラモーションを推定するために特徴追跡を使用する一
連のフレームにおけるRSの調整は、問題を提示し得る。RS露光の間のカメラモーショ
ンが分かった時点で、カメラモーションを使用してフレームを調整することができる。こ
の手法は特徴トラッカに依存するため、ビデオ安定化の事例で以前に論じられたものと同
じ欠点を有する。
デジタルビデオ安定化技法は、入力ビデオフレームのクロッピングまたはズーミングを
含み得る。これにより、手ブレによってもたらされる望ましくない変形を妨害するための
個々のフレームの変換、回転またはゆがみが可能になり得る。クロッピングの量は、これ
らの変形を取り除くためにどれほどの余裕(または「余地」)があるかを判断することが
できる。例えば、フレームを変換し過ぎた場合、空き領域(例えば、画素データを有さな
い領域)が目に見える可能性がある。本開示のいくつかの実施形態は、手ブレを妨害する
ことによってカメラモーションを平滑にするだけでなく、空き領域が現れないようにしな
がらカメラモーションを平滑にすることもできる。クロッピングまたはズーミング以外の
、安定化に対する余裕を提供するための他の方法も実装できることを理解すべきである。
例えば、修復技法は、安定化によってもたらされた空き領域を充填するために実装するこ
とができる。修復は、クロッピングまたはズーミングの代わりにまたはそれに加えて使用
することができる。例えば、一実施形態では、所定の変形が、すべての画素が満足のいく
ように設定されたフレームをもたらすか否か(修復、ズーミング、クロッピングなどによ
ってかどうかにかかわらず)を判断するための機能を実装することができる。
空き領域防止制約を満たす平滑なカメラ回転を演算することによって、ビデオをデジタ
ル処理で安定させるためのシステムおよび方法が提供される。これにより、所定のクロッ
プまたはズームファクタに対する平滑なカメラ回転を生み出すことが最大限に可能になり
得る。
デジタルビデオ安定化プロセスは、例えば、カメラまたはカメラを含むデバイス(携帯
電話、タブレット、腕時計、着用可能な道具など)によってビデオをキャプチャすること
から始まり得る。ビデオは、キャプチャされた多くの連続画像フレームを含み得る。ビデ
オは、デバイスのサイズや重量に起因して、ブレのあるものであり得る。カメラのセンサ
によって使用されるローリングシャッタは、出力画像フレームにおけるゆがみを生成し得
る。ジャイロスコープは、ビデオキャプチャの間のカメラモーション(例えば、回転)を
測定するために使用することができる。測定されたカメラモーションは、ビデオを安定さ
せるため、および、ローリングシャッタを調整して、画像が補正された出力フレームを有
する安定したビデオをもたらすために使用することができる。
本開示の技法は、RSカメラのビデオ画質を向上することができる。一実施形態では、
微小電気機械システム(MEMS)ジャイロスコープは、カメラの回転を測定するために
実装される。また、他のジャイロスコープやモーション検知デバイスも実装することがで
きる。ジャイロスコープによる測定は、ビデオ安定化(例えば、フレーム間のモーション
補償)やローリングシャッタ補正(例えば、フレーム内のモーション補償)を実行するた
めに使用することができる。この手法は、演算上安価かつロバストであり得、それにより
、例えば、モバイルプラットホーム上でのリアルタイムの実装形態に特に適したものにな
り得る。
回転カメラとローリングシャッタとの統合モデルに基づくシステムおよび方法は、ロー
リングシャッタ補正とビデオ安定化を同時に実行する、ゆがみを演算するためにモデルを
利用することができる。ジャイロスコープおよびカメラを自動的に較正する最適化技法を
提供することができる。これにより、単一のビデオおよびジャイロスコープキャプチャか
らの未知のパラメータ(ジャイロスコープドリフトおよび遅延など)ならびにカメラの焦
点距離およびローリングシャッタ速度の回復が許可され得る。その結果、ジャイロスコー
プとカメラハードウェアのいかなる組合せも、専門的な実験セットアップを必要とするこ
となく、較正することができる。カメラを含むデバイスは、ジャイロスコープなどのモー
ション検知デバイスも含み得る。例えば、多くのスマートフォンは、ジャイロスコープや
加速度計などのカメラやモーション検知デバイスを有する。このように、リアルタイムビ
デオ安定化およびローリングシャッタ補正は、特徴トラッカまたはMISシステムの使用
を必要とすることなく、提供することができる。その上、安価なMEMSジャイロスコー
プは、カメラモーションを直接測定するために実装することができる。画像のブラーリン
グを除去するためおよびKLT特徴トラッカを支援するため、慣性計測装置(IMU)を
使用することができる。
ジャイロスコープなどのモーション検知デバイスを使用してカメラモーションを測定す
ることにより、高演算効率でのデジタルビデオ安定化およびRS調整の実行が許可される
。ビデオのコンテンツはモーションの推定に使用されないため、この手法は、不十分な照
明または実質的な前景モーションの下でさえ、ロバストであり得る。その上、上に述べら
れているように、多くのカメラが使用可能な携帯電話は、既に、ジャイロスコープまたは
他のモーション検知デバイスを装備している。MISシステムと比べて、MEMSジャイ
ロスコープは、かなり安価で、より多目的な、それほどかさばらないものであり得る。
一実施形態では、ビデオ安定化は、3つの段階、すなわち、カメラモーション推定段階
、モーション平滑化段階および画像をゆがめる段階で進めることができる。ローリングシ
ャッタ調整は、平滑化モーションよりむしろ、実際のカメラモーションをゆがみ演算に使
用できることを除いて、同様に進めることができる。本明細書でさらに詳細に論じられる
ように、ビデオ安定化とローリングシャッタ補正の両方とも、統合フレームワークの下で
1回のゆがみ演算において実行することができる。
一実施形態では、カメラモーションは、回転のみの観点からモデル化することができる
。他の実施形態では、変換は、回転に加えてまたはその代わりに測定できることを理解す
べきである。いくつかの例では、例えばIMUを使用する変換の正確な測定は難しいもの
であり得る。その上、加速度計データは、変換を得るために2回積分することを必要とし
得る。対照的に、ジャイロスコープは、回転速度を測定する。したがって、ジャイロスコ
ープデータは、カメラの向き(カメラ配向)を得るために1回の積分しか必要とされない
。その結果、いくつかの例では、変換測定は、向きの測定よりかなり不正確であり得る。
その上、変換測定は、異なる量で移動する異なる深度の被写体によって複雑化され得る。
一実施形態では、深度情報を得るため、運動に基づく立体または特徴ベース構造復元(S
fM:stereo or feature-based structure from motion)アルゴリズムを実装すること
ができる。いくつかの実施形態では、変換を取り除くためにフレームをゆがめるステップ
を実行することができるが、パララックスおよびオクルージョンによって複雑化され得る
システムにおけるカメラ変換のモデル化は、問題を提示し得る。例えば、オプティマイ
ザは、特徴トラッカから変換を再構築することを試みる一方で、極小値になり得る。アル
ゴリズムは、カメラが純粋に平面状の場面(例えば、一定の深度)を画像化していると仮
定することができる。したがって、変換再構築は、ビデオにおいてモデル化されないパラ
ラックスが原因で複雑化され得る。
回転のみの観点からまたは主に回転の観点からカメラ回転をモデル化する実施形態は、
変換で遭遇する問題を最小化することができる。変換は、深度の増加と共に急速に減衰し
、被写体は、通常、変換カメラジッタが画像における顕著なモーションを生み出さないほ
ど十分にレンズから遠く離れているため、カメラブレやローリングシャッタのゆがみは主
に回転から起こる。
[カメラモデルの例]
一実施形態では、ピンホールカメラモデルに基づく回転ローリングシャッタカメラモデ
ルが提供される。図1は、一実施形態による、ピンホールカメラモデル101の例を示す
。場面におけるカメラの中心cからポイントxまでの光線は、ポイントxで画像平面と交
差する。したがって、画像平面上への空間の投影は、カメラの中心c、焦点距離fおよび
画像平面におけるカメラの軸の位置(o,o)に依存する。ピンホールカメラでは、
同次座標における画像ポイントxと3D空間座標における対応するポイントXとの関係は
、方程式の例(1)によって指定することができる。
x=KX、およびX=λK−1x (1)
ここで、λは、未知のスケーリング係数であり、Kは、内部カメラである。K−1は、
方程式の例(2)によって指定することができる。
Figure 0006937809
(o,o)は、画像平面におけるカメラ軸の原点であり、fは、焦点距離である。
カメラの焦点距離は、回復することができる未知数である。カメラは正方画素を有し、上
方斜めのエントリは1に設定されると仮定することができる。しかし、他の実施形態は、
このモデルを拡張して、非正方画素または他の光学的ひずみを考慮に入れることができる
ゆがみは、高周波カメラ回転から起こり得る。例えば、上から下にシャッタを切る間の
高周波カメラ回転により、出力画像がゆがんでいるように見える場合がある。このゆがん
だ画像は、数学的にモデル化することができる。
空間の原点は、カメラの原点に設定することができる。次いで、カメラモーションは、
時間tにおけるその向きR(t)の観点から説明することができる。したがって、いかな
る場面ポイントXに対しても、時間tにおける対応する画像ポイントxは、方程式の例(
3)によって得ることができる。
x=KR(t)X (3)
回転行列R(t)∈SO(3)は、カメラ角度Δθ(t)の変化を複合することによっ
て演算することができる。四元数の球面線形補間(SLERP:spherical linear inter
polation)は、カメラの向き(カメラ配向)を平滑に補間し、ジンバルロックを回避する
ために使用することができる。ジャイロスコープのサンプル間の角度の変化は、そのオイ
ラー角が回転四元数と同じ働きをするほど十分に小さいものであり得る。Δθ(t)は、
以下の方程式の例(4)によって指定されるように、ジャイロスコープが測定した回転速
度ω(t)から直接得ることができる。
Δθ(t)=(ω(t+t)+ω)*Δt (4)
ωは、ジャイロスコープドリフトであり、tは、ジャイロスコープとフレームサン
プルタイムスタンプとの間の遅延である。これらのパラメータは、これも同様に回復する
ことができるそのモデルにおける追加の未知数である。
また、ローリングシャッタは、カメラモデルに導入することもできる。RSカメラでは
、各画像行は、わずかに異なる時間に露光される。したがって、この露光の間のカメラ回
転は、画像のゆがみを決定することができる。被写体は、通常、レンズから遠く離れてい
るため、ローリングシャッタ露光の間の変換カメラジッタは、画像のゆがみに大きな影響
は及ぼさない。例えば、シャッタを切る間にカメラが左右に揺れると、図3に示されるよ
うに、出力画像はゆがむ。フレームiにおいてポイントxが画像化された時間は、フレー
ムがどのくらいの深さまであるかに依存する。方程式の例(5)によって指定されるよう
に、xは時間t(i,y)に画像化されたと決定することができる。
t(i,y)=t+t*y/h、式中、x=(x,y,1) (5)
yは、ポイントxに対応する画像行である。hは、フレームにおける行の総数である。
は、i番目のフレームのタイムスタンプである。t項は、フレームの下方に行くほ
ど、ローリングシャッタがその行に到達するのに要する時間が長くなることを示す。した
がって、tは、行ごとに上から下まで全フレームを読み取るのに要する時間である。負
のt値は、下から上に向かうローリングシャッタを示すことになる。符号やt値の自
動回復については、本明細書でさらに詳細に説明する。
2つの異なるカメラの向きに対する1対のフレームにおける画像ポイント間の関係を導
出することができる。図2は、実施形態による、2つのカメラの向きおよびそれらの対応
する画像平面のグラフ表現を示す。グラフ表現201は、2つのカメラの向き202およ
び203を含む。カメラの向き202は、画像平面iを含む。カメラの向き203は、画
像平面jを含む。場面ポイントXの画像は、2つのフレームに現れ、光線211は、画像
平面iおよびjと交差する。場面ポイントXに対して、2つのフレームiおよびjの画像
平面における投影ポイントxおよびxはそれぞれ、以下の方程式の例(6)によって
指定することができる。
=KR(t(i,y))X、およびx=KR(t(j,y))X (6

これらの方程式が再構成され、Xが代入された場合、方程式の例(7)によって指定さ
れるように、フレームjにおけるすべてのポイントへのフレームiにおけるすべてのポイ
ントの写像が得られる。
=KR(t(j,y))R(t(i,y))K−1 (7)
2つのフレーム間の関係について同じビデオと関連して説明してきたが、他の実施形態
では、フレームは、R(t)に応じて回転するあるカメラからR’(t)に応じて回転す
る別のカメラに写像することができる。一実施形態では、両方のカメラの中心は、原点に
あると仮定することができる。あるカメラから別のカメラにポイントを写像するゆがみ行
列Wは、以下の方程式の例(8)に従って指定することができる。
W(t,t)=KR’(t)R(t)K−1 (8)
ここで、以下の方程式の例(9)に従って、方程式7をよりコンパクトに指定すること
ができる。
=W(t(j,y),t(i,y))x、式中、R’=R (9)
Wは、画像ポイントxおよびxのそれぞれの画像行yおよびyの両方に依存す
る。このゆがみ行列は、両方のフレームにおいてローリングシャッタの効果を考慮に入れ
ながら、フレームiのポイントとフレームjの対応するポイントとを一致させるために使
用することができる。
ゆがみ行列のこの公式化は、ローリングシャッタ補正およびビデオ安定化を実現する。
平滑なモーションおよびグローバルシャッタを有する合成カメラを製作することができる
。このカメラモーションは、例えば、入力カメラモーションにガウシアンローパスフィル
タを適用することによって演算することができ、これは、新しい回転セットR’をもたら
す。合成カメラのローリングシャッタ持続時間tは、グローバルシャッタのように0に
設定することができる。次いで、現在のフレームiの各画像行yでW(t,t(i,
))を演算することができ、その行にゆがみを適用することができる。Wの第1の項
は、ここでは、フレーム時間tのみに依存し得る。この演算は、すべての入力フレーム
を合成カメラに写像し、その結果、ローリングシャッタのゆがみとビデオブレを同時に取
り除くことができる。
ある実施形態では、W(t,t(i,y))は、各画像行yに対しては演算され
ない。代わりに、入力画像を細分割し、各垂直細分割部でゆがみを演算することができる
。図3は、実施形態による、ゆがみを補正するための変換の例を示す。ゆがんだ入力画像
フレーム301は、RSカメラによってキャプチャされた再分割されたゆがんだ画像を示
す。ゆがみは、画像フレーム311に示されるように、各垂直細分割部で演算される。画
像フレーム311は、非線形ゆがみの区分的線形近似を示す。結果として得られた画像フ
レーム316によって示されるように、様々な数の細分割部が、アーチファクトを排除す
るには十分であり得る。例えば、一実施形態では、10の細分割部が、視覚的アーチファ
クトを排除するには十分であり得る。非線形ゆがみの区分的線形近似である、入力画像か
らのゆがんだメッシュが作成された。10の細分割部が、目に見えるいかなるRSアーチ
ファクトも取り除くには十分であるが、他の実施形態は、異なる数の細分割部を含み得る
。サンプリング手法は、逆補間とも呼ぶことができる。逆補間は、バーテックスシェーダ
を使用するグラフィックス描画処理装置(GPU)上での実装が容易であり得る。GPU
のフラグメントシェーダは、双線形補間を使用して、メッシュがゆがんだ画像のリサンプ
リングを処理することができる。実際のビデオのRSゆがみは、双線形逆補間により、エ
イリアシングアーチファクトを生成するほど強くはない場合がある。その結果、実際には
、逆補間がうまく機能する。グローバルな画像ゆがみを使用するローリングシャッタ補正
は、ローリングシャッタ露光の間、カメラ回転がおおむね一定であると仮定することがで
きる。線形近似は、図3の画像フレーム306によって示されるように、ローリングシャ
ッタを調整できない場合がある。
[カメラおよびジャイロスコープの較正]
本明細書で説明される未知のカメラおよびジャイロスコープパラメータを回復するため
の較正技法が提供される。較正により、ジャイロスコープデータからのWの直接演算が可
能になり得る。本明細書で説明されるモデルにおける未知のパラメータは、カメラの焦点
距離f、ローリングシャッタの持続時間t、ジャイロスコープとフレームサンプルタイ
ムスタンプとの間の遅延tおよびジャイロスコープドリフトwを含み得る。
いくつかの例では、カメラの焦点距離fなどのこれらのパラメータのうちの1つまたは
複数は、製造業者が指定することができる。いくつかの例では、これらのパラメータは、
実験的に測定することができる。例えば、素早く点滅するディスプレイを使用して、ロー
リングシャッタの持続時間tを測定することができる。しかし、これらの技法は、不正
確でエラーを起こしやすい傾向があり得る。また、これらの技法は、退屈であり得る。ロ
ーリングシャッタの持続時間tは、通常、ミリ秒範囲であり得る。その結果、tまたは
における小さな不整合が、ローリングシャッタ調整の失敗をもたらす場合がある。
一実施形態では、これらのパラメータは、単一のビデオおよびジャイロスコープキャプ
チャから推定することができる。例えば、ユーザは、建物などの静止被写体の方向に向け
たまま、静止したまま立っている状態で、カメラを揺すりながら、ビデオやジャイロスコ
ープトレースを記録することができる。クリップの持続時間は、異なる実施形態で異なり
得る。一実施形態では、短いクリップ(例えば、10秒以下の持続時間)が、すべての未
知のパラメータを推定するには十分であり得る。この較正ステップは、各カメラおよびジ
ャイロスコープ構成に対して1回だけ行う必要があり得る。
一実施形態では、一致ポイントは、連続ビデオフレームで特定される。一致ポイントは
、例えば、スケール不変特徴量変換(SIFT:scale invariant feature transform)
を使用して特定され得る。外れ値は、例えば、ランダムサンプルコンセンサス(RANS
AC:random sample consensus)を使用して破棄することができる。その結果は、キャ
プチャされたビデオのすべての近隣のフレームに対するポイント対応xおよびxのセ
ットであり得る。このグランドトゥルース(ground truth)を前提として、較正は、すべ
てのポイント対応の平均二乗再投影誤差を最小化することができる最適化問題として公式
化することができる。これは、以下の方程式の例(10)で指定される。
Figure 0006937809
目的関数を最小化するため、多くの非線形オプティマイザを使用することができる。直
接目的関数評価による座標降下法は、急速に収束し得、一実施形態で実装される。毎回、
目的関数Jが減少しないところでステップを取る。ステップ方向を逆にし、対応するパラ
メータのステップサイズを減少する。アルゴリズムは、すべてのパラメータのステップサ
イズが所望の閾値未満に降下する(目標精度が達成されるなど)と終了する。収束は、い
くつかの例では、急速に起こり得る。例えば、一実施形態では、収束は、約10秒の持続
時間の較正ビデオに対して、2秒以内に起こり得る。
一実施形態では、最適化は、カメラが45°の視野を有するように焦点距離を設定する
ことによって初期化することができる。他のすべてのパラメータは、0に設定することが
できる。これらの初期条件を用いることで、オプティマイザは、データセットに対する正
しい解に収束することができる。より一般に、極小値になることは(例えば、ジャイロス
コープとフレームタイムスタンプとの間の遅延が大きい際)、様々な妥当なパラメータに
対して座標降下アルゴリズムを再開して、最適な解を選択することによって、回避するこ
とができる。正しく回復されたパラメータに対する平均再投影誤差は、例えば、1画素ほ
どであり得る。
モデルにおける追加の未知数は、カメラに対するジャイロスコープの相対的な向きであ
り得る。例えば、ジャイロのy軸周りの回転は、カメラのx軸周りの回転に相当し得る。
ジャイロスコープの向きを発見するため、3本の回転軸を置換することができ、各置換
に対してオプティマイザを実行することができる。目的を最適に最小化する置換は、カメ
ラの軸の順序付けに相当し得る。再投影誤差は、誤った置換に対してはかなり大きいもの
であり得る。したがって、実際には、この方法がうまく機能する。
カメラは垂直ローリングシャッタを有すると仮定してきたが、RSモデルは、画像行の
代わりに画像列に対して機能するように容易に変更することができる。両方の事例に対す
る最小再投影誤差を見出すことは、カメラが水平ローリングシャッタを有するかまたは垂
直ローリングシャッタを有するかを示し得る。
最終的に、較正によって達成された結果は、較正の前後にビデオおよびジャイロスコー
プ信号を分析することによって実証することができる。連続フレーム間の回転が小さいと
仮定すると、画像における変換は、以下の方程式の例(11)で指定されるように、回転
からほぼ演算することができる。
Figure 0006937809
方程式(11)は、ローリングシャッタによる効果がなく(例えば、t=0)、z軸
周りの回転(例えば、ω)を無視することができると仮定する。
Figure 0006937809
は、連続フレームにおけるすべてのポイント対応に対するxおよびyに沿った平均変換率
である。オプティマイザが正しい焦点距離fおよびジャイロスコープ遅延tに収束した
場合、2つの信号は整合するはずである。較正前は、fの初期の推定が低過ぎるため、信
号xおよびfωy(t+t)の振幅は一致しない。信号は、tが0に初期化される
際、シフトすることができる。較正後は、正確な焦点距離およびジャイロスコープ遅延が
回復されているため、信号はうまく整合し得る。MEMSジャイロスコープなどの精密な
ジャイロスコープは、ジャイロスコープデータが画像モーションと一致するようにするこ
とができ、ビデオ安定化およびローリングシャッタ補正を改善する。
[制約ベースの回転平滑化]
本開示のいくつかの態様では、空き領域が目に見えないかまたは最小閾値未満であると
いう制約の下、最適に平滑化されたカメラモーションを演算するためのシステムおよび方
法を提供することができる。図4は、実施形態による、デジタルビデオ安定化モジュール
の例を示す。デジタルビデオ安定化モジュール400は、入力モジュール401、平滑化
モジュール402およびゆがみモジュール403を含めて示される。
入力モジュール401は、平滑化モジュール402およびゆがみモジュール405への
安定させるべき入力を提供することができる。入力モジュール401は、安定させるべき
ビデオと関連付けられた入力を受信することができる。例えば、入力は、NのフレームF
のセット、NのフレームFに対応する時間tおよびカメラの向き(カメラ配向)θ
(i={1…N})を含み得る。
平滑化モジュール402は、制約関数f(φ,t)が満たされるように、新しい平滑化
されたカメラの向き(カメラ配向)のセットφを演算する。平滑化モジュール402は
、回転速度モジュール403および制約決定モジュール404を含み得る。
回転速度モジュール403は、平滑なカメラ配向の生成に対して十分小さな回転速度が
維持されることを保証するため、回転速度を演算する。制約決定モジュール404は、時
間tにおける目標の向きφに対して制約が満たされているかどうかを決定する。例え
ば、一実施形態では、制約関数f(φ,t)は、時間tにおける目標の向きφを前提
として、空き領域が目に見えるか否かのそれぞれに応じて1または0を返すことができる
例えば、制約決定モジュール404は、空き領域の最小量(例えば、閾値量未満)が連
続画像フレームで生成されているかどうかを決定することができる。空き領域の量が閾値
量未満に降下すれば、制約が満たされ(例えば、空き領域の量が閾値量を超えない)、目
標の向きφおよびその対応する時間tを使用して、閾値を上回る量の空き領域を生成しな
い十分小さな回転速度を有する平滑な向きを生み出すことができる。制約が満たされなけ
れば(例えば、空き領域の量が閾値量を超える)、制約を満たしながら十分小さな回転速
度を維持するため、対応する目標の向きφを調整することができる。一実施形態では、空
き領域の閾値量は、ゼロである。他の実施形態では、空き領域の閾値量は、ほぼゼロであ
るか、または、人間の目では検出不可能と判断される無視できる値である。さらに別の実
施形態では、空き領域の閾値量は、すべての空き領域またはほぼすべての空き領域を排除
するなど、効果的に使用するためにクロッピング、ズーミングまたは修復を防ぐ値である
。他の実施形態では、空き領域の閾値量は、アプリケーションおよび許容レベルに基づい
て要望通り設定することができる。
ゆがみモジュール405は、平滑化モジュール402によって演算された新しい平滑化
されたカメラ配向のセットφに基づいてゆがんだフレームを生成する。例えば、ゆがみ
モジュール405は、フレームF、平滑化された向きφおよびその対応する時間tを入力
として取り入れて、ゆがんだフレームF’を生成する、ゆがみ関数g(F,φ,t)を実
装することができる。平滑化モジュール402によって出力されるような、tの経過に
伴って平滑に変化するφや、適切な関数fおよびgの選択を前提として、結果として得
られたゆがんだフレームF’は、安定した出力ビデオを作成する。関数fは、ゆがみ関
数gの選択に依存し得、単に、ゆがみ関数gを適用した後、フレームにおいて空き領域が
目に見えるか否かを示し得る。
実装される特定のゆがみ関数は、異なる実施形態で異なり得る。様々なカメラまたは所
望の近似に対して、異なるゆがみ関数が適切であり得る。例えば、実装されるゆがみ関数
は、カメラがローリングシャッタおよび小さなレンズ収差を有するかどうか、または、グ
ローバルシャッタを有するかどうかに基づき得る。例えば、一実施形態では、グローバル
シャッタを有するカメラに対して、ホモグラフィゆがみ関数を実装することができる。ア
フィン変換またはフレームの画像空間における回転に変換を加えたものなどの他の近似を
実装することもできる。
一実施形態では、θ入力は、SO(3)グループにおける回転である。回転行列およ
び四元数によってなど、回転を表す様々な方法がある。SO(3)にある表現は、オイラ
ー角よりむしろ四元数など、平滑な補間を促進する表現に変換することができる。θ
転は、例えば、画像ベースの特徴トラッカから、または、ジャイロスコープの読取値を直
接測定して積分することによって、演算することができる。他の実施形態では、カメラの
向きの正確な推定を生み出す他のいかなる方法も実装することができる。
カメラ回転の観点からθについて説明してきたが、他の実施形態では、θは、3D空間
におけるカメラの回転と変換の両方を保持するベクトルを含み得る。例えば、回転と変換
の両方を含むベクトルは、モーションアルゴリズムからの構造によって生成することがで
きる。一実施形態では、θは、フレームの画像空間における変換もしくは回転、または、
他のあまり正確ではないが潜在的に演算上安価な近似を含み得る。θを平滑に補間でき、
結果として得られたφを対応するfおよびg関数に入力できる限り、デジタルビデオ安定
化を実現することができる。
本明細書では、「平滑なカメラモーション」との記載は、回転速度における小さな変化
を指すために使用することができる。これは、近隣のフレームの回転における小さな変化
とは区別される。回転速度における小さな変化は、時間の経過に伴って課された制約をイ
ーズインおよびイーズアウトする向きを生み出し得る。近隣のフレームの回転における小
さな変化は、制約が実施される時間における向きに関する導関数の不連続性を生み出す一
方で、制約におよび制約から補間する。
制約ベースの回転平滑化は、回転速度および制約に基づいてエネルギー関数を最小化す
ることを含む最適化を含み得る。
一実施形態では、最小化するエネルギー関数Jは、以下の方程式の例(12)によって
指定することができる。
Figure 0006937809
回転φは、単位四元数(ベクトルとしても知られている)として表現することができる
。その上、以下の方程式の例(13)で指定されるように、ハード制約をソフト制約と置
き換えることができる。
Figure 0006937809
λは、f制約がどれほど強く実施されるかを決定することができる。例えば、λを無限
に設定することは、空き領域が目に見えないことを保証することができ、制約を満たすこ
とができると仮定することができる。
方程式の例(12)または(13)に示される形式でエネルギー関数Jを最小化するた
め、様々な最適化アルゴリズムを使用することができる。一実施形態では、方程式の例(
12)の勾配降下に基づく反復アルゴリズムが実装され、制約は、各反復で実施される。
一実施形態では、1秒あたり特定の数のフレームを記録するカメラなど、フレームは、時
間的に等間隔であり得る。等間隔のフレームを用いることで、分母は一定であると仮定す
ることができ、次いで、和から取り出すことができる。次いで、以下の方程式の例(14
)によって導関数を指定することができる。
Figure 0006937809
Cは、勾配の大きさを制御する定数であり得る。いくつかの実施形態では、Cは、モー
メンタムベースの方法などの勾配降下の何らかの形式によって自動的に選ばれる場合があ
る。他の実施形態では、Cは、簡素な勾配降下における降下率を制御するため、要望通り
設定することができる。値の例は、例えば、C=2/(Δt)であり得る。方程式(1
4)は、以下の例の方程式(15)によってよりコンパクトに指定することができる。
Figure 0006937809
カーネルKは、ラプラシアン・ガウシアン(LoG:Laplacian of Gaussian)フィル
タであり得る。LoGフィルタは、ガウシアン差分(DoG:Difference of Gaussian)
またはボックス差分(DoB:Difference of Box)フィルタで近似することができる。
また、カーネルKは、LoGフィルタをガウシアンフィルタで畳み込むことによって調整
することもできる。これは、どれほど徐々に回転速度が変化すべきか(または制約をイー
ズインおよびイーズアウトする量)を制御することができる。LoG/DoG/DoBお
よび/またはガウシアンフィルタの選択は、カーネルKの係数およびサイズに影響を及ぼ
し得るが、カーネルが時間導関数の形式を演算する限り、最適化された向きは、制約をイ
ーズインおよびイーズアウトする何らかの形式を呈し得る。
一実施形態では、四元数へのカーネルの適用は、4Dベクトルの線形重み付けをするこ
とである。理論上、球面線形補間(slerp)を使用して四元数を補間することは、正
確な方法であり得る。角度の小さな変化に対して、線形補間に各反復で結果として得られ
た四元数(lerp)の正規化を加えたものが、かなり正確な結果を生み出すには十分で
ある。そのような結果は、θが小さいとsin(θ)≒θであるため、達成することがで
きる。手ブレによって生じた角度の変化(例えば、調整すべき変化)は、通常、大きいも
のではない。その上、合理的なレベルのクロッピング、ズーミングまたは修復ファクタは
、大した余裕を残さない可能性がある。小さな角度のみが空き領域を生成しない。したが
って、連続した向きの四元数間における手ブレによって生じた角度は、実際には、大きく
ない可能性があり、近似は、正確かつ演算上効率的なものであり得る。その上、急速なカ
メラの回転の場合(例えば、ユーザが素早く左にパンする)、制約関数fは、結果として
得られた向きを支配し得る。したがって、lerpからのいかなる不正確性も目立たない
可能性がある。
一実施形態では、制約ベースの回転平滑化は、以下のアルゴリズムの例(1)の観点か
ら指定することができる。
Figure 0006937809
Φは、内側のループで変化しないように、外側のループで事前に演算することができ
る。反復数「numiter」は、平滑な回転をもたらすようほど十分高く設定することができ
る。次いで、結果として得られたφは、gに代入して、安定した出力ビデオを生成する
ことができる。
n(φ)は、lerpにおける正規化ステップであり、n(φ)=φ/||φ||と定
義することができる。アルゴリズム1における添え字iは、Φが有効であるように選択
され、したがって、カーネルKのサイズに依存し得る。この例では、境界での回転は、固
定して保持することができる。他の実施形態では、補外を介して境界を拡大し、最適化の
間に向きの全セットを反復できるようにすることができる。向きの全セットは、以下のセ
ットとして指定することができる。
Figure 0006937809
図5は、実施形態による、入力データおよび平滑化後に結果として得られたデータの例
のグラフを示す。上のグラフは、時間の経過に伴って描かれた入力データ502を含み、
制約503は円で示される。下のグラフは、制約503を含む、本明細書で説明される制
約ベースの回転平滑化技法に従って平滑化された入力データ502の結果として得られた
データ504を含む。例えば、結果として得られたデータ504は、制約(例えば、連続
画像フレームにおいて空き領域の閾値量が生成されない)が満たされることを保証する一
方で、回転速度(または微分係数)が小さく(または閾値未満に)なるように実施するこ
とによって、平滑化することができる。回転速度における小さな変化は、時間の経過に伴
って課された制約をイーズインおよびイーズアウトする向きを生み出し得る。結果として
得られたデータ504は、制約503をイーズインおよびイーズアウトする。他方では、
中間のグラフは、制約503を含む、近隣のフレームの向きの変化が小さくなるように実
施することによって入力データ502の平滑化を試みた結果として得られたデータ506
を含む。近隣のフレームの回転における小さな変化は、制約が実施される時間における向
きに関する導関数の不連続性を生み出す一方で、制約におよび制約から補間する。示され
るように、結果として得られたデータ506は、制約503における導関数の不連続性を
含む。
図6は、実施形態による、制約ベースの平滑化のための方法の例を示す。方法600の
ブロック601では、ビデオデータが受信される。ビデオデータは、関連付けられたタイ
ムスタンプを有する画像フレームのセットを含み得る。一実施形態では、ブロック601
は、図4の入力モジュール701によって実行することができる。
ブロック603では、関連付けられたタイムスタンプを有する、カメラの向きに関する
カメラ配向データが受信される。例えば、カメラを含むデバイスは、ビデオのキャプチャ
の間にカメラの向きを追跡するカメラ配向データを生成する、ジャイロスコープ、加速度
計などの向きセンサも含み得る。カメラ配向データは、カメラ配向データをビデオデータ
の画像セットにリンクするかまたはそうでなければ関連付けるため、関連付けられたタイ
ムスタンプを含み得る。いくつかの例では、カメラ配向データは、ビデオデータと同時に
(ビデオデータと一緒になど)受信することができる。一実施形態では、ブロック602
は、図4の入力モジュール701によって実行することができる。
一実施形態では、ブロック601および603は、ビデオのキャプチャに使用されるカ
メラを有するデバイス(例えば、スマートフォンまたは他のハンドヘルド式のデバイス)
によって実行することができる。例えば、ビデオデータおよびカメラ配向データは、ビデ
オのキャプチャと同時に受信することができる。別の実施形態では、ブロック601およ
び603は、カメラを含むデバイス(例えば、スマートフォン)によってキャプチャされ
たビデオデータを後に受信する別々のデバイス(例えば、コンピュータ)によって実行す
ることができる。例えば、ビデオデータおよびカメラ配向データは、カメラおよび向きセ
ンサを含むデバイス(カメラを備えるスマートフォンなど)から別々のデバイスに伝送ま
たはアップロードすることができる。
ブロック605では、連続する画像フレーム間の回転速度を最小化することによって、
平滑化されたカメラ配向データのセットを生成しつつ、結果として得られる平滑化画像フ
レームのセットにおける空き領域の量を最小化する(または制限する)。結果として得ら
れる平滑化画像フレームのセットは、平滑化されたカメラ配向データのセットに基づいて
再配向されたものである。
一実施形態では、平滑化されたカメラ配向データのセットは、本明細書で説明される方
程式(12)または(13)を最小化することによって生成される。一実施形態では、方
程式の例(12)の勾配降下に基づく反復アルゴリズムが実装され、制約は、各反復で実
施することができる。
ブロック607では、補正された画像フレームのセットを形成するため、画像フレーム
のセットがゆがめられる。画像フレームのセットは、画像フレームのセットおよび平滑化
されたカメラ配向データのセットに対する関連付けられたタイムスタンプに基づいてゆが
めることができる。一実施形態では、個々の画像フレームは、複数のサブセクションに分
割することができ、各サブセクションは、関連付けられたタイムスタンプおよびカメラの
向き(カメラ配向)を有し得る。各サブセクションは、補正された個々の画像フレームを
形成するため、関連付けられたタイムスタンプおよびカメラの向きに基づいて再編成する
ことができる。
[モーションブラー・アーチファクトの可視性の低減]
低光量で撮られたビデオのデジタルビデオ安定化は、奇妙なモーションブラー・アーチ
ファクトを生成する場合が多い。このモーションブラー・アーチファクトは、モーション
ブラーを引き起こしたモーション(例えば、手ブレ)が取り除かれた際にモーションブラ
ーが奇妙に見えるため発生し得る。いくつかの例では、モーション跡について説明するた
めに必要な手ブレだけ、安定させたビデオに残すことが必要であり得る。明確な水平モー
ション跡がフレームにある場合は、跡が意味をなすようにするため、その跡に従って向き
を水平に変化させる必要があり得る。水平モーションがない場合は、その跡は、安定させ
たビデオに理由もなく収まったり飛び出たりするように見え、それにより、目に見えるモ
ーションブラー・アーチファクトを生じ得る。
一実施形態では、カメラのシャッタが開いている間に起こった向きの変化Δθは、以
下の例の方程式(16)に従って演算される。
Figure 0006937809
は、フレームFに対してシャッタが開かれている時間を表すことができる。e
は、フレームの露光持続時間である。θ(t)は、時間tにおけるカメラの向きであり
、以下の表現上で補間することによって演算することができる。
Figure 0006937809
ジャイロスコープを使用するデジタルビデオの安定化およびローリングシャッタ補正の
ための上記で説明される例では、Δθは、シャッタが開かれている時間のみにわたって
積分することによって、ジャイロスコープの読取値から直接演算することもできる。方程
式(1)または方程式(2)内の和は、以下の方程式の例(17)で指定されるように修
正することができる。
Figure 0006937809
方程式(17)は、
Figure 0006937809
および
Figure 0006937809
であると仮定する。シャッタは、フレームのタイムスタンプの前には開かず、次のフレー
ムの開始前に閉じる。別の実施形態では、入力タイムスタンプは、異なる形で計算するこ
とができ(例えば、tは、シャッタを閉じた時間である)、要件を満たすようにタイム
スタンプを調整するため、前処理ステップを追加することができる。
上記で説明される実施形態では、フレームにモーション跡を残した向きの変化が保存さ
れる。別の実施形態では、近似は、以下の方程式の例(18)で指定されるように実装す
ることができる。
Figure 0006937809
方程式(18)における近似は、向きの変化Δθがモーション跡に沿って収まるよう
に、φの最適化を試みることができる。γスケーリング係数は、平滑性とどれほど近く
モーション跡をたどるべきかとの間のトレードオフを制御することができる。
[適切なズームファクタの選択]
例えば、許容できるズームファクタ(またはクロップファクタ、修復ファクタ、もしく
はデジタルビデオ安定化に余裕を提供するために使用されるアルゴリズムに適用可能な他
の任意の対策)は1〜1.25である。所定のビデオに対して、平滑なカメラモーション
を生み出せるほど十分な余裕を提供する最も小さなズームファクタを決定することが望ま
しい場合がある。一実施形態では、結果として得られたカメラモーションの平滑性は、以
下の方程式の例(19)によって測定することができる。
Figure 0006937809
方程式(19)では、qは、どれほど頻繁に空き領域制約が実施されるかを測定する。
例えば、q=0.1の値は、空き領域が外面に現れないようにするため、平均して、10
フレームごとにfが実施されることを意味し得る。例えば、制約をイーズインおよびイー
ズアウトするために20フレームの間隔が望ましい場合は、適切な値はq=0.05であ
り得る。
所望のq’値を提供するズームファクタz’を見出すため、アルゴリズム1は、様々な
ズームファクタ(例えば、z∈[1,1.05,1.1,1.15,1.2,1.25]
)に対する解を求めることができる。ズームファクタzおよびアルゴリズム1を実行する
ことによって結果として得られたφを前提として、方程式(19)から結果として得ら
れたqを演算することができる。次いで、q’に最も近いqを提供したズームファクタを
選択することができる。別の実施形態では、q’において結果として得られたデータセッ
ト(q,z)を線形補間することによって、ズームファクタz’を見出すことができる。
また、典型的なハンドヘルド式での記録に対する(q,z)ルックアップテーブルを事前
に演算することもでき、q’は、中央または平均回転速度から推定される。この手法は、
特定のビデオに対してはあまり正確ではないものであり得るが、最適化アルゴリズムを複
数回実行する必要がないため、高速であり得る。
[演算効率の向上]
勾配降下以外のオプティマイザなどを使用する、近似の導入など、アルゴリズム(1)
の効率を向上するための多くの方法がある。一実施形態では、方程式(15)におけるK
のカーネルのサイズを低減することができ、以下の方程式の例(20)で指定されるよう
に、勾配を更新することができる。
Figure 0006937809
カーネルのサイズを低減する(およびそれを再利用する)ことにより、勾配の演算を効
果的に加速させることができる。方程式(20)におけるカーネルの別の特性は、sle
rpを使用してより正確にKΦの値を演算できることである。このことは、以下の方程
式の例(21)で指定されるように、不均一な間隔のフレーム上で行うことができる。
Figure 0006937809
さらにいっそう正確には、φおよびslerpによって形成される球面に対する接線
を決定して、方程式(20)で使用することができる。φおよびslerpによって形
成される球面に対する接線は、以下の表現の例で指定することができる。
Figure 0006937809
別の実施形態では、本明細書で説明されるアルゴリズム1の収束率を向上することによ
って、効率を向上することができる。このことは、粗から密までのモードでそれを実行す
ることによって実現することができる。例えば、アルゴリズム1は、16の向きφごと
に供給して解を求めることによって初期化することができる。次いで、線形または三次補
間(例えば、slerpまたはsquad)を使用して、その中間のφを演算すること
ができる。つまり、8の向きごとの値が得られる。アルゴリズム1は再度実行することが
できるが、ここでは、平滑性および制約のために8の向きごとに最適化する。このことは
、アルゴリズム1があらゆる向きにわたって実行されるまで繰り返すことができる。
粗から密まで実行することにより、各ステップにおけるかなり少ない反復に対してアル
ゴリズム1を実行することが許可され得る。全体的なカメラモーションを平滑にすること
ができ、次いで、依然として平滑な状態を維持したまま、ますます小さくなるフレーム間
隔で制約を満たすため、向きを改良することができる。別の実施形態では、不均一なサン
プリングを使用することができる。例えば、16のフレームごとに選ぶ代わりに、以前に
選ばれたフレームから向きがどれほど遠く外れているかに基づいてフレームを選ぶことが
できる。次いで、平滑化された向きがすべてのフレームに対して演算されるまで、セグメ
ントを細分割することができる。
より粗いまたは不均一なサンプリングは、向きにおけるより大きな連続的な変化をもた
らし得るため、方程式(21)で提示されるslerp修正を使用することで、より正確
な結果を生み出すことができる。
[リアルタイムの安定化への応用例]
以下は、リアルタイムの設定にアルゴリズムを採用する実施形態の例として提供される
。Nのフレームをメモリに保存して、スライドウィンドウ形式でアルゴリズムが実行され
る。添え字iは、スライドウィンドウの開始を示し得、i+Nは、スライドウィンドウの
終了を示し得る。スライドウィンドウ内部の向きは、アルゴリズムを実行することによっ
て更新することができるという点で、適応性があるものであり得る。これらの向きは、以
下のセット(2)によって指定することができる。
Figure 0006937809
スライドウィンドウに先行する向き(例えば、φi−1)は、固定することができる。
開始向きはφi−1であり得、回転速度(例えば、ジャイロスコープによって測定される
かまたは特徴トラッカから演算されるような)を積分して、向き{θ,θi+1,…,
θi+N}を得ることができる。これは、最適化アルゴリズムに対する入力として使用し
て、{φ,φi+1,…,φi+N−2}を演算することができる。向き{φi−2
φi−1}および{φi+N−1=θi+N−1,θi+N=θi+N}は、固定して保
持することができ、モーションがスライドウィンドウへの出入りで平滑であることを保証
する境界条件として機能し得る。
アルゴリズムが実行された時点で、向きφを得ることができ、その向きφは、フレ
ームFをゆがめるのに使用することができる。フレームをゆがめた時点で、ゆがんだフ
レームは、エンコーダに渡し、Nのフレームのバッファから取り除くことができる。次い
で、カメラから新しいフレームを受信することができ、1つのフレームだけスライドウィ
ンドウを進めることができる。
手順は、記録が止まり、すべてのフレームが処理されるまで、繰り返すことができる。
まさに最初のフレームi=1に対しては、{φ−1,φ}は定義されていない場合があ
る。φ−1およびφは、恒等四元数に設定することができる。最後のフレームが受信さ
れた時点で、バッファは、それぞれのフレームをゆがめるために最終的なスライドウィン
ドウ内部で演算された向きを使用することによってフラッシュすることができる。
いくつかの例では、小さなバッファサイズ(例えば、N=5)は、制約のイーズインお
よびイーズアウトができない場合がある。そのような事例では、ハード制約まで強化され
るソフト制約になるように制約関数fを変更する必要があり得る。これは、関数f’(φ
,t)として言及することができる。0または1を返す代わりに、f’は、新しい向きφ
’を返し、新しい向きφ’は、フレームボーダから押しのけることができる。向きφが空
き領域を示すようになる状態に近づくほど、f’はますます結果として得られたφ’を空
き領域から押しのけることができる。次いで、以下のアルゴリズムの例(2)で指定され
るように、アルゴリズム1を再公式化することができる。
Figure 0006937809
向きn(φ−CKΦ)が空き領域をもたらす際にf’が単にφを返す場合、アル
ゴリズム1とアルゴリズム2は同等であり得ることに留意されたい。アルゴリズム1の最
適化率は、関数f’(φiをn(φ−CKΦ)に向けてslerpするが、まさに空
き領域が現れようとしているポイントでちょうど停止する)を用いて、アルゴリズム2を
使用することによって向上することができる。
[ソーシャルネットワーキングシステム−実装例]
図7は、本発明の実施形態による、ウェブサイトまたはアプリケーション上のユーザの
関心を推定するためのシステム700の例のネットワーク図を示す。システム700は、
1つまたは複数のユーザデバイス710、1つまたは複数の外部システム720、ソーシ
ャルネットワーキングシステム730およびネットワーク750を含む。一実施形態では
、上記で説明される実施形態に関連して論じられるソーシャルネットワーキングシステム
は、ソーシャルネットワーキングシステム730として実装することができる。例示を目
的として、図7によって示されるシステム700の実施形態は、単一の外部システム72
0および単一のユーザデバイス710を含む。しかし、他の実施形態では、システム70
0は、より多くのユーザデバイス710および/またはより多くの外部システム720を
含み得る。ある実施形態では、ソーシャルネットワーキングシステム730は、ソーシャ
ルネットワークプロバイダによって動作され、外部システム720は、異なる実体によっ
て動作され得るという点で、ソーシャルネットワーキングシステム730から分離される
。しかし、様々な実施形態では、ソーシャルネットワーキングシステム730のユーザ(
またはメンバー)にソーシャルネットワーキングサービスを提供するため、ソーシャルネ
ットワーキングシステム730および外部システム720は連動する。この意味で、ソー
シャルネットワーキングシステム730は、プラットホームまたはバックボーンを提供し
、他のシステム(外部システム720など)は、プラットホームまたはバックボーンを使
用して、インターネット上でソーシャルネットワーキングサービスおよび機能性をユーザ
に提供することができる。
ユーザデバイス710は、1つまたは複数のコンピューティングデバイスを備え、1つ
または複数のコンピューティングデバイスは、ユーザから入力を受信し、ネットワーク7
50を介してデータを伝送および受信することができる。一実施形態では、ユーザデバイ
ス710は、例えば、マイクロソフトウィンドウズ(登録商標)対応オペレーティングシ
ステム(OS)、アップル(登録商標)OSXおよび/またはリナックス(登録商標)デ
ィストリビューションを実行する従来のコンピュータシステムである。別の実施形態では
、ユーザデバイス710は、スマートフォン、タブレット、携帯情報端末(PDA)、携
帯電話など、コンピュータの機能性を有するデバイスであり得る。ユーザデバイス710
は、ネットワーク750を介して通信するように構成される。ユーザデバイス710は、
例えば、ユーザデバイス710のユーザがソーシャルネットワーキングシステム730と
相互作用できるようにするブラウザアプリケーションなどのアプリケーションを実行する
ことができる。別の実施形態では、ユーザデバイス710は、iOS(登録商標)やアン
ドロイド(登録商標)などのユーザデバイス710のネイティブのオペレーティングシス
テムで提供されるアプリケーションプログラミングインタフェース(API)を通じてソ
ーシャルネットワーキングシステム730と相互作用する。ユーザデバイス710は、ネ
ットワーク750を介して外部システム720およびソーシャルネットワーキングシステ
ム730と通信するように構成され、ネットワーク750は、有線および/または無線通
信システムを使用する、ローカルエリアおよび/または広域ネットワークのいかなる組合
せも含み得る。
一実施形態では、ネットワーク750は、標準通信技術およびプロトコルを使用する。
したがって、ネットワーク750は、イーサネット(登録商標)、802.11、WiM
AX(登録商標)、3G、4G、CDMA、GSM(登録商標)、LTE、デジタル加入
者回線(DSL)などの技術を使用するリンクを含み得る。同様に、ネットワーク750
上で使用されるネットワークプロトコルは、マルチプロトコルラベルスイッチング(MP
LS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデー
タグラムプロトコル(UDP)、ハイパーテキストトランスポートプロトコル(HTTP
)、簡易メール転送プロトコル(SMTP)、ファイル転送プロトコル(FTP)および
同様のものを含み得る。ネットワーク750上で交換されるデータは、ハイパーテキスト
マークアップ言語(HTML)および拡張マークアップ言語(XML)を含む技術および
/またはフォーマットを使用して表すことができる。それに加えて、すべてのまたはいく
つかのリンクは、セキュアソケット層(SSL)、トランスポート層セキュリティ(TL
S)およびインターネットプロトコルセキュリティ(IPsec)などの従来の暗号化技
術を使用して暗号化することができる。
一実施形態では、ユーザデバイス710は、ブラウザアプリケーション712を使用し
て、外部システム720からおよびソーシャルネットワーキングシステム730から受信
されたマークアップ言語文書714を処理することによって、外部システム720からお
よび/またはソーシャルネットワーキングシステム730からのコンテンツを表示するこ
とができる。マークアップ言語文書714は、コンテンツや、コンテンツのフォーマット
またはプレゼンテーションについて説明する1つまたは複数の命令を特定する。マークア
ップ言語文書714に含まれる命令を実行することによって、ブラウザアプリケーション
712は、マークアップ言語文書714によって説明されたフォーマットまたはプレゼン
テーションを使用して、特定されたコンテンツを表示する。例えば、マークアップ言語文
書714は、外部システム720およびソーシャルネットワーキングシステム730から
回収されたテキストおよび/または画像データを含む複数のフレームを有するウェブペー
ジを生成および表示するための命令を含む。様々な実施形態では、マークアップ言語文書
714は、拡張マークアップ言語(XML)データ、拡張ハイパーテキストマークアップ
言語(XHTML)データまたは他のマークアップ言語データを含むデータファイルを含
む。それに加えて、マークアップ言語文書714は、外部システム720とユーザデバイ
ス710との間のデータ交換を容易にするためのジャバスクリプト(JavaScrip
t)(登録商標)オブジェクトノーテーション(JSON)データ、ジェイソンウィズパ
ディング(JSONP)およびジャバスクリプトデータを含み得る。ユーザデバイス71
0上のブラウザアプリケーション712は、ジャバスクリプトコンパイラを使用して、マ
ークアップ言語文書714を復号することができる。
また、マークアップ言語文書714は、フラッシュ(FLASH)(登録商標)または
ユニティ(Unity)(登録商標)アプリケーション、シルバーライト(Silver
Light)(登録商標)アプリケーションフレームワークなどのアプリケーションまた
はアプリケーションフレームワークを含むことも、アプリケーションまたはアプリケーシ
ョンフレームワークにリンクすることもできる。
一実施形態は、ユーザデバイス710は、ユーザデバイス710のユーザが、ソーシャ
ルネットワーキングシステム730にログインしているかどうかを示すデータを含む1つ
または複数のクッキー716も含み、それにより、ソーシャルネットワーキングシステム
730からユーザデバイス710に伝達されるデータの変更が可能になり得る。
外部システム720は、ネットワーク750を使用してユーザデバイス710に伝達さ
れる1つまたは複数のウェブページ722a、722bを含む1つまたは複数のウェブサ
ーバを含む。外部システム720は、ソーシャルネットワーキングシステム730から分
離される。例えば、外部システム720は、第1のドメインと関連付けられ、ソーシャル
ネットワーキングシステム730は、別々のソーシャルネットワーキングドメインと関連
付けられる。外部システム720に含まれるウェブページ722a、722bは、マーク
アップ言語文書714を含み、マークアップ言語文書714は、コンテンツを特定し、特
定されたコンテンツのフォーマットまたはプレゼンテーションを指定する命令を含む。
ソーシャルネットワーキングシステム730は、ソーシャルネットワーク用の1つまた
は複数のコンピューティングデバイスを含み、ソーシャルネットワークは、複数のユーザ
を含み、ソーシャルネットワークの他のユーザとの通信および相互作用を行う能力をソー
シャルネットワークのユーザに提供する。いくつかの例では、ソーシャルネットワークは
、グラフ(すなわち、エッジおよびノードを含むデータ構造)で表すことができる。また
、他のデータ構造も、ソーシャルネットワークを表すために使用することができ、これら
に限定されないが、データベース、オブジェクト、クラス、メタ要素、ファイルまたは他
の任意のデータ構造を含む。ソーシャルネットワーキングシステム730は、オペレータ
が管理、運用または制御することができる。ソーシャルネットワーキングシステム730
のオペレータは、ソーシャルネットワーキングシステム730内でコンテンツの管理、ポ
リシの規制および使用率メトリクスの収集を行うための人間、自動化アプリケーションま
たは一連のアプリケーションであり得る。いかなるタイプのオペレータも使用することが
できる。
ユーザは、ソーシャルネットワーキングシステム730に参加し、次いで、接続を希望
するソーシャルネットワーキングシステム730の何人もの他のユーザへの接続を追加す
ることができる。本明細書で使用されるように、「友達」という用語は、ユーザがソーシ
ャルネットワーキングシステム730を介して接続、関連性または関係を形成したソーシ
ャルネットワーキングシステム730の他のいかなるユーザも指す。例えば、一実施形態
では、ソーシャルネットワーキングシステム730のユーザがソーシャルグラフのノード
として表される場合は、「友達」という用語は、2人のユーザ間で形成されたエッジおよ
び2人のユーザを直接接続するエッジを指し得る。
接続は、ユーザが明示的に追加することも、ユーザの共通の特性(例えば、同じ教育機
関の同窓生であるユーザ)に基づいてソーシャルネットワーキングシステム730が自動
的に作り出すこともできる。例えば、第1のユーザは、友達とする他の特定のユーザを明
確に選択する。ソーシャルネットワーキングシステム730における接続は、通常、両方
向のものであるが、必須ではないため、「ユーザ」および「友達」という用語は、基準フ
レームに依存する。ソーシャルネットワーキングシステム730のユーザ間の接続は、通
常、双方向の(「二方向の」)または「相互の」ものであるが、接続は、単方向のまたは
「一方向の」ものでもあり得る。例えば、ボブ(Bob)とジョー(Joe)が両者とも
、ソーシャルネットワーキングシステム730のユーザであり、互いに接続されている場
合は、ボブとジョーは、互いの接続者である。他方では、ボブは、ジョーによってソーシ
ャルネットワーキングシステム730に伝達されたデータを閲覧するためにジョーとの接
続を希望しているが、ジョーは、相互接続の形成を希望していない場合は、単方向の接続
を確立することができる。ユーザ間の接続は、直接接続であり得る。しかし、ソーシャル
ネットワーキングシステム730のいくつかの実施形態は、1つまたは複数の接続レベル
または隔たりを介して接続を間接的なものにすることができる。
ユーザ間の接続を確立して維持し、ユーザ間の相互作用を可能にすることに加えて、ソ
ーシャルネットワーキングシステム730は、ソーシャルネットワーキングシステム73
0によってサポートされる様々なタイプのアイテムに対する動作を取る能力をユーザに提
供する。これらのアイテムは、ソーシャルネットワーキングシステム730のユーザが属
し得るグループまたはネットワーク(すなわち、人々、実体および概念のソーシャルネッ
トワーク)、ユーザが興味を持ちそうなイベントまたはカレンダエントリ、ソーシャルネ
ットワーキングシステム730を介してユーザが使用できるコンピュータベースのアプリ
ケーション、ソーシャルネットワーキングシステム730によってまたはソーシャルネッ
トワーキングシステム730を通じて提供されるサービスを介してユーザがアイテムを購
入または販売できるトランザクション、および、ソーシャルネットワーキングシステム7
30内外でユーザが実行できる広告との相互作用を含み得る。これらは、ソーシャルネッ
トワーキングシステム730上でユーザが作用できるアイテムのほんの数例であり、他の
多くのものも可能である。ユーザは、ソーシャルネットワーキングシステム730もしく
は外部システム720で表すことができるか、ソーシャルネットワーキングシステム73
0から分離することができるか、または、ネットワーク750を介してソーシャルネット
ワーキングシステム730と結合することができればどんなものとでも相互作用すること
ができる。
また、ソーシャルネットワーキングシステム730は、様々な実体をリンクすることも
できる。例えば、ソーシャルネットワーキングシステム730は、ユーザが、API、ウ
ェブサービスまたは他の通信チャネルを通じて、互いに、および、外部システム720ま
たは他の実体と相互作用できるようにする。ソーシャルネットワーキングシステム730
は、複数のエッジによって相互接続された複数のノードを含む「ソーシャルグラフ」を生
成して維持する。ソーシャルグラフの各ノードは、別のノードに作用し得るおよび/また
は別のノードによって作用され得る実体を表し得る。ソーシャルグラフは、様々なタイプ
のノードを含み得る。ノードのタイプの例は、ユーザ、人間ではない実体、コンテンツア
イテム、ウェブページ、グループ、活動、メッセージ、概念、および、ソーシャルネット
ワーキングシステム730でオブジェクトによって表すことができる他の任意のものを含
む。ソーシャルグラフの2つのノード間のエッジは、ノード関係からまたはノードのうち
の1つによって他のノードに対して実行された動作から生じ得る、2つのノード間の特定
の種類の接続または関連性を表し得る。いくつかの事例では、ノード間のエッジは、重み
付けすることができる。エッジの重みは、ノード間の接続または関連性の強度など、エッ
ジと関連付けられた属性を表し得る。異なるタイプのエッジは、異なる重みで提供するこ
とができる。例えば、あるユーザが別のユーザを「好む」際に作成されたエッジにはある
重みを与える一方で、ユーザが別のユーザと友達になった際に作成されたエッジには異な
る重みを与えることができる。
例として、第1のユーザが第2のユーザを友達と見なすと、第1のユーザを表すノード
と第2のユーザを表す第2のノードとを接続するソーシャルグラフのエッジが生成される
。様々なノードが互いに関連するかまたは相互作用するため、ソーシャルネットワーキン
グシステム730は、関係および相互作用を反映するため、様々なノードを接続するエッ
ジを変更する。
また、ソーシャルネットワーキングシステム730は、ソーシャルネットワーキングシ
ステム730とのユーザの相互作用を強化するユーザが生成したコンテンツも含む。ユー
ザが生成したコンテンツは、ユーザがソーシャルネットワーキングシステム730に追加
、アップロード、送信または「掲示」できるものであればどんなものも含み得る。例えば
、ユーザは、ユーザデバイス710からソーシャルネットワーキングシステム730にポ
ストを伝達する。ポストは、ステータス更新もしくは他のテキストデータ、位置情報、写
真などの画像、ビデオ、リンク、音楽、または、他の同様のデータおよび/もしくはメデ
ィアなどのデータを含み得る。また、コンテンツは、第三者がソーシャルネットワーキン
グシステム730に追加することもできる。コンテンツ「アイテム」は、ソーシャルネッ
トワーキングシステム730でオブジェクトとして表される。このように、ソーシャルネ
ットワーキングシステム730のユーザは、様々な通信チャネルを通じて、様々なタイプ
のメディアのテキストおよびコンテンツアイテムを掲示することによって、互いに通信す
ることが推奨される。そのような通信は、ユーザの互いの相互作用を増大し、ユーザがソ
ーシャルネットワーキングシステム730と相互作用する頻度を増大する。
ソーシャルネットワーキングシステム730は、ウェブサーバ732、API要求サー
バ734、ユーザプロファイルストア736、接続ストア738、行動ロガー740、活
動記録742、認証サーバ744およびデジタルビデオ安定化モジュール746を含む。
本発明の実施形態では、ソーシャルネットワーキングシステム730は、様々なアプリケ
ーションに対する追加の、より少ないまたは異なるコンポーネントを含み得る。システム
の細部を曖昧にしないように、ネットワークインタフェース、セキュリティメカニズム、
負荷分散装置、フェイルオーバサーバ、管理およびネットワーク運用コンソール、ならび
に、同様のものなどの他のコンポーネントは示されていない。
ユーザプロファイルストア736は、職歴、学歴、趣味または好み、位置、および、ユ
ーザによって宣言されているかまたはソーシャルネットワーキングシステム730によっ
て推測されている同様のものなど、伝記的な、人口学的なおよび他のタイプの記述的情報
を含む、ユーザアカウントについての情報を維持する。この情報は、各ユーザが一意に識
別されるように、ユーザプロファイルストア736に格納される。また、ソーシャルネッ
トワーキングシステム730は、異なるユーザ間の1つまたは複数の接続について説明す
るデータを接続ストア738に格納する。接続情報は、同様のまたは共通の職歴、グルー
プメンバーシップ、趣味または学歴を有するユーザを示し得る。それに加えて、ソーシャ
ルネットワーキングシステム730は、異なるユーザ間のユーザが定義した接続を含み、
ユーザが他のユーザとの関係を指定できるようにする。例えば、ユーザが定義した接続は
、友達、同僚、パートナなど、ユーザの現実の関係に類似した他のユーザとの関係をユー
ザが作り出せるようにする。ユーザは、事前に定義された接続タイプから選択することも
、必要に応じてユーザ自身の接続タイプを定義することもできる。また、人間ではない実
体、バケット、クラスタセンタ、画像、興味、ページ、外部システム、概念および同様の
ものなどのソーシャルネットワーキングシステム730の他のノードとの接続も、接続ス
トア738に格納される。
ソーシャルネットワーキングシステム730は、ユーザが相互作用できるオブジェクト
についてのデータを維持する。このデータを維持するため、ユーザプロファイルストア7
36および接続ストア738は、ソーシャルネットワーキングシステム730によって維
持される対応するオブジェクトタイプのインスタンスを格納する。各オブジェクトタイプ
は、オブジェクトのタイプに適切な情報の格納に適した情報フィールドを有する。例えば
、ユーザプロファイルストア736は、ユーザのアカウントおよびユーザのアカウントに
関連する情報に関する説明に適したフィールドを有するデータ構造を含む。特定のタイプ
の新しいオブジェクトが作成されると、ソーシャルネットワーキングシステム730は、
対応するタイプの新しいデータ構造を初期化し、一意のオブジェクト識別子をそれに割り
当て、必要に応じてオブジェクトへのデータの追加を開始する。このことは、例えば、ユ
ーザがソーシャルネットワーキングシステム730のユーザになると起こり得、ソーシャ
ルネットワーキングシステム730は、ユーザプロファイルの新しいインスタンスをユー
ザプロファイルストア736に生成し、一意識別子をユーザアカウントに割り当て、ユー
ザアカウントのフィールドへのユーザが提供する情報の投入を開始する。
接続ストア738は、ユーザと他のユーザとの接続、外部システム720との接続また
は他の実体との接続に関する説明に適したデータ構造を含む。また、接続ストア738は
、接続タイプをユーザの接続と関連付けることもでき、その関連性をユーザのプライバシ
設定と併せて使用して、ユーザについての情報へのアクセスを規制することができる。本
発明の実施形態では、ユーザプロファイルストア736および接続ストア738は、連合
データベースとして実装することができる。
接続ストア738、ユーザプロファイルストア736および活動記録742に格納され
たデータは、ソーシャルネットワーキングシステム730がソーシャルグラフを生成でき
るようにし、ソーシャルグラフは、ノードを使用して、ノードを接続する様々なオブジェ
クトおよびエッジを特定し、異なるオブジェクト間の関係を特定する。例えば、第1のユ
ーザがソーシャルネットワーキングシステム730の第2のユーザとの接続を確立する場
合、ユーザプロファイルストア736からの第1のユーザおよび第2のユーザのユーザア
カウントは、ソーシャルグラフのノードとして機能し得る。接続ストア738によって格
納された第1のユーザと第2のユーザとの間の接続は、第1のユーザおよび第2のユーザ
と関連付けられたノード間のエッジである。この例を続けると、第2のユーザは、ソーシ
ャルネットワーキングシステム730内で第1のユーザにメッセージを送信することがで
きる。格納することができる、メッセージを送信する動作は、第1のユーザおよび第2の
ユーザを表すソーシャルグラフの2つのノード間の別のエッジである。それに加えて、メ
ッセージ自体を、第1のユーザおよび第2のユーザを表すノードに接続された別のノード
として特定し、ソーシャルグラフに含めることができる。
別の例では、第1のユーザは、ソーシャルネットワーキングシステム730によって維
持される画像に(またはその代替として、ソーシャルネットワーキングシステム730の
外側の別のシステムによって維持される画像に)第2のユーザをタグ付けすることができ
る。画像はそれ自体、ソーシャルネットワーキングシステム730のノードとして表すこ
とができる。このタグ付け動作は、第1のユーザと第2のユーザとの間のエッジを作成す
ることや、ユーザの各々と画像(これもソーシャルグラフのノードである)との間のエッ
ジを作成することができる。さらに別の例では、ユーザがイベントへの出席を確認する場
合、ユーザおよびイベントは、ユーザプロファイルストア736から得られたノードであ
り、イベントへの出席は、活動記録742から回収することができるノード間のエッジで
ある。ソーシャルグラフを生成して維持することにより、ソーシャルネットワーキングシ
ステム730は、異なるタイプのオブジェクト、ならびに、それらのオブジェクト間の相
互作用および接続について説明するデータを含み、社会的に関連する情報の豊富な供給源
を提供する。
ウェブサーバ732は、ネットワーク750を介して、ソーシャルネットワーキングシ
ステム730を1つもしくは複数のユーザデバイス710および/または1つもしくは複
数の外部システム720にリンクする。ウェブサーバ732は、ウェブページや、ジャバ
(Java)(登録商標)、ジャバスクリプト(JavaScript)(登録商標)、
フラッシュ(Flash)(登録商標)、XMLなどの他のウェブ関連のコンテンツをサ
ービス提供する。ウェブサーバ732は、メールサーバ、または、ソーシャルネットワー
キングシステム730と1つまたは複数のユーザデバイス710との間でメッセージを受
信およびルーティングするための他のメッセージング機能性を含み得る。メッセージは、
インスタントメッセージ、キューに入れられたメッセージ(例えば、Eメール)、テキス
トおよびSMSメッセージまたは他の任意の適したメッセージングフォーマットであり得
る。
API要求サーバ734は、1つまたは複数の外部システム720およびユーザデバイ
ス710が、1つまたは複数のAPI関数を呼び出すことによって、ソーシャルネットワ
ーキングシステム730からアクセス情報を呼び出せるようにする。また、API要求サ
ーバ734は、外部システム720が、APIを呼び出すことによって、ソーシャルネッ
トワーキングシステム730に情報を送信できるようにもする。一実施形態では、外部シ
ステム720は、ネットワーク750を介してソーシャルネットワーキングシステム73
0にAPI要求を送信し、API要求サーバ734は、API要求を受信する。API要
求サーバ734は、API要求と関連付けられたAPIを呼び出すことによって要求を処
理して適切な応答を生成し、API要求サーバ734は、ネットワーク750を介して外
部システム720に適切な応答を伝達する。例えば、API要求に応答して、API要求
サーバ734は、外部システム720にログインしたユーザの接続者などのユーザと関連
付けられたデータを収集し、収集したデータを外部システム720に伝達する。別の実施
形態では、ユーザデバイス710は、外部システム720と同じ方法で、APIを介して
ソーシャルネットワーキングシステム730と通信する。
行動ロガー740は、ソーシャルネットワーキングシステム730内および/またはソ
ーシャルネットワーキングシステム730外のユーザの動作についてウェブサーバ732
から通信を受信することができる。行動ロガー740は、ユーザの動作についての情報を
活動記録742に投入し、ソーシャルネットワーキングシステム730が、ソーシャルネ
ットワーキングシステム730内およびソーシャルネットワーキングシステム730外で
そのユーザによって取られた様々な動作を発見できるようにする。ソーシャルネットワー
キングシステム730上で別のノードに関して特定のユーザが取るいかなる動作も、活動
記録742でまたは同様のデータベースもしくは他のデータリポジトリで維持される情報
を通じて、各ユーザアカウントと関連付けることができる。特定されて格納されるソーシ
ャルネットワーキングシステム730内でユーザが取る動作の例は、例えば、別のユーザ
への接続を追加すること、別のユーザにメッセージを送信すること、別のユーザからメッ
セージを読むこと、別のユーザと関連付けられたコンテンツを閲覧すること、別のユーザ
によって掲示されたイベントに出席すること、画像を掲示すること、画像の掲示を試みる
こと、または、別のユーザもしくは別のオブジェクトと相互作用する他の動作を含み得る
。ソーシャルネットワーキングシステム730内でユーザが動作を取ると、その動作は活
動記録742に記録される。一実施形態では、ソーシャルネットワーキングシステム73
0は、エントリに関するデータベースとして活動記録742を維持する。ソーシャルネッ
トワーキングシステム730内で動作を取ると、動作に対するエントリが活動記録742
に追加される。活動記録742は、動作記録と呼ぶことができる。
それに加えて、ユーザ動作は、ソーシャルネットワーキングシステム730から分離さ
れた外部システム720などのソーシャルネットワーキングシステム730の外側の実体
内で起こる概念および動作と関連付けることができる。例えば、行動ロガー740は、ウ
ェブサーバ732から外部システム720とのユーザの相互作用について説明するデータ
を受信することができる。この例では、外部システム720は、ソーシャルグラフで構造
化された動作およびオブジェクトに従って、ユーザの相互作用を報告する。
ユーザが外部システム720と相互作用する動作の他の例は、ユーザが外部システム7
20もしくは別の実体への興味を示すこと、外部システム720もしくは外部システム7
20内のウェブページ722aについて論じているソーシャルネットワーキングシステム
730にユーザがコメントを掲示すること、ソーシャルネットワーキングシステム730
にユーザが外部システム720と関連付けられたユニフォームリソースロケータ(URL
)もしくは他の識別子を掲示すること、外部システム720と関連付けられたイベントに
ユーザが出席すること、または、外部システム720に関連するユーザによる他の任意の
動作を含む。したがって、活動記録742は、ソーシャルネットワーキングシステム73
0のユーザと、ソーシャルネットワーキングシステム730から分離された外部システム
720との相互作用について説明する動作を含み得る。
認証サーバ744は、ソーシャルネットワーキングシステム730のユーザの1つまた
は複数のプライバシ設定を実施する。ユーザのプライバシ設定は、ユーザと関連付けられ
た特定の情報をどのように共有できるかを決定する。プライバシ設定は、ユーザと関連付
けられた特定の情報の仕様、および、情報を共有できる1つまたは複数の実体の仕様を含
む。情報を共有できる実体の例は、他のユーザ、アプリケーション、外部システム720
、または、潜在的に情報にアクセスできる任意の実体を含み得る。ユーザが共有できる情
報は、ユーザアカウント情報(プロファイル写真など)、ユーザと関連付けられた電話番
号、ユーザの接続者、ユーザが取った動作(接続の追加など)、ユーザプロファイル情報
の変更および同様のものを含む。
プライバシ設定仕様は、異なる粒度レベルで提供することができる。例えば、プライバ
シ設定は、他のユーザと共有すべき特定の情報を特定することができる。プライバシ設定
は、職場の電話番号または特定の一連の関連情報(プロファイル写真、自宅の電話番号お
よびステータスを含む個人情報など)を特定する。あるいは、プライバシ設定は、ユーザ
と関連付けられたすべての情報に適用することができる。また、特定の情報にアクセスで
きる一連の実体の仕様も、様々な粒度レベルで指定することができる。情報を共有できる
様々な一連の実体は、例えば、ユーザのすべての友達、友達のすべての友達、すべてのア
プリケーションまたはすべての外部システム720を含み得る。一実施形態は、一連の実
体の仕様が実体の列挙を含むことを可能にする。例えば、ユーザは、ある情報へのアクセ
スが認められている外部システム720のリストを提供することができる。別の実施形態
は、仕様が、情報へのアクセスが認められていない例外と共に一連の実体を含むことを可
能にする。例えば、ユーザは、すべての外部システム720がユーザの職場情報にアクセ
スできるようにするが、職場情報へのアクセスが認められていない外部システム720の
リストを指定することができる。ある実施形態は、「ブロックリスト」という、ある情報
へのアクセスが認められていない例外のリストを呼び出す。ユーザによって指定されたブ
ロックリストに属する外部システム720は、プライバシ設定で指定された情報へのアク
セスが阻止される。情報の仕様の粒度および情報が共有される実体の仕様の粒度の様々な
組合せが可能である。例えば、すべての個人情報は、友達と共有することができるが、す
べての職場情報は、友達の友達と共有することができる。
認証サーバ744は、ユーザの友達、外部システム720ならびに/または他のアプリ
ケーションおよび実体による、ユーザと関連付けられたある情報へのアクセスが可能かど
うかを判断するための論理を含む。外部システム720は、ユーザのより個人的で機密な
情報(ユーザの職場の電話番号など)にアクセスするための認証サーバ744からの認証
が必要であり得る。ユーザのプライバシ設定に基づいて、認証サーバ744は、別のユー
ザ、外部システム720、アプリケーションまたは別の実体に対して、ユーザと関連付け
られた情報(ユーザが取った動作についての情報を含む)へのアクセスが認められている
かどうかを判断する。
ソーシャルネットワーキングシステム730は、デジタルビデオ安定化モジュール74
6を含み得る。デジタルビデオ安定化モジュール746は、空き領域が目に見えないかま
たは最小閾値未満であるという制約の下、平滑なカメラ配向のセットを演算することがで
きる。次いで、デジタルビデオ安定化モジュール746は、新しい平滑化されたカメラ配
向のセットに基づいて、ゆがんだフレームを生成することができる。一実施形態では、デ
ジタルビデオ安定化モジュール746は、図4のデジタルビデオ安定化400として実装
することができる。
ハードウェアの実装
前述のプロセスおよび特徴は、多種多様なマシンおよびコンピュータシステムアーキテ
クチャによって、ならびに、多種多様なネットワークおよびコンピューティング環境で実
装することができる。図8は、本発明の実施形態による、本明細書で説明される実施形態
のうちの1つまたは複数の実装に使用することができるコンピュータシステム800の例
を示す。コンピュータシステム800は、本明細書で論じられるプロセスおよび特徴をコ
ンピュータシステム800に実行させる命令セットを含む。コンピュータシステム800
は、他のマシンに接続(例えば、ネットワーク接続)することができる。ネットワーク接
続された配置では、コンピュータシステム800は、クライアントサーバネットワーク環
境におけるサーバマシンもしくはクライアントマシンの資格で、または、ピアツーピア(
または分散型)ネットワーク環境におけるピアマシンとして動作することができる。本発
明の実施形態では、コンピュータシステム800は、本明細書で説明されるソーシャルネ
ットワーキングシステムのコンポーネントであり得る。本発明の実施形態では、コンピュ
ータシステム800は、ソーシャルネットワーキングシステム830のすべてまたは一部
を構成する多くのサーバのうちの1つのサーバであり得る。
コンピュータシステム800は、本明細書で説明されるプロセスおよび特徴を対象とす
る、プロセッサ802、キャッシュ804、ならびに、コンピュータ可読媒体上に格納さ
れた1つまたは複数の実行可能なモジュールおよびドライバを含む。それに加えて、コン
ピュータシステム800は、高性能入力/出力(I/O)バス806および標準I/Oバ
ス808を含む。ホストブリッジ810は、プロセッサ802と高性能I/Oバス806
とを結合し、I/Oバスブリッジ812は、2つのバス806および808を互いに結合
する。システムメモリ814および1つまたは複数のネットワークインタフェース816
は、高性能I/Oバス806と結合される。コンピュータシステム800は、ビデオメモ
リおよびビデオメモリと結合された表示デバイス(図示せず)をさらに含み得る。大容量
記憶装置818およびI/Oポート820は、標準I/Oバス808と結合される。コン
ピュータシステム800は、任意選択により、標準I/Oバス808と結合される、キー
ボードおよびポインティングデバイス、表示デバイスまたは他の入力/出力デバイス(図
示せず)を含み得る。集合的に、これらの要素は、コンピュータハードウェアシステムの
広義のカテゴリを表すことが意図され、これらに限定されないが、カリフォルニア州サン
タクララ市のインテル社によって製造されたx86互換プロセッサ、およびカリフォルニ
ア州サニーベール市のアドバンストマイクロデバイセズ社によって製造されたx86互換
プロセッサ、ならびに他の任意の適したプロセッサに基づくコンピュータシステムを含む
オペレーティングシステムは、ソフトウェアアプリケーション(図示せず)へのおよび
ソフトウェアアプリケーションからのデータの入力および出力を含む、コンピュータシス
テム800の動作を管理および制御する。オペレーティングシステムは、システム上で実
行されているソフトウェアアプリケーションとシステムのハードウェアコンポーネントと
の間のインタフェースを提供する。リナックス(LINUX)(登録商標)オペレーティ
ングシステム、カリフォルニア州クパチーノ市のアップルコンピュータ社から入手可能な
アップルマッキントッシュ(登録商標)オペレーティングシステム、UNIX(登録商標
)オペレーティングシステム、マイクロソフト(Microsoft)(登録商標)ウィ
ンドウズ(Windows)(登録商標)オペレーティングシステム、BSDオペレーテ
ィングシステムおよび同様のものなどの適したいかなるオペレーティングシステムも使用
することができる。他の実装形態も可能である。
コンピュータシステム800の要素については、以下でさらに詳細に説明される。具体
的には、ネットワークインタフェース816は、コンピュータシステム800と、イーサ
ネット(Ethernet)(登録商標)(例えば、IEEE802.3)ネットワーク
、バックプレーンなどの広範なネットワークとの間の通信を提供する。大容量記憶装置8
18は、上記で特定されたそれぞれのコンピューティングシステムによって実装される上
記で説明されるプロセスおよび特徴を実行するためのデータおよびプログラミング命令の
永久記憶を提供し、システムメモリ814(例えば、DRAM)は、プロセッサ802に
よって実行されると、データおよびプログラミング命令の一時記憶を提供する。I/Oポ
ート820は、コンピュータシステム800と結合することができる追加の周辺デバイス
間の通信を提供する1つまたは複数のシリアルおよび/またはパラレル通信ポートであり
得る。
コンピュータシステム800は、様々なシステムアーキテクチャを含み得、コンピュー
タシステム800の様々なコンポーネントは、再構成することができる。例えば、キャッ
シュ804は、プロセッサ802内蔵であり得る。あるいは、キャッシュ804とプロセ
ッサ802は、「プロセッサモジュール」として一緒にパックすることができ、プロセッ
サ802は、「プロセッサコア」と呼ばれる。その上、本発明のある実施形態は、上記の
コンポーネントのすべてを必要とすることも、含むこともない場合がある。例えば、標準
I/Oバス808と結合された周辺デバイスは、高性能I/Oバス806と結合すること
ができる。それに加えて、いくつかの実施形態では、単一のバスしか存在しない場合があ
り、コンピュータシステム800のコンポーネントは、単一のバスに結合される。その上
、コンピュータシステム800は、追加のプロセッサ、記憶装置またはメモリなどの追加
のコンポーネントを含み得る。
一般に、本明細書で説明されるプロセスおよび特徴は、オペレーティングシステムもし
くは特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュール
または「プログラム」と呼ばれる一連の命令の一部として実装することができる。例えば
、1つまたは複数のプログラムは、本明細書で説明される特定のプロセスを実行するため
に使用することができる。プログラムは、通常、1つまたは複数のプロセッサによって読
み取られて実行されると、本明細書で説明されるプロセスおよび特徴を実行するための動
作をコンピュータシステム800に実行させる、コンピュータシステム800の様々なメ
モリおよび記憶装置に1つまたは複数の命令を含む。本明細書で説明されるプロセスおよ
び特徴は、ソフトウェア、ファームウェア、ハードウェア(例えば、特定用途向け集積回
路)またはそれらの任意の組合せで実装することができる。
一実装形態では、本明細書で説明されるプロセスおよび特徴は、分散型コンピューティ
ング環境で個別にまたはまとめて、コンピュータシステム800によって実行される一連
の実行可能なモジュールとして実装される。前述のモジュールは、ハードウェア、コンピ
ュータ可読媒体(または機械可読媒体)上に格納された実行可能なモジュールまたは両方
の組合せによって実現することができる。例えば、モジュールは、プロセッサ802など
のハードウェアシステムのプロセッサによって実行される複数のまたは一連の命令を含み
得る。最初は、一連の命令は、大容量記憶装置818などの記憶装置上に格納することが
できる。しかし、一連の命令は、適したいかなるコンピュータ可読記憶媒体上にも格納す
ることができる。その上、一連の命令は、ローカルで格納する必要はなく、ネットワーク
インタフェース816を介してリモート記憶装置(ネットワーク上のサーバなど)から受
信することができる。命令は、大容量記憶装置818などの記憶装置からシステムメモリ
814にコピーされ、次いで、プロセッサ802によってアクセスされて実行される。様
々な実装形態では、1つまたは複数のモジュールは、並列処理環境における複数のサーバ
などの1つまたは複数の場所で、1つのプロセッサまたは複数のプロセッサが実行するこ
とができる。
コンピュータ可読媒体の例は、これらに限定されないが、揮発性および不揮発性メモリ
デバイス、ソリッドステートメモリ、フロッピー(登録商標)ディスクおよび他の取り外
し可能型ディスク、ハードディスクドライブ、磁気媒体、光ディスク(例えば、コンパク
トディスク読み取り専用メモリ(CDROM)、デジタル多用途ディスク(DVD)、他
の同様の非一時的な(または一時的な)有形の(または非有形の)記憶媒体、または、本
明細書で説明されるプロセスおよび特徴のいずれか1つまたは複数を実行するためにコン
ピュータシステム800によって実行するための一連の命令の格納、符号化もしくは運搬
に適した任意のタイプの媒体などの記録可能なタイプの媒体を含む。
説明を目的として、多くの特定の詳細は、説明の徹底的な理解を提供するために記載さ
れる。しかし、当業者であれば、これらの特定の詳細なしで本開示の実施形態を実践でき
ることが明らかである。いくつかの例では、モジュール、構造、プロセス、特徴、および
デバイスは、説明を曖昧にすることを避けるため、ブロック図の形態で示される。他の例
では、データおよび論理フローを表すため、機能的なブロック図およびフロー図が示され
る。ブロック図およびフロー図のコンポーネント(例えば、モジュール、ブロック、構造
、デバイス、特徴など)は、本明細書で明確に説明されるものや示されるもの以外の方式
で、様々に組み合わせる、分離する、取り除く、並べ替える、および置き換えることがで
きる。
この明細書における「一実施形態」、「他の実施形態」、「一連の実施形態のうちの1
つ」、「いくつかの実施形態」、「様々な実施形態」、または同様のものに対する言及は
、実施形態に関連して説明される特定の特徴、設計、構造、または特性が本開示の少なく
とも1つの実施形態に含まれることを意味する。例えば、本明細書の様々な場所での「一
実施形態では」という記載は、必ずしもすべてが同じ実施形態を指すとは限らず、他の実
施形態と相互に排他的な別々の実施形態または代替の実施形態ということでもない。その
上、「一実施形態」または同様のものへの明確な言及の有無にかかわらず、様々な特徴が
説明され、様々な特徴は、いくつかの実施形態では、様々に組み合わせたり、含めたりす
ることができるが、他の実施形態では、様々に省略することもできる。同様に、いくつか
の実施形態に対する優先または要件であり得るが、他の実施形態ではそうではない、様々
な特徴が説明される。
本明細書で使用される言語は、主に、読み易さと教示の目的のために選択されており、
発明の主題を叙述するまたは限定するためには選択されていない。したがって、本発明の
範囲は、この詳細な説明によってではなくむしろ、これに基づく出願において開示される
任意の請求項によって限定されることを意図する。それに従って、本発明の実施形態の開
示は、以下の特許請求の範囲に記載される本発明の範囲を例示することを意図するが、限
定することは意図しない。

Claims (20)

  1. コンピュータにより実施される方法であって、
    コンピュータシステムが、関連付けられたタイムスタンプを有する画像フレームのセットを含むビデオデータを取得することと、
    前記コンピュータシステムが、関連付けられたタイムスタンプを有するカメラ配向データのセットを取得することと、ここで前記ビデオデータはカメラによって取得され、前記カメラ配向データのセットは前記カメラの向きに基づく、
    前記コンピュータシステムが、前記カメラ配向データのセットに基づいて、平滑化されたカメラ配向データのセットを生成することと、ここで当該生成することは、平滑化されたカメラ配向データのセットに基づいて再配向された結果として得られた平滑化画像フレームのセットのサブセットにおける空き領域の量の閾値を満たしつつ、前記画像フレームのセットのサブセットにおいてカメラ配向回転速度を最小化することを含み、それゆえ、当該平滑化されたカメラ配向データのセットを生成することは、前記空き領域の量が前記閾値未満という制約の下で行われ
    前記コンピュータシステムが、前記平滑化されたカメラ配向データのセットに基づいて、前記画像フレームのセットの前記サブセットにおける各特定の画像フレームを再配向することと、を含
    前記制約は、前記制約が強化実施される回数が所望の頻度に対応するように選択される、方法。
  2. 各特定の画像フレームがそれぞれのタイムスタンプを有し、各特定の画像フレームに関する前記カメラ配向データの関連付けられたサブセットが、それぞれのタイムスタンプを有する、請求項1に記載のコンピュータにより実施される方法。
  3. 各特定の画像フレームに関する前記カメラ配向データの前記関連付けられたサブセットを介して表される望ましくないブレを妨害するために、各特定の画像フレームが、各特定の画像フレームを回転させることに基づいて再配向される、請求項2に記載のコンピュータにより実施される方法。
  4. 前記カメラ配向データの前記関連付けられたサブセットを介して表される前記望ましくないブレが、各特定の画像フレームに変形をもたらし、各特定の画像フレームが前記変形を妨害するように回転される、請求項3に記載のコンピュータにより実施される方法。
  5. 前記カメラ配向データのセットに基づいて、平滑化されたカメラ配向データのセットを生成することが、画像フレームのサブセットにおける空き領域の量の閾値を満たしつつ、前記画像フレームのセットの少なくとも前記サブセットにおける各特定の画像フレームと別の画像フレームの間の回転速度を最小化することを含む、請求項1に記載のコンピュータにより実施される方法。
  6. 前記平滑化されたカメラ配向データのセットに基づいて、前記画像フレームのセットの前記サブセットにおける各特定の画像フレームを再配向することがさらに、前記画像フレームのセットの少なくとも前記サブセットにおける各特定の画像フレームに対するクロップ操作またはズーム操作の少なくとも1つを実行することを含む、請求項5に記載のコンピュータにより実施される方法。
  7. 各特定の画像フレームと前記別の画像フレームが、連続する画像フレームに相当する、請求項5に記載のコンピュータにより実施される方法。
  8. 前記カメラ配向データのセットが、前記カメラの向きを示す、請求項1に記載のコンピュータにより実施される方法。
  9. 前記カメラ配向データのセットが一又は複数の向きセンサによって取得され、前記一又は複数の向きセンサは前記カメラに含まれ、前記コンピュータシステムは、前記カメラを含むコンピューティングデバイス、又は前記カメラから離れたサーバの少なくとも1つに相当する、請求項1に記載のコンピュータにより実施される方法。
  10. 前記一又は複数の向きセンサが、ジャイロスコープ又は加速度計の少なくとも1つを含む、請求項9に記載のコンピュータにより実施される方法。
  11. システムであって、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに、
    関連付けられたタイムスタンプを有する画像フレームのセットを含むビデオデータを取得することと、
    関連付けられたタイムスタンプを有するカメラ配向データのセットを取得することと、ここで前記ビデオデータはカメラによって取得され、前記カメラ配向データのセットは前記カメラの向きに基づく、
    前記カメラ配向データのセットに基づいて、平滑化されたカメラ配向データのセットを生成することと、ここで当該生成することは、平滑化されたカメラ配向データに基づいて再配向された結果として得られた画像フレームのセットのサブセットにおける空き領域の量の閾値を満たしつつ、前記画像フレームのセットのサブセットにおいてカメラ配向回転速度を最小化することを含み、それゆえ、当該平滑化されたカメラ配向データのセットを生成することは、前記空き領域の量が前記閾値未満という制約の下で行われ
    前記平滑化されたカメラ配向データのセットに基づいて、前記画像フレームのセットの前記サブセットにおける各特定の画像フレームを再配向することと、を実行するように指示するように構成された命令を記憶するメモリと、を備え
    前記制約は、前記制約が実施される回数が所望の頻度に対応するように選択される、システム。
  12. 各特定の画像フレームがそれぞれのタイムスタンプを有し、各特定の画像フレームに関する前記カメラ配向データの関連付けられたサブセットが、それぞれのタイムスタンプを有する、請求項11に記載のシステム。
  13. 各特定の画像フレームに関する前記カメラ配向データの前記関連付けられたサブセットを介して表される望ましくないブレを妨害するために、各特定の画像フレームが、各特定の画像フレームを回転させることに基づいて再配向される、請求項12に記載のシステム。
  14. 前記カメラ配向データの前記関連付けられたサブセットを介して表される前記望ましくないブレが、各特定の画像フレームに変形をもたらし、各特定の画像フレームが前記変形を妨害するように回転される、請求項13に記載のシステム。
  15. 前記カメラ配向データのセットに基づいて、平滑化されたカメラ配向データのセットを生成することが、画像フレームのサブセットにおける空き領域の量の閾値を満たしつつ、前記画像フレームのセットの少なくとも前記サブセットにおける各特定の画像フレームと別の画像フレームの間の回転速度を最小化することを含む、請求項11に記載のシステム。
  16. 命令を格納する非一時的コンピュータ記憶媒体であって、前記命令は、コンピュータシステムの少なくとも1つのプロセッサによって実行されたとき、前記コンピュータシステムに、
    関連付けられたタイムスタンプを有する画像フレームのセットを含むビデオデータを取得することと、
    関連付けられたタイムスタンプを有するカメラ配向データのセットを取得することと、ここで前記ビデオデータはカメラによって取得され、前記カメラ配向データのセットは前記カメラの向きに基づく、
    前記カメラ配向データのセットに基づいて、平滑化されたカメラ配向データのセットを生成することと、ここで当該生成することは、平滑化されたカメラ配向データに基づいて再配向された結果として得られた画像フレームのセットのサブセットにおける空き領域の量の閾値を満たしつつ、前記画像フレームのセットのサブセットにおいてカメラ配向回転速度を最小化することを含み、それゆえ、当該平滑化されたカメラ配向データのセットを生成することは、前記空き領域の量が前記閾値未満という制約の下で行われ
    前記平滑化されたカメラ配向データのセットに基づいて、前記画像フレームのセットの前記サブセットにおける各特定の画像フレームを再配向することと、を実行させ
    前記制約は、前記制約が実施される回数が所望の頻度に対応するように選択される、非一時的コンピュータ記憶媒体。
  17. 各特定の画像フレームがそれぞれのタイムスタンプを有し、各特定の画像フレームに関する前記カメラ配向データの関連付けられたサブセットが、それぞれのタイムスタンプを有する、請求項16に記載の非一時的コンピュータ記憶媒体。
  18. 各特定の画像フレームに関する前記カメラ配向データの前記関連付けられたサブセットを介して表される望ましくないブレを妨害するために、各特定の画像フレームが、各特定の画像フレームを回転させることに基づいて再配向される、請求項17に記載の非一時的コンピュータ記憶媒体。
  19. 前記カメラ配向データの前記関連付けられたサブセットを介して表される前記望ましくないブレが、各特定の画像フレームに変形をもたらし、各特定の画像フレームが前記変形を妨害するように回転される、請求項18に記載の非一時的コンピュータ記憶媒体。
  20. 前記カメラ配向データのセットに基づいて、平滑化されたカメラ配向データのセットを生成することが、画像フレームのサブセットにおける空き領域の量の閾値を満たしつつ、前記画像フレームのセットの少なくとも前記サブセットにおける各特定の画像フレームと別の画像フレームの間の回転速度を最小化することを含む、請求項16に記載の非一時的コンピュータ記憶媒体。
JP2019189053A 2012-12-11 2019-10-16 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法 Active JP6937809B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261735976P 2012-12-11 2012-12-11
US61/735,976 2012-12-11
US14/101,252 US9071756B2 (en) 2012-12-11 2013-12-09 Systems and methods for digital video stabilization via constraint-based rotation smoothing
US14/101,252 2013-12-09
EP13196486.8 2013-12-10
EP13196486.8A EP2744192B1 (en) 2012-12-11 2013-12-10 Systems and methods for digital video stabilization via constraint-based rotation smoothing
JP2018020047A JP6605640B2 (ja) 2012-12-11 2018-02-07 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018020047A Division JP6605640B2 (ja) 2012-12-11 2018-02-07 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2020005326A JP2020005326A (ja) 2020-01-09
JP6937809B2 true JP6937809B2 (ja) 2021-09-22

Family

ID=49726634

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015547507A Active JP6608700B2 (ja) 2012-12-11 2013-12-11 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法
JP2018020047A Active JP6605640B2 (ja) 2012-12-11 2018-02-07 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法
JP2019189053A Active JP6937809B2 (ja) 2012-12-11 2019-10-16 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015547507A Active JP6608700B2 (ja) 2012-12-11 2013-12-11 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法
JP2018020047A Active JP6605640B2 (ja) 2012-12-11 2018-02-07 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法

Country Status (11)

Country Link
US (4) US9071756B2 (ja)
EP (1) EP2744192B1 (ja)
JP (3) JP6608700B2 (ja)
KR (1) KR102003012B1 (ja)
CN (1) CN104982027B (ja)
AU (3) AU2013359372B2 (ja)
BR (1) BR112015013565A2 (ja)
CA (1) CA2893802C (ja)
IL (1) IL239249B (ja)
MX (1) MX345710B (ja)
WO (1) WO2014093517A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184615A1 (en) * 2012-12-28 2014-07-03 Nokia Corporation Sequential Rendering For Field-Sequential Color Displays
US9554048B2 (en) * 2013-09-26 2017-01-24 Apple Inc. In-stream rolling shutter compensation
CN104954631B (zh) * 2014-03-25 2018-02-27 腾讯科技(深圳)有限公司 一种视频处理方法、装置和系统
US9413963B2 (en) 2014-05-30 2016-08-09 Apple Inc. Video image stabilization
US9674438B2 (en) 2014-07-06 2017-06-06 Apple Inc. Low light video image stabilization strength modulation
CN105306804B (zh) * 2014-07-31 2018-08-21 北京展讯高科通信技术有限公司 智能终端及其视频稳像方法及装置
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US9398217B2 (en) 2014-10-15 2016-07-19 Microsoft Technology Licensing, Llc Video stabilization using padded margin pixels
US9392174B2 (en) * 2014-12-11 2016-07-12 Facebook, Inc. Systems and methods for time-lapse selection subsequent to capturing media content
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
EP3378221B1 (en) 2015-11-16 2022-01-12 Google LLC Stabilization based on accelerometer data
CN105282400B (zh) * 2015-11-20 2018-07-13 北京理工大学 一种基于几何插值的高效视频稳定方法
EP3391642B1 (en) * 2015-12-16 2020-02-05 GoPro, Inc. Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
WO2017107075A1 (en) * 2015-12-22 2017-06-29 SZ DJI Technology Co., Ltd. System, method, and mobile platform for supporting bracketing imaging
EP3417606B1 (en) * 2016-02-19 2020-08-12 FotoNation Limited A method of stabilizing a sequence of images
US11477382B2 (en) * 2016-02-19 2022-10-18 Fotonation Limited Method of stabilizing a sequence of images
US9787902B1 (en) 2016-06-10 2017-10-10 Apple Inc. Video image stabilization with enforced stabilization constraints
US11057566B2 (en) 2016-10-20 2021-07-06 Spookfish Innovations Pty Ltd Image synthesis system
US10547784B2 (en) * 2017-06-19 2020-01-28 SighTour Technologies, Inc. Image stabilization
US10477064B2 (en) * 2017-08-21 2019-11-12 Gopro, Inc. Image stitching with electronic rolling shutter correction
US11245887B2 (en) 2017-09-14 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and operation method therefor
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
US10796185B2 (en) * 2017-11-03 2020-10-06 Facebook, Inc. Dynamic graceful degradation of augmented-reality effects
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
WO2019222544A1 (en) * 2018-05-16 2019-11-21 Iooi System and method for navigating content from multiple users on a digital device
WO2019222059A1 (en) * 2018-05-16 2019-11-21 Gopro, Inc. Systems and methods for providing rotational motion correction
US10587807B2 (en) * 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
JP2020031264A (ja) * 2018-08-20 2020-02-27 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置、信号処理方法
US10432864B1 (en) 2018-09-19 2019-10-01 Gopro, Inc. Systems and methods for stabilizing videos
KR102573302B1 (ko) 2018-10-10 2023-08-31 삼성전자 주식회사 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법
JP7206797B2 (ja) * 2018-10-22 2023-01-18 株式会社リコー 撮像装置、情報処理装置、補正値計算方法およびプログラム
US10911680B2 (en) * 2018-12-28 2021-02-02 Intel Corporation Method and system of geolocation and attitude correction for mobile rolling shutter cameras
CN109379536B (zh) * 2018-12-29 2020-07-31 深圳看到科技有限公司 画面生成方法、装置、终端及对应的存储介质
WO2020220292A1 (zh) * 2019-04-30 2020-11-05 深圳市大疆创新科技有限公司 电子增稳方法、图像采集设备、可移动平台
US11470254B1 (en) 2019-06-21 2022-10-11 Gopro, Inc. Systems and methods for assessing stabilization of videos
WO2020257583A1 (en) * 2019-06-21 2020-12-24 Gopro, Inc. Systems and methods for stabilizing videos
KR102176273B1 (ko) * 2019-07-04 2020-11-09 재단법인대구경북과학기술원 동영상 수평 조정 시스템, 방법 및 컴퓨터 프로그램
CN110519507B (zh) * 2019-07-23 2021-03-19 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
US11948242B2 (en) 2019-08-02 2024-04-02 Fmr Llc Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing
US11138804B2 (en) 2019-08-02 2021-10-05 Fmr Llc Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing
CN110430365B (zh) * 2019-08-26 2021-10-01 Oppo广东移动通信有限公司 防抖方法、装置、计算机设备和存储介质
US11694311B2 (en) * 2020-03-04 2023-07-04 Nec Corporation Joint rolling shutter image stitching and rectification
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112561839B (zh) * 2020-12-02 2022-08-19 北京有竹居网络技术有限公司 视频裁剪方法、装置、存储介质及电子设备
US11405557B1 (en) * 2021-07-20 2022-08-02 Locus Robotics Corp. Rolling shutter compensation for moving digital optical camera sensors
US11863791B1 (en) 2021-11-17 2024-01-02 Google Llc Methods and systems for non-destructive stabilization-based encoder optimization

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO793897A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART25)
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US8207964B1 (en) 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
US7542034B2 (en) * 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
JP4793120B2 (ja) 2006-06-21 2011-10-12 ソニー株式会社 手振れ補正方法、手振れ補正方法のプログラム、手振れ補正方法のプログラムを記録した記録媒体及び手振れ補正装置
US20080165280A1 (en) 2007-01-05 2008-07-10 Deever Aaron T Digital video stabilization with manual control
US7817187B2 (en) * 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
JP5251410B2 (ja) * 2008-10-03 2013-07-31 株式会社ニコン カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法
US8363128B2 (en) * 2009-08-10 2013-01-29 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
US20110085728A1 (en) * 2009-10-08 2011-04-14 Yuli Gao Detecting near duplicate images
JP2011114649A (ja) * 2009-11-27 2011-06-09 Sanyo Electric Co Ltd 撮像装置
CN101917602B (zh) * 2010-08-26 2012-07-04 四川大学 基于高分辨率摄像头的数字视频智能监控设备及数据处理方法
US8488010B2 (en) * 2010-09-21 2013-07-16 Hewlett-Packard Development Company, L.P. Generating a stabilized video sequence based on motion sensor data
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US8964041B2 (en) * 2011-04-07 2015-02-24 Fr Vision Ab System and method for video stabilization of rolling shutter cameras
JP5734082B2 (ja) 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US20130107066A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
US20130162518A1 (en) * 2011-12-23 2013-06-27 Meghan Jennifer Athavale Interactive Video System

Also Published As

Publication number Publication date
MX345710B (es) 2017-02-13
EP2744192A2 (en) 2014-06-18
CA2893802C (en) 2019-08-13
JP6605640B2 (ja) 2019-11-13
US20150222818A1 (en) 2015-08-06
US9554045B2 (en) 2017-01-24
JP2018085775A (ja) 2018-05-31
EP2744192B1 (en) 2021-05-19
KR102003012B1 (ko) 2019-07-24
US20150002686A1 (en) 2015-01-01
IL239249A0 (en) 2015-07-30
US20170180647A1 (en) 2017-06-22
IL239249B (en) 2019-08-29
AU2013359372A1 (en) 2015-07-02
CA2893802A1 (en) 2014-06-19
CN104982027B (zh) 2018-07-27
US20140160309A1 (en) 2014-06-12
MX2015007499A (es) 2015-12-15
BR112015013565A2 (pt) 2019-12-17
AU2017200248B2 (en) 2017-12-14
AU2017200248A1 (en) 2017-02-02
US9674440B2 (en) 2017-06-06
WO2014093517A1 (en) 2014-06-19
JP2016501497A (ja) 2016-01-18
US10511773B2 (en) 2019-12-17
AU2018201829A1 (en) 2018-04-12
KR20150095782A (ko) 2015-08-21
CN104982027A (zh) 2015-10-14
JP6608700B2 (ja) 2019-11-20
EP2744192A3 (en) 2016-09-14
US9071756B2 (en) 2015-06-30
AU2013359372B2 (en) 2016-10-13
JP2020005326A (ja) 2020-01-09
AU2018201829B2 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
JP6937809B2 (ja) 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法
JP6412129B2 (ja) 画像を変換するためのシステム及び方法
Bell et al. A non-linear filter for gyroscope-based video stabilization
US9774784B2 (en) Systems and methods for combining multiple frames to produce media content with simulated exposure effects
JP6306996B2 (ja) 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
US20160148648A1 (en) Systems and methods for improving stabilization in time-lapse media content
US20190166314A1 (en) Ortho-selfie distortion correction using multiple sources
Zhen et al. Multi-image motion deblurring aided by inertial sensors
KR101741150B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
Chen et al. The power of indoor crowd: Indoor 3D maps from the crowd
KR20170009654A (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
JP2016070891A (ja) 映像データ処理装置及び映像データ処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210831

R150 Certificate of patent or registration of utility model

Ref document number: 6937809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350