JP6640130B2 - Flexible cloud editing and multimedia search - Google Patents
Flexible cloud editing and multimedia search Download PDFInfo
- Publication number
- JP6640130B2 JP6640130B2 JP2017013838A JP2017013838A JP6640130B2 JP 6640130 B2 JP6640130 B2 JP 6640130B2 JP 2017013838 A JP2017013838 A JP 2017013838A JP 2017013838 A JP2017013838 A JP 2017013838A JP 6640130 B2 JP6640130 B2 JP 6640130B2
- Authority
- JP
- Japan
- Prior art keywords
- media
- query
- media data
- computing device
- mobile computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、順応性のあるクラウド編集およびマルチメディア検索に関する。 The present invention relates to adaptive cloud editing and multimedia search.
ビデオ制作は、典型的には、骨の折れるものであり、かつ、時間のかかるものである。ビデオクリップのコレクション(collection)からビデオプログラムを構築する場合に、ビデオ制作者は、数多くのビデオクリップを整理し、コンテンツについてそれぞれのビデオクリップを評価し、かつ、選択されたビデオクリップを望むように構成する必要がある。特にライブビデオ制作(live video production)について、典型的なシステムは、大量のカメラまたはビデオソースを一つのビデオ制作物の中へ併合させるために、多くの人間オペレータを必要とする。 Video production is typically laborious and time consuming. When building a video program from a collection of video clips, the video creator organizes a number of video clips, evaluates each video clip for content, and wants to select the selected video clip. Must be configured. Particularly for live video production, typical systems require many human operators to merge a large number of cameras or video sources into one video production.
クラウドコンピューティング(cloud computing)により、インターネットといった、ユビキタスな(ubiquitous)ネットワークにわたり分布して、データ処理と保管ができる。クラウドコンピューティングは、現在のデマンドに応じて、利用可能なコンピューティングおよびストレージリソース(resource)を増大または縮小するようにスケーラブル(scalable)であり得る。クラウドコンピューティングサービスは、持続的なネットワーク接続を用いた数多くのモバイル機器によって生成されるコンテンツを収集および配布することができる。そうした「クラウドソース(”crowd−sourced”)」コンテンツは、同一のイベントについて、数多くのユニークで、個別化されたビュー(view)を提供し得る。 Cloud computing allows data processing and storage to be distributed across ubiquitous networks, such as the Internet. Cloud computing can be scalable to increase or decrease available computing and storage resources depending on current demands. Cloud computing services can collect and distribute content generated by many mobile devices using persistent network connections. Such “crowd-sourced” content may provide many unique, personalized views for the same event.
ここにおいて説明されるコンセプトは、例示によるものであって、添付の図面に限定されるものではない。説明の簡素化および明確化のために、図面において示される図は、必ずしも拡大縮小されることを要しない。適切であると考えられる場合には、対応するまたは類似のエレメントを示すように、図面の中では参照番号が繰り返されている。
本発明開示のコンセプトは種々の変形および代替的な形態が可能である一方で、特定のその実施例が図面の中の実施例として示され、ここにおいて詳細に説明される。しかしながら、本発明開示のコンセプトを開示される特定の形態に限定する意図は無く、その反対に、本発明開示および添付の請求項と一貫性のある全ての変形、均等物、および代替をカバーすることを意図していることが理解されるべきである。 While the concept of the present disclosure is capable of various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. However, it is not intended that the concept of the present disclosure be limited to the particular forms disclosed, but on the contrary, cover all modifications, equivalents, and alternatives consistent with the present disclosure and the appended claims. It should be understood that this is intended.
明細書における「一つの実施例(”one enbodiment”)」、「実施例(”an enbodiment”)」、「説明的な実施例(”an illustrative enbodiment”)」等に対する言及は、特定の特徴、構成、または特性を含み得るが、全ての実施例が必ずしもその特定の特徴、構成、または特性を含んでも含まなくてもよい。加えて、そうしたフレーズは、必ずしも同一の実施例を参照しなくてもよい。さらに、特定の特徴、構成、または特性が一つの実施例に関連して記述される場合には、明示的に記述されるか否かにかかわらず、そうした特徴、構成、または特性を他の実施例と関連してもたらすことは当業者の知識の範囲内にあることが提示されているものである。 References to "one embodiment", "an embodiment", "an illustrative embodiment", and the like in the description may refer to particular features, Although any configuration or feature may be included, not all embodiments may or may not include that particular feature, configuration or feature. In addition, such phrases need not necessarily refer to the same embodiment. Further, if a particular feature, structure, or characteristic is described in connection with one embodiment, that feature, structure, or characteristic is described in other implementations, whether or not explicitly stated. What is provided in connection with the examples is presented to be within the knowledge of those skilled in the art.
開示された実施例は、いくつかの場合において、ハードウェア、ファームウェア、ソフトウェア、またはこれらのあらゆる組合せにおいて実施され得る。開示された実施例は、また、一時的又は固定のマシンで読取り可能な(例えば、コンピュータで読取り可能な)記録媒体によって運搬されるインストラクションとして実施されてよい。インストラクションは、一つまたはそれ以上のプロセッサによって読出されて実行され得るものである。マシンで読取り可能な記録媒体は、あらゆるストレージデバイス、メカニズム、または、マシンによって読取り可能な形式における情報の保管または送信のための他の物理的構成(例えば、揮発性または不揮発性メモリ、メディアディスク、または、他のメディアデバイス)として具現化され得る。 The disclosed embodiments may, in some cases, be implemented in hardware, firmware, software, or any combination thereof. The disclosed embodiments may also be implemented as instructions carried by a temporary or fixed machine-readable (eg, computer-readable) recording medium. Instructions can be read and executed by one or more processors. A machine-readable storage medium may be any storage device, mechanism, or other physical arrangement for storing or transmitting information in a form readable by the machine (eg, volatile or non-volatile memory, media disk, Or other media devices).
図面においては、いくつかの構造的または方法の特徴が、所定の配置及び/又は順序において示され得る。しかしながら、そうした所定の配置及び/又は順序が必要とされないことがあると正しく理解されるべきである。むしろ、いくつかの実施例において、そうした特徴は、説明的な図面において示されたものとは異なる方法及び/又は順序において配置され得る。加えて、所定の図面における構造的または方法の特徴の包含は、そうした特徴が全ての実施例において必要とされることを暗示するように意図されたものではなく、そして、いくつかの実施例においては、包含されないか又は他の特徴と組合わされてよい。 In the drawings, some structural or method features may be shown in a certain arrangement and / or order. However, it should be appreciated that such a predetermined arrangement and / or order may not be required. Rather, in some embodiments, such features may be arranged in a different manner and / or order than shown in the illustrative figures. In addition, the inclusion of structural or method features in any given drawing is not intended to imply that such features are required in all embodiments, and in some embodiments. May not be included or combined with other features.
ここで図1を参照すると、一つの実施例において、クラウドイネーブルド(cloud−enabled)マルチメディア検索およびビデオ編集は、ビデオ編集器102、クラウド分析サーバー104、および、ネットワーク108にわたり全てがお互いに通信できる、数多くのモバイルコンピューティングデバイス106を含んでいる。使用においては、より詳しく以下に説明されるように、モバイルコンピューティングデバイス106は、ビデオクリップ、オーディオクリップ、または、さらに画像といった、メディアデータを取得し、かつ、メディアデータをクラウド分析サーバー104にアップロードする。クラウド分析サーバー104は、アップロードされたメディアデータを処理して、メタデータおよび関連するメタデータの検索可能なデータベースを生成する。ビデオ編集器102は、一つまたはそれ以上の動的コンテンツスロットを含むメディアプログラムを編集する。ビデオ編集器102は、それぞれの動的コンテンツスロットに関するメディアクエリ(media query)を構築し、そして、クラウド分析サーバー104に対してメディアクエリを提出する。メディアクエリは、メディアコンテンツとメタデータに基づいた検索ターム(term)を含んでよく、または、より詳しく以下に説明されるように、所与の検索タームとの類似性に基づいてもよい。ビデオ編集器102は、クラウド分析サーバー104から検索結果を受信し、そして、ビデオ出力を生成するときに検索結果を関連する動的コンテンツスロットの中にインサートする。このように、ビデオ編集器102により、リアルタイムに近い検索、および、ビデオ制作へのクラウドベース(cloud−based)メディアの取込みができる。一つのビデオ編集器102を含むように図示されているが、いくつかの実施例において、システム100は、独立したビデオ出力を生成し得るあらゆる数量のビデオ編集器102を含み得る(つまり、多対多対多の関係)。
Referring now to FIG. 1, in one embodiment, cloud-enabled multimedia search and video editing are all in communication with each other across a
開示される技術によって、ビデオ制作者は、提出されたコンテンツの費用がかかり又は圧倒的に手動によるレビューを求めることなく、クラウドソース(crowd−sourced)コンテンツをビデオ制作の中に取り込むことができる。リアルタイムに近いクラウドソースのコンテンツをビデオ制作の中に取り込むことにより、そうでなければ気付かれていないかったであろう注目すべきイベントのユニークで多様なビューを包含することができる。これらの多様なビューは、ビデオ制作に係る芸術的、娯楽的、および情報的な価値を増加し得る。 The disclosed technology allows video producers to incorporate cloud-sourced content into video production without requiring expensive or overwhelming manual review of the submitted content. Incorporating near real-time crowd-sourced content into video production can encompass a unique and diverse view of notable events that would otherwise go unnoticed. These diverse views may increase the artistic, entertaining, and informational value of video production.
ビデオ編集器102は、ここにおいて説明される機能を実行するためのあらゆるタイプのコンピュータデバイスとして具現化され得る。例えば、ビデオ編集器102は、限定ではなく、コンピュータ、デスクトップコンピュータ、ワークステーション、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォン、分散コンピューティングシステム、マルチプロセッサシステム、家電機器、及び/又は、クラウドイネーブルドビデオ編集を実行するように構成されたあらゆる他のコンピューティングデバイスとして具現化され得る。図1に示されるように、ビデオ編集器102は、プログラム120、入力/出力(I/O)サブシステム122、メモリ124、データストレージデバイス126、通信回路128、およびディスプレイ130を含んでいる。もちろん、ビデオ編集器102は、他の実施例において、コンピュータワークステーションにおいて一般的に見い出されるもの(種々の入力/出力デバイス)といった、他の又は追加のコンポーネントを含み得る。加えて、いくつかの実施例において、一つまたはそれ以上の図示されたコンポーネントは、別のコンポーネントに包含され、そうでなければ、一部分を形成してよい。例えば、メモリ124、又はその部分は、いくつかの実施例においてプロセッサの中に取り込まれている。
プロセッサ120は、ここにおいて説明される機能を実行することができるあらゆるタイプのプロセッサとして具現化され得る。例えば、プロセッサ120は、シングルまたはマルチコアプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、もしくは、他のプロセッサ又は処理/制御回路として具現化され得る。同様に、メモリ124は、ここにおいて説明される機能を実行することができるあらゆるタイプの揮発性または不揮発性メモリ、もしくは、データストレージとして具現化され得る。動作中に、メモリ124は、ビデオ編集器102のオペレーションの最中に使用される種々のデータとソフトウェアを保管し得る。オペレーティングシステム、アプリケーション、プログラム、ライブラリ、およびドライバといったものである。メモリ124は、I/Oサブシステム122を介してプロセッサ120と通信可能に接続されており、プロセッサ120、メモリ124、およびビデオ編集器102の他のコンポーネントとの入力/出力オペレーティングシステムを促進するための回路及び/又はコンポーネントとして具現化され得る。例えば、I/Oサブシステム122は、以下のものとして具現化され、またはそうでなければ、それらを含み得る。メモリコントローラハブ、入力/出力コントロールハブ、ファームウェアデバイス、通信リンク(つまり、ポイントツーポイントリンク、バスリンク、光ガイド、プリント回路基板トレース、等)、及び/又は、入力/出力オペレーションを促進するための他のコンポーネントとサブシステム、である。いくつかの実施例において、入力/出力サブシステムは、システムオンチップ(SoC)の一部を形成し、そして、プロセッサ120、メモリ124、およびビデオ編集器102の他のコンポーネントと共に、一つの集積回路チップ上に取り込まれ得る。
データストレージデバイス126は、短期間または長期間のデータ保管のために構成されたあらゆるタイプのデバイスまたは機器として具現化され得る。例えば、メモリデバイスと回路、メモリーカード、ハードディスクドライブ、半導体ドライブ、または他のデータストレージデバイス、といったものである。データストレージデバイス126は、永久的または一時的に、メディアクエリに応じてクラウド分析サーバー104から受信したメディアデータを保管し得る。
通信回路128は、ビデオ編集器102、クラウド分析サーバー104、及び/又は、他のリモートデバイス間での通信を可能にできる、あらゆる通信回路、デバイス、またはそれらの集合として具現化され得る。通信回路128は、そうした通信をもたらすために、あらゆる一つまたはそれ以上の通信技術(例えば、無線または有線通信)および関連するプロトコル(例えば、イーサネット(登録商標)、ブルートゥース(登録商標)、Wi−Fi、WiMAX、等)を使用するように構成され得る。
The
ビデオ編集器102のディスプレイ130は、デジタル情報を表示することができるあらゆるタイプのディスプレイとして具現化され得る。液晶ディスプレイ(LCD)、発光ダイオード(LED)、プラズマディスプレイ、ブラウン管(CRT)、または他のタイプのディスプレイデバイス、といったものである。いくつかの実施例においてディスプレイ130は、ユーザインタラクションを促進するために、タッチスクリーンと接続され得る。
The
クラウド分析サーバー104は、モバイルコンピューティングデバイス106によってアップロードされたメディアデータを保管および処理することを含むサービスを提供するように構成されている。クラウド分析サーバー104は、ここにおいて説明される機能を実行することができるあらゆるタイプのサーバーコンピューティングデバイス、または、デバイスの集合として具現化され得る。そのように、クラウド分析サーバー104は、一つのサーバーコンピューティングデバイス、または、サーバーおよび関連するデバイスの集合として具現化され得る。例えば、いくつかの実施例において、クラウド分析サーバー104は、ネットワーク108にわたり配置され、かつ、パブリックまたはプライベートクラウドにおいて動作している複数のコンピューティングデバイスから形成された「仮想サーバー(”virtual server”)」として具現化され得る。従って、クラウド分析サーバー104は図1に図示されシングルサーバーコンピューティングデバイスとして具現化されるように以下に説明されるが、ビデオ編集器102は、以下に説明される機能を促進するために一緒に協働する複数のデバイスとして具現化され得る。
クラウド分析サーバー104は、計算リソース140およびストレージリソース142を含んでおり、メディアデータを処理および検索するために使用され得る。計算リソース140は、物理的プロセッサ、サーバー、仮想マシン、または、ここにおいて説明される機能を実行することができるあらゆる他の物理的または仮想コンピューティングリソースとして具現化され得る。クラウド分析サーバー104は、ワークロードまたは他のファクタに基づいて計算リソース140を割り当て、または、割り当て解除し得る。ストレージリソース142は、物理的ストレージデバイス、仮想ディスク、ネットワークサーバー、または、計算リソースによって使用され得るあらゆる他の形式のデータストレージとして具現化され得る。いくつかの実施例において、ストレージリソース142は、数個の地理的場所において配置され得る。計算リソース140とストレージリソース142は要求に応じて大きさを変更できるので、クラウド分析サーバー104は、「順応性のある(”elastic”)」クラウドサービスプロバイダとして知られ得る。
クラウド分析サーバー104は、さらに、メディアデータ144とメタデータ146を含んでいる。メディアデータ144は、モバイルコンピューティングデバイス106によってアップロードされたメディアデータのためのリポジトリ(repository)である。メタデータ146は、メディアデータ144に関連するデータのためのリポジトリである。例えば、メディアデータ144のコンテンツを説明する意味(semantic)データ、メディアデータ144に関連する場所データ、または、メディアデータ144を記録するために使用されたカメラのタイプ、品質情報、ファイルフォーマット情報、等といった、メディアデータ144に関する技術情報である。メタデータ146は、メディアデータ144の中にエンベッドされるか、メディアデータ144と分離して保管されるか、または、2つのある組合せであり得る。メディアデータ144及び/又はメタデータ146は、クラウド分析サーバー104のストレージリソース142を使用して保管され、または、ネットワーク108にわたりクラウド分析サーバー104によって一つまたはそれ以上のデータサーバーアセンブリの中に保管され得る。上述のように、いくつかの実施例において、メディアデータ144及び/又はメタデータ146は、複数の地理的場所に配置されたデータサーバーにわたり配分され得る。
The
それぞれのモバイルコンピューティングデバイス106は、メディアデータを取得し、かつ、取得されたメディアデータをクラウド分析サーバー104に対して送信するように構成されている。それぞれのモバイルコンピューティングデバイス106は、送信に先立って、取得されたメディアデータを処理し得る。取得されたメディアデータがビデオ編集器102の要求を満たすことを保証するためである。加えて、それぞれのモバイルコンピューティングデバイス106は、メディアデータの取得においてビデオ編集器102によって望まれるようにユーザを支援するためのユーザインターフェイスを含み得る。それぞれのモバイルコンピューティングデバイス106は、ここにおいて説明される機能を実行することができるあらゆるタイプのコンピューティングデバイスとして具現化され得る。限定ではなく、コンピュータ、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、携帯電話、ハンドセット、メッセージデバイス、車載テレマティクス(telematics)デバイス、ネットワーク装置、ウェブ装置、分散コンピューティングシステム、マルチプロセッサシステム、プロセッサベースシステム、及び/又は、家電機器、を含んでいる。説明として、モバイルコンピューティングデバイス106は、プロセッサ160、I/Oサブシステム162、メモリ164、データストレージ166、通信回路168、ディスプレイ170、及び/又は、スマートフォンまたは同様なコンピューティングデバイスにおいて一般的に見い出される他のコンポーネントとデバイス、を含んでいる。モバイルコンピューティングデバイス106のそうした個々のコンポーネントは、ビデオ編集器102の対応するコンポーネントと同様なものであり得る。その説明は、モバイルコンピューティングデバイス106の対応するコンポーネントについて適用可能であり、本発明開示を不明瞭にしないために、ここにおいては繰り返さない。
Each
モバイルコンピューティングデバイス106は、さらに、カメラ172、マイクロフォン174、および、場所回路176を含んでいる。カメラ172は、デジタルカメラ、または、モバイルコンピューティングデバイス106に統合された他のデジタル画像化デバイスであり得る。カメラ172は、アクティブピクセルセンサ(APS)といった、電子画像センサを含んでいる。例えば、相補型金属酸化半導体(CMOS)センサ、または、電荷結合素子(CCD)である。カメラ172は、静止画像及び/又はムービーを取得することができる。マイクロフォン174は、モバイルコンピューティングデバイス106上でサウンド情報として可聴なサウンド波形を取得するためのトランスデューサを含んでいる。マイクロフォン174の代わりに、他の実施例において、モバイルコンピューティングデバイス106は、オーディオ信号を取得することができるあらゆるセンサを含み得る。ライン入力ジャック、アナログ−デジタルコンバータ(ADC)、または、他のタイプのオーディオセンサ、といったものである。マイクロフォン174は、独立してオーディオを取得、または、カメラ172と共に、ビデオレコーディングのためのオーディオ情報を取得することができる。
説明的な実施例において、モバイルコンピューティングデバイス106は、場所回路176を含んでいる。場所回路176は、モバイルコンピューティングデバイス106の正確な又は概ねの位置を判断することができるあらゆるタイプのセンサとして具現化され得る。例えば、場所回路176は、全地球測位システム(”GPS”)受信器として具現化されてよく、モバイルコンピューティングデバイス106の正確な座標を判断することができる。他の実施例において、場所回路176は、通信回路168から提供される、既知の位置のセルラ(celluar)ネットワークタワーに対する距離または角度を使用して、モバイルコンピューティングデバイス106の位置を三角測量し得る。他の実施例において、場所回路176は、通信回路168を使用して、既知の位置の無線ネットワークへの関連付けに基づいて、モバイルコンピューティングデバイス106の概ねの位置を判断し得る。
In the illustrative embodiment,
より詳しく以下に説明するように、ビデオ編集器102、クラウド分析サーバー104、および、モバイルコンピューティングデバイス106は、ネットワーク108上でシステム100の他のデバイスとデータを送信および受信するように構成されている。ネットワーク108は、あらゆる数量の種々の有線及び/又は無線ネットワークとして具現化され得る。例えば、ネットワーク108は、有線又は無線ローカルエリアネットワーク(LAN)、有線又は無線ワイドエリアネットワーク(WAN)、及び/又は、インターネットといったパブリックにアクセス可能でグローバルなネットワーク、として具現化され、または、そうでなければそれらを含み得る。そのように、ネットワーク108は、システム100のデバイス間における通信を促進するためにあらゆる数量の追加のデバイスを含み得る。追加のコンピュータ、ルータ、および、スイッチ、といったものである。
As described in more detail below,
ここで図2を参照すると、一つの実施例において、ビデオ編集器102は、オペレーションの最中に環境200を確立する。説明的な環境200は、クエリ構築(query builder)モジュール202、ビデオ編集モジュール206、および、ビデオ出力モジュール208を含んでいる。環境200の種々のモジュールは、ハードウェア、ソフトウェア、または、それらの組合せとして具現化され得る。
Referring now to FIG. 2, in one embodiment,
クエリ構築モジュール202は、ビデオ編集器102のユーザから受信した選択に基づいてメディアクエリを構築するように構成されている。それぞれのメディアクエリは、クラウド分析サーバー104によって保管及び/又はインデックス付けされたメディア情報を動的に(dynamically)検索するために使用され得る。それぞれのメディアクエリは、ユーザによって選択された一式の検索パラメータとして具現化され得る。以下に説明するように、メタデータクエリパラメータ、メディアクエリパラメータ、およびサンプルメディアクエリパラメータを含んでいる。メディアクエリは、直ちに実行されるようにクラウド分析サーバー104に提出され得るし、または、後の日時において実行するために事前にスケジュールされ得る。いくつかの実施例において、そうした機能は、サブモジュールによって実行され得る。例えば、クエリスケジューリングモジュール204によるものである。
The
ビデオ編集モジュール206は、動的コンテンツスロット(slot)を含むメディアプログラムを管理および編集するように構成されている。ビデオ編集モジュール206は、メディアプログラムに対するタイムライン(timeline)インターフェイスを提供してよく、ユーザは、事前にプログラムされたメディアおよび動的コンテンツスロットをレイアウトすることができる。ビデオ編集モジュール206は、クエリ構築モジュール202によって構築されたメディアクエリをメディアプログラムの動的コンテンツスロットと関連付けする。
ビデオ出力モジュール208は、ビデオ編集モジュール206によって生成されたメディアプログラムを適切なフォーマットにおいてビデオ出力の中に描写するように構成されている。ビデオ出力は、ビデオデータファイル、ビデオデータストリーム、または生放送(live broadcast)に適したビデオストリームを含み得る。ビデオ出力モジュール208は、メディアクエリに応じてクラウド分析サーバー104から受信したメディアデータを、関連する動的コンテンツスロットにおいてビデオ出力の中に取り込む。
ここで図3を参照すると、一つの実施例において、クラウド分析サーバー104は、オペレーションの最中に環境300を確立する。説明的な環境300は、分析モジュール302、検索モジュール304、およびリソーススケジューリングモジュール306を含んでいる。環境300の種々のモジュールは、ハードウェア、ファームウェア、ソフトウェア、または、それらの組合せとして具現化され得る。
Referring now to FIG. 3, in one embodiment, the
分析モジュール302は、モバイルコンピューティングデバイス106からアップロードされたメディアデータ144を受取り、そして、検索を可能にするためメディアデータ144を分析するように構成されている。分析モジュール302は、検索を促進し得るあらゆる分析をメディアデータについて実行し得る。例えば、分析モジュール302は、顔面検出、オブジェクト検出、テキスト認識、カラーバランスと飽和の分析、および、オーディオチューン(tune)分析、である。分析モジュール302は、また、メディアデータ144のフォーカス、スタビリティ、露出、または照明を分析し、メディアデータ144がオーディオを含むか否かを判断し、そして、動きに対する画像データを評価する。分析モジュール302は、分析結果をメタデータ146に保管し得る。
The
検索モジュール304は、ビデオ編集器102から受信したメディアクエリに基づいてメディアデータ144を検索し、そして、検索結果を返すように構成されている。上述のように、メディアクエリは、メタデータクエリパラメータ、メディアクエリパラメータ、または、サンプルメディアクエリパラメータに基づいてよい。検索モジュール304は、メディアデータ144、メタデータ146、または、2つのあらゆる組合せに対して検索することができる。
The
リソーススケジューリングモジュール306は、ビデオ編集器102から受信したリクエストに基づいて計算リソース140及び/又はストレージリソース142をスケジュールするように構成されている。例えば、リソーススケジューリングモジュール306は、メディアクエリのスケジュールされた日付の近くで、大量のアップデートされたメディアデータを受信することを見越して、計算リソース140及び/又はストレージリソース142を事前に割り当てすることができる。同様に、リソーススケジューリングモジュール306は、スケジュールされたメディアクエリの場所に地理的に近い計算リソース140及び/又はストレージリソース142を事前に割り当てすることができる。いくつかの実施例において、リソーススケジューリングモジュール306は、メディアクエリに基づいて自動的にリソースをスケジュールし得る。
ここで図4を参照すると、一つの実施例において、それぞれのモバイルコンピューティングデバイス106は、オペレーションの最中に環境400を確立する。説明的な環境400は、メディア取得モジュール402を含み、そして、いくつかの実施例においては、メタデータモジュール410を含み得る。環境400の種々のモジュールは、ハードウェア、ファームウェア、ソフトウェア、または、それらの組合せとして具現化され得る。
Referring now to FIG. 4, in one embodiment, each
メディア取得モジュール402は、カメラ172およびマイクロフォン174といったモバイルコンピューティングデバイス106のセンサを使用してメディアデータ144を取得するように構成されている。メディア取得モジュール402は、さらに、取得されたメディアデータ144をクラウド分析サーバー104にアップロードするように構成されている。いくつかの実施例において、メディア取得モジュール402は、アップロードに先立って、取得されたメディアデータ144を処理し得る。ビデオ編集器102によって作成された受入れポリシが満足されていることを保証するためである。メディア取得モジュール402は、さらに、メディアデータ144の取得を促進するためにユーザインターフェイスを表示するように構成されている。ユーザインターフェイスは、取得されたメディアデータ144がビデオ編集器102の受入れポリシを満足することを保証するためのインストラクションまたは他の支援を提供し得る。いくつかの実施例において、そうした機能は、サブモジュールによって実行され得る。例えば、メディア獲得モジュール404、メディアアップロードモジュール406、または、ユーザインターフェイスモジュール408によるものである。
いくつかの実施例において、メタデータモジュール410は、アップロードに先立って、メタデータ146を取得されたメディアデータ144の中にエンベッドするように構成されている。メタデータ146は、モバイルコンピューティングデバイス106、または、カメラ172又はマイクロフォン174といったコンポーネントの技術的属性を含み得る。メタデータ146は、露出、フォーカス、開口(aperture)、またはシャッター速度といった、取得されたメディアデータ144の技術的属性を含み得る。メタデータ146は、場所情報を含み得る。例えば、場所回路176によって提供されるGPS座標である。いくつかの実施例において、メタデータ146は、モバイルコンピューティングデバイス106の他のセンサによって提供される情報を含み得る。例えば、高度、動き、温度、コンパス方位、または空間的方向についての情報である。加えて、いくつかの実施例において、メタデータ146は、ユーザによって入力されるメタデータを含み得る。例えば、ラベル、または他の注釈である。
In some embodiments, the
ここで図5を参照すると、使用時に、ビデオ編集器102は、クラウドイネーブルドビデオ編集のための方法500を実行し得る。方法500は、ブロック502で開始し、そこで、ビデオ編集器102は、ビデオ編集器102のユーザによって選択されたクエリパラメータに基づいてメディアクエリを構築する。ビデオ編集器102は、ユーザがメディアクエリを構成できるようにユーザインターフェイスを表示し得る。例えば、図6を参照すると、ダイヤグラム600は、メディアクエリビルダ602の一つの実施例を示している。メディアクエリビルダ602のコントロールグループ604、606、608は、ユーザによって選択され得る潜在的なクエリパラメータを示している。
Referring now to FIG. 5, in use, the
図5に戻って参照すると、いくつかの実施例において、ビデオ編集器102は、ユーザからメタデータベースのクエリパラメータを受信する。メタデータベースのクエリパラメータは、メタデータ146のインデックス付き記述データを検索するために使用され得る。データは、メディアデータ144に関連するものであるが、必ずしもメディアデータ144のコンテンツにおいて具現化されることを要しない。例えば、図6のコントロールグループ604において示されるように、メタデータベースのクエリは、検索キーワード、プレーンテキスト記述、技術的メタデータ属性、感情ファクタ、場所、または日時に基づくものであってよい。検索キーワードおよびプレーンテキスト記述は、手動でメディアデータ144と関連付けされ、または、クラウド分析サーバー104による自動的な分析を通じて関連付けされ得る。技術的メタデータ属性、例えば、ホワイトバランス設定、フレームレート、シャッター設定、開口設定、等が、取得の時点でモバイルコンピューティングデバイス106によって供給され得る。感情ファクタは、メディアデータ144のコンテンツ分析に基づいてクラウド分析サーバー104によってアルゴリズム的に割り当てられてよく、または、パブリック入力から抽出され得る。場所および日時の情報も、また、取得の時点でモバイルコンピューティングデバイス106によって供給され得る。
Referring back to FIG. 5, in some embodiments, the
図5に戻って参照すると、ブロック506において、いくつかの実施例で、ビデオ編集器102は、ユーザからのコンテンツベースのメディアクエリパラメータを受信する。メディアクエリパラメータは、メディアデータ144自身の分析を通じて抽出された情報を検索するために使用され得る。そうした分析は、クラウド分析サーバー104によって前もって実行されてよい。検索パフォーマンスを改善するためである。例えば、図6のコントロールグループ606において示されるように、メディアクエリは、フォーカス、スタビリティ、照明または露出、オーディオ、または動き、に基づいてよい。フォーカスとスタビリティは、検索を焦点が合っていて安定しているメディアクリップに限定するために使用され得る。つまり、過度なカメラの揺れがなく取得されたメディアクリップである。照明と開口は、検索を適切な照明条件の下で取得されたメディアクリップに限定するために使用され得る。例として、オーディオは、オーディオトラックを含んでいるメディアクリップだけを返すため(return)に使用され得る。別の例として、動きは、動きが検出されたメディアクリップだけを返すために使用され得る。例えば、肉体的なジェスチャ、シーンを横切るメディアパンニング(panning)を含むメディア、または、シーンの中に動いているオブジェクトを含んでいるメディアである。別の例として、メディアクエリは、メディアクリップの中で検出されたジェスチャに基づいてよい。そうしたメディアクエリパラメータは、望ましい品質を有するメディアクリップに検索を限定するため、そして、出力ビデオにおける使用に適さないメディアクリップを排除するために、ビデオ編集器102によって使用され得る。
Referring back to FIG. 5, at
図5の方法500のブロック508において、いくつかの実施例で、ビデオ編集器102は、ユーザから、サンプルメディアクエリパラメータおよび関連する一致オプション(matching option)を受信する。サンプルメディアは、参照としてストックメディアクリップが与えられて、同様なメディアクリップを検索するために使用され得る。クラウド分析サーバー104は、メディアデータ144に対するのと同様にサンプルメディアを処理し、そして、処理結果を比較の基礎として使用し得る。例えば、図6のコントロールグループ608において示されるように、サンプルメディアクエリは、顔面認識、オブジェクト認識、テキスト認識、カラーバランス、カラー飽和、またはオーディオチューンに基づいて、メディアクリップを一致させるオプションを含み得る。ビデオ編集器102は、人の顔面の画像を含むサンプルメディアクリップを提供し得る。例えば、セレブまたは報道価値のある個人である。顔面認識は、人の顔面を含んでいるメディアクリップも検索し得る。同様に、サンプルメディアクリップは、検索の基礎となり得る特定のオブジェクトまたは書かれたテキストの画像を含み得る。カラーバランスとカラー飽和の一致は、同様なカラーバランス及び/又はカラー飽和を含んでいるメディアクリップを検索するために使用され得る。一致するカラーにより、結果として生じるメディアクリップは、残りのメディアプログラムとうまくフィットすることができる。
At
図5に戻って参照すると、ブロック510において、いくつかの実施例で、ビデオ編集器102は、メディアクエリのためにスケジュールされた日付及び/又は場所を受信することができる。図6のコントロールグループ616において示されるように、いくつかの実施例において、ビデオ編集器102のユーザは、将来のために検索をスケジュールし得るし、または、直ちに検索を提出し得る。スケジュールされた日付及び/又は場所は、メディアプログラムの将来の放送またはライブパフォーマンスに対応し得る。以下に説明するように、スケジュールされた日付は、クラウド分析サーバー104のコンピュータリソース140及び/又はストレージリソース142をコーディネートするために使用され得る。加えて、いくつかの実施例において、メディアクエリのための場所は、きめの細かいものであり、かつ、方向情報を含み得るものであり、大きなイベントの特定の視点からメディアを選定することができる。例えば、場所は、ライブスポーツイベントのために使用されるスタジアムにおける場所と視角を特定し得る。このように、メディアクエリは、複数の視点からイベントの全景を構築し得る。
Referring back to FIG. 5, at
図5の方法500のブロック512においては、メディアクエリの構築の後で、ビデオ編集器102は、メディアクエリをメディアプログラムにおける動的コンテンツスロットと関連付ける。動的コンテンツスロットは、ビデオ出力が生成される際に、動的コンテンツと置き換えられるメディアプログラムの一部を表している。例えば、図7を参照すると、ダイヤグラム700は、メディアプログラム702を説明している。メディアプログラム702は、事前にプログラムされたコンテンツセグメント704、708、712を含んでいる。動的コンテンツスロット706、710は、事前にプログラムされたコンテンツセグメント704、708、712の間に配置されている。それぞれの動的コンテンツスロット706、710は、持続時間および関連するメディアクエリを有している。ビデオ編集器102のユーザインターフェイスにおいて、それぞれの動的コンテンツスロット706,710は、メディアクエリから抽出されたアイコンを用いて表現され得る。サンプルメディアクリップのサムネイル表現といったものである。例えば、ハリケーンについてのニュースプログラムを制作する場合、コンテンツセグメント704は、ニュースアンカーの前置き(news anchor introduction)を含み得る。動的コンテンツスロット706は、厳しい天候と避難を捜して、ハリケーンの時間と場所に基づいて、メディアクエリと関連付けられ得る。ハリケーンのストックフッテージ(stock footage)が、サンプルメディアクリップとして提供され得る。コンテンツセグメント708は、事前に記録された対応するセグメントであり得る。動的コンテンツスロット710は、回復と希望のテーマを捜して、ハリケーンの場所に基づくメディアクエリを含み得る。コンテンツセグメント712は、ニュースアンカーの結びを含み得る。
At
図5に戻って参照すると、ブロック514において、ビデオ編集器102は、メディアクエリをクラウド分析サーバー104に対して送信する。上述のように、メディアクエリは、即時の評価及び検索のために提出され得るし、または、スケジュールされた時間における評価及び検索のために提出され得る。いくつかの実施例において、ブロック516で、ビデオ編集器102は、スケジュールされたクエリに基づいて、クラウド分析サーバー104のクラウドリソースのスケジューリングをリクエストし得る。例えば、ビデオ編集器102のユーザは、ライブイベントの日付と場所に関連付けされた大量のメディア提出を予想し得る。従って、ビデオ編集器102は、クラウド分析サーバー104が、スケジュールされたクエリの日付又は場所において利用可能であるようにコンピュータリソース140を事前に割り当てることをリクエストし得る。そうした実施例において、クラウド分析サーバー104は、スケジュールされたクエリの日付に追加の仮想マシンを用意し得るし、または、スケジュールされたクエリの場所の近くのクラウドデータセンターに仮想マシンを移動し得る。追加的、または代替的に、ビデオ編集器102は、スケジュールされたクエリの日付と場所に基づいて、ストレージリソース142を事前に割り当てるようにクラウド分析サーバー104にリクエストし得る。
Referring back to FIG. 5, at
いくつかの実施例においては、図5の方法500のブロック518で、ビデオ編集器102は、メディアクエリのクエリパラメータが、モバイルコンピューティングデバイス106に対して、クラウド分析サーバー104によってプッシュされるようにリクエストし得る。クエリパラメータのいくつか又は全部は、ビデオ編集器102の受入れポリシを表現し得る。つまり、ビデオ編集器102は、そうしたクエリパラメータを満足するメディアクリップだけを受入れ得る。そうした実施例において、モバイルコンピューティングデバイス106は、クラウド分析サーバー104へのアップロードに先立って、取得されたメディアクリップに対して受入れポリシのクエリパラメータを適用し得る。メディアクリップをアップロードする前にクエリパラメータを適用することにより、アップロードされたメディアクリップの本質が改善され、そして、クラウド分析サーバー104によって要求される処理が低減され得る。図6のチェックボックス612により図示されるように、ビデオ編集器102は、モバイルコンピューティングデバイス106に対して全てのクエリパラメータをプッシュするように選択し得る。他の実施例において、ビデオ編集器102は、モバイルコンピューティングデバイス106に対してプッシュされるべきクエリパラメータのサブセットを選択し得る。例えば、メディアクリップフォーマットおよび解像度要求である。
In some embodiments, at
メディアクエリ送信後しばらくして、ブロック520において、ビデオ編集器102は、クラウド分析サーバー104からクエリ結果を受信する。クエリ結果は、メディアクエリのクエリパラメータを満足する、モバイルコンピューティングデバイス106によって生成されたメディアクリップを特定する。クエリ結果は、関連性、作成日、または他のもの、の順番で保管され得る。いくつかの実施例において、クエリ結果は、一致するメディアクリップへの参照を含み得る。他の実施例において、クエリ結果は、一致するメディアクリップに対するメディアデータ144を含み得る。
Sometime after sending the media query, at
いくつかの実施例において、ブロック522で、ビデオ編集器102は、ユーザインターフェイスを通じて検索結果をユーザに対して提示し得る。ユーザは、所望のメディアクリップを指示する選択を提供し得る。例えば、いくつかの実施例において、ビデオ編集器102は、検索結果のトップ3、トップ5までのリストを提供し得る。ビデオ編集器102のディスプレイ130上に、一致するメディアクリップのサムネイルまたは他の表現を含んでいるものである。ユーザは、検索結果の中から所望のクリップを直ちに選択することができる。他の実施例においては、ユーザに対する検索結果の提示の他に、ビデオ編集器102は、ユーザからのさらなる指示なく、自動的に検索結果を選択し得る。例えば、一番一致している検索結果である。ビデオ編集器102は、ユーザからの選択に基づいて、例えば、図6のラジオボタンのグループ610によって図示されるように、検索結果を表示するか否かを決定し得る。
In some embodiments, at
ブロック524において、ビデオ編集器102は、選択されたメディアクリップを、メディアプログラムの関連する動的コンテンツスロットの中に出力する。上述のように、選択されたメディアクリップは、ユーザインターフェイスを通じてユーザによって選択され得るし、または、自動的に選択され得る。ブロック526において、いくつかの実施例で、ビデオ編集器102は、選択されたメディアクリップを、メディアプログラムに基づいて生成されたビデオ出力の中にインサートする。ビデオ編集器102は、後の再生のために適切な出力メディアファイルに対して、ビデオ出力をなし得る。いくつかの実施例において、ビデオ編集器102は、ビデオ消費者のビデオ機器に対して即時に又は即時に近く伝送されるビデオ出力をなし得る。例えば、ビデオ編集器102は、テレビで放送されるか、または、ネットワーク108上でビデオ消費者に対してストリームされるライブビデオストリームを制作し得る。ビデオ出力を生成した後で、方法500は、メディアクエリ構築を継続するために、ブロック502へループバックする。
At
ここで図8を参照すると、使用時に、クラウド分析サーバー104は、ビデオ編集器102からのメディアクエリを受信および処理するための方法800を実行し得る。方法800は、ブロック802で開始し、そこで、クラウド分析サーバー104は、ビデオ編集器102からメディアクエリが受信されたか否かを判断する。そうでない場合、方法800は、ブロック802においてメディアクエリに対するウェイティングを継続するためにループバックする。そうである場合、方法800は、ブロック804に進む。
Referring now to FIG. 8, in use, the
ブロック804において、クラウド分析サーバー104は、ビデオ編集器102から受信したメディアクエリを解析する。クラウド分析サーバー104は、メディアクエリのそれぞれのクエリパラメータを翻訳および評価し得る。いくつかの実施例においてブロック806で、クラウド分析サーバー104は、メディアクエリを用いて供給されたサンプルメディアクリップを分析し得る。クラウド分析サーバー104は、モバイルコンピューティングデバイス106によって提出されたメディアクリップについて実行されるのと同一の分析をサンプルメディアクリップについて実行し得る。図9に関連して以下に説明するようにである。
At
いくつかの実施例において、ブロック808で、クラウド分析サーバー104は、メディアクエリのクエリパラメータを、モバイルコンピューティングデバイス106に対して送信し得る。例えば、いくつかの実施例において、クラウド分析サーバー104は、モバイルコンピューティングデバイスのリストを保持し得るし、または、それぞれに対してクエリパラメータをプッシュし得る。いくつかの実施例において、クラウド分析サーバー104は、クエリパラメータを保管し、そして、要求された場合に、クエリパラメータをモバイルコンピューティングデバイス106に対して供給し得る。加えて、ブロック808において発生するものとして図示されているが、他の実施例において、クラウド分析サーバー104は、他の場合に、クエリパラメータをモバイルコンピューティングデバイス106に対して供給し得る。
In some embodiments, at
いくらかの時間の後に、ブロック810で、クラウド分析サーバー104は、メディアクエリに基づいてメディアデータ144を検索する。クラウド分析サーバー104は、メタデータ146を使用して、または、メディアデータ144を直接的に分析することによって、そうした検索を実行し得る。いくつかの実施例において、ブロック812で、クラウド分析サーバー104は、メディアクエリのメタデータクエリパラメータに基づいて、メディアデータ144を検索する。例えば、図5に関連して上記に説明したように、メタデータクエリパラメータは、検索キーワード、プレーンテキスト記述、技術的メタデータ属性、感情ファクタ、場所、または日時を含み得る。いくつかの実施例においてブロック814で、クラウド分析サーバー104は、メディアクエリパラメータに基づいて、メディアデータ144を検索する。例えば、図5に関連して上記に説明したように、メディアクエリパラメータは、メディアデータ144自身のフォーカス、スタビリティ、照明または露出、オーディオ、または動きに基づいてよい。いくつかの実施例において、ブロック816で、クラウド分析サーバー104は、サンプルメディアクエリパラメータに基づいてメディアデータ144を検索する。例えば、図5に関連して上記に説明したように、サンプルメディアクエリパラメータは、顔面認識、オブジェクト認識、テキスト認識、カラーバランス、カラー飽和、またはオーディオチューンに基づくサンプルメディアクリップおよび一致オプションを含み得る。
After some time, at
メディアデータ144の検索の後で、ブロック818で、クラウド分析サーバー104は、検索結果をランク付けしてソートする。クラウド分析サーバー104は、メディアクエリ、メディアクリップの日付、または、他のあらゆるランク付けクライテリアに対して一番一致することに基づいて検索結果をランク付けすることができる。ブロック820において、クラウド分析サーバー104は、検索結果をビデオ編集器102に対して送信する。いくつかの実施例において、クラウド分析サーバー104は、トップランクの検索結果のリストを送付し得る。他の実施例において、クラウド分析サーバー104は、一つの検索結果を送付し得る。いくつかの実施例において、ブロック822で、クラウド分析サーバー104は、選択されたメディアクリップのメディアデータ144を送信する。図5に関連して上記に説明したように、選択されたメディアクリップは、一つのトップランクのメディアクリップであってよく、または、ビデオ編集器102のユーザによって選択されたメディアクリップであってよい。検索結果の送信後に、方法800は、追加のメディアクエリに対するウェイティングを継続するためにブロック802へループバックする。
After searching for
ここで図9を参照すると、使用時に、クラウド分析サーバー104は、モバイルコンピューティングデバイス106からのメディアクリップを受信および処理するための方法900を実行し得る。方法900は、ブロック902で開始し、そこで、クラウド分析サーバー104は、メディアクリップアップロードがモバイルコンピューティングデバイス106から受信されたか否かを判断する。そうでない場合、方法900は、ブロック902においてメディアクリップアップロードに対するウェイティングを継続するためにループバックする。そうである場合、方法900は、ブロック904に進む。
Referring now to FIG. 9, in use, the
いくつかの実施例においてブロック904で、クラウド分析サーバー104は、モバイルコンピューティングデバイス106から受信したメディアデータ144を事前に処理する。いくつかの実施例において、そうした事前の処理は、過度な計算リソース140を使用することなく迅速に実行され得るメディアデータに係るあらゆる分析または評価として具現化され得る。例えば、事前の処理は、メディアデータ144に関連するメタデータ146またはデータフォーマットを評価することとして具現化され得る。そうした実施例において、クラウド分析サーバー104は、メディアデータ144、メディアデータ144のメディアフォーマット、または、メディアデータ144の解像度に関連するソースの場所を評価し得る。他の実施例において、事前の処理は、モバイルコンピューティングデバイス106の能力を評価することを含み得る。例えば、クラウド分析サーバー104は、モバイルコンピューティングデバイス106の処理能力または利用可能なネットワークのバンド幅を評価し得る。モバイルコンピューティングデバイス106の能力情報は、図10に関連して上記に説明したように、メディアデータ144と共に受信され得る。
In some embodiments, at
ブロック906において、クラウド分析サーバー104は、アップロードされたメディアデータ144を拒否するか否かを判断する。クラウド分析サーバー104は、ブロック904の事前の処理の結果に基づいてメディアデータ144を拒否し得る。拒否のクライテリアは、ビデオ編集器102から受信されてきた一つまたはそれ以上のメディアクエリに基づいてよい。例えば、クラウド分析サーバー104は、特定のソースロケーションからでないメディアデータ144を拒否し得る。間違ったフォーマットで提供されたもの、または、要求された解像度を有しないものである。いくつかの実施例において、クラウド分析サーバー104は、所望の機能を有していないモバイルコンピューティングデバイス106からのメディアデータ144を拒否し得る。例えば、不十分な処理能力またはネットワークのバンド幅を伴うモバイルコンピューティングデバイス106である。広範な処理に先立ってメディアデータ144を拒否することは、計算リソースを温存し、及び/又は、ストレージリソース142の中に保存されることを要するメディアデータ144とメタデータ146の量を削減し得る。クラウド分析サーバー104がメディアデータ144を拒否すると判断する場合、方法900は、メディアアップロードに対するウェイティングを継続するためにブロック902へループバックする。クラウド分析サーバー104がメディアデータ144を拒否しないと判断する場合、方法900は、ブロック908へ進む。
At
ブロック908において、クラウド分析サーバー104は、メディアデータ144のポスト処理(post−process)を行う。ポスト処理は、メディアデータ144について実行される計算リソース集約的な計算を含み得る。そうしたポスト処理がスケジュールされ、または、クラウド分析サーバー104の計算リソース140において分配され得る。ポスト処理の結果は、検索パフォーマンスを改善するために、インデックス付けされ、または、メタデータ146の中に保管され得る。いくつかの実施例において、ブロック910で、クラウド分析サーバー104は、アップロードされたメディアデータ144のビデオ画像コンテンツを処理する。その画像分析は、ビデオ編集器102から受信したクエリパラメータを評価するために使用され得る。例えば、クラウド分析サーバー104は、メディアクリップを分析し得る。そのメディアクリップの焦点が合っているか否かを判断し、カメラが安定しているか否かを判断し、照明または露出情報を判断し、もしくは、メディアクリップが動きを含んでいるか否かを判断するためである。クラウド分析サーバー104は、さらに、顔面認識分析、オブジェクト認識分析、光学キャラクター認識と他のテキスト認識の分析、および、画像カラーと飽和の分析、を実行し得る。いくつかの実施例において、ブロック912で、クラウド分析サーバー104は、アップロードメディアデータ144のオーディオコンテンツを分析する。再び、オーディオ分析が、ビデオ編集器102から受信したクエリパラメータを評価するために使用され得る。例えば、クラウド分析サーバー104は、メディアデータ144がオーディオ情報を含んでいるか否かを判断し、そして、メディアデータ144のオーディオチューン分析を実行し得る。オーディオチューン分析は、オーディオデータの中の楽音(musical tone)を特定することを含む。オーディオデータが楽音とどれほど近く一致しているかを判断することも同様である。いくつかの実施例において、ブロック914で、クラウド分析サーバー104は、アップロードされたメディアデータ144の中にエンベッドされたメタデータ146を処理し得る。メタデータ分析は、クエリパラメータを評価するために使用され得る。例えば、クラウド分析サーバー104は、メディアデータ144の中にエンベッドされた場所座標を評価し、または、メディアデータ144の中にエンベッドされた記録デバイスの技術的属性を評価し得る。
At
ブロック916において、クラウド分析サーバー104は、アップロードされたメディアデータ144を拒否するか否かを判断する。クラウド分析サーバー104は、ブロック916のポスト処理の結果に基づいてメディアデータ144を拒否し得る。ブロック904の事前の処理からのあらゆる結果と同様である。ブロック906に関連して上記に説明したように、拒否のためのクライテリアは、ビデオ編集器102から受信されてきた一つまたはそれ以上のメディアクエリに基づいてよい。アップロードされたメディアデータ144はポスト処理の後で拒否され得る。メディアクエリを満足するメディアデータ144だけを保管するため、または、累積的なメディアデータ144の保管を避けるためである。クラウド分析サーバー104がメディアデータ144を拒否すると判断する場合、方法900は、追加のアップロードされたメディアデータ144に対するウェイティングを継続するためにブロック902へループバックする。クラウド分析サーバー104がメディアデータ144を拒否しないと判断する場合、方法900は、ブロック918へ進む。
At
ブロック918において、クラウド分析サーバー104は、アップロードされたメディアデータ144を保管する。図5に関連して上記に説明したように、メディアデータ144のためのストレージリソース142は、メディアクエリのスケジュールされた日付及び場所の基づいて事前に割り当てられ得る。例えば、ストレージリソース142は、スケジュールされたライブイベントに地理的に近いデータセンターの中に配置され得る。いくつかの実施例において、ブロック920で、クラウド分析サーバー104は、メディアデータ144に関連するメディアリテンションポリシを保管する。メディアリテンションポリシは、どのくらい長くメディアデータ144が保管されるか、そして、いつメディアデータ144が削除されるかを規定し得る。例えば、メディアリテンションポリシは、メディアクエリのスケジュールされた日付からいくらかの時間の後にメディアデータ144が削除されることを規定し得る。このように、メディアリテンションポリシは、クラウド分析サーバー104のストレージリソースを温存し得る。ブロック922において、クラウド分析サーバー104は、アップロードされたメディアデータ144に関連するメタデータ146を保管する。上述のように、メタデータ146は、関連するメディアデータ144をビデオ編集器102に検索結果として戻すように検索され得る。メディアデータ144とメタデータ146を保管した後で、方法900は、アップロードされたメディアデータ144に対するウェイティングを継続するためにブロック902へループバックする。
At
ここで図10を参照すると、使用時に、モバイルコンピューティングデバイス106は、メディアクリップを取得し、メディアクリップをクラウド分析サーバー104へアップロードするための方法1000を実行し得る。方法1000は、ブロック1002で開始し、そこで、モバイルコンピューティングデバイス106は、クラウド分析サーバー104からのクエリパラメータをリクエストする。クエリパラメータは、ビデオ編集器102によって制作されたメディアクエリから派生する。受信されたクエリパラメータは、このように、ビデオ編集器102に対して提供し得るメディアデータ144を記述している受入れポリシを表している。クラウド分析サーバー104からクエリパラメータをリクエストするように図示されているが、いくつかの実施例において、クラウド分析サーバー104は、リクエストなしでモバイルコンピューティングデバイス106に対してクエリパラメータをプッシュし得る。いくつかの実施例において、ブロック1004で、モバイルコンピューティングデバイス106は、クラウド分析サーバー104へ能力情報を送信し得る。上述のように、能力情報は、モバイルコンピューティングデバイス106の処理能力、または、利用可能なネットワークのバンド幅に関して記述している情報を含み得る。
Referring now to FIG. 10, in use, the
ブロック1006において、モバイルコンピューティングデバイス106は、クエリパラメータがクラウド分析サーバー104から受信されてきたか否かを判断する。そうでない場合、方法1000は、以下に説明するように、ブロック1012に進む。そうである場合、方法1000は、ブロック1008へ分岐する。
At
ブロック1008において、モバイルコンピューティングデバイス106は、クエリパラメータに基づいてメディア取得設定を構成する、取得設定を構成することによって、モバイルコンピューティングデバイス106は、取得に先立って、取得されたメディアデータ144がビデオ編集器102によって使用可能であることを保証し得る。例えば、モバイルコンピューティングデバイス106は、クエリパラメータに従って、メディアフォーマット、解像度、照明、または、露出設定を構成し得る。そうしたクエリパラメータは、ビデオ編集器102によって制作されたメディアクエリから派生する。
At
いくつかの実施例において、ブロック1010で、モバイルコンピューティングデバイス106は、クエリパラメータに基づいて、メディア取得支援ユーザインターフェイスを表示する。メディア取得支援ユーザインターフェイスは、モバイルコンピューティングデバイス106のディスプレイ170上に表示される言葉またはシンボルとして具現化され得る。例えば、モバイルコンピューティングデバイス106は、クエリパラメータに基づいて、テキストのインストラクションを表示し得る。この実施例を続けると、クエリパラメータは、カメラに向かってスマイルして手を振っている人に対する検索を含み得る。この実施例において、モバイルコンピューティングデバイス106は、ユーザを促して対象者がカメラに向かってスマイルして手を振るように指示させ得る。別の実施例において、クエリパラメータは、焦点が合った、安定した画像だけが受入れられることを指示し得る。この実施例において、モバイルコンピューティングデバイス106は、焦点または安定性の問題を修正するようユーザに指示するテキストまたはシンボルを表示し得る。ブロック1010の後で、方法1000は、ブロック1012へ進む。
In some embodiments, at
ブロック1012において、モバイルコンピューティングデバイス106は、メディアデータ144を取得する。モバイルコンピューティングデバイス106は、ビデオクリップ、オーディオクリップ、静止画像、または、他のあらゆるメディアデータ144を取得し得る。メディア取得は、ユーザインターフェイスのインタラクションによって、または、ユーザからのさらなる指示なしで自動的に、開始され得る。
At
ブロック1014において、モバイルコンピューティングデバイス106は、取得されたメディアデータ144を処理する。処理は、取得されたメディアデータ144を適切なファイルフォーマットへ変換するといった、最小限のものであってよい。もしくは、顔面認識、オブジェクト検出、オーディオチューン分析、等といった、コンテンツ分析を実行するといったものを含み得る。モバイルコンピューティングデバイス106によって実行される処理の範囲は、モバイルコンピューティングデバイス106の能力に依存し得る。いくつかの実施例において、ブロック1016で、モバイルコンピューティングデバイス106は、取得されたメディアデータ144をメタデータ146とタグ付けする。メタデータ146は、モバイルコンピューティングデバイス106を特定する情報、もしくは、ホワイトバランス、開口、画像品質属性、又は類似のもの、といった取得情報を提供する技術情報を含み得る。いくつかの実施例において、メタデータ146は、場所情報を含み得る。例えば、場所データ146は、場所回路176によって提供されるGPS座標を含み得る。
At
ブロック1018において、モバイルコンピューティングデバイス106は、取得したメディアデータ144を拒否するか否かを判断する。モバイルコンピューティングデバイス106は、ビデオ編集器102の受入れポリシが満足されてきたか否かを判断するために、受信したクエリパラメータを取得したメディアデータ144に対して適用する。多くの実施例において、取得されたメディアデータ144は拒否されない。なぜなら、メディア取得設定が、クエリパラメータに基づいてブロック1008において正しく設定されたからである。いくつかの実施例において、メディアデータ144が、ブロック1016において実行された処理に基づいて拒否され得る。例えば、顔面認識技術が取得したメディアデータ144において顔面を特定しない場合には、メディアデータ144が、拒否され得る。モバイルコンピューティングデバイス106によるメディアでデータ144の拒否は、クラウド分析サーバー104の計算リソース140についての要求を低減し得る。もちろん、モバイルコンピューティングデバイス106によってクエリパラメータが受信されていない場合には、取得したメディアデータ144が拒否されることはない。モバイルコンピューティングデバイス106が、取得したメディアデータ144を拒否しないと判断する場合、方法1000は、ブロック1020へ進む。ブロック1020において、モバイルコンピューティングデバイス106は、取得したメディアデータ144をクラウド分析サーバー104へアップロードする。アップロードの後で、方法1000は、メディアデータ144の取得を継続するために、ブロック1002へループバックする。
At
実施例
ここにおいて開示された技術の説明的な実施例が以下に提供される。技術の具現化は、以下に説明される実施例のあらゆる一つまたはそれ以上のもの、および、それらの組合せを含んでよい。
Example
Illustrative embodiments of the technology disclosed herein are provided below. Implementations of the technology may include any one or more of the embodiments described below, and combinations thereof.
実施例1は、ビデオ編集器であり、クエリ構築モジュール、ビデオ編集モジュール、およびビデオ出力モジュールを含んでいる。クエリ構築モジュールは、ビデオ編集器のユーザによって選択されたクエリパラメータを含むメディアクエリを構築する。ビデオ編集モジュールは、メディアクエリをメディアプログラムの動的コンテンツと関連付け、メディアクエリをクラウド分析サーバーへ送信し、かつ、メディアクエリに応じてクラウド分析サーバーからクエリ結果を受信する。クエリ結果は、モバイルコンピューティングデバイスによって制作されたメディアクリップを特定するためのものである。ビデオ出力モジュールは、メディアプログラムに基づいてビデオ出力を生成する。ビデオ出力は、動的コンテンツスロットの中にインサートされたクエリ結果において特定されたメディアクリップを含むものである。 The first embodiment is a video editor, which includes a query construction module, a video editing module, and a video output module. The query construction module constructs a media query including query parameters selected by a user of the video editor. The video editing module associates the media query with the dynamic content of the media program, sends the media query to the cloud analytics server, and receives query results from the cloud analytics server in response to the media query. The query results are for identifying media clips produced by the mobile computing device. The video output module generates a video output based on the media program. The video output is one that includes the media clips identified in the query results inserted into the dynamic content slot.
実施例2は、実施例1に係る技術的事項を含んでいる。ここで、メディアクリップは、モバイルコンピューティングデバイスによって制作された、ビデオクリップ、オーディオクリップ、または静止画像のうち少なくとも一つを含んでいる。 The second embodiment includes technical matters according to the first embodiment. Here, the media clip includes at least one of a video clip, an audio clip, and a still image created by the mobile computing device.
実施例3は、実施例1および2に係る技術的事項を含んでいる。ここで、ビデオ出力コンテンツを生成することは、ユーザからの指示なしで、クエリ結果において特定されたメディアクリップを自動的に動的コンテンツスロットの中にインサートすることを含んでいる。 The third embodiment includes technical matters according to the first and second embodiments. Here, generating the video output content includes automatically inserting the media clip specified in the query result into the dynamic content slot without instructions from the user.
実施例4は、実施例1−3に係る技術的事項を含んでいる。ここで、ビデオ編集モジュールは、さらに、クエリ結果を含むユーザインターフェイスを提示し、かつ、クエリ結果において特定された選択されたメディアクリップに係るユーザの選択を受信する。ここで、ビデオ出力を生成することは、動的コンテンツスロットの中にインサートされた選択されたメディアクリップを含むビデオ出力を生成することを含んでいる。 The fourth embodiment includes technical matters according to the first to third embodiments. Here, the video editing module further presents a user interface that includes the query results and receives a user's selection for the selected media clip identified in the query results. Here, generating a video output includes generating a video output including the selected media clip inserted into the dynamic content slot.
実施例5は、実施例1−4に係る技術的事項を含んでいる。ここで、ビデオ編集モジュールとビデオ出力モジュールは、クエリ結果を受信し、かつ、お互いに同時にビデオ出力を生成する。 The fifth embodiment includes technical matters according to the first to fourth embodiments. Here, the video editing module and the video output module receive the query result and generate a video output simultaneously with each other.
実施例6は、実施例1−5に係る技術的事項を含んでいる。ここで、ビデオ出力を生成することは、ビデオ出力をビデオ消費者のビデオ機器に対して送信することを含んでいる。 Example 6 includes technical matters according to Example 1-5. Here, generating the video output includes transmitting the video output to a video consumer's video device.
実施例7は、実施例1−6に係る技術的事項を含んでいる。ここで、クエリパラメータは、(i)メディアデータに関連する記述データを検索するためのメタデータクエリパラメータ、(ii)メディアデータから抽出されたコンテンツデータを検索するためのメディアクエリパラメータ、(iii)ユーザによって選択されたサンプルメディアクリップに基づくサンプルメディアクエリパラメータ、のうち少なくとも一つを含んでいる。 Example 7 includes technical matters according to Example 1-6. Here, the query parameters include (i) a metadata query parameter for searching for description data related to the media data, (ii) a media query parameter for searching for content data extracted from the media data, and (iii) At least one of sample media query parameters based on the sample media clip selected by the user.
実施例8は、実施例1−7に係る技術的事項を含んでいる。ここで、メディアクエリパラメータは、キーワード、モバイルコンピューティングデバイスによって制作されたエンベッドされたメタデータ、感情ファクタ、場所、または日付、から選択されたメディアクエリパラメータを含んでいる。 Example 8 includes technical matters according to Example 1-7. Here, the media query parameters include media query parameters selected from keywords, embedded metadata produced by the mobile computing device, emotion factors, location, or date.
実施例9は、実施例1−8に係る技術的事項を含んでいる。ここで、メディアクエリパラメータは、焦点合致要求、安定性要求、照明要求、オーディオ情報要求、または動き要求、から選択されたメディアクエリパラメータを含んでいる。 The ninth embodiment includes technical matters according to the first to eighth embodiments. Here, the media query parameter includes a media query parameter selected from a focus matching request, a stability request, a lighting request, an audio information request, or a motion request.
実施例10は、実施例1−9に係る技術的事項を含んでいる。ここで、サンプルメディアクエリパラメータは、顔面検出一致オプション、オブジェクト検出一致オプション、テキスト検出一致オプション、カラー一致オプション、またはオーディオチューン一致オプション、から選択されたサンプルメディアクエリパラメータを含んでいる。 The tenth embodiment includes technical matters according to the first to ninth embodiments. Here, the sample media query parameters include sample media query parameters selected from a face detection match option, an object detection match option, a text detection match option, a color match option, or an audio tune match option.
実施例11は、実施例1−10に係る技術的事項を含んでいる。ここで、メディアクエリを構築することは、ユーザからメディアクエリのためのスケジュール出力日付を受信することを含んでおり、かつ、ビデオ出力の生成は、スケジュールされた出力日付に発生する。 Example 11 includes technical matters according to Example 1-10. Here, constructing the media query includes receiving a scheduled output date for the media query from the user, and generating the video output occurs at the scheduled output date.
実施例12は、実施例1−11に係る技術的事項を含んでいる。ここで、メディアクエリをクラウド分析サーバーへ送信することは、メディアクエリのスケジュールされた出力日付に基づいて、クラウドリソースのスケジューリングをリクエストすることを含んでいる。 Example 12 includes technical matters according to Example 1-11. Here, sending the media query to the cloud analytics server includes requesting scheduling of cloud resources based on the scheduled output date of the media query.
実施例13は、実施例1−12に係る技術的事項を含んでいる。ここで、クラウドリソースのスケジューリングをリクエストすることは、以下のうち少なくとも一つを含んでいる。メディアクエリのスケジュールされた出力日付に基づいて計算リソースの事前の割り当てをリクエストすること、メディアクエリのスケジュールされた出力日付に基づいてクラウドストレージリソースの事前の割り当てをリクエストすること、メディアクエリの場所に基づいてクラウド計算リソースの事前の割り当てをリクエストすること、または、メディアクエリの場所に基づいてクラウドストレージリソースの事前の割り当てをリクエストすること、である。 The thirteenth embodiment includes technical matters according to the first to twelfth embodiments. Here, requesting scheduling of a cloud resource includes at least one of the following. Requesting pre-allocation of compute resources based on the scheduled output date of the media query, requesting pre-allocation of cloud storage resources based on the scheduled output date of the media query, Requesting pre-allocation of cloud computing resources based on the location of the media query, or requesting pre-allocation of cloud storage resources based on the location of the media query.
実施例14は、クラウド分析サーバーであり、検索モジュールと分析モジュールを含んでいる。検索モジュールは、ビデオ編集器からメディアクエリを受信する。メディアは、受入れ可能なメディアデータのクライテリアを定める受入れポリシを含んでいる。そして、分析モジュールは、受入れポリシを複数のモバイルコンピューティングデバイスへ送信し、かつ、受入れポリシの受信に応じてモバイルコンピューティングデバイスから送信されたメディアデータを受信する。 The fourteenth embodiment is a cloud analysis server, which includes a search module and an analysis module. The search module receives a media query from the video editor. The media includes an acceptance policy that defines acceptable media data criteria. The analysis module then sends the acceptance policy to the plurality of mobile computing devices and receives the media data sent from the mobile computing device in response to receiving the acceptance policy.
実施例15は、実施例14に係る技術的事項を含んでいる。ここで、メディアデータは、ビデオデータ、オーディオデータ、または静止画像データ、のうち少なくとも一つを含んでいる。 The fifteenth embodiment includes technical matters according to the fourteenth embodiment. Here, the media data includes at least one of video data, audio data, and still image data.
実施例16は、実施例14と15に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、受入れポリシに基づいてモバイルコンピューティングデバイスにメディア取得設定を調整させることを含んでいる。 Embodiment 16 includes technical matters according to Embodiments 14 and 15. Here, transmitting the acceptance policy includes causing the mobile computing device to adjust the media acquisition settings based on the acceptance policy.
実施例17は、実施例14−16に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、さらに、受入れポリシのフォーマットパラメータに基づいてモバイルコンピューティングデバイスにメディアデータのフォーマットを設定させることを含んでいる。 The seventeenth embodiment includes technical matters according to the fourteenth to sixteenth embodiments. Here, transmitting the acceptance policy further includes causing the mobile computing device to set the format of the media data based on the format parameter of the acceptance policy.
実施例18は、実施例14−17に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、さらに、受入れポリシの解像度パラメータに基づいてモバイルコンピューティングデバイスにメディアデータの解像度を設定させることを含んでいる。 Example 18 includes technical matters according to Examples 14-17. Here, transmitting the acceptance policy further includes causing the mobile computing device to set a resolution of the media data based on a resolution parameter of the acceptance policy.
実施例19は、実施例14−18に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、さらに、受入れポリシに基づいて取得支援ユーザインターフェイスをモバイルコンピューティングデバイスに表示させることを含んでいる。 The nineteenth embodiment includes the technical matters according to the fourteenth to eighteenth embodiments. Here, transmitting the acceptance policy further includes causing the mobile computing device to display an acquisition assistance user interface based on the acceptance policy.
実施例20は、実施例14−19に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、さらに、受入れポリシに基づいてメディアデータのコンテンツを定めるインストラクションをモバイルコンピューティングデバイスに表示させることを含んでいる。 The twentieth embodiment includes the technical matters according to the 14th to 19th embodiments. Here, transmitting the acceptance policy further includes causing the mobile computing device to display instructions defining the content of the media data based on the acceptance policy.
実施例21は、実施例14−20に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、受入れポリシが満足されたと判断しているモバイルコンピューティングデバイスに応じて、メディアデータをモバイルコンピューティングデバイスに送信させることを含んでいる。 Example 21 includes technical matters according to Examples 14-20. Here, transmitting the acceptance policy includes causing media data to be transmitted to the mobile computing device in response to the mobile computing device determining that the acceptance policy has been satisfied.
実施例22は、実施例14−21に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、さらに、モバイルコンピューティングデバイスの能力が受入れポリシの能力パラメータを満足するか否かをモバイルコンピューティングデバイスに判断させることを含んでいる。 Example 22 includes technical matters according to Example 14-21. Here, transmitting the acceptance policy further includes causing the mobile computing device to determine whether the capabilities of the mobile computing device satisfy the capability parameters of the acceptance policy.
実施例23は、実施例14−22に係る技術的事項を含んでいる。ここで、能力が受入れポリシの能力パラメータを満足するか否かを判断することは、以下のうち少なくとも一つを含んでいる。(i)モバイルコンピューティングデバイスの処理能力が能力パラメータを満足するか否かを判断すること、または、(ii)モバイルコンピューティングデバイスのネットワーク接続品質が能力パラメータを満足するか否かを判断すること、である。 Example 23 includes technical matters according to Examples 14-22. Here, determining whether the capability satisfies the capability parameter of the acceptance policy includes at least one of the following. (I) determining whether the processing capability of the mobile computing device satisfies the capability parameter, or (ii) determining whether the network connection quality of the mobile computing device satisfies the capability parameter. ,.
実施例24は、実施例14−23に係る技術的事項を含んでいる。ここで、受入れポリシが満足されるか否かを判断することは、モバイルコンピューティングデバイスにおいて、以下のうち少なくとも一つに基づいて受入れポリシが満足されているか否かを判断することを含んでいる。メディアデータにおいて表わされる顔面の検出、メディアデータにおいて表わされるオブジェクトの検出、メディアデータにおいて表わされるテキストの検出、または、メディアデータにおいて表わされるオーディオチューンの検出、である。 Example 24 includes technical matters according to Examples 14 to 23. Here, determining whether the acceptance policy is satisfied includes, at the mobile computing device, determining whether the acceptance policy is satisfied based on at least one of the following. . Detection of a face represented in media data, detection of an object represented in media data, detection of text represented in media data, or detection of audio tune represented in media data.
実施例25は、実施例14−24に係る技術的事項を含んでいる。ここで、分析モジュールは、さらに、メディアデータを処理して、メディアデータの処理に基づいて受入れポリシを満足するか否かを判断し、かつ、メディアデータの一部が受入れポリシを満足しないとの判断に応じてメディアデータの一部を拒否する。 The twenty-fifth embodiment includes the technical matters according to the fourteenth to twenty-fourth embodiments. Here, the analysis module further processes the media data, determines whether the acceptance policy is satisfied based on the processing of the media data, and determines that a part of the media data does not satisfy the acceptance policy. Reject part of the media data according to the judgment.
実施例26は、実施例14−25に係る技術的事項を含んでいる。ここで、メディアデータを処理することは、以下のうち少なくとも一つを含んでいる。メディアデータにおいて表わされる顔面を検出すること、メディアデータにおいて表わされるオブジェクトを検出すること、メディアデータにおいて表わされるテキストを検出すること、または、メディアデータにおいて表わされるオーディオチューンを検出すること、である。 The twenty-sixth embodiment includes the technical matters according to the 14th to 25th embodiments. Here, processing the media data includes at least one of the following. Detecting a face represented in the media data, detecting an object represented in the media data, detecting text represented in the media data, or detecting an audio tune represented in the media data.
実施例27は、実施例14−26に係る技術的事項を含んでいる。ここで、分析モジュールは、さらに、メディアデータの処理に先立ってメディアデータが受入れポリシを満足するか否かを判断する。 The twenty-seventh embodiment includes the technical matters according to the fourteenth to twenty-sixth embodiments. Here, the analysis module further determines whether or not the media data satisfies the acceptance policy before processing the media data.
実施例28は、実施例14−27に係る技術的事項を含んでいる。ここで、メディアデータの処理に先立ってメディアデータが受入れポリシを満足するか否かを判断することは、以下のうち少なくとも一つを含んでいる。メディアデータに関連するメタデータが受入れポリシの場所パラメータを満足する場所データを含んでいるか否かを判断すること、メディアデータのフォーマットが受入れポリシのフォーマットパラメータを満足するか否かを判断すること、または、モバイルコンピューティングデバイスから受信した能力情報が受入れポリシの能力パラメータを満足するか否かを判断すること、である。能力情報は、モバイルコンピューティングデバイスのメディア取得能力を定めるものである。 Example 28 includes technical matters according to Examples 14-27. Here, determining whether the media data satisfies the acceptance policy before processing the media data includes at least one of the following. Determining whether the metadata associated with the media data includes location data that satisfies the location parameter of the acceptance policy; determining whether the format of the media data satisfies the format parameter of the acceptance policy; Or determining whether the capability information received from the mobile computing device satisfies the capability parameters of the acceptance policy. The capability information defines the media acquisition capability of the mobile computing device.
実施例29は、実施例14−28に係る技術的事項を含んでいる。ここで、フォーマットがフォーマットパラメータと一致するか否かを判断することは、メディアデータの解像度が受入れポリシの解像度パラメータを満足するか否かを満足することを含む。 Example 29 includes technical matters according to Examples 14 to 28. Here, determining whether or not the format matches the format parameter includes satisfying whether or not the resolution of the media data satisfies the resolution parameter of the acceptance policy.
実施例30は、実施例14−29に係る技術的事項を含んでいる。ここで、能力情報は、以下のうち少なくとも一つを含んでいる。モバイルコンピューティングデバイスの処理能力についての情報、または、モバイルコンピューティングデバイスのネットワーク接続品質、である。 Example 30 includes technical matters according to Examples 14-29. Here, the capability information includes at least one of the following. Information about the processing power of the mobile computing device, or the quality of the network connection of the mobile computing device.
実施例31は、メディア編集のための方法であり、以下のステップを含んでいる。ビデオ編集器において、ビデオ編集器のユーザによって選択されたクエリパラメータを含んでいるメディアクエリを構築するステップと、ビデオ編集器において、メディアクエリをメディアプログラムの動的コンテンツスロットと関連付けるステップと、ビデオ編集器からクラウド分析サービスへメディアクエリを送信するステップと、ビデオ編集器において、メディアクエリに応じてクラウド分析サービスからクエリ結果を受信するステップであり、クエリ結果はモバイルコンピューティングデバイスによって制作されるメディアクリップを特定しているステップと、ビデオ編集器において、メディアプログラムに応じてビデオ出力を生成するステップであり、ビデオ出力は動的コンテンツスロットの中にインサートされたクエリ結果において特定されるメディアクリップを含んでいるステップ、である。 Example 31 is a method for media editing and includes the following steps. Constructing a media query including a query parameter selected by a user of the video editor at the video editor; associating the media query with a dynamic content slot of the media program at the video editor; Sending a media query from the cloud analytics service to the cloud analytics service from the device and receiving, in the video editor, query results from the cloud analytics service in response to the media query, wherein the query results are media clips produced by the mobile computing device. Generating a video output according to the media program in the video editor, wherein the video output is added to the query result inserted into the dynamic content slot. The step of containing the media clip is identified Te is.
実施例32は、実施例31に係る技術的事項を含んでいる。ここで、ビデオ出力を生成することは、ユーザからの指示なく、クエリ結果において特定されたメディアクリップを動的コンテンツスロットの中に自動的にインサートすることを含んでいる。 The thirty-second embodiment includes the technical matters according to the thirty-first embodiment. Here, generating the video output includes automatically inserting the media clips identified in the query results into the dynamic content slot without instructions from the user.
実施例33は、実施例31と32に係る技術的事項を含んでいる。ここで、クエリ結果を受信すること、および、ビデオ出力を生成することは、お互いに同時に発生する。 The thirty-third embodiment includes technical matters according to the thirty-first and thirty-second embodiments. Here, receiving the query results and generating the video output occur simultaneously with each other.
実施例34は、実施例31−33に係る技術的事項を含んでいる。ここで、ビデオ出力を生成することは、ビデオ出力をビデオ消費者のビデオ機器に対して送信することを含んでいる。 Example 34 includes technical matters according to Examples 31 to 33. Here, generating the video output includes transmitting the video output to a video consumer's video device.
実施例35は、実施例31−34に係る技術的事項を含んでいる。本方法は、さらに、ビデオ編集器において、クエリ結果を含むユーザインターフェイスを表示するステップと、ビデオ編集器において、クエリ結果において特定された選択されたメディアクリップに係るユーザの選択を受信するステップを含んでいる。ここで、ビデオ出力を生成することは、動的コンテンツスロットの中にインサートされた選択されたメディアクリップを含むビデオ出力を生成することを含む。 Example 35 includes technical matters according to Examples 31 to 34. The method further includes displaying, at the video editor, a user interface that includes the query results, and receiving, at the video editor, a user selection for the selected media clip identified in the query results. In. Here, generating a video output includes generating a video output including the selected media clip inserted into the dynamic content slot.
実施例36は、実施例31−35に係る技術的事項を含んでいる。ここで、クエリ結果を含むユーザインターフェイスを表示すること、および、ビデオ出力を生成することは、お互いに同時に発生する。 Example 36 includes technical matters according to Examples 31 to 35. Here, displaying the user interface including the query results and generating the video output occur simultaneously with each other.
実施例37は、実施例31−36に係る技術的事項を含んでいる。ここで、ビデオ出力を生成することは、ビデオ出力をビデオ消費者のビデオ機器に対して送信することを含んでいる。 Example 37 includes technical matters according to Examples 31-36. Here, generating the video output includes transmitting the video output to a video consumer's video device.
実施例38は、実施例31−37に係る技術的事項を含んでいる。ここで、クエリパラメータを含むメディアクエリを構築することは、以下のうち少なくとも一つを含んでいる。メディアデータに関連する記述データを検索するためのメタデータクエリパラメータを含むメディアクエリを構築すること、メディアデータから抽出されたコンテンツデータを検索するためのメディアクエリパラメータを含むメディアクエリを構築すること、または、ユーザによって選択されたサンプルメディアクリップに基づいてサンプルメディアクエリパラメータを構築すること、である。 Example 38 includes technical matters according to Examples 31-37. Here, constructing the media query including the query parameter includes at least one of the following. Constructing a media query including metadata query parameters for retrieving descriptive data associated with the media data, constructing a media query including media query parameters for retrieving content data extracted from the media data, Or constructing sample media query parameters based on the sample media clips selected by the user.
実施例39は、実施例31−38に係る技術的事項を含んでいる。ここで、メディアクエリパラメータを含むメディアクエリを構築することは、キーワード、モバイルコンピューティングデバイスによって制作されたエンベッドされたメタデータ、感情ファクタ、場所、または日付、から選択されたメタデータクエリパラメータを含んでいる。 Example 39 includes the technical matters according to Examples 31 to 38. Here, constructing the media query including the media query parameters includes the metadata query parameters selected from keywords, embedded metadata produced by the mobile computing device, sentiment factor, location, or date. In.
実施例40は、実施例31−39に係る技術的事項を含んでいる。ここで、メディアクエリパラメータを含むメディアクエリを構築することは、焦点合致要求、安定性要求、照明要求、オーディオ情報要求、または動き要求、から選択されたメディアクエリパラメータを含んでいる。 Example 40 includes the technical matters according to Examples 31 to 39. Here, constructing the media query including the media query parameter includes a media query parameter selected from a focus matching request, a stability request, a lighting request, an audio information request, or a motion request.
実施例41は、実施例31−40に係る技術的事項を含んでいる。ここで、メディアクエリパラメータを含むメディアクエリを構築することは、さらに、顔面検出一致オプション、オブジェクト検出一致オプション、テキスト検出一致オプション、カラー一致オプション、またはオーディオチューン一致オプション、から選択されたサンプルメディアクエリパラメータを含んでいる。 Example 41 includes technical matters according to Examples 31-40. Here, constructing the media query including the media query parameters further comprises selecting a sample media query selected from a face detection match option, an object detection match option, a text detection match option, a color match option, or an audio tune match option. Contains parameters.
実施例42は、実施例31−41に係る技術的事項を含んでいる。ここで、メディアクエリを構築することは、ユーザからメディアクエリのためのスケジュール出力日付を受信することを含んでおり、かつ、ビデオ出力の生成は、スケジュールされた出力日付に発生する。 Example 42 includes the technical matters according to Examples 31-41. Here, constructing the media query includes receiving a scheduled output date for the media query from the user, and generating the video output occurs at the scheduled output date.
実施例43は、実施例31−42に係る技術的事項を含んでいる。ここで、メディアクエリをクラウド分析サービスへ送信することは、メディアクエリのスケジュールされた出力日付に基づいて、クラウドリソースのスケジューリングをリクエストすることを含んでいる。 Example 43 includes technical matters according to Examples 31-42. Here, sending the media query to the cloud analytics service includes requesting scheduling of cloud resources based on the scheduled output date of the media query.
実施例44は、実施例31−43に係る技術的事項を含んでいる。ここで、クラウドリソースのスケジューリングをリクエストすることは、以下のうち少なくとも一つを含んでいる。メディアクエリのスケジュールされた出力日付に基づいてクラウド計算リソースの事前の割り当てをリクエストすること、メディアクエリのスケジュールされた出力日付に基づいてクラウドストレージリソースの事前の割り当てをリクエストすること、メディアクエリの場所に基づいてクラウド計算リソースの事前の割り当てをリクエストすること、または、メディアクエリの場所に基づいてクラウドストレージリソースの事前の割り当てをリクエストすること、である。 Example 44 includes the technical matters according to Examples 31 to 43. Here, requesting scheduling of a cloud resource includes at least one of the following. Requesting pre-allocation of cloud computing resources based on the scheduled output date of the media query, requesting pre-allocation of cloud storage resources based on the scheduled output date of the media query, location of the media query Requesting pre-allocation of cloud computing resources based on the media query or requesting pre-allocation of cloud storage resources based on the location of the media query.
実施例45は、実施例31−44に係る技術的事項を含んでいる。ここで、クエリ結果を受信することは、モバイルコンピューティングデバイスによって制作されたビデオクリップ、オーディオクリップ、または静止画像、のうち少なくとも一つを特定するクエリ結果を受信することを含んでいる。 The forty-fifth embodiment includes the technical items according to the thirty-first to forty-fourth embodiments. Here, receiving the query result includes receiving a query result specifying at least one of a video clip, an audio clip, or a still image produced by the mobile computing device.
実施例46は、複数のモバイルコンピューティングデバイスによって取得されたメディアを収集するための方法であり、以下のステップを含んでいる。ビデオ編集器からクラウド分析サーバーを用いて、受入れ可能なメディアデータのクライテリアを定める受入れポリシを含んでいるメディアクエリを受信するステップと、受入れポリシをクラウド分析サーバーから複数のモバイルコンピューティングデバイスに対して送信するステップと、クラウド分析サーバーを用いて、受入れポリシの受信に応じてモバイルコンピューティングデバイスから送信されたメディアデータを受信するステップ、である。 Example 46 is a method for collecting media acquired by a plurality of mobile computing devices, and includes the following steps. Receiving, using the cloud analytics server from the video editor, a media query including an acceptance policy defining acceptable media data criteria; and transmitting the acceptance policy from the cloud analytics server to the plurality of mobile computing devices. Transmitting and using the cloud analytics server to receive media data transmitted from the mobile computing device in response to receiving the acceptance policy.
実施例47は、実施例46に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、受入れポリシに基づいてモバイルコンピューティングデバイスにメディア取得設定を調整させることを含んでいる。 The forty-seventh embodiment includes the technical matters according to the forty-sixth embodiment. Here, transmitting the acceptance policy includes causing the mobile computing device to adjust the media acquisition settings based on the acceptance policy.
実施例48は、実施例46と47に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、さらに、受入れポリシのフォーマットパラメータに基づいてモバイルコンピューティングデバイスにメディアデータのフォーマットを設定させることを含んでいる。 The forty-eighth embodiment includes the technical matters according to the forty-sixth and forty-seventh embodiments. Here, transmitting the acceptance policy further includes causing the mobile computing device to set the format of the media data based on the format parameter of the acceptance policy.
実施例49は、実施例46−48に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、さらに、受入れポリシの解像度パラメータに基づいてモバイルコンピューティングデバイスにメディアデータの解像度を設定させることを含んでいる。 Example 49 includes technical matters according to Examples 46-48. Here, transmitting the acceptance policy further includes causing the mobile computing device to set a resolution of the media data based on a resolution parameter of the acceptance policy.
実施例50は、実施例46−49に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、受入れポリシに基づいてモバイルコンピューティングデバイスに取得支援ユーザインターフェイスを表示させることを含んでいる。 Example 50 includes technical matters according to Examples 46-49. Here, transmitting the acceptance policy includes causing the mobile computing device to display an acquisition assistance user interface based on the acceptance policy.
実施例51は、実施例46−50に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、さらに、受入れポリシに基づいてモバイルコンピューティングデバイスにメディアデータのコンテンツを定めるディスプレイインストラクションを表示させることを含んでいる。 Embodiment 51 includes technical matters according to Embodiments 46-50. Here, transmitting the acceptance policy further includes causing the mobile computing device to display display instructions that define the content of the media data based on the acceptance policy.
実施例52は、実施例46−51に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、受入れポリシが満足されていると判断しているモバイルコンピューティングデバイスに応じて、モバイルコンピューティングデバイスにメディアデータを送信させることを含んでいる。 Example 52 includes technical matters according to Examples 46-51. Here, transmitting the acceptance policy includes causing the mobile computing device to transmit media data in response to the mobile computing device determining that the acceptance policy is satisfied.
実施例53は、実施例46−52に係る技術的事項を含んでいる。ここで、受入れポリシを送信することは、モバイルコンピューティングデバイスの能力が受入れポリシの能力パラメータを満足するか否かをモバイルコンピューティングデバイスに判断させることを含んでいる。 Embodiment 53 includes the technical matters according to Embodiments 46 to 52. Here, transmitting the acceptance policy includes causing the mobile computing device to determine whether the capabilities of the mobile computing device satisfy the capability parameters of the acceptance policy.
実施例54は、実施例46−53に係る技術的事項を含んでいる。ここで、能力が受入れポリシの能力パラメータを満足するか否かを判断することは、以下のうち少なくとも一つを含んでいる。(i)モバイルコンピューティングデバイスの処理能力が能力パラメータを満足するか否かを判断すること、または、(ii)モバイルコンピューティングデバイスのネットワーク接続品質が能力パラメータを満足するか否かを判断すること、である。 Example 54 includes technical matters according to Examples 46-53. Here, determining whether the capability satisfies the capability parameter of the acceptance policy includes at least one of the following. (I) determining whether the processing capability of the mobile computing device satisfies the capability parameter, or (ii) determining whether the network connection quality of the mobile computing device satisfies the capability parameter. ,.
実施例55は、実施例46−54に係る技術的事項を含んでいる。ここで、受入れポリシが満足されるか否かを判断することは、モバイルコンピューティングデバイスにおいて、以下のうち少なくとも一つに基づいて受入れポリシが満足されているか否かを判断することを含んでいる。メディアデータにおいて表わされる顔面の検出、メディアデータにおいて表わされるオブジェクトの検出、メディアデータにおいて表わされるテキストの検出、または、メディアデータにおいて表わされるオーディオチューンの検出、である。 Example 55 includes technical matters according to Examples 46-54. Here, determining whether the acceptance policy is satisfied includes, at the mobile computing device, determining whether the acceptance policy is satisfied based on at least one of the following. . Detection of a face represented in media data, detection of an object represented in media data, detection of text represented in media data, or detection of audio tune represented in media data.
実施例56は、実施例46−55に係る技術的事項を含んでいる。本方法は、さらに、以下のステップを含んでいる。クラウド分析サーバーを用いて、メディアデータを処理するステップと、クラウド分析サーバーを用いて、メディアデータの処理に基づいてメディアデータが受入れポリシを満足するか否かを判断するステップと、クラウド分析サーバーを用いて、メディアデータの一部が受入れポリシを満足しないとの判断に応じてメディアデータの一部を拒否するステップと、を含んでいる。 Embodiment 56 includes technical matters according to Embodiments 46 to 55. The method further includes the following steps. Processing the media data using the cloud analysis server; determining whether the media data satisfies the acceptance policy based on the processing of the media data using the cloud analysis server; Rejecting a portion of the media data in response to a determination that the portion of the media data does not satisfy the acceptance policy.
実施例57は、実施例46−56に係る技術的事項を含んでいる。ここで、メディアデータを処理することは、以下のうち少なくとも一つを含んでいる。メディアデータにおいて表わされる顔面を検出すること、メディアデータにおいて表わされるオブジェクトを検出すること、メディアデータにおいて表わされるテキストを検出すること、または、メディアデータにおいて表わされるオーディオチューンを検出すること、である。 Example 57 includes technical matters according to Examples 46 to 56. Here, processing the media data includes at least one of the following. Detecting a face represented in the media data, detecting an object represented in the media data, detecting text represented in the media data, or detecting an audio tune represented in the media data.
実施例58は、実施例46−57に係る技術的事項を含んでいる。ここで、本方法は、さらに、クラウド分析サーバーを用いて、メディアデータの処理に先立ってメディアデータが受入れポリシを満足するか否かを判断するステップ、を含んでいる。 Example 58 includes the technical matters according to Examples 46-57. Here, the method further includes using the cloud analysis server to determine whether the media data satisfies the acceptance policy prior to processing the media data.
実施例59は、実施例46−58に係る技術的事項を含んでいる。ここで、メディアデータの処理に先立ってメディアデータが受入れポリシを満足するか否かを判断することは、以下のうち少なくとも一つを含んでいる。(i)メディアデータに関連するメタデータが受入れポリシの場所パラメータを満足する場所を含んでいるか否かを判断すること、(ii)メディアデータのフォーマットが受入れポリシのフォーマットパラメータを満足するか否かを判断すること、または、(iii)クラウド分析サーバーにおいて、モバイルコンピューティングデバイスから能力情報を受信するステップであり、能力情報は、モバイルコンピューティングデバイスのメディア取得能力を定めるものであって、かつ、能力情報が受入れポリシの能力パラメータを満足するか否かを判断するステップ、である。 Embodiment 59 includes technical matters according to Embodiments 46 to 58. Here, determining whether the media data satisfies the acceptance policy before processing the media data includes at least one of the following. (I) determining whether the metadata associated with the media data includes a location that satisfies the location parameter of the acceptance policy; and (ii) determining whether the format of the media data satisfies the format parameter of the acceptance policy. Or (iii) receiving capability information from the mobile computing device at the cloud analytics server, the capability information defining the media acquisition capability of the mobile computing device; and Determining whether the capability information satisfies the capability parameter of the acceptance policy.
実施例60は、実施例46−59に係る技術的事項を含んでいる。ここで、フォーマットがフォーマットパラメータと一致するか否かを判断することは、メディアデータの解像度が受入れポリシの解像度パラメータを満足するか否かを満足することを含む。 Example 60 includes technical matters according to Examples 46-59. Here, determining whether or not the format matches the format parameter includes satisfying whether or not the resolution of the media data satisfies the resolution parameter of the acceptance policy.
実施例61は、実施例46−60に係る技術的事項を含んでいる。ここで、能力情報を受信することは、以下のうち少なくとも一つを含んでいる。(i)モバイルコンピューティングデバイスの処理能力についての情報、または、(ii)モバイルコンピューティングデバイスのネットワーク接続品質、である。 Example 61 includes technical matters according to Examples 46-60. Here, receiving the capability information includes at least one of the following. (I) information about the processing capability of the mobile computing device, or (ii) the network connection quality of the mobile computing device.
実施例62は、実施例46−61に係る技術的事項を含んでいる。ここで、メディアデータを受信することは、ビデオデータ、オーディオデータ、または静止画像データ、のうち少なくとも一つを受信することを含んでいる。 Example 62 includes technical matters according to Examples 46-61. Here, receiving the media data includes receiving at least one of video data, audio data, and still image data.
実施例63は、プロセッサと、保管された複数のインストラクションを有しているメモリを含む。インストラクションがプロセッサによって実行されると、コンピューティングデバイスに実施例31−62に係る方法を実施させる。 Embodiment 63 includes a processor and a memory having a plurality of stored instructions. The instructions, when executed by the processor, cause the computing device to perform the methods of Examples 31-62.
実施例64は、プロセッサと、保管された複数のインストラクションを含んでいる一つまたはそれ以上のマシンで読取り可能な記録媒体を含む。インストラクションの実行に応じて、コンピューティングデバイスに実施例31−62に係る方法を結果として実施させる。 Example 64 includes a processor and one or more machine-readable storage media containing stored instructions. Upon execution of the instructions, the computing device causes the method according to Examples 31-62 to be performed as a result.
実施例65は、実施例31−62に係る方法を実施するための手段を含んでいるコンピューティングデバイスを含む。
上記の実施形態につき以下の付記を残しておく。
(付記1)
クエリ構築モジュールと、ビデオ編集モジュールと、ビデオ出力モジュールと、を含む、ビデオ編集器であって、
前記クエリ構築モジュールは、ビデオ編集器のユーザによって選択されたクエリパラメータを含んでいるメディアクエリを構築し、
前記ビデオ編集器は、
前記メディアクエリをメディアプログラムの動的コンテンツスロットに関連付け、
前記メディアクエリをクラウド分析サービスに送信し、かつ、
前記メディアクエリに応じて、前記クラウド分析サービスからクエリ結果を受信し、
前記クエリ結果は、モバイルコンピューティングデバイスによって制作されるメディアクリップを特定するものであり、
前記ビデオ出力モジュールは、
前記メディアプログラムに基づいて、ビデオ出力を生成し、
前記ビデオ出力は、前記動的コンテンツスロットの中にインサートされ前記クエリ結果において特定される前記メディアクリップを含む、
ビデオ編集器。
(付記2)
前記ビデオ出力を生成することは、
前記ユーザからの指示なしで、前記クエリ結果において特定された前記メディアクリップを自動的に前記動的コンテンツスロットの中にインサートすること、を含む、
付記1に記載のビデオ編集器。
(付記3)
前記ビデオ編集モジュールは、さらに、
前記クエリ結果を含むユーザインターフェイスを提示し、かつ、
前記クエリ結果において特定された選択されたメディアクリップに係るユーザの選択を受信する、
ように構成されており、
前記ビデオ出力を生成することは、前記動的コンテンツスロットの中にインサートされた前記選択されたメディアクリップを含むビデオ出力を生成すること、を含む、
付記1に記載のビデオ編集器。
(付記4)
前記ビデオ編集モジュールと前記ビデオ出力モジュールは、前記クエリ結果を受信し、かつ、お互いに同時に前記ビデオ出力を生成し、かつ、
前記ビデオ出力を生成することは、前記ビデオ出力をビデオ消費者のビデオ機器に対して送信すること、を含む、
付記2または3に記載のビデオ編集器。
(付記5)
前記クエリパラメータは、メディアデータに関連する記述データを検索するためのメタデータクエリパラメータを含み、
メディアクエリパラメータは、キーワード、前記モバイルコンピューティングデバイスによって制作されたエンベッドされたメタデータ、感情ファクタ、場所、または日付、から選択される、
付記1に記載のビデオ編集器。
(付記6)
前記クエリパラメータは、メディアデータから抽出されたコンテンツデータを検索するためのメディアクエリパラメータを含み、
前記メディアクエリパラメータは、焦点合致要求、安定性要求、照明要求、オーディオ情報要求、または動き要求、から選択される、
付記1に記載のビデオ編集器。
(付記7)
前記クエリパラメータは、前記ユーザによって選択されたサンプルメディアクリップに基づくサンプルメディアクエリパラメータを含み、
前記サンプルメディアクエリパラメータは、顔面検出一致オプション、オブジェクト検出一致オプション、テキスト検出一致オプション、カラー一致オプション、またはオーディオチューン一致オプション、から選択される、
付記1に記載のビデオ編集器。
(付記8)
前記メディアクエリをクラウド分析サーバーへ送信することは、
前記メディアクエリのスケジュールされた出力日付に基づいてクラウド計算リソースの事前の割り当てをリクエストすること、
前記メディアクエリのスケジュールされた出力日付に基づいてクラウドストレージリソースの事前の割り当てをリクエストすること、
前記メディアクエリの場所に基づいてクラウド計算リソースの事前の割り当てをリクエストすること、または、
前記メディアクエリの場所に基づいてクラウドストレージリソースの事前の割り当てをリクエストすること、
のうち一つを含む、
付記5乃至7いずれか1つに記載のビデオ編集器。
(付記9)
検索モジュールと、分析モジュールと、を含む、クラウド分析サーバーであって、
前記検索モジュールは、ビデオ編集器からメディアクエリを受信し、メディアは、受入れ可能なメディアデータのクライテリアを定義する受入れポリシを含み、
前記分析モジュールは、
前記受入れポリシを複数のモバイルコンピューティングデバイスへ送信し、かつ、
前記受入れポリシの受信に応じて、モバイルコンピューティングデバイスから送信されたメディアデータを受信する、
クラウド分析サーバー。
(付記10)
前記受入れポリシを送信することは、
前記受入れポリシに基づいて、前記モバイルコンピューティングデバイスにメディア取得設定を調整させること、および、
前記受入れポリシのフォーマットパラメータに基づいて、前記モバイルコンピューティングデバイスに前記メディアデータのフォーマットを設定させること、
を含む、付記9に記載のクラウド分析サーバー。
(付記11)
前記受入れポリシを送信することは、
前記受入れポリシに基づいて、前記モバイルコンピューティングデバイスに取得支援ユーザインターフェイスを表示させること、および、
前記受入れポリシに基づいて、前記モバイルコンピューティングデバイスにメディアデータのコンテンツを定めるインストラクションを表示させること、
を含む、付記9に記載のクラウド分析サーバー。
(付記12)
前記受入れポリシを送信することは、前記モバイルコンピューティングデバイスによる前記受入れポリシが満足されたとする判断に応じて、前記モバイルコンピューティングデバイスに前記メディアデータを送信させる、ことを含み、
前記判断は、
前記モバイルコンピューティングデバイスのメディア取得能力が前記受入れポリシの能力パラメータを満足するか否かを、前記モバイルコンピューティングデバイスによって判断すること、もしくは、
前記メディアデータにおいて表わされる顔面の検出、前記メディアデータにおいて表わされるオブジェクトの検出、前記メディアデータにおいて表わされるテキストの検出、または、前記メディアデータにおいて表わされるオーディオチューンの検出、のうち少なくとも一つに基づいて、前記モバイルコンピューティングデバイスによって判断すること、
のうち一つを含む、
付記9に記載のクラウド分析サーバー。
(付記13)
前記分析モジュールは、さらに、
前記メディアデータを処理し、
前記メディアデータの処理に基づいて前記メディアデータが前記受入れポリシを満足するか否かを判断し、かつ、
前記メディアデータの一部が前記受入れポリシを満足しないとの判断に応じて前記メディアデータの一部を拒否し、
前記メディアデータを処理することは、前記メディアデータにおいて表わされる顔面を検出すること、前記メディアデータにおいて表わされるオブジェクトを検出すること、前記メディアデータにおいて表わされるテキストを検出すること、または、前記メディアデータにおいて表わされるオーディオチューンを検出すること、のうち少なくとも一つを含む、
付記9に記載のクラウド分析サーバー。
(付記14)
前記分析モジュールは、さらに、
前記メディアデータの処理に先立って前記メディアデータが前記受入れポリシを満足するか否かを判断し、
前記メディアデータの処理に先立って前記メディアデータが前記受入れポリシを満足するか否かを判断することは、
前記メディアデータに関連するメタデータが前記受入れポリシの場所パラメータを満足する場所データを含んでいるか否かを判断すること、
前記メディアデータのフォーマットが前記受入れポリシのフォーマットパラメータを満足するか否かを判断すること、または、
前記モバイルコンピューティングデバイスから受信した能力情報が受入れポリシの能力パラメータを満足するか否かを判断することであり、前記能力情報は前記モバイルコンピューティングデバイスのメディア取得能力を定めるものであること、
のうち少なくとも一つを含む、
付記13に記載のクラウド分析サーバー。
(付記15)
前記モバイルコンピューティングデバイスの前記メディア取得能力は、
(i)前記モバイルコンピューティングデバイスの処理能力、または、
(ii)前記モバイルコンピューティングデバイスのネットワーク接続品質、
のうち少なくとも一つを含む、
付記12または14に記載のクラウド分析サーバー。
(付記16)
メディア編集のための方法であって、
ビデオ編集器において、前記ビデオ編集器のユーザによって選択されたクエリパラメータを含むメディアクエリを構築するステップと、
前記ビデオ編集器において、前記メディアクエリをメディアプログラムの動的コンテンツスロットと関連付けるステップと、
前記ビデオ編集器からクラウド分析サービスへ前記メディアクエリを送信するステップと、
前記ビデオ編集器において、前記メディアクエリに応じて前記クラウド分析サービスからクエリ結果を受信するステップであり、前記クエリ結果はモバイルコンピューティングデバイスによって制作されるメディアクリップを特定している、ステップと、
前記ビデオ編集器において、前記メディアプログラムに基づいてビデオ出力を生成するステップであり、前記ビデオ出力は前記動的コンテンツスロットの中にインサートされた前記クエリ結果において特定されるメディアクリップを含んでいるステップと、
を含む、方法。
(付記17)
前記ビデオ出力を生成するステップは、
(i)前記ユーザからの指示なく、前記クエリ結果において特定された前記メディアクリップを前記動的コンテンツスロットの中に自動的にインサートすること、
(ii)(a)前記クエリ結果を含むユーザインターフェイスを表示し、(b)前記クエリ結果において特定された選択されたメディアクリップに係るユーザの選択を受信し、かつ、(c)前記動的コンテンツスロットの中にインサートされた前記選択されたメディアクリップを含む前記ビデオ出力を生成すること、
のうち少なくとも一つを含む、
付記16に記載の方法。
(付記18)
前記クエリパラメータを含むメディアクエリを構築するステップは、
(i)メディアデータに関連する記述データを検索するためのメタデータクエリパラメータを含むメディアクエリを構築すること、
(ii)メディアデータから抽出されたコンテンツデータを検索するためのメディアクエリパラメータを含むメディアクエリを構築すること、または、
(iii)前記ユーザによって選択されたサンプルメディアクリップに基づいて、サンプルメディアクエリパラメータを含むメディアクエリを構築すること、
のうち少なくとも一つを含む、
付記16に記載の方法。
(付記19)
前記メディアクエリを構築することは、前記ユーザから前記メディアクエリのためのスケジュール出力日付を受信すること、を含み、
前記クラウド分析サービスへ前記メディアクエリを送信することは、
(i)前記メディアクエリのスケジュールされた出力日付に基づいてクラウド計算リソースの事前の割り当てをリクエストすること、(ii)前記メディアクエリの前記スケジュールされた出力日付に基づいてクラウドストレージリソースの事前の割り当てをリクエストすること、(iii)前記メディアクエリの場所に基づいてクラウド計算リソースの事前の割り当てをリクエストすること、または、(iv)前記メディアクエリの場所に基づいてクラウドストレージリソースの事前の割り当てをリクエストすること、
のうち少なくとも一つを含み、
前記スケジュールされた出力日付に発生するように前記ビデオ出力を生成すること、を含む、
付記16に記載の方法。
(付記20)
複数のモバイルコンピューティングデバイスによって取得されたメディアを収集するための方法であって、
ビデオ編集器からクラウド分析サーバーを用いて、受入れ可能なメディアデータのクライテリアを定める受入れポリシを含むメディアクエリを受信するステップと、
前記受入れポリシを前記クラウド分析サーバーから前記複数のモバイルコンピューティングデバイスに対して送信するステップと、
前記クラウド分析サーバーを用いて、前記受入れポリシの受信に応じて、モバイルコンピューティングデバイスから送信されたメディアデータを受信するステップと、
を含む、方法。
(付記21)
前記受入れポリシを送信することは、
前記受入れポリシに基づいて、前記モバイルコンピューティングデバイスにメディア取得設定を調整させること、
前記受入れポリシに基づいて、前記モバイルコンピューティングデバイスに取得支援ユーザインターフェイスを表示させること、または、
前記受入れポリシが満足されていると判断しているモバイルコンピューティングデバイスに応じて、前記モバイルコンピューティングデバイスに前記メディアデータを送信させること、
のうち少なくとも一つを含む、
付記20に記載の方法。
(付記22)
前記方法は、さらに、
前記クラウド分析サーバーを用いて、前記メディアデータを処理するステップであり、前記メディアデータの処理は、
前記メディアデータにおいて表わされる顔面を検出すること、前記メディアデータにおいて表わされるオブジェクトを検出すること、前記メディアデータにおいて表わされるテキストを検出すること、または、前記メディアデータにおいて表わされるオーディオチューンを検出すること、
のうち少なくとも一つを含む、ステップと、
前記クラウド分析サーバーを用いて、前記メディアデータの処理に基づいてメディアデータが前記受入れポリシを満足するか否かを判断するステップと、
前記クラウド分析サーバーを用いて、前記メディアデータの一部が前記受入れポリシを満足しないとの判断に応じて、前記メディアデータの一部を拒否するステップと、
を含む、付記20に記載の方法。
(付記23)
前記方法は、さらに、
前記クラウド分析サーバーを用いて、前記メディアデータの処理に先立って前記メディアデータが前記受入れポリシを満足するか否かを判断するステップ、を含み、
前記メディアデータの処理に先立って前記メディアデータが前記受入れポリシを満足するか否かを判断するステップは、
前記メディアデータに関連するメタデータが前記受入れポリシの場所パラメータを満足する場所を含んでいるか否かを判断すること、
前記メディアデータのフォーマットが前記受入れポリシのフォーマットパラメータを満足するか否かを判断すること、または、
前記モバイルコンピューティングデバイスから受信した能力情報が前記受入れポリシの能力パラメータを満足するか否かを判断し、前記能力情報は前記モバイルコンピューティングデバイスのメディア取得能力を定めるものであること、
のうち少なくとも一つを含む、
付記22に記載の方法。
(付記24)
プロセッサと、
複数のインストラクションが保管されたメモリと、を含み、
前記インストラクションが前記プロセッサによって実行されると、付記16乃至23いずれか1つに記載の方法を実施する、
コンピューティングデバイス。
(付記25)
付記16乃至23いずれか1つに記載の方法をコンピューティングデバイスに実行させるように構成された、
複数のインストラクションを有するコンピュータプログラム。
(付記26)
付記25に記載のコンピュータプログラムを記憶したコンピュータ読取り可能な記憶媒体。
Example 65 includes a computing device that includes means for performing the methods of Examples 31-62.
The following supplementary notes are left for the above embodiment.
(Appendix 1)
A video editor including a query construction module, a video editing module, and a video output module,
The query construction module constructs a media query including query parameters selected by a user of the video editor;
The video editor comprises:
Associating the media query with a dynamic content slot of a media program;
Sending the media query to a cloud analytics service; and
In response to the media query, receiving a query result from the cloud analytics service,
The query result identifies media clips produced by the mobile computing device;
The video output module includes:
Generating a video output based on the media program;
The video output includes the media clip inserted in the dynamic content slot and identified in the query result;
Video editor.
(Appendix 2)
Generating the video output comprises:
Automatically inserting the media clip identified in the query result into the dynamic content slot without instructions from the user.
The video editor according to
(Appendix 3)
The video editing module further comprises:
Presenting a user interface including the query result; and
Receiving a user selection for the selected media clip identified in the query result;
It is configured as
Generating the video output includes generating a video output including the selected media clip inserted into the dynamic content slot.
The video editor according to
(Appendix 4)
The video editing module and the video output module receive the query result and generate the video output simultaneously with each other; and
Generating the video output includes transmitting the video output to a video consumer video device.
The video editor according to attachment 2 or 3.
(Appendix 5)
The query parameters include metadata query parameters for searching for descriptive data associated with media data,
The media query parameter is selected from a keyword, embedded metadata produced by the mobile computing device, an emotion factor, a location, or a date.
The video editor according to
(Appendix 6)
The query parameters include media query parameters for searching for content data extracted from media data,
The media query parameter is selected from a focus matching requirement, a stability requirement, a lighting requirement, an audio information requirement, or a motion requirement;
The video editor according to
(Appendix 7)
The query parameters include sample media query parameters based on a sample media clip selected by the user;
The sample media query parameter is selected from a face detection match option, an object detection match option, a text detection match option, a color match option, or an audio tune match option.
The video editor according to
(Appendix 8)
Sending the media query to a cloud analytics server comprises:
Requesting pre-allocation of cloud computing resources based on the scheduled output date of the media query;
Requesting pre-allocation of cloud storage resources based on a scheduled output date of the media query;
Requesting a pre-allocation of cloud computing resources based on the location of the media query; or
Requesting pre-allocation of cloud storage resources based on the location of the media query;
Including one of
8. The video editor according to any one of supplementary notes 5 to 7.
(Appendix 9)
A cloud analytics server including a search module and an analytics module,
The search module receives a media query from a video editor, wherein the media includes an acceptance policy defining criteria for acceptable media data;
The analysis module comprises:
Sending the acceptance policy to a plurality of mobile computing devices; and
Receiving media data transmitted from a mobile computing device in response to receiving the acceptance policy;
Cloud analytics server.
(Appendix 10)
Sending the acceptance policy comprises:
Causing the mobile computing device to adjust media acquisition settings based on the acceptance policy; and
Causing the mobile computing device to set the format of the media data based on a format parameter of the acceptance policy;
The cloud analysis server according to claim 9, comprising:
(Appendix 11)
Sending the acceptance policy comprises:
Causing the mobile computing device to display an acquisition assistance user interface based on the acceptance policy; and
Causing the mobile computing device to display instructions defining the content of the media data based on the acceptance policy;
The cloud analysis server according to claim 9, comprising:
(Appendix 12)
Transmitting the acceptance policy includes causing the mobile computing device to transmit the media data in response to the mobile computing device determining that the acceptance policy has been satisfied,
The judgment is
Determining by the mobile computing device whether the media acquisition capability of the mobile computing device satisfies a capability parameter of the acceptance policy; or
Based on at least one of detecting a face represented in the media data, detecting an object represented in the media data, detecting a text represented in the media data, or detecting an audio tune represented in the media data. Determining by the mobile computing device;
Including one of
The cloud analysis server according to attachment 9.
(Appendix 13)
The analysis module further comprises:
Processing the media data,
Determining whether the media data satisfies the acceptance policy based on the processing of the media data, and
Rejecting part of the media data in response to the determination that a part of the media data does not satisfy the acceptance policy,
Processing the media data includes detecting a face represented in the media data, detecting an object represented in the media data, detecting a text represented in the media data, or Detecting at least one of the audio tunes represented in
The cloud analysis server according to attachment 9.
(Appendix 14)
The analysis module further comprises:
Prior to processing the media data, determine whether the media data satisfies the acceptance policy,
Determining whether the media data satisfies the acceptance policy prior to processing the media data,
Determining whether the metadata associated with the media data includes location data that satisfies location parameters of the acceptance policy;
Determining whether the format of the media data satisfies the format parameters of the acceptance policy, or
Determining whether the capability information received from the mobile computing device satisfies a capability parameter of an acceptance policy, wherein the capability information defines media acquisition capability of the mobile computing device;
Including at least one of
The cloud analysis server according to attachment 13.
(Appendix 15)
The media acquisition capability of the mobile computing device is:
(I) the processing capability of the mobile computing device, or
(Ii) network connection quality of the mobile computing device;
Including at least one of
The cloud analysis server according to attachment 12 or 14.
(Appendix 16)
A method for media editing,
At a video editor, constructing a media query including query parameters selected by a user of the video editor;
Associating the media query with a dynamic content slot of a media program at the video editor;
Sending the media query from the video editor to a cloud analytics service;
Receiving, at the video editor, query results from the cloud analytics service in response to the media query, wherein the query results identify media clips produced by a mobile computing device;
Generating, at the video editor, a video output based on the media program, wherein the video output includes a media clip identified in the query result inserted into the dynamic content slot. When,
Including, methods.
(Appendix 17)
Generating the video output comprises:
(I) automatically inserting the media clip identified in the query result into the dynamic content slot without instructions from the user;
(Ii) (a) displaying a user interface including the query result; (b) receiving a user selection for the selected media clip identified in the query result; and (c) the dynamic content. Generating the video output including the selected media clip inserted into a slot;
Including at least one of
The method according to supplementary note 16.
(Appendix 18)
Constructing a media query that includes the query parameter comprises:
(I) constructing a media query that includes metadata query parameters for retrieving descriptive data associated with the media data;
(Ii) constructing a media query that includes media query parameters for searching for content data extracted from the media data, or
(Iii) constructing a media query including sample media query parameters based on the sample media clip selected by the user;
Including at least one of
The method according to supplementary note 16.
(Appendix 19)
Constructing the media query includes receiving a schedule output date for the media query from the user;
Sending the media query to the cloud analytics service comprises:
(I) requesting pre-allocation of cloud computing resources based on a scheduled output date of the media query; (ii) pre-allocating cloud storage resources based on the scheduled output date of the media query. (Iii) requesting pre-allocation of cloud computing resources based on the location of the media query, or (iv) requesting pre-allocation of cloud storage resources based on the location of the media query To do,
Including at least one of
Generating the video output to occur on the scheduled output date;
The method according to supplementary note 16.
(Appendix 20)
A method for collecting media obtained by a plurality of mobile computing devices, comprising:
Receiving a media query from the video editor using the cloud analytics server, the media query including an acceptance policy defining acceptable media data criteria;
Transmitting the acceptance policy from the cloud analytics server to the plurality of mobile computing devices;
Using the cloud analytics server to receive media data transmitted from a mobile computing device in response to receiving the acceptance policy;
Including, methods.
(Appendix 21)
Sending the acceptance policy comprises:
Causing the mobile computing device to adjust media acquisition settings based on the acceptance policy;
Causing the mobile computing device to display an acquisition assistance user interface based on the acceptance policy; or
Causing the mobile computing device to transmit the media data in response to the mobile computing device determining that the acceptance policy is satisfied;
Including at least one of
The method according to attachment 20.
(Appendix 22)
The method further comprises:
Processing the media data using the cloud analytics server, wherein the processing of the media data comprises:
Detecting a face represented in the media data, detecting an object represented in the media data, detecting text represented in the media data, or detecting an audio tune represented in the media data. ,
A step comprising at least one of the following:
Using the cloud analytics server to determine whether the media data satisfies the acceptance policy based on the processing of the media data;
Using the cloud analytics server, rejecting a portion of the media data in response to a determination that a portion of the media data does not satisfy the acceptance policy;
21. The method according to claim 20, comprising:
(Appendix 23)
The method further comprises:
Using the cloud analytics server to determine whether the media data satisfies the acceptance policy prior to processing the media data,
Prior to processing the media data, determining whether the media data satisfies the acceptance policy,
Determining whether the metadata associated with the media data includes a location that satisfies a location parameter of the acceptance policy;
Determining whether the format of the media data satisfies the format parameters of the acceptance policy, or
Determining whether the capability information received from the mobile computing device satisfies the capability parameter of the acceptance policy, wherein the capability information defines media acquisition capability of the mobile computing device;
Including at least one of
23. The method according to supplementary note 22.
(Appendix 24)
A processor,
A memory in which a plurality of instructions are stored;
23. When the instructions are executed by the processor, perform the method according to any one of appendices 16 to 23;
Computing device.
(Appendix 25)
25. A method for causing a computing device to perform the method according to any one of appendixes 16 to 23,
A computer program having a plurality of instructions.
(Supplementary Note 26)
A computer-readable storage medium storing the computer program according to supplementary note 25.
100 システム
102 ビデオ編集器
104 クラウド分析サーバー
106 モバイルコンピューティングデバイス
108 ネットワーク
200、300、400 環境
602 メディアクエリビルダ
604、606、608 コントロールグループ
100
Claims (1)
前記検索モジュールは、ビデオ編集器からメディアクエリを受信し、前記メディアクエリは、受入れ可能なメディアデータのクライテリアを定義する受入れポリシを含み、
前記分析モジュールは、
前記受入れポリシを複数のモバイルコンピューティングデバイスへ送信し、かつ、
前記受入れポリシの受信に応じて、モバイルコンピューティングデバイスから送信されたメディアデータを受信し、
前記メディアクエリは、メタデータクエリパラメータ、メディアクエリパラメータ、および、サンプルメディアクエリパラメータ、のうち少なくとも一つを含み、即時の評価又は検索のため、もしくは、スケジュールされた評価又は検索のために、前記ビデオ編集器から提出され、かつ、
前記メディアクエリは、前記メディアクエリについてスケジュールされた日付けを受信して構築され、前記スケジュールされた日付けは、メディアプログラムの将来のブロードキャストまたはライブパフォーマンスに対応している、
クラウド分析サーバー。 A cloud analytics server including a search module and an analytics module,
The search module receives a media query from a video editor, the media query including an acceptance policy defining acceptable media data criteria;
The analysis module comprises:
Sending the acceptance policy to a plurality of mobile computing devices; and
Receiving media data transmitted from a mobile computing device in response to receiving the acceptance policy;
The media query includes at least one of a metadata query parameter, a media query parameter, and a sample media query parameter, for immediate evaluation or search, or for a scheduled evaluation or search, Submitted by the video editor , and
The media query is constructed by receiving a scheduled date for the media query, wherein the scheduled date corresponds to a future broadcast or live performance of a media program.
Cloud analytics server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017013838A JP6640130B2 (en) | 2017-01-30 | 2017-01-30 | Flexible cloud editing and multimedia search |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017013838A JP6640130B2 (en) | 2017-01-30 | 2017-01-30 | Flexible cloud editing and multimedia search |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016510661A Division JP6542199B2 (en) | 2013-05-20 | 2013-05-20 | Adaptive Cloud Editing and Multimedia Search |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017097913A JP2017097913A (en) | 2017-06-01 |
JP6640130B2 true JP6640130B2 (en) | 2020-02-05 |
Family
ID=58818025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017013838A Active JP6640130B2 (en) | 2017-01-30 | 2017-01-30 | Flexible cloud editing and multimedia search |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6640130B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220165304A1 (en) * | 2020-11-24 | 2022-05-26 | Nvidia Corporation | Trigger-responsive clip extraction based on remote analysis |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003150484A (en) * | 2001-11-14 | 2003-05-23 | Fuji Photo Film Co Ltd | Contents providing system and contents providing method |
JP4325447B2 (en) * | 2004-03-18 | 2009-09-02 | ヤマハ株式会社 | Content providing apparatus and program |
JP2006135515A (en) * | 2004-11-04 | 2006-05-25 | Nec Corp | System, device, and method for providing photographic information, and program |
US20080115170A1 (en) * | 2006-10-30 | 2008-05-15 | Qualcomm Incorporated | Methods and apparatus for recording and sharing broadcast media content on a wireless communication device |
US8935614B2 (en) * | 2009-12-08 | 2015-01-13 | At&T Intellectual Property I, L.P. | Method and apparatus for navigating a video program via a transcript of spoken dialog |
JP5622472B2 (en) * | 2010-07-29 | 2014-11-12 | ディップ株式会社 | Job search information providing system, job search information providing system web server, job search information providing system control method, and job search information providing system program |
-
2017
- 2017-01-30 JP JP2017013838A patent/JP6640130B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017097913A (en) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11837260B2 (en) | Elastic cloud video editing and multimedia search | |
US20190253474A1 (en) | Media production system with location-based feature | |
US11196788B2 (en) | Method and system for aggregating content streams based on sensor data | |
US20120078691A1 (en) | Systems and methods for providing multimedia content editing and management tools | |
US20160191591A1 (en) | Live crowdsourced media streaming | |
US10521481B2 (en) | Video-production system with social-media features | |
US20120075490A1 (en) | Systems and methods for determining positioning of objects within a scene in video content | |
WO2019047878A1 (en) | Method for controlling terminal by voice, terminal, server and storage medium | |
US8726157B2 (en) | Digital living network alliance (DLNA) client device with thumbnail creation | |
US20150100582A1 (en) | Association of topic labels with digital content | |
JP6640130B2 (en) | Flexible cloud editing and multimedia search | |
CN112052376A (en) | Resource recommendation method, device, server, equipment and medium | |
KR20200017466A (en) | Apparatus and associated method for providing video items | |
US20150074123A1 (en) | Video remixing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180827 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190121 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6640130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |