JP5996734B2 - 動画を自動的にアセンブリする方法およびシステム - Google Patents

動画を自動的にアセンブリする方法およびシステム Download PDF

Info

Publication number
JP5996734B2
JP5996734B2 JP2015137475A JP2015137475A JP5996734B2 JP 5996734 B2 JP5996734 B2 JP 5996734B2 JP 2015137475 A JP2015137475 A JP 2015137475A JP 2015137475 A JP2015137475 A JP 2015137475A JP 5996734 B2 JP5996734 B2 JP 5996734B2
Authority
JP
Japan
Prior art keywords
data
templates
video
scene
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015137475A
Other languages
English (en)
Other versions
JP2015201236A (ja
Inventor
インブルース、ダグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Publication of JP2015201236A publication Critical patent/JP2015201236A/ja
Application granted granted Critical
Publication of JP5996734B2 publication Critical patent/JP5996734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/08—Animation software package

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本願は、２００９年１０月２０日提出の米国仮特許出願第６１／２５３，２７５号明細書の優先権を主張する。
現在、一般消費者およびプロの出版業者は、インターネット用のマルチメディアコンテンツの作成を非常に煩雑な処理により行っている。
消費者は、マルチメディアを生成するために様々なオフラインツール（Ａｐｐｌｅ社のｉＭｏｖｉｅソフトウェア、Ｍｉｃｒｏｓｏｆｔ社のＰｏｗｅｒｐｏｉｎｔ等を含む）を利用する。これらツールの出力は、ユーザのハードドライブにセーブされてサイトにアップロードされることで、ユーザは友人や同僚たちとその出力を共有することができるようになる（ＹｏｕＴｕｂｅ（登録商標）、ＳｌｉｄｅＳｈａｒｅ等を利用することで）。プロの出版業者は、魅力的なマルチメディアを生成する使命があり、より高価なソフトウェアパッケージのセットを使って同じプロセスを行っている。テキスト重視のＳＥＲＰにおける従来のインターネット検索結果（「Search Engine Results Pages」：サーチエンジン結果ページ）では、探している情報を見つけるまでに、ユーザは複数のウェブサイトを訪れる必要がある。この体験は非常に煩雑で時間もかかる。
本発明の一実施形態は、動画を自動的にアセンブリする方法である。本実施形態の発明は、その動画の１つの主題に関する少なくとも１つの入力キーワードを受け付けて、テンプレートのセットにアクセスすることを含む。例えば、ユーザがタイプした１以上の単語を、メニューから選択したり、他のテキスト内で強調表示したりして、入力用に選択したり受け付けることができる。本実施形態では、各テンプレートは、異なるタイプの出力を生成し、各テンプレートは、表示時間、スクリーン位置、および動画パラメータ等のコンポーネントを含んでいる。本実施形態の発明は、さらに、少なくとも１つの入力キーワードおよびテンプレートに基づき電子検索を利用することで、複数のウェブサイトまたはデータコレクションからデータを取得して、取得したデータのなかから、テンプレートのセットにアセンブリするべきものを決定して、データがポピュレートされたテンプレートのアセンブリを調整して動画を形成して、形成された動画を、ユーザの再生用に返信することを含む。データを取得する動作には、複数のデータソースからデータを動的に取得することが含まれてもよい。図１は、動画を自動的にアセンブリする方法の一実施形態を示している。
本発明の別の実施形態は、動画を自動的にアセンブリするシステムである。この実施形態のシステムは、動画の１つの主題に関する少なくとも１つの入力キーワードを受け付けるために利用され、ユーザに提示するためのクエリインタフェースと、テンプレートのセットを有するデータベースを含む。この実施形態では、各テンプレートがそれぞれ異なるタイプの出力を生成して、表示時間、スクリーン位置、および動画パラメータのためのコンポーネントを含む。システムはさらに、少なくとも１つの入力キーワードとテンプレートとに基づいて、電子検索を利用して複数のウェブサイトまたはデータのコレクションからデータを取得する検索エンジンと、どのデータをテンプレートのセットにアセンブリするかを決定して、データがポピュレートされたテンプレートのアセンブリを調整して動画を形成するランタイムエンジンと、動画を、ユーザの再生用に提示する提示エンジンとを含む。
本発明の方法の一実施形態に関するフロー図である。 提示エンジンの一実施形態のブロック図である。 シーンのアセンブリを１枚の提示にする一実施形態を示す。 本発明の一実施形態における再生スクリーンのスクリーンショットを示す。 本発明の別の実施形態における再生スクリーンの第２のスクリーンショットを示す。 本発明におけるサーチエンジンの一実施形態のブロック図である。 正規化エンジンの一実施形態のブロック図である。 本発明の一実施形態における抽出エンジンのブロック図である。 本発明の一実施形態における選択エンジンのブロック図である。 本発明の一実施形態における動画エンジンのブロック図である。
＜Ａ．概略＞
本発明における、キーワードおよびストリング入力に基づき、動画メディアを動的にアセンブリする方法およびシステムは、いずれのキーワードによるインターネット検索においても優れたマルチメディアの結果を生成すること、および、一般消費者およびプロの出版業者双方が、ウェブ用に簡単にマルチメディアコンテンツを作成できるようになること、の２つを主な目的とする。
図１は、本発明の一実施形態における方法を示すフロー図である。本実施形態では、第１のステップ（ブロック２）で、動画のある主題に関する少なくとも１つの入力キーワード（例えば、ユーザがタイプした、またはメニューから選択した１以上の単語であってよい）を受け付ける。次のステップ（ブロック４）で、この１以上のキーワードを利用して、少なくとも１つの入力キーワードに基づき電子検索を利用して、複数のウェブサイトまたは他のデータコレクションから、データを探して取得する。データを取得するステップには、複数のデータソースからデータを動的に取得することが含まれてもよい。ブロック６で、方法は、１以上のテンプレートにアクセスすることができ、各テンプレートが、それぞれ異なる出力タイプのものである。例えば一実施形態では、各テンプレートが、それぞれ異なる出力タイプを生成して、各テンプレートが、表示時間、スクリーン位置、および動画パラメータについてのコンポーネントを含んでいる。一部の実施形態では、データの検索および取得は、一部には１または複数のテンプレートの要件に基づいていてもよい。
図１の実施形態の次のステップ（ブロック８）では、取得したデータのなかで、テンプレートまたはテンプレートのセットにアセンブリするものを決定する。一例としては、所望の提示または関連する表示に最も適したデータを１または複数のテンプレートにアセンブリすることができる。ブロック１０では、データがポピュレートされたテンプレートのアセンブリを調整して動画を形成する。このステップは、提示を形成するためにテンプレートの組成全体の観点から提示に一貫性をもたせるために行うことができる。ブロック１２では、形成された動画を、ユーザの再生用に送り返し、これにより方法が完了する（ブロック１４）。
＜１．コンテンツ作成＞
一実施形態において、キーワードおよびストリング入力またはコンテンツ選択に基づき、動的な動画メディアをアセンブリする方法およびシステムを利用することで、システムおよび方法は、一般消費者および出版業者が生成するテキストを評価して、このテキストを利用して、その場で（on the fly）、同じことを記述する、魅力的なマルチメディアを生成することができる。従って、説得力のあるマルチメディアコンテンツを生成するプロセスが劇的に簡単になる。
＜２．検索＞
通常、インターネットでキーワード検索をするユーザは、ＳＥＲＰを出力として受け取る（「Search Engine Results Pages」：サーチエンジン結果ページ）。現在のところ、これらページには、整合したとされるウェブページのリンクのリストとテキストの抜粋とが含まれている。これらウェブページの結果には、ユーザのクエリに整合する他のメディアタイプ（例えばニュース、画像等）が含まれていることもよくある。しかしながらウェブが発展して、マルチメディアコンテンツの消費量が劇的に増えるに連れて、この従来の検索が、関連する結果を検索できる能力を失い、利用意義が低くなってきている。
本発明の一実施形態におけるシステムは、ユーザの検索用語を評価して、その場で、ユーザのクエリの結果を提示するマルチメディアをアセンブリすることであり、これら結果が、ユーザの検索の、発話による定義であっても、ユーザによる特定の質問への返答であっても、特定の用語またはフレーズを利用してインターネット検索を行ったユーザの期待に沿った別の表示データ形式であってもよい。一実施形態では、次にソフトウェアが各提示物を保管して、他のユーザが、ブラウザベースの編集ツールセットを利用して提示物の精度を高めることを許可する。
＜３．提示物をアセンブリする＞
従って、本発明のシステムは、ホスト付サービスとして提供されるロバストな解決法となりうる。本発明のシステムは、一般的なインターネット検索結果を提示するマルチメディアを動的に作成するために利用することができ、また一部の用途では、ベンダー特定データを作成するために利用することができ、また、プログラムまたはこれらの作成方法の任意の組み合わせにより生成される、一般消費者またはプロの作成者が短いマルチメディアを作成するためにも利用することができる。さらには、プロの出版業者が動的なウェブデータのセットに基づいて魅力のあるマルチメディアを作成するための商用のウェブアプリケーションとしての機能も果たすこともでき、さらには、第三者がマルチメディア作成機能を直接自身のウェブアプリケーションに取り込む際に利用するＡＰＩとしての機能も果たすことができる。つまり、本システムは、一般消費者ユーザおよびプロの出版業者両方に、その場で魅力のあるマルチメディアを開発、消費させる迅速で簡単な解決法である。
以下の説明の大半はＸＭＬの利用に焦点を当てたものとなっている。これは、あくまで例示であり、他の言語およびデータタイプを本発明の範囲内で利用することもできる。加えて、シーンのタイプ、データのタイプ、および命令について詳細な例を挙げている。これらシーン、データのタイプ、および命令も例示にすぎず、本発明の範囲内で変更が可能である。
＜Ｂ．動画＞
一実施形態では、メディア作成エンジンは、予め作成され、カスタム定義されている「シーン」のライブラリに基づいており、このシーンは、提示エンジンが表示する、マシンまたはユーザがカスタマイズするＸＭＬ入力（あるいはその他のタイプの入力）により統括される。図２は、これら提示エンジン２０を、シーン２２および動画再生２４機能の表示とともに示している。
提示エンジン２０（さらに図２で「Ｑｗｉｋｉ提示エンジン」と称する場合もある）は、以下を動画で示す、予め作成されたシーン２２を含んでいる。動画で示されるものとは、つまり、テキストの標準ストリング、テキストの箇条書きのリスト、画像およびビデオ、日付、品質格付け（「星５つ」）、アドレスおよびマップ、線グラフ、パイチャート、タイムライン、レンジ、インターネットＵＲＬ、「はい／いいえ」データポイントである。
各シーン２２は、上述したデータタイプのいずれかを含んでいる。また、任意であるが、複数のデータタイプを含む新たなシーン２２を、ＸＭＬマークアップで（図２に一例を示す）作ってもよく、開発者は新たなタイプのシーンをその場で定義してもよい。シーンのタイプの例としては、テキストの脇に地図を表示するようなタイプ、または、地方の企業の星による格付け、等が考えられる。
一実施形態では、各動画は、最大で１４シーンからなる連続シーンからなっていてよく、各シーンが２−３秒であり、１−２秒間の遷移期間がある。本発明の範囲には、幅広い範囲のシーンの数や、各シーンの時間が含まれうる。
＜１．マスターデータタイプ＞
一実施形態について記述するように、各提示の概観および印象は、提示の再生を統括するＸＭＬ文書により定義される。一実施形態では、提示を定義するＸＭＬ文書の作成における第１のステップでは、提示再生用に７つの主要な選択肢に値を割り当てる。つまり、記述名、音楽ｍｐ３ＵＲＬ、ナレーションテキストまたはナレーションｍｐ３ＵＲＬ、背景画像、サイズ、含まれるシーンおよび再生順序、開始モード（再生またはブラウズ）である。
加えて本実施形態では、スクリーン上の動作を調整する任意の提示全体に関わる幾つかのＸＭＬコンポーネントが存在している。加えて、他のコンポーネントを利用することもできる。これらの例には、以下が含まれる。つまり、「表示時間」：シーンがみられる期間（提示エンジンで自動計算してもよいし、ユーザ固有の選択肢としてもカスタマイズすることもできる）。「移動」：プレーヤに対してシーンのスクリーン上のＸＹ位置を設定する。「フルスクリーン」に設定されている場合、そのシーンは、表示期間中は、プレーヤの全場面を占有する。「遷移」パラメータ：各シーンが別のシーンに遷移する方法を、人間が読み取れる名称でアドレス指定された、予め作成済みの遷移ライブラリから選択することで、統括する。オンクリック（ｏｎＣｌｉｃｋ）：マウスでクリックされたときに、新たなウィンドウで開かれるＵＲＬを指定している。
含まれるシーンおよび再生順序は、各シーンのタイプ固有のプログラム命令セットによって、主要な再生選択肢をリストにしたものと同じファイル（ＸＭＬファイル等）内で定義することができる。本発明の範囲内で数多くのタイプのシーン構造が利用可能であり、以下のシーン構造が含まれている。
１．テキスト
■ＸＭＬデータタイプ名：「テキスト」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 背景色
○ テキストタイトル
○ テキスト本体
○ フォント色
○ フォントサイズ
２．箇条書きのテキストリスト
■ＸＭＬデータタイプ名：「リスト」
■デフォルトコンポーネント
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 背景色
○ リストごとのリストタイトル
■ リストアイテムテキスト
○ フォント色
○ フォントサイズ
３．画像
■ＸＭＬデータタイプ名：「画像」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 画像ＵＲＬ
○ ＫｅｎＢｕｒｎｓ
■開始ＸＹ１
■開始ＸＹ２
■終了ＸＹ１
■終了ＸＹ２
○ キャプション
４．メディア
■ＸＭＬデータタイプ名：「メディア」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ メディアＵＲＬ
５．日付
■ＸＭＬデータタイプ名：「日付」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 背景色
○ 日付
○ テキストタイトル
○ テキスト本体
○ フォント色
○ フォントサイズ
○ 効果
６．格付け
■ＸＭＬデータタイプ名：「格付け」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ テキストタイトル
○ 格付け値
○ 格付け範囲開始
○ 格付け範囲終了
○ 空の格付け画像ＵＲＬ
○ 半分の格付け画像ＵＲＬ
○ 完全な格付け画像ＵＲＬ
○ フォント色
○ フォントサイズ
７．アドレスおよびマップ
■ＸＭＬデータタイプ名：「マップ」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ タイトル
○ Ｌａｔ
○ 長い
８．線グラフ
■ＸＭＬデータタイプ名：「線＿グラフ」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ タイトル
○ Ｘ軸ラベル
○ Ｙ軸ラベル
○ タイトル色
○ グラフ色
○ 背景色
○ テキストサイズ
○ データごとの点
■Ｘ値
■Ｙ値
■ラベル
９．パイチャート
■ＸＭＬデータタイプ名：「パイ＿チャート」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 背景色
○ タイトル
○ フォント色
○ フォントサイズ
○ スライスごとに
■ラベル
■百分率
■テキスト色
■スライス色
■テキストサイズ
１０．タイムライン
■ＸＭＬデータタイプ名：「タイムライン」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 背景色
○ タイトル
○ テキスト色
○ テキストサイズ
○ 線の色
○ イベントごとに
■タイトル
■日付
■記述
■画像ＵＲＬ
１１．レンジ
■ＸＭＬデータタイプ名：「レンジ」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 背景色
○ テキストタイトル
○ フォント色
○ フォントサイズ
○ レンジ開始
○ レンジ終了
１２．インターネットＵＲＬ
■ＸＭＬデータタイプ名：「ウェブページ」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 背景色
○ テキストタイトル
○ テキスト本体
○ フォント色
○ フォントサイズ
○ ＵＲＬ
○ サムネールＵＲＬ
１３．「はい／いいえ」データポイント
■ＸＭＬデータタイプ名：「データ＿ポイント」
■デフォルトコンポーネント：
○ 表示時間
○ 移動
■初期＿状態（ＸＹ座標）
■最終＿状態（ＸＹ座標）
○ ｏｎＣｌｉｃｋ
○ 遷移
●シーン固有コンポーネント：
○ 背景色
○ ラベル
○ 値（「はい／いいえ／中立」）
○ フォント色
○ フォントサイズ
これらとともにマスター設定、および、各シーンのラベルおよび設定が組み合わせられて、単一のファイル（ＸＭＬファイル等）が形成され、このファイルをランタイムにおいて提示エンジンが解釈して、ユーザに提示する動画が生成される。
＜２．カスタムシーンの定義＞
一実施形態では、スクリプト言語（一例を挙げるとＸＭＬスクリプト言語であるが、これに限定はされない）を利用することで、別の、既存のデータタイプを含む新たなシーンを定義することができる（つまり、前に言及したマップの例で、テキストのシーンとマップのシーンとを単一の、新たなタイプの、企業アドレス用のシーンを作成すること等）。
一実施形態では、前述した１３個のコンポーネントの、予め作成されたシーン、または、開発者が定義する新たなカスタムシーンのいずれかを、３ｘ３のＸＹグリッド３０（図３参照）の座標に基づく表示動画内の位置を特定することで、単一の新たなシーン内に配置することもできる。これらのシーン構成は、人間が読むことのできる名称を割り当てて、後の再利用およびアドレス指定のために格納しておく。
＜３．動画および再生＞
ここで述べる提示をユーザに採用させるための１つの側面は、どのように、テンプレートに含まれる情報を、関連する映画またはビデオクリップとしてリンク付けおよび提示するかである。
先ず一実施形態では、ロードの際に提示エンジンが、図４に示す方法で、再生を定義するＸＭＬから読み出すことで、最初から最後まで動画を再生する。このプレーヤの一番下の「チャプターメニュー」を参照するとお分かりのように、このメニューを利用して、ユーザは、提示内に含まれているどのシーンに関してもプレビュー、早送り等を行うことができる。
図４は、一方が画像を含み他方がテキストを含む２つのシーの間の遷移のスクリーンキャプチャーを示す。
どの時点においても、ユーザは、さらに、再生を中断して、ブラウズボタンをクリックして（ビデオのどこであっても構わない）、浮遊するテンプレート（floating templates）をブラウズして、手動でこれらを拡張／崩壊させてから、制御バーで再生ボタン４２を押して再生を再開させることができる。一例については図５を参照のこと。
さらに、異なるタイプのシーン同士で、双方向トリガを利用して再生を中断させることもできる。例えば、ユーザが「もっと読む」ボタンをテキストシーンでクリックした場合、どのテキストテンプレートであっても、この時点で再生を中断して、ユーザは、そのときスクリーン上に表示されているものを超える、さらなるテキストを読むためのスクロールを許可される。
＜Ｃ．検索＞
本発明の一部の実施形態の検索方法は、用語およびフレーズに対する意味論的な理解に基づいて、マルチメディア特性の割り当てを統括する規則セットによって、ウェブページ上、または、テキストのストリング内に見つかる構造化されたデータを正規化する一連の技術に基づいている。
検索エンジンにある１つまたは１セットのキーワードを入力すると、情報が整合するかは、人間の編集者、公になっているデータ、ベンダーの私的なデータ、および本発明のシステムが改良したデータにより選択される公にアドレス指定可能なＡＰＩで、一連のデータソースを検索することで評価することができる。通常は、各ソースが、情報の固有の垂直線を表している（Ｗｉｋｉｐｅｄｉａの一般知識またはレストラン検索に関するＹｅｌｐ＆Ｃｉｔｙｓｅａｒｃｈを参照のこと）。
予め選択されたデータソースにばっちりヒットするものがない場合には、検索エンジンは、検索範囲を広げてウェブその他のデータベースを検索して、上述した１３個のデフォルトシーンタイプ（画像、タイムライン、日付、格付け等）に対応する構造化されたデータセットを、キーワード入力に整合するものとして特定されたウェブページまたはデータベースから取得する。図６にこのような検索を示し、ここでは、データソース６２から構造かされたデータ６６が取得されている様子が示されている。図６では、検索エンジン６０が整合するものを見つけるたびに、情報をユーザに提示するときには、元のデータソース６２へのリンクを含めている。この例では、情報はインターネット６４を介して提示されている。例示ではあるが、図６は、３つのデータソース６２と、４セットの構造化されたデータ６６を示している。
一部の実施形態では、検索エンジンは、認識したデータを全て抽出して、一時的なデータ保管場所に格納して、次の動画関連検索結果：正規化（the next step of animating coherent search results: normalization）の際に利用する。
＜１．構造化されたデータ分析によるマルチメディア正規化＞
構造化されたデータソースまたは自由な形式のウェブページから抽出した各データを注意深く分析することにより、提示エンジンは、データに含まれる情報のキーとなる部分を提示しており、必要ないずれかの方法でデータを補強するべく内部プロセスセットにより補間された、短い１−３秒の動画を生成する。動画の長さは本発明の範囲において様々であってよいが、例えば１秒未満、３秒を超える時間等が含まれる。
図７は、この正規化プロセスを実行する正規化エンジン７０を示す。この、各データの分析、コンポーネントの個々の部分の特定、各部分の特性の認識、および、動画値（animated value）またはＩＤの各部分への割り当て、「正規化」として知られている。図７では、正規化エンジン７０は、構造化されたデータ７２（この例では、３セットの構造化されたデータ７２が存在している）を受信して、このデータを分析して、このコンポーネントの個々の部分を特定して、値を割り当て、正規化されたデータをシーン７４（ここでは３つのシーン７４が示されている）に出力する。
例えば、Ｃｉｔｙｓｅａｒｃｈウェブページで地方の企業の品質格付けを示すある構造化されたデータは、以下のように示される（Ｃｉｔｙｓｅａｒｃｈ．ｃｏｍウェブサイトからの抜粋である）。
このストリングを分析して、そのコンポーネントの個々の部分を抽出して（この場合には、品質格付けの範囲、および、このスケールのこの特定の企業の値）、ＸＭＬマークアップ（またはその他の言語）で書き直して、動画の再生を統括するデータを準備する。以下に、動画の再生を統括する構造の一例を示す。
この正規化プロセスは、あるキーワードに整合するものであると認識された全てのデータについて行うことができる。
データをＸＭＬ（または別の言語）に変換した後で、提示エンジンは、認識されたデータそれぞれを生成して一時的なデータ保管場所に格納して、エンジンによる後の優先付けおよび提示に備えさせる。
＜２．自由な形式のストリングを利用するマルチメディアの正規化＞
検索クエリに呼応してマルチメディアＸＭＬ定義「シーン」を動的に生成することに加えて、提示エンジンは、ユーザまたは出版業者が提出する任意のストリングセットについてマルチメディアを生成する機能を有する。このプロセスにより、提示エンジンは、個々のトピック、日々の活動、または、数行または一段落の記述（例えば、１００−３００文字のテキスト等）に適した任意の他の目的に対する魅力的な動画を生成することができる。
この場合、提示エンジンは、構造化されたデータソースについてのテキストブロック内の同じ正規化スキームを適用することができ、エンジンに提出したタイミングで、ストリングから、認識されたデータのタイプを分析、抽出する。
例えば以下のテキストは、提示エンジンが認識する４つのデータタイプを含んでいる。
「１０／９／０７：ニューヨークシティのランドマークレストランで食事。＊＊＊。バーガーは少し焼きすぎ。」
・１０／９／０７は、Ｑｗｉｋｉの日付タイプとして認識および格納されている。
・ニューヨークシティのランドマークレストランが、マップの位置として認識、格納される。
・＊＊＊は、星による品質格付けとして認識および格納される。
・各テキストセンテンスを、動画にすべきテキストとして認識、格納する。
・アップロードまたは添付された画像／メディアを全てそう認識する。
従ってストリングは、例えば以下のＸＭＬを生成する。
データをＸＭＬに変換した後で、検索結果をアセンブリしたものと同じプロセスで、提示エンジンは、認識されたデータをそれぞれ生成して一時的なデータ格納場所内に格納して、エンジンによる後の優先付けおよび提示に備えさせることができる。
＜３．ナレーションの抽出＞
記述テキストまたは検索結果のストリングに係るマルチメディア体験のコアは、スクリーン上の動作を記述するナレータに関している。提示エンジンは、生成された動画の内容との間で調節されたテキストから音声への変換ソフトウェア（例えば第三者ソフトウェアであってよい）と統合されており、プレーヤで提示される情報を補う、一貫性のあるナレーションを提示する。
正確なナレーションを提供するためには、一実施形態では、画像（visuals）内に提示されているデータに整合するナレーションの段落を、ソースデータから特定する必要がある（このデータが、予め選択されたソースであるか、大きなウェブであるか）。図８は、ナレーションの抽出エンジン８０の一実施形態を示す。この実施形態では、ナレーション抽出エンジン８０は、ナレーション規則セット８２（ナレーション接続詞を含んでもよい）を適用して、スクリーン上のメディアをナレーション８４として補うことのできるテキストを特定する。
一例として、このナレーションプロセスには、ナレーション接続詞である「である（is a）」「であった(was a)」「である(has been)」の特定、または、「略歴」または「プロフィール」等のタイトルおよび／またはＭＥＴＡタグ等のナレーションを意味する単語を含むソースの特定を含み、スクリーン上のメディアをナレーションとして補うことのできる任意のテキストを適切に特定することができる。ナレーション接続詞の特定プロセスの一例を、あくまで例示として、以下のテキストに示す。ここでは、「バリー・メイヤー」をウェブ検索することで見つかったテレビスタジオの幹部を記述している。http://www.timewamer.com/corp/management/executives_by_business/warner_bros/bio/meyer_barry.html タイトル：「タイムワーナー−バリーＭ．メイヤー」 メタ記述：「バリーＭ．メイヤーの略歴…」 ナレーションの抜粋： バリーＭ．メイヤー氏は、娯楽業界で最も有名な重役の１人であり、１９９４年４月からワーナー・ブラザーズの執行副社長と最高執行責任者とを兼任した後に、１９９９年１０月４日より、最高経営責任者の役職についている。
複数のナレーションが特定された場合には、提示エンジンは、ストリング分析を行い、全ての整合するもののなかで最も類似度の高い項目を含むナレーションテキストを決定して、最終的には、最も包括的な利用可能なナレーションを選択する。
＜Ｄ．音楽選択＞
一部の実施形態では、動画に付随させる音楽を選択する一次的な方法を、提示に付随させるために、選択したナレーションの記述を分析して、動画に含める用途で民間の音楽供給会社が許可している数千ものトラックを示す３０００個のキーワードの１つを検索することで行う（１００万個以上の同義語にマッピングされている）。
オーディオエンジンに取り込まれる各トラックが、そのペース、テンポ、およびオーディオの「性質」を示すカテゴリーおよび期間を含んでいてよい。これらタグは、各曲を手動評価する人間の編集者が記録してよい。
一部の実施形態では、サウンドエフェクトも準備して、スクリーン上のデータのタイプおよび量と合致するように動的に提示する（つまり、視認できる最も多い文字数を有するテキストシーンが、文字数の少ないものよりも、より長い「タイピング」サウンドエフェクトを有する、ということである）。図９は、音楽選択エンジンの一実施形態を示す。この実施形態では、音楽選択エンジン９０は、テキスト入力９２を受信して、キーワードおよび同義語９４を利用して、テキスト入力９２を検索して整合するものを探し、その後、音声ライブラリ９６を利用して、そのシーンに整合する音楽または音声を見つける。楽譜９８は、音楽選択エンジン９０を利用してこのプロセスから得ることができる。
＜１．動画アセンブリおよび優先付け＞
全てのシーンをテキストまたは検索ソースの分析により生成すると、提示エンジンは、そこに含まれている情報、および、そのデータの出所に関する情報に基づいて、各データタイプを評価して、品質格付けを割り当てることができる。
その後、データタイプを動画に、その品質格付けに従って、本発明の一実施形態で利用可能な以下の規則に従い、アセンブリする。
●各データタイプが、デフォルトのスコアを有する。
○画像およびビデオ：１２
○アドレスおよびマップ：１１
○箇条書きのテキストのリスト：６，＋１を各項目に与える
○日付：９
○タイムライン：８
○品質格付け（「星５つ」）：７
○線グラフ：６
○パイチャート：５
○レンジ：４
○「はい／いいえ」データポイント：２
○インターネットＵＲＬ：３
○標準的なテキストストリング：１
●デフォルトスコアを以下の規則および人間の入力および機械学習技術に基づいて開発したさらなる規則について修正する。
○手動入力を有するデータタイプに、手動編集が行われるたびに＋１ポイントを付与する。
○ウェブページのサムネールからの画像に、＋１ポイント付与する。
○キャプション内の画像に＋１ポイント付与する。
○ソースデータ内にリンクされている大文字の複数の用語を含むフレーズに基づくテキストであって、画像が添付されている場合、＋２ポイントを付与する。
○ソースデータ内にリンクされている用語に基づくテキストに、＋１ポイントを付与する。
○大文字ではないリンクされている用語に基づくテキストは、−１ポイントとする。
一部の実施形態では、データタイプをそのスコアに従って降順にアセンブリすると、以下の規則（および、人間の入力および機械学習技術に基づいて開発されたさらなる規則）を利用して、最大で１４個のシーンに優先順位を付け、以下のようにする。
●画像またはメディアタイプと、画像でもメディアでもないタイプとの比率が１：１であるべきである。
●画像は常に動画を開始するべきである。
●可能であれば、同じデータタイプのシーンが連続再生されないようにする。
●ナレーションの８０％を超える比率が繰り返しであるテキストシーンは破棄する。
●全てのシーンは、その内容の長さに応じて、スクリーン上の時間の計算量を受け、１００文字または１００画素ごとに１秒で、文字数または画像のサイズにより構築される。
これらのルールを適用することで、提示エンジンは、入力によく対応したＸＭＬファイルを生成することができるようになり、これらが提示エンジンにより解釈されて、本願の冒頭で説明した動画に関する処理と合致した方法でユーザに表示することができるようになる。図１０は、動画エンジン１００を、動画優先付けのＸＭＬ命令１０４およびシーン優先ルールセット１０２と組み合わせた一実施形態である。動画エンジン１００及びルールセット１０２は、動画優先付け１０４用にシーン１０６を編成することができる。
上述した方法は、含めるべき情報を決定する１つの方法ではあるが、本発明の範囲内で、他の方法を利用することもできる。
ここで記載したように、提示エンジンは、テキストのパッセージその他の文字数字列（または列のセット）またはプルダウンメニューから選択したクエリまたはスクリーン上で選択したテキストからなる入力を受け付ける。応答として、入力の意味論的な意味を定義する（またはこれに対応する）短い（１分以下）の動画提示をアセンブリする。各動画は、その場で生成された、動的に描画されたマルチメディア「シーン」のセットを含む。これ以外の実施形態も本発明の範囲には含まれている。
上述したコンポーネント同士を組み合わせて、本発明の一実施形態における１つのシステムを形成することもできる。この実施形態では、例えばシステムが、動画のある主題に関する少なくとも１つの入力キーワードを受け付けるためのクエリインタフェース、少なくとも２つのテンプレートのセットを有するデータベース、複数のウェブサイトからデータを取得する検索エンジン、テンプレートのセットにアセンブリするべきデータを決定するランタイムエンジン、および、ユーザによる再生用に、動画を提示する動画エンジンを含むことができる。ランタイムエンジンには、例えば、上述した正規化エンジン、抽出エンジン、および選択エンジンが含まれてよい。加えて、本発明の一実施形態における提示エンジンは、クエリインタフェース、データベース、正規化エンジン、抽出エンジン、選択エンジン、および、動画エンジンをそれぞれ含んでよい。検索エンジンは、複数のデータソースからデータを動的に取得することができる。
本発明を例示である実施形態を参照して説明してきたが、当業者には、本発明の精神および範囲を逸脱せずに本発明について記載した実施形態に様々な変更が可能であることを理解する。従って、上述した記載例は、本発明の範囲を限定するものではなく、本発明の範囲は、請求項によってのみ限定されるべきである。

Claims (16)

  1. 動画を自動的にアセンブリする方法であって、
    前記動画の１つの主題に関する少なくとも１つの入力キーワードを受け付ける段階と、
    予め作成されたタイプのシーンを表している各テンプレートがそれぞれ異なるタイプの出力を生成して、表示時間、スクリーン位置、および動画パラメータのコンポーネントを含む、少なくとも２つのテンプレートからなるセットにアクセスする段階と、
    シーンのタイプに基づいて、再生用に前記テンプレートのセットに優先付けする段階と、
    前記少なくとも１つの入力キーワードと前記少なくとも２つのテンプレートからなるセットとに基づいて、電子検索を利用して複数のデータソースからデータを取得する段階と、
    取得したデータのうち、どれを前記テンプレートのセットにアセンブリするかを決定する段階と、
    データがポピュレートされたテンプレートのアセンブリを調整して前記動画を形成する段階と、
    前記動画を、ユーザの再生用に返信する段階と
    を備える方法。
  2. 前記データを取得する段階は、
    インターネット検索およびウェブページからのデータの取得を含む請求項１に記載の方法。
  3. 前記テンプレートのセットに優先付けする段階は、
    あるタイプのシーンと別のタイプのシーンとの比率に基づいて、再生用に前記テンプレートのセットに優先付けする請求項１に記載の方法。
  4. 前記シーンは、テキスト、画像、および、メディアを含む請求項１に記載の方法。
  5. 前記動画は、前記動画の再生を定義する命令を含む請求項１に記載の方法。
  6. 前記決定する段階は、
    前記動画の前記テンプレートのセットへ含める場合を想定して、データを分析して、前記データに値を割り当てる段階を有する請求項１に記載の方法。
  7. 再生中に前記動画を補うためのナレーションテキストを特定する段階をさらに備える請求項１に記載の方法。
  8. 前記少なくとも１つのキーワードに基づいて前記動画に整合する音楽または音声を決定する段階をさらに備える請求項１に記載の方法。
  9. 前記データを取得する段階は、
    複数のデータソースからデータを動的に取得する段階を有する請求項１に記載の方法。
  10. 動画を自動的にアセンブリするシステムであって、
    前記動画の１つの主題に関する少なくとも１つの入力キーワードを受け付けるために利用され、ユーザに提示するためのクエリインタフェースと、
    予め作成されたタイプのシーンを表している各テンプレートがそれぞれ異なるタイプの出力を生成して、表示時間、スクリーン位置、および動画パラメータのコンポーネントを含む、少なくとも２つのテンプレートからなるセットを有するデータベースと、
    前記少なくとも１つの入力キーワードと前記少なくとも２つのテンプレートからなるセットとに基づいて、電子検索を利用して複数のデータソースからデータを取得する検索エンジンと、
    どのデータを前記テンプレートのセットにアセンブリするかを決定して、データがポピュレートされたテンプレートのアセンブリを調整して前記動画を形成するランタイムエンジンと、
    シーンのタイプに基づいて、再生用に前記テンプレートのセットに優先付けし、前記動画を、前記ユーザへの再生用に提示する動画エンジンと
    を備えるシステム。
  11. 前記複数のデータソースはウェブページである請求項１０に記載のシステム。
  12. 前記ランタイムエンジンは、
    前記動画の前記テンプレートのセットへ含める場合を想定して、データを分析して、前記データに値を割り当てる正規化エンジンを有する請求項１０に記載のシステム。
  13. 前記ランタイムエンジンは、
    再生中に前記動画を補うためのナレーションテキストを特定する抽出エンジンを有する請求項１２に記載のシステム。
  14. 前記ランタイムエンジンは、
    前記少なくとも１つのキーワードに基づいて前記動画に整合する音楽または音声を決定する選択エンジンを有する請求項１３に記載のシステム。
  15. 前記動画エンジンは、さらに、あるタイプのシーンと別のタイプのシーンとの比率に基づいて、再生用に前記テンプレートのセットに優先付けする請求項１０に記載のシステム。
  16. 動画を自動的にアセンブリするシステムであって、
    前記動画の１つの主題に関する少なくとも１つの入力キーワードを受け付ける手段と、 予め作成されたタイプのシーンを表している各テンプレートがそれぞれ異なるタイプの出力を生成して、表示時間、スクリーン位置、および動画パラメータのコンポーネントを含む、少なくとも２つのテンプレートからなるセットにアクセスする手段と、
    前記少なくとも１つの入力キーワードと前記少なくとも２つのテンプレートからなるセットとに基づいて、電子検索を利用して複数のデータソースからデータを取得する手段と、
    取得したデータのうち、どれを前記テンプレートのセットにアセンブリするかを決定する手段と、
    データがポピュレートされたテンプレートのアセンブリを調整して前記動画を形成する手段と、
    シーンのタイプに基づいて、再生用に前記テンプレートのセットに優先付けする手段と、
    前記動画を、ユーザの再生用に返信する手段と
    を備えるシステム。
JP2015137475A 2009-10-20 2015-07-09 動画を自動的にアセンブリする方法およびシステム Active JP5996734B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US25327509P 2009-10-20 2009-10-20
US61/253,275 2009-10-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012535246A Division JP2013508856A (ja) 2009-10-20 2010-10-13 キーワードおよびストリング入力に基づき、動画メディアをアセンブリする方法およびシステム

Publications (2)

Publication Number Publication Date
JP2015201236A JP2015201236A (ja) 2015-11-12
JP5996734B2 true JP5996734B2 (ja) 2016-09-21

Family

ID=43900621

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012535246A Pending JP2013508856A (ja) 2009-10-20 2010-10-13 キーワードおよびストリング入力に基づき、動画メディアをアセンブリする方法およびシステム
JP2015137475A Active JP5996734B2 (ja) 2009-10-20 2015-07-09 動画を自動的にアセンブリする方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012535246A Pending JP2013508856A (ja) 2009-10-20 2010-10-13 キーワードおよびストリング入力に基づき、動画メディアをアセンブリする方法およびシステム

Country Status (6)

Country Link
US (2) US9177407B2 (ja)
EP (1) EP2491536B1 (ja)
JP (2) JP2013508856A (ja)
KR (1) KR101715971B1 (ja)
CN (1) CN102754127B (ja)
WO (1) WO2011049799A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861890B2 (en) * 2010-11-24 2014-10-14 Douglas Alan Lefler System and method for assembling and displaying individual images as a continuous image
US10375534B2 (en) 2010-12-22 2019-08-06 Seyyer, Inc. Video transmission and sharing over ultra-low bitrate wireless communication channel
EP2705515A4 (en) 2011-05-06 2015-04-29 Seyyer Inc GENERATING VIDEO BASED ON TEXT
CN102682082B (zh) * 2012-04-07 2015-03-25 山东师范大学 基于内容结构特征的网络Flash搜索系统及搜索方法
US9721321B1 (en) * 2012-04-12 2017-08-01 Farshad Nayeri Automated interactive dynamic audio/visual performance with integrated data assembly system and methods
US9031927B2 (en) * 2012-04-13 2015-05-12 Ebay Inc. Method and system to provide video-based search results
US9396758B2 (en) 2012-05-01 2016-07-19 Wochit, Inc. Semi-automatic generation of multimedia content
US9524751B2 (en) 2012-05-01 2016-12-20 Wochit, Inc. Semi-automatic generation of multimedia content
US10303723B2 (en) * 2012-06-12 2019-05-28 Excalibur Ip, Llc Systems and methods involving search enhancement features associated with media modules
DE102012013989A1 (de) * 2012-07-12 2014-01-16 Hochschule Mittweida (Fh) Verfahren und Einrichtung zur automatischen Ordnung von Datensätzen zu einer bestimmten Datenmenge mit Datensätzen
US9223870B2 (en) 2012-11-30 2015-12-29 Microsoft Technology Licensing, Llc Decoration of search results by third-party content providers
CN104392729B (zh) * 2013-11-04 2018-10-12 贵阳朗玛信息技术股份有限公司 一种动画内容的提供方法及装置
US9553904B2 (en) 2014-03-16 2017-01-24 Wochit, Inc. Automatic pre-processing of moderation tasks for moderator-assisted generation of video clips
US11107038B2 (en) 2015-02-03 2021-08-31 PEOZZLE Corporation Multimedia resume distribution system
US9659219B2 (en) 2015-02-18 2017-05-23 Wochit Inc. Computer-aided video production triggered by media availability
CN104967897A (zh) * 2015-06-25 2015-10-07 上海庆科信息技术有限公司 一种应用于led显示屏上的显示方法及装置
US20170098324A1 (en) * 2015-10-05 2017-04-06 Vitthal Srinivasan Method and system for automatically converting input text into animated video
US20170316807A1 (en) * 2015-12-11 2017-11-02 Squigl LLC Systems and methods for creating whiteboard animation videos
JP6460347B2 (ja) * 2016-03-01 2019-01-30 京セラドキュメントソリューションズ株式会社 動画生成装置、動画生成プログラムおよび動画生成方法
US20180143741A1 (en) * 2016-11-23 2018-05-24 FlyrTV, Inc. Intelligent graphical feature generation for user content
CN109714624B (zh) * 2017-10-25 2021-11-09 武汉斗鱼网络科技有限公司 一种基于QTextEdit的直播弹幕的显示方法及系统
CN110020307B (zh) * 2017-11-30 2023-06-13 阿里巴巴集团控股有限公司 一种客户端视图的绘制方法和装置
CN109408051B (zh) * 2018-12-03 2021-12-28 福建省天奕网络科技有限公司 一种识别安卓游戏应用开发引擎的方法及终端
KR102005829B1 (ko) * 2018-12-11 2019-07-31 이수민 디지털 라이브 북 제작 시스템
TWI780333B (zh) * 2019-06-03 2022-10-11 緯創資通股份有限公司 動態處理並播放多媒體內容的方法及多媒體播放裝置
EP3997612A4 (en) * 2019-07-09 2023-07-19 Visuo Technology PTY Limited METHOD AND SYSTEM FOR PROCESSING AN IMAGE AND GENERATING A CONTEXTUALLY COHERENT VIDEO BASED ON IMAGES PROCESSED THEREOF
CN112614211B (zh) * 2020-12-29 2023-09-22 广州光锥元信息科技有限公司 用于文本、图像自适应排版及动画联动的方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2994996B2 (ja) * 1995-12-01 1999-12-27 松下電器産業株式会社 マルチメディア編集装置
AU2217700A (en) 1998-12-30 2000-07-31 Earthnoise.Com Inc. Creating and editing digital video movies
GB2354104A (en) * 1999-09-08 2001-03-14 Sony Uk Ltd An editing method and system
US7010537B2 (en) * 2000-04-27 2006-03-07 Friskit, Inc. Method and system for visual network searching
US20070239785A1 (en) * 2000-04-28 2007-10-11 Duncombe Jefferson D Media distribution system for distributing media that includes media personalities
US7248778B1 (en) 2001-03-16 2007-07-24 Gateway Inc. Automated video editing system and method
JP2003203088A (ja) * 2002-01-08 2003-07-18 Nippon Telegr & Teleph Corp <Ntt> プログラマブルコンテンツ提供方法および提供システム、送信端末、プログラム、記録媒体
US20040205515A1 (en) * 2003-04-10 2004-10-14 Simple Twists, Ltd. Multi-media story editing tool
US20050206751A1 (en) * 2004-03-19 2005-09-22 East Kodak Company Digital video system for assembling video sequences
US7836110B1 (en) * 2004-06-28 2010-11-16 MediaZ, Inc. Method and system to generate and deliver auto-assembled presentations based on queries of multimedia collections
US20060271855A1 (en) * 2005-05-27 2006-11-30 Microsoft Corporation Operating system shell management of video files
US8077179B2 (en) * 2005-07-11 2011-12-13 Pandoodle Corp. System and method for creating animated video with personalized elements
US7477254B2 (en) * 2005-07-13 2009-01-13 Microsoft Corporation Smooth transitions between animations
US8572088B2 (en) 2005-10-21 2013-10-29 Microsoft Corporation Automated rich presentation of a semantic topic
US7945848B2 (en) * 2006-06-21 2011-05-17 Microsoft Corporation Dynamically modifying a theme-based media presentation
US8812945B2 (en) * 2006-10-11 2014-08-19 Laurent Frederick Sidon Method of dynamically creating real time presentations responsive to search expression
US20080158230A1 (en) * 2006-12-29 2008-07-03 Pictureal Corp. Automatic facial animation using an image of a user
US20080163317A1 (en) * 2006-12-29 2008-07-03 Yahoo! Inc. Generation of video streams from content items
JPWO2008093630A1 (ja) * 2007-01-29 2010-05-20 株式会社Ａｃｃｅｓｓ 動画生成方法、動画生成プログラム、および動画生成装置
US8100766B2 (en) * 2007-03-23 2012-01-24 Electrified Games, Inc. Method and system for personalized digital game creation
US20080244373A1 (en) * 2007-03-26 2008-10-02 Morris Robert P Methods, systems, and computer program products for automatically creating a media presentation entity using media objects from a plurality of devices
US8966369B2 (en) * 2007-05-24 2015-02-24 Unity Works! Llc High quality semi-automatic production of customized rich media video clips
US20080306995A1 (en) * 2007-06-05 2008-12-11 Newell Catherine D Automatic story creation using semantic classifiers for images and associated meta data
US8934717B2 (en) 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US7945847B2 (en) * 2007-06-26 2011-05-17 International Business Machines Corporation Recasting search engine results as a motion picture with audio
US8145632B2 (en) * 2008-02-22 2012-03-27 Tigerlogic Corporation Systems and methods of identifying chunks within multiple documents
US8907984B2 (en) 2009-07-08 2014-12-09 Apple Inc. Generating slideshows using facial detection information
US9460068B2 (en) 2010-02-03 2016-10-04 Google Inc. Narrative-based media organizing system for transforming and merging graphical representations of digital media within a work area
US20120130834A1 (en) 2010-11-18 2012-05-24 Landry Lawrence B Method for remotely configuring a digital image display device
US8543586B2 (en) 2010-11-24 2013-09-24 International Business Machines Corporation Determining points of interest using intelligent agents and semantic data

Also Published As

Publication number Publication date
JP2013508856A (ja) 2013-03-07
WO2011049799A1 (en) 2011-04-28
US9177407B2 (en) 2015-11-03
US20110115799A1 (en) 2011-05-19
EP2491536A1 (en) 2012-08-29
US10096145B2 (en) 2018-10-09
KR20120132465A (ko) 2012-12-05
EP2491536A4 (en) 2013-03-27
KR101715971B1 (ko) 2017-03-13
US20160055664A1 (en) 2016-02-25
CN102754127A (zh) 2012-10-24
CN102754127B (zh) 2016-08-31
JP2015201236A (ja) 2015-11-12
EP2491536B1 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
JP5996734B2 (ja) 動画を自動的にアセンブリする方法およびシステム
US10325397B2 (en) Systems and methods for assembling and/or displaying multimedia objects, modules or presentations
Morris et al. Rich representations of visual content for screen reader users
US8156114B2 (en) System and method for searching and analyzing media content
US7912827B2 (en) System and method for searching text-based media content
CN106462640B (zh) 对多媒体内容进行的场境搜索
JP5229226B2 (ja) 情報共有システム、情報共有方法、および情報共有プログラム
US11166000B1 (en) Creating a video for an audio file
TW200937230A (en) Systems and methods for dynamic page creation
US20200151220A1 (en) Interactive representation of content for relevance detection and review
WO2012145561A1 (en) Systems and methods for assembling and/or displaying multimedia objects, modules or presentations
Yee Lubetzky's work principle
Serra et al. Quote Surfing in Music and Movies with an Emotional Flavor.
KR102251513B1 (ko) 기계학습을 이용한 셀럽의 소셜미디어 정보 기반 학습용 콘텐츠 생성 방법 및 장치
TWI780333B (zh) 動態處理並播放多媒體內容的方法及多媒體播放裝置
TWI399652B (zh) 文書頁面中註解聚合及傳遞系統與方法
WO2023003555A1 (en) Automated generation of immersive interfaces
Greschner Ravens, Simon. The Supernatural Voice: A History of High Male Singing
JP2023122236A (ja) セクション分割処理装置、方法およびプログラム
KR20120050153A (ko) 멀티미디어 플레이어 제공 장치 및 방법
KR20120050185A (ko) 멀티미디어 플레이어 제공 장치 및 방법
JP2011123851A (ja) 文の記述方法、構造化文の記述方法、検索用文データの統合方法、情報処理システム、情報処理装置、文データの記述手段を備えた情報処理装置、文データの検索手段を備えた情報処理装置、コンテンツの収録再生手段を備えた情報処理装置
Dusanowskyj Last. fm", Folksonomy, and New" Types of Music
Recuero et al. Document Information
Boulton Fine Art Image Classification Based on Text Analysis

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151029

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160824

R150 Certificate of patent or registration of utility model

Ref document number: 5996734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350