JP7199756B2 - ビデオメタデータと台本データを活用したビデオコンテンツ統合メタデータ自動生成方法およびシステム - Google Patents

ビデオメタデータと台本データを活用したビデオコンテンツ統合メタデータ自動生成方法およびシステム Download PDF

Info

Publication number
JP7199756B2
JP7199756B2 JP2021520997A JP2021520997A JP7199756B2 JP 7199756 B2 JP7199756 B2 JP 7199756B2 JP 2021520997 A JP2021520997 A JP 2021520997A JP 2021520997 A JP2021520997 A JP 2021520997A JP 7199756 B2 JP7199756 B2 JP 7199756B2
Authority
JP
Japan
Prior art keywords
video
script
metadata
scene
shots
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021520997A
Other languages
English (en)
Other versions
JP2022505092A (ja
Inventor
シク チョ、クン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inha Industry Partnership Institute
Original Assignee
Inha Industry Partnership Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inha Industry Partnership Institute filed Critical Inha Industry Partnership Institute
Publication of JP2022505092A publication Critical patent/JP2022505092A/ja
Application granted granted Critical
Publication of JP7199756B2 publication Critical patent/JP7199756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、ビデオ（Ｖｉｄｅｏ）とビデオの台本（Ｓｃｒｉｐｔ）からビデオコンテンツの多様な情報を記述し、ストーリーの理解をサポートするためにメタデータ（Ｍｅｔａｄａｔａ）を自動で生成する方法とそのシステムに関する。
本発明は、科学技術情報通信部および情報通信技術振興センターの大学ＩＣＴ研究センター育成支援事業の研究結果から導き出されたものである（課題管理番号：ＩＩＴＰ－２０１７－０－０１６４２、課題名：人工知能を活用したコンテンツ創作技術）。
ビデオコンテンツのメタデータ（Ｍｅｔａｄａｔａ）は、ビデオ自体の情報を記述するメタデータと、ビデオと関連のある情報を記述するメタデータとに区分される。例えば、ＭＰＥＧビデオ規格のＤＡＳＨ技術のうち、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）のようにメディアの送信に適したデータモデルにビデオのセグメント（Ｓｅｇｍｅｎｔ）情報を階層的に分離して表現するメタデータと、ＭＰＥＧ－４ＬＡＳｅＲまたはＭＰＥＧ－７のようにビデオ、音声とともに、ＸＭＬ形態でビデオコンテンツと関連する付加情報を記述するオブジェクトの位置、大きさ、登場時間、関連情報ＵＲＬなどをアノテーション（Ａｎｎｏｔａｔｉｏｎ）するメタデータとに分けられる。
このようにビデオの付加情報を記述するメタデータを使用する代表的な例として、インタラクティブビデオ（Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｄｅｏ）がある。インタラクティブビデオは、ビデオと相互作用が可能なオブジェクトなどを主にビデオ上に拡張し、ビデオ視聴者が該当のオブジェクトをクリックしたときに、ビデオと関連する付加情報を直ぐに取得することができて簡単に共有することができる新形態のビデオである。このようなインタラクティブビデオを生成するためには、視聴者の関心がありそうなビデオと関連する情報を選択し、これと関連する情報をインポートし、ビデオの特定の時点に多様な情報をアノテーション（Ａｎｎｏｔａｔｉｏｎ）してビデオのメタデータを生成する。
しかし、このようなビデオコンテンツのメタデータを生成するためには多くの時間と費用がかかる。さらに、メタデータとして使用される、ビデオコンテンツと関連のある有意味な情報は、ビデオだけで生成することが難しい。例えば、登場人物やビデオのストーリーに重要なオブジェクトがビデオから認識されたとしても、このような人物やオブジェクトの正確な名称を指定したり、人物と人物、事件と事件の関係性を類推したりする複雑な活用は決して簡単ではない。これを解決するために、ビデオからメタデータを生成することおよび台本を利用してメタデータを生成することで、ビデオの順序に合わせて多様な情報が盛り込まれたメタデータを自動で生成する方法が求められている。
本発明が達成しようとする技術的課題は、ビデオコンテンツと関連する多様な情報を有するメタデータを自動で生成するために、ビデオから多様な情報を抽出する技術、台本から有意味な情報を抽出する技術、およびビデオと台本との時間順序を整列してメタデータの使用性を高める方法とシステムを提供することにある。
一側面において、本発明が提案する、ビデオコンテンツのメタデータ自動生成システムは、台本処理部と互いに連結するためにビデオの入力を受けてビデオのショットおよびシーンを認識して整列する前処理過程を実行し、ビデオコンテンツを分析するビデオ処理部、ビデオ処理部と互いに連結するために台本の入力を受けて台本およびシーンを認識して整列する前処理過程を実行し、台本コンテンツを分析する台本処理部、前記ビデオ処理部で生成されたアノテーションメタデータを格納するアノテーション知識ベース、および前記台本処理部で生成されたナラティブメタデータを格納するナラティブ知識ベースを含み、アノテーション知識ベースとナラティブ知識ベースは、エピソード、シーケンス、シーン、およびショットを共有することで相互補完的に使用してメタデータを自動生成する。
ビデオ処理部は、入力されたビデオの毎フレーム間の類似度を測定し、類似度が予め定められた基準以上に急変するフレームの前後でビデオのショットを検出して区分し、区分されたビデオのすべてのショットで時空間が変わる時点を認識してビデオのシーンを検出する。
台本処理部は、半構造化された台本書式を分析し、台本から人物、発話、説明文、場所、時間を区分するために多様な形態の台本構造様式と入力された台本構造とを比較して適した台本様式を選択し、構造化（Ｓｔｒｕｃｔｕｒｅｄ）し、該当の様式が入力された台本によるものかを検証し、誤入力された様式が構造化結果として変形された場合は補正をし、台本の構造から台本のシーンを検出した情報をメタデータの階層構造として指定する。
ビデオと台本のシーン順序を一致させるためにビデオのあるシーンの発話を音声認識技術によって字幕化して台本の発話と文字列比較アルゴリズムを利用して１次整列した後、ダイナミックプログラミング技法を利用してビデオと台本のシーン順序を整列する。
台本をビデオのショット単位まで一致させるために、ビデオのシーン内に属するショット内の時間および音声テキスト情報を台本コンテンツ分析過程に伝達して処理する。
また他の側面において、本発明が提案する、ビデオコンテンツのメタデータ自動生成方法は、台本処理部と互いに連結するためにビデオの入力を受けてビデオのショットおよびシーンを認識する段階、ビデオ処理部と互いに連結するために台本の入力を受けて台本およびシーンを認識する段階、認識されたビデオシーンおよび台本シーンを整列する前処理過程を実行する段階、前処理されたビデオコンテンツを分析する段階、前処理された台本コンテンツを分析する段階、分析されたビデオコンテンツから生成されたアノテーションメタデータを格納する段階、および分析された台本コンテンツから生成されたナラティブメタデータを格納する段階を含み、アノテーション知識ベースとナラティブ知識ベースは、エピソード、シーケンス、シーン、およびショットを共有することで相互補完的に使用してメタデータを自動生成する。
台本処理部と互いに連結するためにビデオの入力を受けてビデオのショットおよびシーンを認識する段階は、人物およびオブジェクトの認識により、あるショット内でショットの最初、最後、およびあるショット内でフレーム間の類似度が急変する１つ以上のフレームをキーフレームとして指定し、キーフレームイメージから人物の外形、顔とオブジェクトの外形、およびカテゴリを認識してメタデータとして記録する。
ビデオ処理部と互いに連結するために台本の入力を受けて台本およびシーンを認識する段階は、台本ショット抽出段階において、前処理段階で構造化された台本の階層構造と付加情報を入力としてシーン単位で分けられた台本と、ビデオとしてのショット、シーン情報とビデオの音声字幕を入力として受け、あるビデオ内の発話と台本とを比較して整列することによって台本をショット単位で分ける。
前処理されたビデオコンテンツを分析する段階は、人物とオブジェクトが認識されれば、フレームキャプショニング段階において、人物と人物、人物とオブジェクト、オブジェクトとオブジェクトのすべての相対位置を計算し、場面を記述し、場面が記述されれば、ショットキャプショニング段階において、人物のポーズと相対位置を利用して行動を認識し、シーンキャプショニング段階で認識された行動のパターンに基づいて人物の活動を区分してストーリー中心的構造に割り当てて格納し、多様な情報をビデオで抽出してアノテーションメタデータとして格納する。
前処理された台本コンテンツを分析する段階は、台本をビデオのようにショット単位で分けた後、登場人物、空間、オブジェクト分析により、ビデオ内に登場する登場人物、空間、オブジェクトをすべてそれぞれクラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）して登場する人物、空間、オブジェクトのカテゴリを把握し、登場人物の場合は、登場人物と登場人物があるショットにともに登場した回数をカウントして人物との関係、さらにオブジェクトの名称を認識した後、登場人物、背景、空間をすべてセマンティック・ウェブとエンティティで連結させ、ダイアログ分析段階ですべての発話を分析して形態素（ＰＯＳ）、個体名（Ｎａｍｅｄ－Ｅｎｔｉｔｙ）、感情（Ｅｍｏｔｉｏｎ）、目的（Ｉｎｔｅｎｔ）、言行（Ｓｐｅｅｃｈ Ａｃｔ）、トーン（Ｔｏｎｅ）、敬称（Ｈｏｎｏｒｉｆｉｃ）を認識、すべての情報を各発話のメタデータとして格納し、プロット分析段階で分析された発話の言行と発話を分析して対話を事件単位で分け、事件の関係を分析して台本の起承転結を把握してナラティブメタデータとして格納する。
本発明の実施形態によると、ビデオコンテンツと関連する情報とビデオコンテンツの構造、さらにストーリーを理解することのできるビデオコンテンツの多様な情報を含んだメタデータを自動生成し、メタデータが活用される様々な場面で活用可能である。例えば、メタデータの活用は、生成されたメタデータで分けられたビデオ構造により、特定の時間に特定の情報をアノテーションするインタラクティブビデオのようにビデオコンテンツと関連する情報を簡単かつ迅速に得ようとするときにメタデータを活用することができ、ビデオコンテンツと関連する情報を検索（Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ）する場合、ビデオコンテンツを要約して要約されたビデオを生成する場合、ビデオの登場人物の発話特性を生かした人工知能チャットボット（Ｃｈａｔｂｏｔ）を生成する場合、場面情報に基づいて対話のコンテキスト（Ｃｏｎｔｅｘｔ）を認知するチャットボットを生成する場合のように、多様な用途に活用することができる。
本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成システムの構造を示した図である。 本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法で前処理過程を説明するためのシステム構造を示した図である。 本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法のうち、ビデオを分析してメタデータを生成する過程を示したフローチャートである。 本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法のうち、台本を分析してメタデータを生成する過程を示したフローチャートである。 本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法を説明するためのメタデータ蓄積過程を段階別に示したフローチャートである。 本発明の一実施形態における、生成したビデオコンテンツのメタデータを利用した活用例である。 本発明のまた他の実施形態における、生成したビデオコンテンツのメタデータを利用した活用例である。 本発明のさらに他の実施形態における、生成したビデオコンテンツのメタデータを利用した活用例である。
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
図１は、本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法を説明するためのシステム構造を簡略に示した図である。
図１の自動ビデオコンテンツメタデータ生成システム１００は、ビデオとビデオの台本の入力を受けてアノテーションメタデータとナラティブメタデータを出力するシステムであって、ビデオと台本をそれぞれ処理するビデオ処理部１１０と台本処理部１３０を含む。ビデオ処理部１１０と台本処理部１３０とを互いに連結するために、ビデオと台本のシーンを整列し、ショットを認識して整列する過程を前処理とし、台本とビデオからそれぞれ認識されたオブジェクトをシーンの順序に合うように整列する。アノテーションメタデータは、アノテーション知識ベース１２０に格納されて推論が可能であり、ＵＲＩを通じて容易にメタデータにアクセス可能なオントロジベースのデータ格納空間である。ナラティブメタデータは、ナラティブ知識ベース１３０に格納され、アノテーション知識ベースと同じような役割を担う。アノテーション知識ベース１２０とナラティブ知識ベース１３０は、エピソード、シーケンス、シーン、およびショットなどを共有することで相互補完的に使用してメタデータを自動生成する。
ビデオ処理部１１０は、入力されたビデオの毎フレーム間の類似度を測定し、類似度が予め定められた基準以上に急変するフレーム前後でビデオのショットを検出して区分し、区分されたビデオのすべてのショットで時空間が変わる時点を認識してビデオのシーンを検出する。
台本処理部１３０は、半構造化された台本書式を分析し、台本から人物、発話、説明文、場所、時間を区分するために多様な形態の台本構造様式と入力された台本構造とを比較して適した台本様式を選択し、構造化（Ｓｔｒｕｃｔｕｒｅｄ）する。また、該当の様式が入力された台本によるものであるかを検証し、誤入力された様式が構造化結果によって変形した場合は補正をし、台本の構造から台本のシーンを検出した情報をメタデータの階層構造として指定する。
この後、ビデオと台本のシーンの順序を一致させるために、ビデオのあるシーンの発話を音声認識技術によって字幕化して台本の発話と文字列比較アルゴリズムを利用して１次整列した後、ダイナミックプログラミング技法を利用してビデオと台本のシーンの順序を整列する。このとき、台本をビデオのショット単位まで一致させるために、ビデオのシーン内に属するショット内の時間および音声テキスト情報を台本コンテンツ分析過程に伝達して処理する。
図２は、本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法で前処理過程を説明するためのシステム構造を示した図である。
提案するビデオコンテンツのメタデータ自動生成方法は、台本処理部と互いに連結するためにビデオの入力を受けてビデオのショットおよびシーンを認識する段階、ビデオ処理部と互いに連結するために台本の入力を受けて台本およびシーンを認識する段階、認識されたビデオシーンおよび台本シーンを整列する前処理過程を実行する段階、前処理されたビデオコンテンツを分析する段階、前処理された台本コンテンツを分析する段階、分析されたビデオコンテンツから生成されたアノテーションメタデータを記録する段階、および分析された台本コンテンツから生成されたナラティブメタデータを記録する段階を含む。図２～４を参照しながら、ビデオコンテンツのメタデータ自動生成方法についてさらに詳しく説明する。
図２を参照すると、ショットおよびシーン区分段階２１０、台本検証およびシーン検出段階２３０、ビデオシーンおよび台本シーン整列段階２４０は、本方法の前処理部分に該当し、ビデオと台本から多様な情報を抽出するビデオコンテンツ分析段階２２０と台本コンテンツ分析段階２５０前に、ビデオのショット、シーンを検出して台本のシーンを区分する段階である。先ず、ショットおよびシーン区分段階２１０は、入力されたビデオの毎フレーム（Ｆｒａｍｅ）間の類似度を測定し、類似度が急変するフレーム前後でビデオのショットを検出（Ｓｈｏｔ Ｂｏｕｎｄａｒｙ Ｄｅｔｅｃｔｉｏｎ）して区分する。このように区分されたビデオのすべてのショットで時空間が変わる時点を認識してビデオのシーンを検出する。台本検証およびシーン検出段階２３０では、半構造化された（Ｓｅｍｉ－Ｓｔｒｕｃｔｕｒｅｄ）台本書式を分析し、台本から人物、発話、説明文、場所、時間を区分するために多様な形態の台本構造様式と入力された台本構造とを比較して適した台本様式を選択し、簡単に処理できるように構造化（Ｓｔｒｕｃｔｕｒｅｄ）し、該当の様式が入力された台本によるものであるかを検証し、誤入力された様式、例えば、人物名－発話の順に出現しければならない台本が構造化結果では人物名－人物名のように台本の構造が変形した場合には適切に補正をする。また、台本の構造から台本のシーンを検出し、その情報をメタデータの階層構造（Ｈｉｅｒａｒｃｈｙ）として指定する。このようにビデオのショット、シーン、台本のシーン情報を抽出した後、ビデオシーンおよび台本シーン整列段階２４０でビデオと台本のシーンの順序を整列する。シーンの順序を一致させるために、ビデオのあるシーンの発話を音声認識（Ｓｐｅｅｃｈ Ｔｏ Ｔｅｘｔ）技術によって字幕化して台本の発話と文字列比較アルゴリズムを利用して１次整列した後、ダイナミックプログラミング（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）技法を利用してビデオと台本のシーンの順序を整列する。このとき、ビデオのショットと台本の順序を一致させることは簡単ではない。その理由としては、台本はビデオの単位であるショット単位ではくシーン単位で分けられているためであり、ショット単位まで一致させるために、ビデオのシーン内に属するショット内の時間および音声テキスト情報２６０を台本コンテンツ分析過程に伝達して処理する。
図３は、本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法のうち、ビデオを分析してメタデータを生成する過程を示したフローチャートである。
先の前処理過程からビデオのショット、シーン階層構造２７０を通じて伝達されれば、先ず、人物およびオブジェクト認識３１０により、あるショット内でショットの最初、最後、さらにあるショット内でフレーム（Ｆｒａｍｅ）間の類似度が急変した１つ以上のフレームをキーフレームとして指定し、このキーフレームイメージから人物の外形（Ｃｏｎｔｏｕｒ）、顔、オブジェクトの外形、およびそのカテゴリを認識してメタデータとして格納する。人物とオブジェクトが認識されれば、フレームキャプショニング３２０段階において、人物の位置だけを認識するのではなく、人物と人物、人物とオブジェクト、オブジェクトとオブジェクトのすべての相対位置を計算し、人物の場合は人物の腕、脚、体の位置と形状を利用してポーズ（Ｐｏｓｅ）を認識して場面を記述する。このような情報が記述されれば、ショットキャプショニング３３０段階において、人物のポーズと相対位置を利用して行動（Ａｃｔｉｏｎ）を認識し、シーンキャプショニング３４０段階において、認識された行動のパターンに基づいて人物の活動（Ａｃｔｉｖｉｔｙ）を区分し、それぞれ事件（Ｅｖｅｎｔ）というストーリー中心的構造に割り当てて記録する。このように、多様な情報をビデオで抽出してアノテーションメタデータとして記録する。
図４は、本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法のうち、台本を分析してメタデータを生成する過程を示したフローチャートである。
台本ショット抽出４１０段階では２つの入力を受けるようになるが、前処理段階で構造化された台本の階層構造と付加情報２８０を入力としてシーン単位で分けられた台本と、ビデオのショット、シーン情報２６０とビデオの音声字幕の入力を受けてあるビデオ内の発話と台本と比較、整列して台本をショット単位で分ける段階である。台本をビデオと同じようにショット単位で分けた後、登場人物、空間、オブジェクト分析４２０により、ビデオ内に登場する登場人物、空間、オブジェクトをすべてそれぞれクラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）して登場する人物、空間、オブジェクトのカテゴリを把握し、登場人物の場合は、登場人物と登場人物があるショットにともに登場した回数をカウントすることによって人物との関係とオブジェクトの名称を認識した後、登場人物、背景、空間をすべてセマンティック・ウェブとエンティティでＥｎｔｉｔｙ Ｌｉｎｋｉｎｇさせ、より多くの付加情報をインポートできるようにする。ダイアログ分析４３０段階では、すべての発話を分析して形態素（ＰＯＳ）、個体名（Ｎａｍｅｄ－Ｅｎｔｉｔｙ）、感情（Ｅｍｏｔｉｏｎ）、目的（Ｉｎｔｅｎｔ）、言行（ＳｐｅｅｃｈＡｃｔ）、トーン（Ｔｏｎｅ）、敬称（Ｈｏｎｏｒｉｆｉｃ）を認識し、すべての情報を各発話のメタデータとして記録する。次に、プロット分析４４０では、分析された発話の言行と発話を分析して対話を事件（Ｅｖｅｎｔ）単位で分け、多くの事件間の関係を分析して台本の起承転結を把握してメタデータとして記録する。このように生成されたメタデータは、ナラティブメタデータとして格納する。
図５は、本発明の一実施形態における、ビデオコンテンツのメタデータ自動生成方法を説明するためのメタデータ蓄積過程を段階別に示したフローチャートである。
先ず、ビデオと台本の入力５１０を受け、台本を構造化５２０してビデオと台本の階層構造を分析してシーン、ショットの情報を追加する。この後、ビデオと台本内から多様な情報を認識して抽出してコンテンツ５３０情報を追加する。次に、ビデオと台本のストーリーを分析するために行動および発話の特性を分析し、事件５４０情報を生成して追加し、最後にメタデータ５５０を生成して知識ベースに追加する。
図６は、本発明の一実施形態における、生成したビデオコンテンツのメタデータを利用した活用例である。
ナラティブメタデータの情報を利用してビデオコンテンツのストーリーから重要な場面６１０を抽出し、サムネイルのスライドバー形態で下側に表示する。ユーザは、関心のある場面を直接クリックして場面を再生させることもできるし、画面上の検索ウィンドウ６２０を利用して直接検索することもできる。検索は、予約語ではない自然語（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ）で入力すれば、形態素分析、個体名認識により、登場人物、場所、行動のような主要単語を自動で抽出し、ＳＰＡＲＱＬ Ｑｕｅｒｙを自動で生成し、ナラティブ知識ベースとアノテーション知識ベースのＳＰＡＲＱＬ Ｅｎｄｐｏｉｎｔによって知識を検索し、該当する場面のビデオをインポートして画面に表示する。ビデオコンテンツと関連する情報を相互作用が可能な拡張オブジェクトとしてアノテーションし、認識された人物やオブジェクトの外郭線と人物の名称６３０を画面上に記すことによってクリック可能なオブジェクトであることを表示する。人物をクリックする場合は、人物の付加情報と人物と人物の関係図、人物と関連するシーン、事件などの情報が表示され、オブジェクトをクリックする場合は、オブジェクトがストーリーでどのような意味をもつものであるかを表示し、オブジェクトがインターネットで購入可能なものであれば、購入するための追加オブジェクト６５０を表示して直ぐに購入できるようにすることも可能である。
図７は、本発明のまた他の実施形態における、生成したビデオコンテンツのメタデータを利用した活用例である。
Ｎ－Ｓｃｒｅｅｎ環境において、ＴＶスクリーン７１０は、ビデオ再生プログラムとしてアノテーションメタデータとナラティブメタデータを生成するために使用したビデオを再生する。ビデオが再生されるときにモバイルデバイス７２０でも同時に同じビデオを再生し、ＴＶスクリーンのビデオとモバイルデバイスのビデオをソケット通信によってリアルタイムで再生時間を合わせて同期化７３０する。このように同期化されたビデオは、モバイルデバイスにビデオのように示されるビデオと関連するストーリー情報を表示するときにも、ビデオ時間と同期化して表示する。ビデオ上の顔バウンディングボックス７４０は、ビデオに登場する人物のうちで該当の場面のストーリーで重要な人物の顔をアノテーションメタデータのデータを利用して表示する。ナラティブメタデータにあるビデオのストーリー情報を要約し、人物関係７５０と場面ストーリー要約７６０のようなビデオと関連する付加情報を表示する。人物関係は、該当の場面のストーリーで極めて重要な人物の人物関係図を表示し、ビデオのストーリーを簡単に把握して登場人物の関係を把握するために表示する。場面ストーリーの要約は、該当の場面をナラティブメタデータのデータを利用して要約して表示する。このような付加情報により、ビデオを見ながらユーザが把握することのできなかった追加情報を、ＴＶで再生中のビデオを止めてインターネットで検索する必要がなく、モバイルデバイスで直観的に表示することができ、ストーリーを簡単に理解できるようにする。
図８は、本発明のさらに他の実施形態における、生成したビデオコンテンツのメタデータを利用した活用例である。
アノテーションメタデータを生成するときに、キーフレームイメージ上のオブジェクトを認識し、オブジェクトの登場時間とオブジェクトの位置を認識してメタデータに記録する。ビデオとビデオ内のオブジェクトと関連する情報をインポートしてビデオ上に情報を拡張するために、メタデータに記録されたオブジェクトの登場時間と位置、大きさ、オブジェクトの情報を読み込む。また、キーフレーム間のフレーム上にオブジェクトと関連する情報をアノテーションするために補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行って中間値である特定の時間のオブジェクト位置と大きさを生成し、すべてのフレームにアノテーションする。オブジェクトの情報は、認識されたオブジェクトのビデオとオブジェクトのイメージとして類似するショッピングモールの製品広告をインポートして示したり、ナラティブメタデータの現在の場面と関連するオブジェクト、例えば、プレゼントのようなオブジェクトの情報をインポートして示したりする。また、製品広告は、ユーザに応じて異なる情報を推薦して表示する。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェアの当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク、磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記録して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (7)

  1. 台本処理部と互いに連結するためにビデオの入力を受けてビデオのショットおよびシーンを認識して整列する前処理過程を実行し、ビデオコンテンツを分析するビデオ処理部、
    ビデオ処理部と互いに連結するために台本の入力を受けて台本およびシーンを認識して整列する前処理過程を実行し、台本コンテンツを分析する台本処理部、
    前記ビデオ処理部で生成されたアノテーションメタデータを格納するアノテーション知識ベース、および
    前記台本処理部で生成されたナラティブメタデータを格納するナラティブ知識ベース
    を含み、
    アノテーション知識ベースとナラティブ知識ベースは、
    エピソード、シーケンス、シーン、およびショットを共有することで相互補完的に使用してメタデータを自動で生成する、
    メタデータ自動生成システムであって、
    台本処理部は、
    半構造化された台本書式を分析し、台本から人物、発話、説明文、場所、時間を区分するために多様な形態の台本構造様式と入力された台本構造とを比較して適した台本様式を選択し、構造化（Ｓｔｒｕｃｔｕｒｅｄ）し、該当の様式が入力された台本によるものであるかを検証し、誤入力された様式が構造化結果として変形した場合には補正をし、台本の構造から台本のシーンを検出して情報をメタデータの階層構造として指定する、
    メタデータ自動生成システム。
  2. ビデオ処理部は、
    入力されたビデオの毎フレーム間の類似度を測定し、類似度が予め定められた基準以上に急変するフレーム前後でビデオのショットを検出して区分し、区分されたビデオのすべてのショットで時空間が変わる時点を認識してビデオのシーンを検出する、
    請求項１に記載のメタデータ自動生成システム。
  3. ビデオと台本のシーンの順序を一致させるために、ビデオのあるシーンの発話を音声認識技術によって字幕化して台本の発話と文字列比較アルゴリズムを利用して１次整列した後、ダイナミックプログラミング技法を利用してビデオと台本のシーンの順序を整列する、
    請求項１に記載のメタデータ自動生成システム。
  4. 台本をビデオのショット単位まで一致させるために、ビデオのシーン内に属するショット内の時間および音声テキスト情報を台本コンテンツ分析過程に伝達して処理する、
    請求項３に記載のメタデータ自動生成システム。
  5. 台本処理部と互いに連結するためにビデオの入力を受けてビデオのショットおよびシーンを認識する段階、
    ビデオ処理部と互いに連結するために台本の入力を受けて台本およびシーンを認識する段階、
    認識されたビデオシーンおよび台本シーンを整列する前処理過程を実行する段階、
    前処理されたビデオコンテンツを分析する段階、
    前処理された台本コンテンツを分析する段階、
    分析されたビデオコンテンツから生成されたアノテーションメタデータをアノテーション知識ベースに格納する段階、および
    分析された台本コンテンツから生成されたナラティブメタデータをナラティブ知識ベースに格納する段階
    を含み、
    アノテーション知識ベースとナラティブ知識ベースは、エピソード、シーケンス、シーン、およびショットを共有することで相互補完的に使用してメタデータを自動で生成する、
    メタデータ自動生成方法であって、
    ビデオ処理部と互いに連結するために台本の入力を受けて台本およびシーンを認識する段階は、
    台本ショット抽出段階で、前処理段階で構造化された台本の階層構造と付加情報を入力としてシーン単位で分けられた台本と、ビデオとしてのショット、シーン情報とビデオの音声字幕の入力を受け、あるビデオ内の発話と台本と比較して整列して台本をショット単位で分け、
    前処理された台本コンテンツを分析する段階は、
    台本をビデオのようにショット単位で分けた後、登場人物、空間、オブジェクト分析により、ビデオ内に登場する登場人物、空間、オブジェクトをすべてそれぞれクラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）して登場する人物、空間、オブジェクトのカテゴリを把握し、登場人物の場合は、登場人物と登場人物があるショットにともに登場した回数をカウントして人物との関係とオブジェクトの名称を認識した後、登場人物、背景、空間をすべてセマンティック・ウェブとエンティティで連結させ、
    ダイアログ分析段階では、すべての発話を分析して形態素（ＰＯＳ）、個体名（Ｎａｍｅｄ－Ｅｎｔｉｔｙ）、感情（Ｅｍｏｔｉｏｎ）、目的（Ｉｎｔｅｎｔ）、言行（ＳｐｅｅｃｈＡｃｔ）、トーン（Ｔｏｎｅ）、敬称（Ｈｏｎｏｒｉｆｉｃ）を認識し、すべての情報を各発話のメタデータとして格納し、
    プロット分析段階で、分析された発話の言行と発話を分析して対話を事件単位で分け、事件間の関係を分析して台本の起承転結を把握してナラティブメタデータとして格納する、
    メタデータ自動生成方法。
  6. 台本処理部と互いに連結するためにビデオの入力を受けてビデオのショットおよびシーンを認識する段階は、
    人物およびオブジェクト認識により、あるショット内のショットの最初、最後、およびあるショット内でフレーム間の類似度が急変する１つ以上のフレームをキーフレームとして指定し、キーフレームイメージから人物の外形、顔とオブジェクトの外形、およびカテゴリを認識してメタデータとして格納する、
    請求項５に記載のメタデータ自動生成方法。
  7. 前処理されたビデオコンテンツを分析する段階は、
    人物とオブジェクトが認識されれば、フレームキャプショニング段階で、人物と人物、人物とオブジェクト、オブジェクトとオブジェクトのすべての相対位置を計算して場面を記述し、
    場面が記述されれば、ショットキャプショニング段階で、人物のポーズと相対位置を利用して行動を認識し、
    シーンキャプショニング段階で、認識された行動のパターンに基づいて人物の活動を区分してストーリー中心的構造に割り当てて格納し、多様な情報をビデオとして抽出してアノテーションメタデータとして格納する、
    請求項６に記載のメタデータ自動生成方法。
JP2021520997A 2018-10-19 2018-12-28 ビデオメタデータと台本データを活用したビデオコンテンツ統合メタデータ自動生成方法およびシステム Active JP7199756B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180124863A KR101994592B1 (ko) 2018-10-19 2018-10-19 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
KR10-2018-0124863 2018-10-19
PCT/KR2018/016854 WO2020080606A1 (ko) 2018-10-19 2018-12-28 비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2022505092A JP2022505092A (ja) 2022-01-14
JP7199756B2 true JP7199756B2 (ja) 2023-01-06

Family

ID=67066009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021520997A Active JP7199756B2 (ja) 2018-10-19 2018-12-28 ビデオメタデータと台本データを活用したビデオコンテンツ統合メタデータ自動生成方法およびシステム

Country Status (4)

Country Link
US (1) US10733230B2 (ja)
JP (1) JP7199756B2 (ja)
KR (1) KR101994592B1 (ja)
WO (1) WO2020080606A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766473B (zh) * 2018-11-30 2019-12-24 北京达佳互联信息技术有限公司 信息交互方法、装置、电子设备及存储介质
WO2020172155A1 (en) 2019-02-18 2020-08-27 David Nahamoo Intelligent document system
US11003915B2 (en) * 2019-03-29 2021-05-11 Wipro Limited Method and system for summarizing multimedia content
CN110147467A (zh) * 2019-04-11 2019-08-20 北京达佳互联信息技术有限公司 一种文本描述的生成方法、装置、移动终端及存储介质
CN110602566B (zh) * 2019-09-06 2021-10-01 Oppo广东移动通信有限公司 匹配方法、终端和可读存储介质
KR102264744B1 (ko) * 2019-10-01 2021-06-14 씨제이올리브네트웍스 주식회사 영상 데이터를 처리하는 방법 및 이를 실행시키기 위한 명령어들이 저장된 컴퓨터 판독 가능한 기록 매체
KR102287093B1 (ko) * 2019-11-22 2021-08-09 주식회사 코난테크놀로지 자동 생성된 비디오 메타데이터 검수 방법 및 이를 위한 장치
KR102294817B1 (ko) * 2019-11-26 2021-08-26 서울대학교 산학협력단 동영상 분석 장치 및 방법
US10924629B1 (en) * 2019-12-12 2021-02-16 Amazon Technologies, Inc. Techniques for validating digital media content
US10904476B1 (en) 2019-12-12 2021-01-26 Amazon Technologies, Inc. Techniques for up-sampling digital media content
US20210185405A1 (en) * 2019-12-17 2021-06-17 Rovi Guides, Inc. Providing enhanced content with identified complex content segments
US11694021B2 (en) 2020-04-16 2023-07-04 Samsung Electronics Co., Ltd. Apparatus for generating annotated image information using multimodal input data, apparatus for training an artificial intelligence model using annotated image information, and methods thereof
US12518795B2 (en) * 2020-07-22 2026-01-06 Idomoo Ltd System and method to customizing video
US12192567B2 (en) * 2020-07-23 2025-01-07 Adeia Guides Inc. Systems and methods for simultaneous content presentation
CN112001265B (zh) * 2020-07-29 2024-01-23 北京百度网讯科技有限公司 视频事件识别方法、装置、电子设备及存储介质
US11921712B2 (en) 2020-10-05 2024-03-05 MeetKai, Inc. System and method for automatically generating question and query pairs
CN114501165A (zh) * 2020-10-23 2022-05-13 国家广播电视总局广播电视科学研究院 视频结构化表示方法、装置及电子设备
KR102983871B1 (ko) * 2020-10-27 2026-06-29 한국전자통신연구원 영상 각본 생성 방법 및 장치
US12400122B2 (en) * 2021-02-09 2025-08-26 RivetAI, Inc. Narrative-based content discovery employing artificial intelligence
US11812074B2 (en) * 2021-02-24 2023-11-07 Rovi Guides, Inc. Systems and methods for improved media slot allocation
US11620731B2 (en) * 2021-03-14 2023-04-04 Bi Science (2009) Ltd System and a method for surveying graphical objects on a screen display
JP2022144261A (ja) * 2021-03-18 2022-10-03 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
US11461379B1 (en) * 2021-03-31 2022-10-04 Bank Of America Corporation Speech to text (STT) and natural language processing (NLP) based video bookmarking and classification system
US12400146B1 (en) 2021-04-12 2025-08-26 CIPIO Inc. Methods and apparatus for automated enterprise machine learning with data fused from multiple domains
EP4323893A4 (en) * 2021-04-14 2025-02-26 Csats, Inc. COMPUTER VISION-BASED SURGICAL WORKFLOW RECOGNITION SYSTEM USING NATURAL LANGUAGE PROCESSING TECHNIQUES
US12705889B2 (en) 2021-04-14 2026-08-11 Csats, Inc. Computer system for detecting a tool location in surgical video frame by generating gaussian point on the tool location and predicting surgical actions
US12314679B2 (en) 2021-07-09 2025-05-27 Transitional Forms Inc. Automated narrative production system and script production method with real-time interactive characters
CN115811632B (zh) * 2021-09-15 2025-07-15 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN115878844A (zh) * 2021-09-27 2023-03-31 北京有竹居网络技术有限公司 基于视频的信息展示方法及装置、电子设备和存储介质
CN116074561A (zh) * 2021-11-03 2023-05-05 脸萌有限公司 信息处理方法、装置、设备、介质及产品
CN113923521B (zh) * 2021-12-14 2022-03-08 深圳市大头兄弟科技有限公司 一种视频的脚本化方法
CN114242070B (zh) * 2021-12-20 2023-03-24 阿里巴巴（中国）有限公司 一种视频生成方法、装置、设备及存储介质
US12346994B2 (en) 2022-01-11 2025-07-01 Meetkai, Inc Method and system for virtual intelligence user interaction
US12307205B2 (en) * 2022-01-25 2025-05-20 TCL Research America Inc. One-click filmmaking
US12008036B2 (en) * 2022-01-31 2024-06-11 Rovi Guides, Inc. Methods and apparatuses for preventing spoilers in autocompleted search queries
KR102438743B1 (ko) 2022-03-02 2022-08-31 인하대학교 산학협력단 클라우드 서비스용 3d 매뉴얼을 2d 인터랙티브 비디오로 변환하는 방법 및 장치
JPWO2023188606A1 (ja) * 2022-03-30 2023-10-05
US11770590B1 (en) 2022-04-27 2023-09-26 VoyagerX, Inc. Providing subtitle for video content in spoken language
CN115883818B (zh) * 2022-11-29 2023-09-19 北京优酷科技有限公司 视频帧数自动统计方法、装置、电子设备及存储介质
US20250069158A1 (en) * 2023-08-25 2025-02-27 14979419 Canada Inc. Systems, devices, and methods for spoiler content transmission in user-generated content systems
US20250124523A1 (en) * 2023-10-11 2025-04-17 Sony Interactive Entertainment Inc. Decentralized application feature based social network
US12633315B2 (en) 2023-10-30 2026-05-19 Adobe Inc. Face-aware scale magnification video effects
WO2025128879A1 (en) * 2023-12-13 2025-06-19 Invisible Holdings Llc Interactive search and generation system for social identity of objects data using large language model(s)
CN117828182A (zh) * 2023-12-29 2024-04-05 上海哔哩哔哩科技有限公司 内容推荐方法、装置、计算设备及计算机存储介质
US12657803B1 (en) * 2024-06-07 2026-06-16 Netflix, Inc. Cinematic data collection and processing for AI-driven video production
US12347462B1 (en) 2024-08-12 2025-07-01 CIPIO Inc. Methods and systems for segmenting video content based on speech data and for retreiving video segments to generate videos
JP7869276B2 (ja) * 2024-09-06 2026-06-02 株式会社Ｎｔｔドコモ コンテンツ提供装置及びプログラム
US12266238B1 (en) 2024-10-28 2025-04-01 Inspired Gaming (Uk) Limited Dual sector authentication of stitched video draw game systems
US12274949B1 (en) 2024-10-28 2025-04-15 Inspired Gaming (Uk) Limited Random number generation for stitched video draw game systems
US12350596B1 (en) 2024-10-28 2025-07-08 Inspired Gaming (Uk) Limited Communications integrity of stitched video draw game systems
US12277833B1 (en) 2024-10-28 2025-04-15 Inspired Gaming (Uk) Limited Player controlled culling of video fragments of stitched video draw games
US12268970B1 (en) * 2024-10-28 2025-04-08 Inspired Gaming (Uk) Limited Culling video fragments to produce stitched video games
CN119342284B (zh) * 2024-12-20 2025-04-08 成都索贝数码科技股份有限公司 一种基于大模型的影视剧智能缩编方法
CN119996791B (zh) * 2025-02-14 2026-02-27 集森网络科技(杭州)有限公司 一种高效视频脚本创意生成方法及系统
CN121531207B (zh) * 2026-01-16 2026-05-26 浙江嗨皮网络科技有限公司 一种剧情广告视频生成方法、系统、终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009069A (ja) 2001-06-26 2003-01-10 Canon Inc 動画記録装置、動画記録方法、動画再生装置、動画再生方法、プログラムおよび記憶媒体
US20110087703A1 (en) 2009-10-09 2011-04-14 Satyam Computer Services Limited Of Mayfair Center System and method for deep annotation and semantic indexing of videos
US20180213289A1 (en) 2017-01-26 2018-07-26 Electronics And Telecommunications Research Institute Method of authorizing video scene and metadata

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050022252A1 (en) * 2002-06-04 2005-01-27 Tong Shen System for multimedia recognition, analysis, and indexing, using text, audio, and digital video
JP4114421B2 (ja) * 2002-07-22 2008-07-09 ソニー株式会社 電子機器装置、サーバ装置、レイアウト記述文書の提供方法
US7734562B1 (en) * 2005-12-30 2010-06-08 Brainpool, Inc. Voice to text conversion with keyword parse and match to semantic and transactional concepts stored in a brain pool state machine using word distance to generate character model interaction in a plurality of dramatic modes
EP2011017A4 (en) * 2006-03-30 2010-07-07 Stanford Res Inst Int METHOD AND DEVICE FOR ANNOTING MEDIA STREAMS
KR20080112975A (ko) * 2007-06-22 2008-12-26 서종훈 스크립트 정보 기반 동영상 검색을 위한 데이터베이스 구축방법, 데이터베이스 구축 시스템, 데이터베이스 구축용컴퓨터 프로그램이 기록된 기록매체 및 이를 이용한 동영상검색 방법
KR101072347B1 (ko) * 2009-05-14 2011-10-12 인하대학교 산학협력단 동영상 상황정보 어노테이션 방법 및 장치
KR101301133B1 (ko) * 2010-11-10 2013-09-12 한국전자통신연구원 멀티미디어 콘텐츠를 이용한 소셜 네트워크 구축 장치 및 방법
US8818037B2 (en) * 2012-10-01 2014-08-26 Microsoft Corporation Video scene detection
KR101817402B1 (ko) * 2015-11-30 2018-01-10 인하대학교 산학협력단 멀티 스크린 환경에서 인터랙티브 비디오를 위한 썸네일 기반의 상호작용 방법
US9600717B1 (en) * 2016-02-25 2017-03-21 Zepp Labs, Inc. Real-time single-view action recognition based on key pose analysis for sports videos
US10460023B1 (en) * 2016-03-10 2019-10-29 Matthew Connell Shriver Systems, methods, and computer readable media for creating slide presentations for an annotation set
US10380459B2 (en) * 2016-08-30 2019-08-13 Imagry (Israel) Ltd. System and method for image classification
US10445762B1 (en) * 2018-01-17 2019-10-15 Yaoshiang Ho Online video system, method, and medium for A/B testing of video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009069A (ja) 2001-06-26 2003-01-10 Canon Inc 動画記録装置、動画記録方法、動画再生装置、動画再生方法、プログラムおよび記憶媒体
US20110087703A1 (en) 2009-10-09 2011-04-14 Satyam Computer Services Limited Of Mayfair Center System and method for deep annotation and semantic indexing of videos
US20180213289A1 (en) 2017-01-26 2018-07-26 Electronics And Telecommunications Research Institute Method of authorizing video scene and metadata

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
桑野 秀豪, 外2名，映像・音声認識，言語処理の適用による経済化メタデータ生成技術，ＮＴＴ技術ジャーナル，日本，社団法人電気通信協会，2004年05月01日，第16巻, 第5号，pp. 22-25

Also Published As

Publication number Publication date
US10733230B2 (en) 2020-08-04
KR101994592B1 (ko) 2019-06-28
JP2022505092A (ja) 2022-01-14
US20200125600A1 (en) 2020-04-23
WO2020080606A1 (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
KR101994592B1 (ko) 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
US10277946B2 (en) Methods and systems for aggregation and organization of multimedia data acquired from a plurality of sources
US9961403B2 (en) Visual summarization of video for quick understanding by determining emotion objects for semantic segments of video
US10528821B2 (en) Video segmentation techniques
JP6015568B2 (ja) コンテンツ・リンクを生成する方法、装置およびプログラム
Vijayakumar et al. A study on video data mining
Sundaram et al. A utility framework for the automatic generation of audio-visual skims
JP2008533580A (ja) オーディオ及び／又はビジュアルデータの要約
CN115580758A (zh) 视频内容生成方法及装置、电子设备、存储介质
Ellis et al. Why we watch the news: a dataset for exploring sentiment in broadcast video news
KR20110032347A (ko) 동영상에서의 인물 정보 추출방법 및 그 장치
KR20180131226A (ko) 광고 편성 장치 및 방법
CN116781971B (zh) 视频播放方法及装置
CN118612527A (zh) 视频摘要生成方法、装置、电子设备、可读存储介质及计算机程序产品
KR20200063316A (ko) 각본 기반의 영상 검색 장치 및 방법
Chivadshetti et al. Content based video retrieval using integrated feature extraction and personalization of results
Yang et al. Lecture video browsing using multimodal information resources
TW201523421A (zh) 決定用於擷取的文章之圖像
Otani et al. Textual description-based video summarization for video blogs
Stein et al. From raw data to semantically enriched hyperlinking: Recent advances in the LinkedTV analysis workflow
Tapu et al. TV news retrieval based on story segmentation and concept association
Manzato et al. Multimedia content personalization based on peer-level annotation
KR102889621B1 (ko) 동영상 인덱싱 장치 및 방법
CN116704392B (zh) 视频处理方法、装置、设备、存储介质及产品
CN118118747A (zh) 视频简介生成方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7199756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250