JP6891941B2 - ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知 - Google Patents

ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知 Download PDF

Info

Publication number
JP6891941B2
JP6891941B2 JP2019201232A JP2019201232A JP6891941B2 JP 6891941 B2 JP6891941 B2 JP 6891941B2 JP 2019201232 A JP2019201232 A JP 2019201232A JP 2019201232 A JP2019201232 A JP 2019201232A JP 6891941 B2 JP6891941 B2 JP 6891941B2
Authority
JP
Japan
Prior art keywords
film
image frame
objects
shot
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019201232A
Other languages
English (en)
Other versions
JP2020088852A (ja
Inventor
トータ プラヴィーン
トータ プラヴィーン
バラゴパル サンソッシュ
バラゴパル サンソッシュ
アガーワル スウェタ
アガーワル スウェタ
ロディー マスード
ロディー マスード
マナラー ニーリマ
マナラー ニーリマ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2020088852A publication Critical patent/JP2020088852A/ja
Application granted granted Critical
Publication of JP6891941B2 publication Critical patent/JP6891941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/278Content descriptor database or directory service for end-user access
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022Electronic editing of analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本開示の様々な実施形態は、ビデオ編集技術に関する。具体的には、本開示の様々な実施形態は、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差を通知するビデオ編集装置、方法及びソフトウェアに関する。
最近のビデオ編集分野の進歩は、ビデオコンテンツのノンリニア編集(NLE)を容易にする様々な技術の発展をもたらした。従来、ビデオコンテンツは、1又は2以上の画像取り込み装置によって、異なる時点及び/又は制作場所において数多くの制作状態で取り込むことができる。ビデオコンテンツ(例えば、撮影後の映画コンテンツ)は複数のシーンを含み、これらの複数のシーンの各々は数多くの連続ショットを含む。通常、シーンの連続ショットは、連続して又は一定期間後に(例えば、特定の時間又は日数後に)取り込むことができる。編集者は、様々な従来の技術を利用して、取り込みショットに対して様々な編集機能を実行してシーン又はビデオコンテンツを生成することができる。編集者は、1又は2以上のシーンの複数のショット内に存在する様々なオブジェクト(例えば、人間又は非生物的存在)の描写に関連する連続性エラーを手動で分析することが必要になり得る。1又は2以上のシーンの複数のショット間における様々なオブジェクトの描写の不連続性を回避し、又は異常を防ぐには、連続性エラーの識別が必要となり得る。手動分析では、オブジェクトの描写における連続性エラーの識別が不正確になる。これにより、全体的なビデオコンテンツの品質、及びビデオコンテンツの視聴者間における編集者の信頼性がさらに低下する恐れがある。
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法のさらなる制限及び不利点が明らかになるであろう。
少なくとも1つの図に実質的に示し、及び/又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知を制御するビデオ編集装置及び方法を提供する。
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
本開示の実施形態による、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための例示的な環境を示す図である。 本開示の実施形態による、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための例示的なビデオ編集装置を示すブロック図である。 本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための第1の例示的なシナリオを示す図である。 本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知を表示するユーザインターフェイスを示す図である。 本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知を表示するユーザインターフェイスを示す図である。 本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための第2の例示的なシナリオを示す図である。 本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写における事実誤認通知制御のための第3の例示的なシナリオを示す図である。 本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写における重複通知制御のための第4の例示的なシナリオを示す図である。 本開示の実施形態による、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための例示的な動作を示すフローチャートである。 本開示の実施形態による、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための例示的な動作を示すフローチャートである。
開示するビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知を制御する装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、ビデオコンテンツ内のシーンの複数のフィルムショット間の異なるオブジェクトの連続性を自動的にチェックするビデオ編集装置を提供する。ビデオ編集装置による自動連続性チェックは、複数のフィルムショット間における一貫性を保証する。ビデオ編集装置は、この自動連続性チェックに基づいて、複数のフィルムショット間に存在する異なるオブジェクトの描写の偏差に関する1又は2以上の通知をビデオコンテンツの編集者に提供する。このような通知は、ビデオコンテンツの制作中及び制作後段階におけるビデオコンテンツの全体的な品質を編集者が改善するのをさらに支援することができる。
本発明のビデオ編集装置は、フィルムシーケンスの一連のフィルムシーンを含むことができるビデオコンテンツ(例えば、映画)を記憶するように構成されたメモリを含むことができる。一連のフィルムシーンは、複数のフィルムショットを含むことができる。フィルムシーンの複数のフィルムショットは、ビデオ取り込み装置によって連続して又は一定の期間後(例えば、一定の時間又は日数後)に取り込まれた連続ショットとすることができる。フィルムシーンの複数のフィルムショットは、複数のフィルムショットに共通し得る複数のオブジェクトを含むことができる。複数のオブジェクトは、様々な生物(例えば、人間)及び非生物オブジェクトとすることができる。開示するビデオ編集装置は、複数のオブジェクトをフィルムショット間で比較して、複数のオブジェクトがフィルムショット内で同様の視覚属性で描写されているかどうかを判定することができる。開示するビデオ編集装置は、視覚属性を正確に比較できるように複数のオブジェクトの3次元(3D)画像を生成することができる。複数のオブジェクトに関連する視覚属性の例としては、以下に限定するわけではないが、形状、サイズ、寸法、色、輝度値、コントラスト値、起伏、配向、傾斜角、姿勢、又は文字情報を挙げることができる。ビデオ編集装置は、比較に基づいて、フィルムショット間における複数のオブジェクトの偏差をさらに特定することができる。このビデオ編集装置は、特定された偏差に基づいて、フィルムショット間における複数のオブジェクトの連続性を自動的にチェックすることができる。ビデオ編集装置は、フィルムショット間における様々な連続性エラーに関する通知をビデオコンテンツの編集者にさらに提供することができる。ビデオ編集装置は、取り込みビデオコンテンツのタイムライン、及び複数のオブジェクトのそれぞれの記憶されたタイムラインに基づいて、フィルムショット内の事実誤認を特定し、特定した事実誤認に基づいて編集者に通知を提供することもできる。ビデオ編集装置は、ビデオコンテンツ内の複数のオブジェクトと、データベースに記憶されている別のビデオコンテンツ内に存在する同様のオブジェクトとの比較に基づいて、編集者に通知を提供することもできる。編集者は、このようなビデオ編集装置からの自動通知に基づいて、複数のオブジェクトの連続性を維持して検出された事実誤認を低減するために、フィルムショットを撮り直すべきであるか、それとも異なる画像処理法を適用すべきであるかについての適切な判断を行うことができる。これにより、編集段階後に最終的に制作されるビデオコンテンツの全体的な品質が改善され、高品質なビデオコンテンツを少ない時間で制作するための編集者の全体的な信頼性がさらに高まる。
図1に、本開示の実施形態による、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための例示的な環境を示す。図1には、ネットワーク環境100を示す。ネットワーク環境100は、ビデオ編集装置102と、データストレージシステム102Aと、ディスプレイ画面104と、サーバ106と、通信ネットワーク108とを含むことができる。ビデオ編集装置102は、通信ネットワーク108を介してサーバ106に通信可能に結合することができる。さらに、ビデオ編集装置102に関連するユーザ110も示す。
図1には、フィルムシーンの組114A〜114Bを含むことができる第1のビデオコンテンツ112をさらに示す。フィルムシーンの組114A〜114Bは、第1のフィルムシーン114A及び第2のフィルムシーン114Bを含むことができる。第1のフィルムシーン114Aは、複数のフィルムショット116A〜116Cを含むことができる。同様に、第2のフィルムシーン114Bは、別の複数のフィルムショット116D〜116Fを含むことができる。第1のフィルムショット116Aは、一連の画像フレーム118を含むことができ、第2のフィルムショット116Bは、一連の画像フレーム120を含むことができる。第1のフィルムショット116Aの第1の画像フレーム122及び第2のフィルムショット116Bの第2の画像フレーム124をさらに示す。ある実施形態によれば、第1の画像フレーム122は、第1のフィルムショット116Aの一連の画像フレーム118の最後のフレームとすることができ、第2の画像フレーム124は、第2のフィルムショット116Bの一連の画像フレーム120の最初のフレームとすることができる。
ビデオ編集装置102は、ユーザ110(例えば、編集者)からの編集要求を受け取り、受け取った編集要求に基づいて、データストレージシステム102Aから第1のビデオコンテンツ112を検索するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ある実施形態によれば、ビデオ編集装置102は、第1の画像フレーム122内の第1のオブジェクトの組(図示せず)を検出し、第2の画像フレーム124内の第2のオブジェクトの組(図示せず)を検出するように構成することができる。ビデオ編集装置102は、検出された第1のオブジェクトの組の第1のオブジェクトが、第2の画像フレーム124内の検出された第2のオブジェクトの組に存在しないかどうかをチェックするようにさらに構成することができる。いくつかの実施形態では、ビデオ編集装置102を、第1の画像フレーム122内の第1のオブジェクトの第1の視覚属性の、第2の画像フレーム124内の第1のオブジェクトの第2の視覚属性からの偏差を特定するように構成することができる。ある実施形態によれば、ビデオ編集装置102は、特定された偏差に基づいて、第1の画像フレーム122と第2の画像フレーム124との間における第1のオブジェクトの連続性又は不連続性を決定するようにさらに構成することができる。いくつかの実施形態では、ビデオ編集装置102を、第1の画像フレーム122の第1のオブジェクトが第2の画像フレーム124に存在しないとの判定に基づいて、第1のオブジェクトの連続性又は不連続性を決定するように構成することができる。ある実施形態によれば、ビデオ編集装置102は、フィルムシーンの組114A〜114Bの少なくとも1つの画像フレーム内の検出された第1のオブジェクトの組のうちの少なくとも1つのオブジェクト、及び/又は検出された第2のオブジェクトの組のうちの少なくとも1つのオブジェクトの事実誤認を検出するように構成することができる。ビデオ編集装置102は、決定された不連続性又は事実誤認に基づいて、ユーザ110のための通知情報を出力するようにさらに構成することができる。ビデオ編集装置102の例としては、以下に限定するわけではないが、ノンリニア編集システム(NLE)、ノンリニアビデオ編集システム(NLVE)、ビデオ編集システム、ビデオ編集コントローラ、メディア制作システム、コンピュータワークステーション、メインフレームコンピュータ、ハンドヘルドコンピュータ、セルラー/携帯電話機、スマート機器、ビデオプレーヤ、及び/又は画像処理能力を有するその他のコンピュータ装置を挙げることができる。
データストレージシステム102Aは、フィルムシーンの組114A〜114Bを含むことができる第1のビデオコンテンツ112を記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ある実施形態によれば、データストレージシステム102Aは、第1のビデオコンテンツ112に関連する時代を示す第1のタイムライン情報を記憶するように構成することができる。ある実施形態によれば、データストレージシステム102Aは、複数のフィルムショット116A〜116Fに関連するメタデータを記憶するように構成することができる。データストレージシステム102Aは、ビデオ編集装置102が不連続性又は事実誤認を決定する対象である第1のオブジェクトに関連する通知情報を記憶するように構成することができる。ある実施形態によれば、データストレージシステム102Aは、ビデオ編集装置102に統合されたメモリ(図示せず)又はデータベース(図示せず)とすることができる。
ディスプレイ画面104は、ユーザ110のための通知情報を表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ディスプレイ画面104は、通信チャネル(図示せず)を介してビデオ編集装置102に通信可能に結合することができる。ディスプレイ画面104は、以下に限定するわけではないが、液晶(LCD)ディスプレイ、発光ダイオード(LED)ディスプレイ、プラズマディスプレイ、及び有機LED(OLED)ディスプレイ技術及びその他のディスプレイなどの、複数の既知の技術によって実現することができる。ある実施形態によれば、ディスプレイ画面104は、スマートグラス装置のディスプレイ画面、シースルーディスプレイ、投影ベースのディスプレイ、電気クロムディスプレイ、及び透明ディスプレイを示すことができる。当業者であれば、本開示の範囲は、別個の存在としてのビデオ編集装置102及びディスプレイ画面104の実装に限定されるものではないと理解するであろう。ある実施形態によれば、本開示の範囲から逸脱することなく、ビデオ編集装置102がディスプレイ画面104の機能を実装することもできる。
サーバ106は、フィルムシーンの組114A〜114Bを含むことができる第1のビデオコンテンツ112を記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。サーバ106は、第1のビデオコンテンツ112に関連する時代を示す第1のタイムライン情報を記憶するように構成することができる。ある実施形態によれば、サーバ106は、異なるオブジェクトタイプの異なるオブジェクトの第2のタイムライン情報を記憶するように構成することができる。第2のタイムライン情報は、異なるオブジェクトタイプの異なるオブジェクトの発明、発見、使用、市場公開又は進化のタイミング情報を示すことができる。ある実施形態によれば、サーバ106は、複数のフィルムショット116A〜116Fに関連するメタデータを記憶するように構成することができる。複数のフィルムショット116A〜116Fに関連するメタデータは、以下に限定するわけではないが、複数のフィルムショット116A〜116Fの各々が取り込まれた地理位置情報、アーティスト情報、検出された第1のオブジェクトの組に関する情報、及び検出された第2のオブジェクトの組を示すことができる情報を含むことができる。ある実施形態によれば、サーバ106は、複数のフィルムショットと関連するメタデータとを含むことができる第2のビデオコンテンツを記憶するようにさらに構成することができる。
ある実施形態によれば、サーバ106は、ビデオ編集装置102から通信ネットワーク108を介してコンテンツ要求を受け取るように構成することができる。サーバ106は、受け取ったコンテンツ要求に基づいて、通信ネットワーク108を介して、記憶された第1のビデオコンテンツ112、第1のタイムライン情報、第2のタイムライン情報、メタデータ及び第2のビデオコンテンツをビデオ編集装置102に送信するように構成することができる。ある実施形態によれば、サーバ106は、ウェブアプリケーション、クラウドアプリケーション、HTTP要求、リポジトリ動作、ファイル転送及びゲーム動作などを通じて上述したビデオ編集装置102の動作を実行するために利用できるクラウドサーバとして実装することができる。サーバ106の他の例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、ウェブサーバ、アプリケーションサーバ、メインフレームサーバ、クラウドサーバ、又はその他のタイプのサーバを挙げることができる。
ある実施形態によれば、サーバ106は、ビデオ編集装置102の一部とすることができる。ある実施形態によれば、サーバ106は、当業者に周知の複数の技術を使用することによって複数のクラウドベースのリソースとして実装することができる。さらに、サーバ106は、単一の又は複数のサービスプロバイダに関連することができる。当業者であれば、本開示の範囲は、別個の存在としてのサーバ106及びビデオ編集装置102の実装に限定されるものではないと理解するであろう。ある実施形態によれば、本開示の範囲から逸脱することなく、ビデオ編集装置102がサーバ106の機能を実装することもできる。
通信ネットワーク108は、ビデオ編集装置102とサーバ106とが互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク108は、有線又は無線通信ネットワークとすることができる。通信ネットワーク108の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ(Wi−Fi)ネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、又はメトロポリタンエリアネットワーク(MAN)を挙げることができる。ネットワーク環境100内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク108に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、ファイル転送プロトコル(FTP)、Zig Bee、EDGE、IEEE802.11、ライトフィデリティ(Li−Fi)、802.16、IEEE802.11s、IEEE802.11g、マルチホップ通信、無線アクセスポイント(AP)、装置間通信、セルラー通信プロトコル、及びBluetooth(BT)通信プロトコルのうちの少なくとも1つを挙げることができる。
ビデオ編集装置102は、動作時にユーザ110から第1のユーザ入力を受け取るように構成することができる。第1のユーザ入力は、第1のビデオコンテンツ112に対して連続性チェックを実行する要求を含むことができる。第1のビデオコンテンツ112の例としては、以下に限定するわけではないが、映画コンテンツ、楽曲ビデオシーン、マルチメディアコンテンツ、アニメーションコンテンツ、対話型コンテンツ、及び/又はこれらの組み合わせを挙げることができる。第1のビデオコンテンツ112は、(図2に示す)ビデオ編集装置102のメモリに記憶することができる。ある実施形態によれば、第1のビデオコンテンツ112は、フィルムシーケンスのフィルムシーンの組114A〜114Bを含むことができる。第1のフィルムシーン114Aは、複数のフィルムショット116A〜116Cを含むことができ、第2のフィルムシーン114Bは、別の複数のフィルムショット116D〜116Fを含むことができる。第1のフィルムシーン114Aの複数のフィルムショット116A〜116C、及び第2のフィルムシーン114Bの複数のフィルムショット116D〜116Fは、一定の継続時間(例えば、数秒又は数分)のものとすることができる。ある実施形態によれば、第1のフィルムショット116Aは、一連の画像フレーム118を含むことができ、第2のフィルムショット116Bは、一連の画像フレーム120を含むことができる。ある実施形態によれば、第1のフィルムショット116A及び第2のフィルムショット116Bの画像フレームの数は、第1のフィルムショット116A及び第2のフィルムショット116Bの継続時間(又は時間長)に基づくことができる。いくつかの実施形態では、画像フレームの数が、第1のフィルムショット116A及び第2のフィルムショット116Bのそれぞれの取り込み時点におけるビデオ取り込み装置の取り込み速度(又はフレームレート)に基づくことができる。ビデオ取り込み装置は、第1のフィルムショット116A及び第2のフィルムショット116Bを一定期間にわたって連続して取り込むことができる。いくつかの実施形態では、ビデオ取り込み装置が、第1のフィルムショット116A及び第2のフィルムショット116Bを不連続的に取り込むことができる(例えば、一定期間後、すなわち何時間か後、何日か後又は何週間か後に取り込むことができる)。
ある実施形態によれば、第1のフィルムショット116A及び第2のフィルムショット116Bは、ショット識別情報(例えば、ショット識別番号)をさらに含むことができる。ある実施形態によれば、ビデオ編集装置102は、第1のフィルムショット116A及び第2のフィルムショット116Bのそれぞれのショット識別情報に基づいて、第1のフィルムショット116A及び第2のフィルムショット116Bを第1のフィルムシーン114の連続ショットとして決定するように構成することができる。いくつかの実施形態では、ビデオ編集装置102を、第1のフィルムショット116A及び第2のフィルムショット116Bのそれぞれの取り込み中に使用されるカチンコ(clapper board)情報に基づいて、第1のフィルムショット116A及び第2のフィルムショット116Bを第1のフィルムシーン114の連続ショットとして決定するように構成することができる。カチンコ情報は、以下に限定するわけではないが、取り込み日時情報、シーン番号、テイク番号、ビデオコンテンツのタイトル、又はビデオコンテンツの監督名を含むことができる。いくつかの実施形態では、ビデオ編集装置102を、第1のビデオコンテンツ112に対する連続性チェックを開始するための第1のユーザ入力を受け取る前に、第1のフィルムショット116A及び第2のフィルムショット116Bを連続ショットとして選択するための1又は2以上のユーザ入力をユーザ110から受け取るように構成することができる。いくつかの実施形態では、ビデオ編集装置102を、ビデオ編集装置102のディスプレイ画面104上に表示された編集タイムライン(図示せず)上に一連のフィルムシーンの複数のフィルムショットを配置するための1又は2以上のユーザ入力をユーザ110から受け取るように構成することができる。1又は2以上のユーザ入力は、この配置に基づいて第1のフィルムショット116A及び第2のフィルムショット116Bを連続ショットとして選択することを含むことができる。ある実施形態によれば、ビデオ編集装置102は、ショット識別情報又は取り込みタイミング情報に基づいて、第1のフィルムショット116A及び第2のフィルムショット116Bを自動的に配置して連続ショットとして選択するように構成することができる。
ある実施形態によれば、ビデオ編集装置102は、第1のフィルムショット116Aの第1の画像フレーム122及び第2のフィルムショット116Bの第2の画像フレーム124を抽出するようにさらに構成することができる。ある実施形態によれば、第1の画像フレーム122は、第1のフィルムショット116Aの一連の画像フレーム118の最後のフレームとすることができ、第2の画像フレーム124は、第2のフィルムショット116Bの一連の画像フレーム120の最初のフレームとすることができる。ビデオ編集装置102は、第1のフィルムショット116Aの第1の画像フレーム122及び第2のフィルムショット116Bの第2の画像フレーム124に対して連続性チェックを実行することができる。
ある実施形態によれば、ビデオ編集装置102は、抽出された第1の画像フレーム122から(図3に示す)第1のオブジェクトの組を検出し、抽出された第2の画像フレーム124から(図3に示す)第2のオブジェクトの組を検出するように構成することができる。第1のオブジェクトの組及び第2のオブジェクトの組の例としては、以下に限定するわけではないが、人間、動物、植物、又はその他の非生物的存在を挙げることができる。
ある実施形態によれば、ビデオ編集装置102は、第1のオブジェクトの組及び第2のオブジェクトの組の各々から、同じオブジェクトタイプに基づく第1のオブジェクトを識別するようにさらに構成することができる。第1のオブジェクトの組の第1のオブジェクトのオブジェクトタイプと、第2のオブジェクトの組の第1のオブジェクトのオブジェクトタイプは同じものである。ビデオ編集装置102は、第1の画像フレーム122の第1のオブジェクトの第1の視覚属性と、第2の画像フレーム124の第1のオブジェクトの第2の視覚属性との間の偏差を特定するようにさらに構成することができる。第1の視覚属性及び第2の視覚属性は、同じタイプのものとすることができる。第1の視覚属性及び第2の視覚属性の例としては、以下に限定するわけではないが、形状、サイズ、寸法、色、輝度値、コントラスト値、起伏、配向、傾斜角、姿勢又は文字情報を挙げることができる。第1の画像フレーム122の第1のオブジェクトの第1の視覚属性と、第2の画像フレーム124の第1のオブジェクトの第2の視覚属性との間の偏差については、例えば図3で詳細に説明する。
ビデオ編集装置102は、偏差を特定して、第1の画像フレーム122及び第2の画像フレーム124の両方における第1のオブジェクトの連続性をチェックするように構成することができる。ある実施形態によれば、第1のオブジェクトの連続性は、第1のフィルムショット116Aの第1の画像フレーム122と第2のフィルムショット116Bの第2の画像フレーム124の両方に同様の視覚属性の組を有する第1のオブジェクトが存在することに基づいて決定することができる。
ある実施形態によれば、ビデオ編集装置102は、特定された偏差に基づいて、第1のオブジェクトに関連する通知情報を生成するようにさらに構成することができる。ある実施形態によれば、ビデオ編集装置102は、第1の画像フレーム122及び第2の画像フレーム124の第1のオブジェクトに関連する生成された通知情報を出力するようにディスプレイ画面104を制御するようさらに構成することができる。出力される通知情報については、例えば図4A及び図4Bで詳細に説明する。従って、ユーザ110(例えば、編集者)は、第1の画像フレーム122と第2の画像フレーム124との間における第1のオブジェクトの不連続性に関する通知情報により、第1のフィルムショット116Aと第2のフィルムショット116Bとの間における第1のオブジェクトの連続性を維持するために、第1のフィルムショット116A及び第2のフィルムショット116Bを撮り直すべきであるか、それとも第1のオブジェクトに1又は2以上の既知の画像処理法を適用すべきであるかについての適切な判断を行うことができる。第1のフィルムショット116A及び第2のフィルムショット116Bを取り込んだ時点で第1のオブジェクトの不連続性が意図的なものである場合、ユーザ110は、通知情報を廃棄する判断を行うこともできる。
ある実施形態によれば、ビデオ編集装置102は、第1のビデオコンテンツ112のフィルムシーンの組114A〜114Bのそれぞれの異なる連続する又は隣接するフィルムショットに対して連続性チェックを実行し、実行された連続性チェックに基づいて、異なるオブジェクトについての通知情報を生成するように構成することができる。従って、ビデオ編集装置102は、取り込まれた第1のビデオコンテンツ112内の連続性エラー(又は誤り)を正確かつ自動的に検出することによって、ユーザ110のかなりの手動労力をさらに軽減することができる。正確かつ自動的な連続性エラーの検出は、ユーザ110が第1のビデオコンテンツ112の全体的な品質を改善し、第1のビデオコンテンツ112の視聴者間におけるユーザ110の信頼性を高めるのをさらに支援することができる。
図2は、本開示の実施形態による、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための例示的なビデオ編集装置を示すブロック図である。図2の説明は、図1の要素に関連して行う。図2には、ビデオ編集装置102を示す。ビデオ編集装置102は、回路202を含むことができ、回路202は、オブジェクト検出器204をさらに含むことができる。ビデオ編集装置102は、メモリ206と、ネットワークインターフェイス208と、入力/出力(I/O)装置210とをさらに含むことができる。I/O装置210は、ディスプレイ画面104を含むことができる。回路202は、メモリ206、ネットワークインターフェイス208及びI/O装置210に通信可能に結合することができる。回路202は、ネットワークインターフェイス208を使用してサーバ106と通信するように構成することができる。
回路202は、メモリ206に記憶された命令セットを実行するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。回路202は、ユーザ110からI/O装置210を介して第1のユーザ入力を受け取る(すなわち、連続性チェックを実行する)ように構成することができる。回路202は、受け取った第1のユーザ入力に基づいて、フィルムシーン内の連続フィルムショットに含まれる異なるオブジェクトの連続性を決定するようにさらに構成することができる。ある実施形態によれば、回路202は、第1のビデオコンテンツ112内の異なるオブジェクトを分析して事実誤認を特定するように構成することができる。回路202は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路202の例は、画像処理装置(GPU)、中央処理装置(CPU)、X86ベースプロセッサ、縮小命令セットコンピュータ(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、複数命令セットコンピュータ(CISC)プロセッサ、及びその他のプロセッサなどとすることができる。
オブジェクト検出器204は、第1のフィルムショット116Aの第1の画像フレーム122及び第2のフィルムショット116Bの第2の画像フレーム124から第1のオブジェクトの組及び第2のオブジェクトの組をそれぞれ検出するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ある実施形態によれば、オブジェクト検出器204は、検出された第1のオブジェクトの組及び第2のオブジェクトの組の異なるオブジェクトタイプを識別するようにさらに構成することができる。検出された第1のオブジェクトの組及び第2のオブジェクトの組は、2次元(2D)オブジェクト又は3次元(3D)オブジェクトの少なくとも一方に対応することができる。ある実施形態によれば、オブジェクト検出器204は、オブジェクト検出及び分類法に基づいて、第1のオブジェクトの組と、第2のオブジェクトの組と、関連するオブジェクトタイプとを検出するように構成することができる。オブジェクト検出及び分類法は、以下に限定するわけではないが、データフローグラフ、並びに畳み込みニューラルネットワーク(CNN)、CNN循環ニューラルネットワーク(CNN−RNN)、R−CNN、高速R−CNN、超高速R−CNN及び(You Only Look Once)YOLOネットワークなどのディープニューラルネットワーク(DNN)アーキテクチャを用いた数値計算法に基づくことができる。いくつかの実施形態では、オブジェクト検出器204が、Sobelオペレータ又はPrewittオペレータなどを使用した、人間の形に基づくオブジェクト境界識別、事前指定形状又はテンプレートに基づくオブジェクト識別などの、他のオブジェクト識別法を実装することができる。オブジェクト検出器204の実装例は、専用回路、GPU、RISCプロセッサ、ASICプロセッサ、CISCプロセッサ、マイクロコントローラ、中央処理装置(CPU)、又はその他の制御回路とすることができる。
いくつかの実施形態では、オブジェクト検出器204を、画像フレーム内のオブジェクトを検出して識別するようにトレーニングされたDNN学習モデルに基づいて実装することができる。このような実装では、ビデオ取り込み装置によって取り込まれた画像フレーム内のオブジェクトを検出するトレーニング及び/又は速度を引き上げるように、オブジェクト検出器204を専用DNN回路とすることができ、及び/又はオブジェクト検出器204が補助加速器回路を実装することができる。加速器回路は、(図1には示していない)オンデバイス(オフライン)加速器回路、又はサーバエンド(オンライン)加速器回路(すなわち、クラウドサーバにおいて利用可能なもの)とすることができる。
メモリ206は、第1のビデオコンテンツ112と、第1のビデオコンテンツ112に関連する時代を示すことができる第1のタイムライン情報とを記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ある実施形態によれば、メモリ206は、ビデオ編集装置102が不連続性又は事実誤認を決定する対象である第1のオブジェクトに関連する通知情報を記憶するように構成することができる。いくつかの実施形態では、メモリ206が、図1に示すデータストレージシステム102Aと同様の機能を実行することができる。メモリ206の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、電子的に消去可能なプログラマブルリードオンリメモリ(EEPROM)、ハードディスクドライブ(HDD)、半導体ドライブ(SSD)、CPUキャッシュ、及び/又はセキュアデジタル(SD)カードを挙げることができる。
ネットワークインターフェイス208は、通信ネットワーク108を介したビデオ編集装置102とサーバ106との間の通信を容易にするように構成できる好適なロジック、回路、及び/又はインターフェイスを含むことができる。ネットワークインターフェイス208は、ビデオ編集装置102と通信ネットワーク108との有線又は無線通信を支援する様々な既知の技術を使用して実装することができる。ネットワークインターフェイス208は、以下に限定するわけではないが、アンテナ、無線周波数(RF)トランシーバ、1又は2以上の増幅器、チューナ、1又は2以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ(CODEC)チップセット、加入者アイデンティティモジュール(SIM)カード、又はローカルバッファを含むことができる。
I/O装置210は、ユーザ110とビデオ編集装置102の異なる演算コンポーネントとの間のI/Oチャネル/インターフェイスとして機能するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。I/O装置110は、ユーザ110から、第1のビデオコンテンツ112に対して連続性チェックを実行するための第1のユーザ入力を受け取るように構成することができる。I/O装置110は、ビデオ編集装置102が不連続性又は事実誤認を決定する対象である第1のオブジェクトに関連する通知情報を表示するようにさらに構成することができる。I/O装置210は、装置102の異なる演算コンポーネントと通信するように構成できる様々な入力及び出力装置を含むことができる。I/O装置210の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、及びディスプレイ画面(例えば、ディスプレイ画面104)を挙げることができる。
回路202及びオブジェクト検出器204は、図1に示すようなビデオ編集装置102が実行する機能又は動作を実行することもできる。回路202及びオブジェクト検出器204が実行する動作については、例えば図3、図4A、図4B、図5、図6及び図7でさらに説明する。
図3に、本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための第1の例示的なシナリオを示す。図3の説明は、図1及び図2の要素に関連して行う。図3には、第1のシナリオ300を示す。
第1のシナリオ300では、第1のフィルムショット116Aの第1の画像フレーム122と、第2のフィルムショット116Bの第2の画像フレーム124とを示す。ある実施形態によれば、第1のフィルムショット116A及び第2のフィルムショット116Bは、同じフィルムシーン(例えば、第1のフィルムシーン114A)に対応することができる。第1のフィルムショット116A及び第2のフィルムショット116Bは、第1のフィルムシーン114Aの連続ショット又は隣接ショットとすることができる。ある実施形態によれば、第1の画像フレーム122は、第1のフィルムショット116Aの一連の画像フレーム118の最後のフレームとすることができ、第2の画像フレーム124は、第2のフィルムショット116Bの一連の画像フレーム120の最初のフレームとすることができる。ある実施形態によれば、第1のフィルムショット116A及び第2のフィルムショット116Bは、第1のビデオコンテンツ112の同じ状況に対応し得る異なるフィルムシーンに対応することができる。例えば、異なるシーンは、異なる時点で(或いは異なる脚本又はセリフと共に)、ただし同じ状況としての同様の背景オブジェクトと共に取り込まれる。
図3には、連続ショットの第1の画像フレーム122及び第2の画像フレーム124(第1のフィルムショット116A及び第2のフィルムショット116B)に対して連続性チェックを行うように構成されたビデオ編集装置102をさらに示す。ビデオ編集装置102は、連続性チェックを行って、第1のフィルムショット116Aと第2のフィルムショット116Bとの間における異なるオブジェクトの一貫性(すなわち、存在又は視覚属性)を検証するように構成することができる。
回路202は、ユーザ110(例えば、第1のビデオコンテンツ112の編集者)から第1のユーザ入力を受け取ったことに基づいて、フィルムシーンの組114A〜114Bの各連続ショット間の連続性チェックを開始するように構成することができる。連続性チェックでは、回路202を、第1のフィルムショット116Aの第1の画像フレーム122と、第2のフィルムショット116Bの第2の画像フレーム124とを抽出するように構成することができる。ある実施形態によれば、回路202は、抽出のために、第1のビデオコンテンツ112を記憶しているメモリ206から第1の画像フレーム122及び第2の画像フレーム124に関連する画素情報を読み取るように構成することができる。ある実施形態によれば、回路202は、抽出された第1の画像フレーム122と抽出された第2の画像フレーム124とをオブジェクト検出器204に提供するようにさらに構成することができる。
ある実施形態によれば、オブジェクト検出器204は、抽出された第1の画像フレーム122から(図3の302、304A、306A、308A、310A、312A及び314Aなどの)第1のオブジェクトの組を検出するようにさらに構成することができる。オブジェクト検出器204は、抽出された第2の画像フレーム124から(図3の304B、306B、308B、310B、312B及び314Bなどの)第2のオブジェクトの組を検出するようにさらに構成することができる。オブジェクト検出器204は、図1で説明したような異なるオブジェクト検出法に基づいて、検出されたオブジェクトを異なるオブジェクトタイプに分類するようにさらに構成することができる。図3では、オブジェクト検出器204を、第1の画像フレーム122の第1のオブジェクトの組から、人間としてのオブジェクトタイプを有する第1のオブジェクト304Aと、犬としてのオブジェクトタイプを有する第2のオブジェクト306Aと、車としてのオブジェクトタイプを有する第3のオブジェクト308Aと、照明装置としてのオブジェクトタイプを有する第4のオブジェクト310Aと、箱としてのオブジェクトタイプを有する第5のオブジェクト314Aと、植物としてのオブジェクトタイプを有する第6のオブジェクト302とを検出して分類するように構成することができる。オブジェクト検出器204は、第2の画像フレーム124の第2のオブジェクトの組から、人間としてのオブジェクトタイプを有する第7のオブジェクト304Bと、犬としてのオブジェクトタイプを有する第8のオブジェクト306Bと、車としてのオブジェクトタイプを有する第9のオブジェクト308Bと、照明装置としてのオブジェクトタイプを有する第10のオブジェクト310Bと、箱としてのオブジェクトタイプを有する第11のオブジェクト314Bとを検出して分類するようにさらに構成することができる。オブジェクト検出器204は、第1の画像フレーム122の第1のオブジェクトの組及び第2の画像フレーム124の第2のオブジェクトの組の画素座標をそれぞれ特定するように構成することができる。画素座標は、ビデオ取り込み装置が第1の画像フレーム122及び第2の画像フレーム124を取り込んだ解像度に基づいてX軸及びY軸で表すことができる。
ある実施形態によれば、回路202は、第1のオブジェクトの組及び第2のオブジェクトの組のそれぞれの検出されたオブジェクトタイプ及び特定された画素座標をオブジェクト検出器204から受け取るように構成することができる。回路202は、第1のオブジェクト304A及び第7のオブジェクト304Bのオブジェクトタイプと特定された画素座標とに基づいて、第1の画像フレーム122の第1のオブジェクト304Aと第2の画像フレーム124の第7のオブジェクト304Bとを同じオブジェクトとして識別するようにさらに構成することができる。ある実施形態によれば、オブジェクト検出器204は、検出されたオブジェクト内の異なるサブオブジェクトを検出して分類するように構成することができる。例えば、オブジェクト検出器204は、第1の画像フレーム122の(人間として)検出された第1のオブジェクト304A内のバッジである第12のオブジェクト314を検出するように構成することができる。ある実施形態によれば、回路202は、第1のオブジェクトの組における第12のオブジェクト314をオブジェクト検出器204から受け取るように構成することができる。回路202は、第1の画像フレーム122の第12のオブジェクト314のオブジェクトタイプと画素座標とに基づいて、第1のオブジェクトの組における第12のオブジェクト314(例えば、バッジ)が、検出された第2のオブジェクトの組では無くなっている又は存在しないと判断するように構成することができる。回路202は、ユーザ110のための通知情報を生成するようにさらに構成することができる。この通知情報は、第1の画像フレーム122(例えば、第1のフィルムショット116Aの最後のフレーム)と第2の画像フレーム124(例えば、第2のフィルムショット116Bの最初のフレーム)との間における第12のオブジェクト314の不連続性又は不一致を示すことができる。この通知情報は、ユーザ110のための、第12のオブジェクト314(例えば、バッジ)の不連続性に関するアラート又はエラーメッセージとすることができる。回路202は、第12のオブジェクト314に関連する生成された通知情報を出力するようにディスプレイ画面104を制御するよう構成することができる。通知情報の詳細については、例えば図4A及び図4Bで詳細に説明する。ある実施形態によれば、回路202は、ビデオ編集装置102に関連するスピーカ(図示せず)を、生成された通知を音声形態で出力するように制御するよう構成することができる。
ある実施形態によれば、回路202は、検出された第1のオブジェクトの組及び第2のオブジェクトの組の1又は2以上の視覚属性を決定するようにさらに構成することができる。いくつかの実施形態では、回路202を、第1の画像フレーム122及び第2の画像フレーム124の各画素の画素情報に基づいて1又は2以上の視覚属性を決定するように構成することができる。画素情報は、以下に限定するわけではないが、輝度値、コントラスト値、又はカラー値を含むことができる。いくつかの実施形態では、回路202を、第1のオブジェクトの組及び第2のオブジェクトの組のそれぞれの特定された画素座標に基づいて1又は2以上の視覚属性を決定するように構成することができる。検出された第1のオブジェクトの組及び第2のオブジェクトの組の1又は2以上の視覚属性の例としては、以下に限定するわけではないが、形状、サイズ、寸法、色、輝度値、コントラスト値、起伏、配向、傾斜角、姿勢、又は文字情報を挙げることができる。
ある実施形態によれば、回路202は、第1のオブジェクト304A及び第7のオブジェクト304B(すなわち、同じオブジェクト)のそれぞれの1又は2以上の視覚属性を決定するようにさらに構成することができる。回路202は、第1のオブジェクト304A及び第7のオブジェクト304Bのそれぞれの決定された1又は2以上の視覚属性のうちの少なくとも1つの視覚属性の偏差を特定するように構成することができる。図3では、第1のオブジェクト304A及び第7のオブジェクト304Bの1又は2以上の視覚属性が同じである。従って、回路202は、第1の画像フレーム122と第2の画像フレーム124との間における、第1のオブジェクト304A及び第7のオブジェクト304Bの1又は2以上の視覚属性の一貫性(又は連続性)を検出するように構成することができる。
回路202は、第2のオブジェクト306A及び第8のオブジェクト306Bのオブジェクトタイプと特定された画素座標とに基づいて、第1の画像フレーム122の第2のオブジェクト306Aと第2の画像フレーム124の第8のオブジェクト306Bとを同じオブジェクト(例えば、犬)として識別するようにさらに構成することができる。回路202は、第2のオブジェクト306A及び第8のオブジェクト306Bの1又は2以上の視覚属性を決定するようにさらに構成することができる。図3では、回路202が、第2のオブジェクト306Aと第8のオブジェクト306Bとの間におけるサイズの偏差を特定することができる。回路202は、このサイズの偏差に基づいて、第2のオブジェクト306A(又は、第8のオブジェクト306B)に関連する通知情報を生成するようにさらに構成することができる。第2のオブジェクト306Aと第8のオブジェクト306Bとの間におけるサイズの偏差は、第1のフィルムショット116Aの第1の画像フレーム122と第2のフィルムショット116Bの第2の画像フレーム124との間の不連続性又は不一致性を示すことができる。
同様に、図3では、回路202が、第1の画像フレーム122の(車としての)第3のオブジェクト308Aと、第2の画像フレーム124の(第3のオブジェクト308Aと同様の)第9のオブジェクト308Bとの間の形状の偏差を特定することができる。回路202は、第1の画像フレーム122の(照明装置としての)第4のオブジェクト310Aと、第2の画像フレーム124の第10のオブジェクト210Bとの間の色の偏差を特定するようにさらに構成することができる。
ある実施形態によれば、オブジェクト検出器204は、検出された第1のオブジェクトの組及び第2のオブジェクトの組の文字情報を検出するように構成することができる。ある実施形態によれば、オブジェクト検出器204は、1又は2以上の文字認識法又は光学文字認識法に基づいて文字情報を検出することができる。オブジェクト検出器204は、第1のオブジェクトの組及び第2のオブジェクトの組のそれぞれの検出された文字情報を回路202に提供するようにさらに構成することができる。回路202は、第1の画像フレーム122及び第2の画像フレーム124の同様のオブジェクトの文字情報を比較して、文字情報の偏差を特定するようにさらに構成することができる。図3では、回路202が、第3のオブジェクト308Aの第1の文字情報312A(例えば、「COP1017X」)と、第9のオブジェクト308Bの第2の文字情報312B(例えば、「COP1022Y」)との間の偏差を特定することができる。回路202は、第1の文字情報312Aと第2の文字情報312Bとの間における特定された偏差に基づいて、第3のオブジェクト308A(又は第9のオブジェクト308B)に関連する通知情報を生成するようにさらに構成することができる。さらに、図3では、回路202が、第1のオブジェクトの組及び第2のオブジェクトの組のそれぞれの検出されたオブジェクトタイプに基づいて、第1のオブジェクトの組の(植物としての)第6のオブジェクト302が第2のオブジェクトの組に存在しない又は欠けていると判断することができる。回路202は、第1の画像フレーム122と第2の画像フレーム124との間における第6のオブジェクト302の不連続性を示す通知情報を生成するように構成することができる。従って、ビデオ編集装置102は、連続ショット間におけるオブジェクトの(存在の又は少なくとも1つの視覚属性の)不連続性の通知情報を自動的かつ正確に生成することができる。自動的かつ正確な通知情報の生成は、不連続性(又は連続性エラー)の識別における大幅な時間の節約を確実にするとともに、第1のビデオコンテンツ112の全体的な品質の改善をさらに確実にする。
ある実施形態によれば、回路202は、第1の画像フレーム122の第1のオブジェクトの組の各オブジェクトの、第2の画像フレーム124の第2のオブジェクトの組の同様のオブジェクトに対する位置偏差を特定するようにさらに構成することができる。回路202は、第1のオブジェクトの組及び第2のオブジェクトの組のそれぞれの画素座標に基づいて位置偏差を特定するように構成することができる。図3では、回路202を、第1の画像フレーム122の(箱としての)第5のオブジェクト314Aと(第5のオブジェクト314Aと同様の)第11のオブジェクト314Bとの間の位置偏差を識別するように構成することができる。第5のオブジェクト314Aと第11のオブジェクト314Bとの間の位置偏差は、第1のフィルムショット116Aと第2のフィルムショット116Bとの間における第5のオブジェクト314A(又は第11のオブジェクト314B)の位置又は動きの変化を示すことができる。ある実施形態によれば、回路202は、検出された位置偏差に基づいて第5のオブジェクト314A(又は第11のオブジェクト314B)に関する通知情報を生成するように構成することができる。回路202は、位置偏差に関する通知情報をユーザ110に表示するようにディスプレイ画面104を制御するようさらに構成することができる。ユーザ110は、この位置偏差に関する通知情報に基づいて、第11のオブジェクト314Bの位置を修正することによって第2のフィルムショット116Bを撮り直すとの判断を行い、第5のオブジェクト314Aと第11のオブジェクト314Bとの間の位置の不連続性をさらに回避することができる。ユーザ110は、異なる画像処理法又は画像編集法を使用して第2の画像フレーム124の第11のオブジェクト314Bの位置を修正することができる。ユーザ110は、第2のフィルムショット116Bの取り込み時点で第5のオブジェクト314Aと第11のオブジェクト314Bとの間の位置偏差が意図的なものであった場合、第5のオブジェクト314A(又は第11のオブジェクト314B)に関する通知情報を無視することもできる。例えば、監督又はカメラマンが、第1のビデオコンテンツ112の取り込み中に第1のフィルムシーン114Aの脚本に基づいて、連続ショット間で特定のオブジェクトの位置又は場所を意図的に変化させることもある。別の例では、監督又はカメラマンが、第2のフィルムショット116Bの取り込み時点でビデオ取り込み装置のズームを第1のフィルムショット116Aに対して変化させた場合、1又は2以上の視覚属性(例えば、サイズ又は寸法)の偏差はユーザ110による意図的なものであると考えることができる。
ある実施形態によれば、回路202は、第1のフィルムシーン114A(すなわち、第1のフィルムショット116A及び第2のフィルムショット116Bを含むフィルムシーン)の状況に基づいて、第1のオブジェクトの組の各々と第2のオブジェクトの組の対応する同様のオブジェクトとの間の位置偏差を特定するように構成することができる。回路202は、第1の画像フレーム122よりも前の複数の画像フレーム(又は第1のフィルムショット116Aよりも前の複数のフィルムショット)を分析して第1のフィルムシーン114Aの状況を判断するように構成することができる。ある実施形態によれば、回路202は、複数の画像フレーム内の異なるオブジェクトの画素座標を特定して第1のフィルムシーン114Aの状況を判断するように構成することができる。例えば、連続ショット間でオブジェクト及びサブオブジェクトの頻繁な動きが取り込まれる(状況としてのダンス又は楽曲シーンなど)移動シーンの場合には、回路202を、(第1のオブジェクトの組と、第2のオブジェクトの組の対応する同様のオブジェクトとの間の)位置偏差を廃棄してユーザ110のための通知情報を生成するように構成することができる。従って、ビデオ編集装置102は、連続ショット間におけるオブジェクトの知的連続性チェックを行うことができる。ビデオ編集装置102によって実行されるこのような知的連続性チェックは、ユーザ110に少ない時間で正確な連続性エラーを提供することができる。ユーザ110は、全ての連続性エラーをさらに分析して修正し、編集段階後の最終的に公開される第1のビデオコンテンツ112の品質を改善することができる。
図4A及び図4Bに、本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知を表示するユーザインターフェイスを集合的に示す。図4A及び図4Bの説明は、図1、図2及び図3の要素に関連して行う。図4Aには、ディスプレイ画面104に表示される第1のユーザインターフェイス(UI)400Aを示す。
ある実施形態によれば、第1のユーザインターフェイス(UI)400Aは、回路202が第1のビデオコンテンツ112のフィルムシーンの組114A〜114Bの連続ショットに対して実行する連続性チェックに基づいて生成された通知情報を示すことができる。図4Aでは、第1のユーザインターフェイス400Aが、例えば図3で詳細に説明したような第1の画像フレーム122の第1のオブジェクトの組と第2の画像フレーム124の第2のオブジェクトの組との間で実行される連続性チェックに基づいて生成された通知情報を示すことができる。この通知情報は、第1の画像フレーム122の第1のオブジェクトの組と第2の画像フレーム124の第2のオブジェクトの組との間の不連続性又は不一致性を示すことができる。ある実施形態によれば、この通知情報は、ビデオ編集装置102によってオブジェクトの1又は2以上の不連続性が検出された第1のフィルムシーン114Aの識別子を含むことができる。第1のフィルムシーン114Aの識別子は、第1のビデオコンテンツ112のシーン番号を示すことができる。いくつかの実施形態では、通知情報が、ビデオ編集装置102によってオブジェクトの1又は2以上の不連続性が検出された第1のフィルムショット116A及び第2のフィルムショット116Bの識別情報をさらに含むことができる。この識別情報は、第1のフィルムショット116A及び第2のフィルムショット116Bを含むことができる第1のフィルムシーン114Aのショット番号を示すことができる。ある実施形態によれば、通知情報が、不連続性(又は連続性エラー)の詳細を含むことができる。不連続性の詳細は、第1のオブジェクトの組及び第2のオブジェクトの組のオブジェクトタイプ、及び1又は2以上の視覚属性の偏差を含むことができる。
図4Aには、ディスプレイ画面104上に表形式で表示される生成された通知情報を示すことができる複数のUIオプション402A〜402Nを示す。複数のUIオプション402A〜402Nの各々は、生成された通知情報を表示することができる。ある実施形態によれば、複数のUIオプション402A〜402Nの各々は、第1のフィルムシーン114Aの識別子と、第1のフィルムショット116A及び第2のフィルムショット116Bの識別情報と、検出された不連続性の詳細とを示すことができる。
ある実施形態によれば、複数のUIオプション402A〜402Nは、図3に示すような第1の画像フレーム122と第2の画像フレーム124との間における第12のオブジェクト314(例えば、バッジ)に関する不連続性を示すことができる第1のUIオプション402Aを含むことができる。例えば、第1のUIオプション402Aは、(第1のフィルムシーン114Aの識別子としての)フィルムシーン番号「1」、並びに(第1のフィルムショット116A及び第2のフィルムショット116Bの識別情報としての)番号1及び2を有する連続ショット間における第12のオブジェクト314の連続性エラーの詳細を含むことができる、「制服のバッジ無し」とのエラーメッセージを示すことができる。
同様に、複数のUIオプション402A〜402Nは、エラーメッセージを含むことができる第2のUIオプション402Bを含むこともできる。このエラーメッセージは、図3に示すような(犬としてのオブジェクトタイプを有する)第2のオブジェクト306A及び第8のオブジェクト306Bに関連する不連続性(すなわち、サイズの偏差)を示すことができる。このエラーメッセージは、第2の画像フレーム124の第8のオブジェクト306Bの描写における制作エラーを示すこともできる。例えば、第2のUIオプション402Bは、「1」という第1のフィルムシーン114Aの識別子、並びに「1及び2」という第1のフィルムショット116A及び第2のフィルムショット116Bの識別情報を使用して、第8のオブジェクト306Bの連続性エラーの詳細を「犬のサイズが異なる」として示すことができる。図4Aでは、複数のUIオプション402A〜402Nが、第3のUIオプション402C、第4のUIオプション402D、第5のUIオプション402E及び第6のUIオプション402Fを含むことができる。ある実施形態によれば、第3のUIオプション402Cは、第1の画像フレーム122と第2の画像フレーム124との間における(車としての)第3のオブジェクト308A及び第9のオブジェクト308Bに関連する不連続性(すなわち、形状及び文字情報の偏差)を示すことができるエラーメッセージを含むことができる。例えば、第3のUIオプション402Cは、第3のオブジェクト308A及び第9のオブジェクト308Bの不連続性の詳細を「車の形状及び文字が異なる」として示すことができる。第4のUIオプション402Dは、(照明装置としての)第4のオブジェクト310A及び第10のオブジェクト310Bに関連する不連続性(すなわち、色の偏差)を示すことができるエラーメッセージを含むことができる。例えば、第4のUIオプション402Dは、第4のオブジェクト310A及び第10のオブジェクト310Bの不連続性の詳細を「車上の照明装置の色が異なる」として示すことができる。第5のUIオプション402Eは、「1」というフィルムシーン番号と、「1、2」という連続ショットとを使用して、第6のオブジェクト302の連続性エラーの詳細を「植物無し」として示すことができる。第6のUIオプション402Fは、(箱としての)第5のオブジェクト314A及び第11のオブジェクト314Bに関連する不連続性(すなわち、位置の偏差)を示すことができるエラーメッセージを含むことができる。例えば、第6のUIオプション402Fは、第5のオブジェクト314A及び第11のオブジェクト314Bの不連続性の詳細を「箱の位置が異なる」として示すことができる。
ある実施形態によれば、回路202は、第1のビデオコンテンツ112に通知情報をメタデータとして追加するように構成することができる。いくつかの実施形態では、回路202を、通知情報が生成された対象である一致しないオブジェクトを含む第1のフィルムショット116A又は第2のフィルムショット116Bを通知情報にメタデータとして追加するように構成することができる。第1のビデオコンテンツ112に追加されるメタデータは、ユーザ110が後の段階で第1のビデオコンテンツ112を編集又はレンダリングしている間に異なる連続性ミス(又は一致しないオブジェクト)を素早く参照するのを支援することができる。
ある実施形態によれば、回路202は、ユーザ110からI/O装置210を介して、複数のUIオプション402A〜402Nのうちの1つを選択するための1又は2以上のユーザ入力を受け取るように構成することができる。回路202は、複数のUIオプション402A〜402Nのうちの選択されたオプションに関連する対応するショット又は対応する画像フレームを表示するようにディスプレイ画面104を制御するようさらに構成することができる。例えば、ユーザ110が第3のUIオプション402Cを選択した場合、回路202は、車としてのオブジェクトタイプを有する第3のオブジェクト308A(又は同様の第9のオブジェクト308B)の不連続性(すなわち、形状及び文字の偏差)を含む第1の画像フレーム122及び第2の画像フレーム124を表示するようにディスプレイ画面104を制御することができる。
ある実施形態によれば、回路202は、ユーザ110からI/O装置210を介して、表示された複数のUIオプション402A〜402Nをフィルタリングするための1又は2以上のユーザ入力を受け取るように構成することができる。回路202は、様々な因子に基づいて複数のUIオプション402A〜402Nをフィルタリングするように構成することができる。これらの因子の例としては、以下に限定するわけではないが、シーン番号、ショット番号、オブジェクトタイプ、又は1又は2以上の視覚属性を挙げることができる。例えば、回路202は、ユーザ110から、シーン1についての複数のUIオプション402A〜402Nのうちの1つ又は2つ以上をフィルタリングして表示(すなわち、通知情報を生成)するための1又は2以上のユーザ入力を受け取ることができる。別の例では、回路202が、ユーザ110から、位置の偏差、無くなったオブジェクト、又は人間というオブジェクトタイプを含む複数のUIオプション402A〜402Nのうちの1つ又は2つ以上をフィルタリングして表示するための1又は2以上のユーザ入力を受け取ることができる。このように、第1のビデオコンテンツ112の選択的な不連続性の表示は、第1のビデオコンテンツ112の品質及び人気を高めるために修正すべき実際の連続性ミスをユーザ110が識別するのを支援することができる。
図4Bには、第1の画像フレーム122及び第2の画像フレーム124のいずれかにおいて生成されたグラフィック形式の通知情報を示す。図4Bには、通知情報としての複数のUI領域404A〜404Fを示す。複数のUI領域404A〜404Fは、例えば図3で詳細に説明したように回路202によって連続性エラーが検出された又は通知情報が生成された第1のオブジェクトの組及び第2のオブジェクトの組を覆うグラフィックオーバレイ(例えば、透明な境界又は領域)とすることができる。従って、このような通知情報のグラフィック表現は、(編集者としての)ユーザ110が少ない時間で連続性エラーを識別するのを支援することができる。ユーザ110は、異なるオブジェクトに関連する表示された通知情報のグラフィック表現に基づいて、検出された(連続性エラーを有する)ショットを撮り直すべきであるか、既知のビデオ編集技術を使用して連続性エラーを修正すべきであるか、それとも(ショットの取り込み時点で不連続性又は偏差が意図的なものである場合)特定のオブジェクトの連続性エラーを無視すべきであるかについての適切な判断をさらに行うことができる。
図5に、本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための第2の例示的なシナリオを示す。図5の説明は、図1、図2、図3、図4A及び図4Bの要素に関連して行う。図5には、第2のシナリオ500を示す。
第2のシナリオ500では、ビデオ編集装置102が連続性チェックを実行できる第1の画像フレーム122及び第2の画像フレーム124を示す。第1の画像フレーム122は、(人間の顔としてのオブジェクトタイプを有する)第1の顔オブジェクト502Aを含むことができ、第2の画像フレーム124は、(第1の顔オブジェクト502Aと同様の)第2の顔オブジェクト502Bを含むことができる。図5では、ビデオ取り込み装置が、第1の画像フレーム122及び第2の画像フレーム124を第1の顔オブジェクト502Aに対する異なる角度で取り込むことができる。例えば、第1のフィルムショット116Aの第1の画像フレーム122は、第1の顔オブジェクト502Aの右側(例えば、ゼロ度の角度)から取り込むことができ、第2のフィルムショット116Bの第2の画像フレーム124は、第2の顔オブジェクト502Bの前側から(例えば、90度の角度で)取り込むことができる。
ある実施形態によれば、第1の画像フレーム122は、ビデオ取り込み装置が第1の画像フレーム122を取り込むことができる第1の角度を示すことができる第1の角度情報(例えば、ゼロ度)を含むことができる。ある実施形態によれば、ビデオ取り込み装置は、第1の画像フレーム122を取り込むために第1の位置(例えば、第1の顔オブジェクト502Aの右側)に存在することができる。第2の画像フレーム124は、ビデオ取り込み装置が第2の画像フレーム124を取り込むことができる第2の角度を示すことができる第2の角度情報(例えば、90度)を含むことができる。ある実施形態によれば、ビデオ取り込み装置は、第2の画像フレーム124を取り込むために第2の位置(例えば、第2の顔オブジェクト502Bの前側)に存在することができる。(第2の画像フレーム124を取り込むことができる)第2の角度は、(第1の画像フレーム122を取り込むことができる)第1の角度に対して定めることができる。ある実施形態によれば、第1のフィルムショット116Aの一連の画像フレーム118の各画像フレームは第1の角度情報を含むことができ、第2のフィルムショット116Bの一連の画像フレーム120の各画像フレームは第2の角度情報を含むことができる。
ある実施形態によれば、オブジェクト検出器204は、第1の画像フレーム122から第1の顔オブジェクト502Aを検出するように構成することができる。回路202は、検出された第1の顔オブジェクト502Aをオブジェクト検出器204から受け取るように構成することができる。ある実施形態によれば、回路202は、第1の画像フレーム122に含まれる第1の角度情報に基づいて、検出された第1の顔オブジェクト502Aの第1の3次元(3D)画像を生成するようにさらに構成することができる。いくつかの実施形態では、回路202が、様々な2D−3D変換法を使用して第1の顔オブジェクト502Aの第1の3D画像を生成することができる。このような2D−3D変換法の例としては、以下に限定するわけではないが、離散線形変換(DLT)を用いた複数の画像からの3D再現、ディープニューラルネットワークを用いた2D画像からの3D再現、三角測量法を用いた2D画像からの3D再現、又は2D画像の単眼及び立体キューからの3D再現を挙げることができる。
ある実施形態によれば、オブジェクト検出器204は、第2の画像フレーム122から第2の顔オブジェクト502Bを検出するようにさらに構成することができる。回路202は、検出された第2の顔オブジェクト502Bをオブジェクト検出器204から受け取るように構成することができる。ある実施形態によれば、回路202は、第2の画像フレーム124に含まれる第2の角度情報に基づいて、検出された第2の顔オブジェクト502Bの第2の3D画像を生成するように構成することができる。
ある実施形態によれば、一連の画像フレーム118の各々は、ビデオ取り込み装置が一連の画像フレーム118の各々を取り込んだ第1の角度を示す第1の角度情報を含むことができる。いくつかの実施形態では、一連の画像フレーム118の第1の複数の画像フレームを、一連の画像フレーム118の第2の複数の画像フレームに比べて異なる角度で取り込むことができる。例えば、ビデオ取り込み装置が特定の方向(X軸、Y軸又はZ軸のいずれか)に特定の速度で連続して動いている場合、第1のフィルムショット116Aの第1の複数の画像フレームは、第1のフィルムショット116Aの第2の複数の画像フレームの取り込みに対して異なる角度で取り込むことができる。ある実施形態によれば、異なる角度で取り込まれる第1の複数の画像フレームの数及び第2の複数の画像フレームの数は、ビデオ取り込み装置のフレーム(又は取り込み)レート、及び第1のフィルムショット116Aの取り込み中にビデオ取り込み装置が移動する特定の速度に基づくことができる。
ある実施形態によれば、一連の画像フレーム118の各々は、ビデオ取り込み装置の第1の動き情報を含むことができる。第1の動き情報は、第1の当初位置(例えば、一連の画像フレーム118の第1の画像フレームの取り込み中におけるビデオ取り込み装置の位置)に対するビデオ取り込み装置の位置の変化を示すことができる。この位置は、3D物理空間におけるビデオ取り込み装置のXYZ位置に対応することができる。
ある実施形態によれば、回路202は、一連の画像フレーム118の各々に関連する第1の角度情報又は第1の動き情報に基づいて、検出された第1の顔オブジェクト502A(又は図3の第1のオブジェクトの組)の第1の3D画像を生成するように構成することができる。同様に、第2のフィルムショット116Bの一連の画像フレーム120の各々は、ビデオ取り込み装置の第2の動き情報を含むことができる。第2の動き情報は、第2の当初位置(例えば、第2のフィルムショット116Bの一連の画像フレーム120の第1の画像フレームの取り込み中におけるビデオ取り込み装置の位置)に対するビデオ取り込み装置の位置の変化を示すことができる。ある実施形態によれば、回路202は、第2のフィルムショット116Bの一連の画像フレーム120の各々に関連する第2の角度情報又は第2の動き情報に基づいて、検出された第2の顔オブジェクト502B(又は図3の第2のオブジェクトの組)の第2の3D画像を生成するように構成することができる。
ある実施形態によれば、回路202は、第1の顔オブジェクト502Aの生成された第1の3D画像(すなわち、第1の角度で取り込まれた3D画像)と、第2の顔オブジェクト502Bの生成された第2の3D画像(すなわち、第2の角度で取り込まれた3D画像)とを比較するようにさらに構成することができる。回路202は、第1の顔オブジェクト502Aの生成された第1の3D画像及び第2の顔オブジェクト502Bの生成された第2の3D画像の1又は2以上の視覚属性の偏差を検出するようにさらに構成することができる。図5では、回路202を、第1の顔オブジェクト502Aの生成された第1の3D画像と、第2の顔オブジェクト502Bの生成された第2の3D画像との間の起伏又は形状(例えば、血管(blood)の起伏又は形状)の偏差を検出するように構成することができる。図5では、第1の顔オブジェクト502A上の(例えば、血管マークとしてのオブジェクトタイプを有する)第1のサブオブジェクト504Aの起伏又は形状が、第2の顔オブジェクト502B上の(第1のサブオブジェクト504Aと同様の)第2のサブオブジェクト504Bの起伏又は形状と異なる。さらに、第1の画像フレーム122の第1の顔オブジェクト502Aでは、第2の画像フレーム124の第2の顔オブジェクト502B上の(例えば、血管マークとしてのオブジェクトタイプを有する)第3のサブオブジェクト506が欠けている可能性がある。
ある実施形態によれば、回路202は、第1のサブオブジェクト504Aと第2のサブオブジェクト504Bとの間の起伏(又は形状)の偏差に基づいて通知情報を生成するように構成することができる。いくつかの実施形態では、回路202を、連続フレーム(すなわち、第1の画像フレーム122と第2の画像フレーム124との)間の第3のサブオブジェクト506の不連続性(又は不在)の検出に基づいて通知情報を生成するように構成することができる。従って、ビデオ編集装置102の3D生成及び比較能力は、たとえ連続ショットにおいてオブジェクトが異なる角度で取り込まれた場合でもオブジェクトの不連続性の自動検出を可能にする。
図6に、本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の事実誤認通知制御のための第3の例示的なシナリオを示す。図6の説明は、図1、図2、図3、図4A、図4B及び図5の要素に関連して行う。図6には、第3のシナリオ600を示す。
第3のシナリオ600では、第1のビデオコンテンツ112の特定のフィルムショットの取り込み画像フレーム602を示す。画像フレーム602は、第1のオブジェクト604及び第2のオブジェクト606を含むことができる。ある実施形態によれば、第1のオブジェクト604は、人間(例えば、ニュースレポータ)としてのオブジェクトタイプに対応することができ、第2のオブジェクト606は、第1のオブジェクト604が保持するハンドマイクとしてのオブジェクトタイプに対応することができる。図6には、第2のオブジェクト606に印刷された文字情報も示す。例えば、文字情報は、第1のオブジェクト604(例えば、ニュースレポータ)に関連し得る(ニュースチャンネル名などの)組織名に対応することができる。
ある実施形態によれば、回路202は、第1のビデオコンテンツ112の編集段階中に、ユーザ110からI/O装置120を介して第2のユーザ入力を受け取るように構成することができる。第2のユーザ入力は、第1のビデオコンテンツ112に対して事実誤認チェックを実行する要求を含むことができる。回路202は、第2のユーザ入力を受け取ったことに応答して、各画像フレーム(例えば、画像フレーム602)又は第1のビデオコンテンツ112の各フィルムショットに対して事実誤認チェックを実行するように構成することができる。
図6では、回路202を、メモリ206に記憶された第1のビデオコンテンツ112から画像フレーム602を抽出するように構成することができる。オブジェクト検出器204は、抽出された画像フレーム602から第1のオブジェクト604及び第2のオブジェクト606のそれぞれのオブジェクトタイプを検出するように構成することができる。オブジェクト検出器204は、抽出された画像フレーム602から第2のオブジェクト606に関連する文字情報(例えば、図6に示すような「Top Channel」)を検出するようにさらに構成することができる。ある実施形態によれば、回路202は、オブジェクト検出器204から、第1のオブジェクト604及び第2のオブジェクト606のそれぞれの検出されたオブジェクトタイプ、並びに文字情報を受け取るように構成することができる。回路202は、第1のビデオコンテンツに関連する第1のタイムライン情報を検索するようにさらに構成することができる。第1のタイムライン情報は、第1のビデオコンテンツ112に関連する時代又は第1のビデオコンテンツ112によって示される時代(例えば、中世時代)を示すことができる。ある実施形態によれば、第1のタイムライン情報は、第1のビデオコンテンツ112を取り込むことができる1年間又は10年間を示すことができる。いくつかの実施形態では、回路202は、ユーザ110からI/O装置210を介して第1のタイムライン情報を受け取るように構成することができる。第1のタイムライン情報は、ユーザ110から受け取られる第2のユーザ入力に含めることができる。
ある実施形態によれば、回路202は、検出された第1のオブジェクト604及び第2のオブジェクト606のそれぞれの画像及びオブジェクトタイプ、並びに検出された文字情報をサーバ106に送信するように構成することができる。ある実施形態によれば、サーバは、異なるオブジェクトタイプを有する複数のオブジェクトを記憶できるマスターデータベース(図示せず)を含むことができる。いくつかの実施形態では、マスターデータベースが、複数のオブジェクトの異なるバージョンを含むことができる。異なるバージョンは、異なるオブジェクトに関する異なる変化(例えば、視覚特性)を示すことができる。例えば、マスターデータベースは、異なるテレビ又は携帯電話機バージョンについて異なるオブジェクトタイプを記憶することができる。ある実施形態によれば、マスターデータベースは、複数のオブジェクトに関連する第2のタイムライン情報、オブジェクトタイプ又は異なるバージョンを含むことができる。第2のタイムライン情報は、複数のオブジェクト、オブジェクトタイプ又は異なるバージョンのそれぞれの発明、発見、使用、市場公開又は進化のタイミング情報を示すことができる。例えば、携帯電話機(又は特定のバージョン又はモデル)の第2のタイムライン情報は、その携帯電話機が発明された年、最初に市場公開された年、使用された年、又は進化した年を示すことができる。図6では、サーバ106のマスターデータベースが、第2のオブジェクト606(例えば、ハンドマイク)に関連する、又は検出された文字情報(例えば、「Top Channel」)に関連する第2のタイムライン情報を記憶することができる。
ある実施形態によれば、サーバ106は、検出された第1のオブジェクト604及び第2のオブジェクト606のそれぞれの画像及びオブジェクトタイプ、並びに検出された文字情報を回路202から受け取るように構成することができる。サーバ106は、検出された第1のオブジェクト604及び第2のオブジェクト606のそれぞれのオブジェクトタイプ、並びに記憶されている複数のオブジェクトのそれぞれの記憶されているオブジェクトタイプに基づいて、検出された第1のオブジェクト604、第2のオブジェクト606及び検出された文字情報と、記憶されている複数のオブジェクト(又は異なるバージョン)とを比較するようにさらに構成することができる。サーバ106は、この比較に基づいて、識別されたオブジェクトのオブジェクトタイプが、受け取った第1のオブジェクト604(又は関連する文字情報を有する第2のオブジェクト606)のオブジェクトタイプと同様である場合、記憶されている複数のオブジェクトから1つのオブジェクトを識別するようにさらに構成することができる。サーバ106は、マスターデータベースから、識別されたオブジェクトの第2のタイムライン情報を検索するようにさらに構成することができる。
ある実施形態によれば、回路202は、識別されたオブジェクトの第2のタイムライン情報をサーバ106から受け取るようにさらに構成することができる。いくつかの実施形態では、メモリ206を、複数のオブジェクト(又は異なるバージョン)の画像と、関連するオブジェクトタイプと、関連する第2のタイムライン情報とを記憶するように構成することができる。回路202は、検出された第1のオブジェクト604、第2のオブジェクト606及び検出された文字情報と、記憶されている複数のオブジェクト(又は異なるバージョン)との、対応するオブジェクトタイプに基づく比較に基づいて、記憶されている複数のオブジェクトから1つのオブジェクトを識別するように構成することができる。回路202は、識別されたオブジェクトに関連する第2のタイムライン情報を検索するようにさらに構成することができる。
ある実施形態によれば、回路202は、第1のビデオコンテンツ112に関連する第1のタイムライン情報と、抽出された画像フレーム602内の検出された第1のオブジェクト604及び第2のオブジェクト606の各々に関連する第2のタイムライン情報とを比較するようにさらに構成することができる。回路202は、第1のタイムライン情報と、第1のオブジェクト604及び第2のオブジェクト606の各々の第2のタイムライン情報との間の偏差を特定するようにさらに構成することができる。例えば、第1のビデオコンテンツ112が時代(例えば、1900年)に関連することが第1のタイムライン情報によって示され、その後(例えば、1950年)に「ハンドマイク」が使用されたことが第2のオブジェクト606の第2のタイムライン情報によって示された場合、回路202は、第1のビデオコンテンツ112の第1のタイムライン情報と第2のオブジェクト606の第2のタイムライン情報との間の偏差を画像フレーム602の事実誤認として識別することができる。別の例では、検出された文字情報に関連する第2のタイムライン情報によって「Top Channel」が1970年に始動したことが示された場合、回路202は、第1のビデオコンテンツ112の第1のタイムライン情報と第2のオブジェクト606の第2のタイムライン情報との間の偏差を事実誤認として識別することができる。
ある実施形態によれば、回路202は、事実誤認が検出された第2のオブジェクト606に関連する通知情報を生成するようにさらに構成することができる。ある実施形態によれば、生成される通知情報は、画像フレーム602を含むフィルムシーンの識別子と、画像フレーム602を含むフィルムショットの識別情報と、第2のオブジェクト606の事実誤認の詳細とを含むことができる。ある実施形態によれば、回路202は、ユーザ110のディスプレイ画面上に生成される図4Aに示すような通知情報を表示するように構成することができる。いくつかの実施形態では、回路202を、事実誤認が検出された第2のオブジェクト606上に(図4Bに示すような)グラフィックオーバレイを表示するようにディスプレイ画面104を制御するよう構成することができる。
ある実施形態によれば、回路202は、第1のビデオコンテンツ112の各フィルムショットの各画像フレームに含まれる各検出されたオブジェクトの事実誤認を検出するように構成することができる。回路202は、回路202が事実誤認を検出した対象である各オブジェクトについての通知情報を生成するようにさらに構成することができる。ユーザ110(例えば、編集者)は、生成された事実誤認に関する通知情報に基づいて、事実誤認が検出されたオブジェクトを除去することによってフィルムショットを撮り直すべきであるか、それとも第1のビデオコンテンツ112を視聴者に対して仕上げる前に既知の画像処理法を使用してオブジェクトを編集すべきであるかについての判断を行うことができる。従って、ビデオ編集装置102による事実誤認の検出は、第1のビデオコンテンツの全体的な品質及び(編集者としての)ユーザ110の信頼性を高めることができる。
図7に、本開示の実施形態による、図2のビデオ編集装置によるビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の重複通知制御のための第4の例示的なシナリオを示す。図7の説明は、図1、図2、図3、図4A、図4B、図5及び図6の要素に関連して行う。図7には、第4のシナリオ700を示す。
第4のシナリオ700では、第1のビデオコンテンツ112の特定のフィルムショットの取り込み画像フレーム702を示す。画像フレーム702は、第1のオブジェクト704、第2のオブジェクト706及び第3のオブジェクト708を含むことができる。第1のオブジェクト704は、太陽としてのオブジェクトタイプに対応することができ、第2のオブジェクト706は、人間(例えば、有名人)としてのオブジェクトタイプに対応することができ、第3のオブジェクト708は、山としてのオブジェクトタイプに対応することができる。ある実施形態によれば、第1のオブジェクト704、第2のオブジェクト706及び第3のオブジェクト708のそれぞれの検出されたオブジェクトタイプを第1のメタデータとすることができる。いくつかの実施形態では、画像フレーム702が、検出された第1のオブジェクト704、第2のオブジェクト706及び第3のオブジェクト708に関連する詳細を第1のメタデータとして含むことができる。いくつかの実施形態では、回路202を、検出されたオブジェクトの分析に基づいて、これらの詳細を第1のメタデータとして決定するように構成することができる。これらの詳細の例としては、以下に限定するわけではないが、オブジェクトのサイズ、オブジェクトの寸法、オブジェクトのオブジェクトタイプ、画像フレーム702が取り込まれた地理位置情報、オブジェクトの姿勢、オブジェクトの配向、オブジェクトの色、オブジェクトの起伏、又はオブジェクトの形状を挙げることができる。いくつかの実施形態では、検出されたオブジェクトタイプが人間である場合、第1のメタデータがアーティスト情報(例えば、有名人又は人物の名前)を含むことができる。
ある実施形態によれば、フィルムショット又は画像フレーム702に関連する第1のメタデータをメモリ206に記憶することができる。ある実施形態によれば、回路202は、第1のビデオコンテンツ112の編集段階中にユーザ110からI/O装置210を介して第3のユーザ入力を受け取るように構成することができる。第3のユーザ入力は、第1のビデオコンテンツ112に対して重複チェックを実行する要求を含むことができる。ユーザ110(例えば、編集者)は、第1のビデオコンテンツ112に対して重複チェックを行って、第1のビデオコンテンツ112の取り込まれたフィルムショット又はフィルムショットの複数のオブジェクトが、既に公開されている他のいずれかのビデオコンテンツ(例えば、他の映画)に含まれていないかどうかを確認することができる。ビデオ編集装置102は、重複チェックに基づいて、取り込まれたフィルムショット及び含まれているオブジェクトの組(又は組み合わせ)が第1のビデオコンテンツ112に新たに導入されたものであることを保証することにより、第1のビデオコンテンツ112の信頼性及び人気をさらに高めることができる。
1つの実施形態によれば、回路202は、第3のユーザ入力を受け取ったことに応答して、画像フレーム702(又は画像フレーム702を含むフィルムシーン)に関連する記憶された第1のメタデータを検索するように構成することができる。いくつかの実施形態では、回路202を、画像フレーム702内の検出されたオブジェクトに関連する第1のメタデータを決定するように構成することができる。ある実施形態によれば、回路202は、サーバ106から第2のメタデータを検索するようにさらに構成することができる。第2のメタデータは、第2のビデオコンテンツの複数のフィルムショット(すなわち、第1のビデオコンテンツ112とは異なるフィルムショット)に関連することができる。例えば、第2のビデオコンテンツは、既に視聴者に公開されている以前の又は古い映画に対応することができる。いくつかの実施形態では、第2のビデオコンテンツが、第1のビデオコンテンツ112の取り込みを担当するコンテンツ又は映画制作会社(例えば、映画バナー)に対応することができる。
第2のメタデータは、第2のビデオコンテンツの複数のフィルムショットに関する情報を含むことができる。第2のビデオコンテンツに関する情報は、以下に限定するわけではないが、複数のフィルムショット内のオブジェクトに関する情報、複数のフィルムショットのアーティスト情報、又は複数のフィルムショットが取り込まれた地理位置情報を含むことができる。ある実施形態によれば、回路202は、第2のビデオコンテンツの複数のフィルムショットのそれぞれの第2のメタデータを検索するように構成することができる。回路202は、第1のメタデータ(すなわち、画像フレーム702を含むフィルムショットに関連する)と、第2のビデオコンテンツの複数のフィルムショットのそれぞれの第2のメタデータとを比較するように構成することができる。第1のメタデータが、第2のビデオコンテンツの複数のフィルムショットのうちの1つのフィルムショットの第2のメタデータに一致する場合、回路202は、第1のビデオコンテンツ112の取り込まれたフィルムショット(或いは第1のオブジェクト704、第2のオブジェクト706、第3のオブジェクト708、又はこれらの組み合わせ)が第2のビデオコンテンツ(例えば、古い映画)内に存在し、又は既に取り込まれた/使用されたものであると判定することができる。このことは、第1のビデオコンテンツ112と第2のビデオコンテンツとの間におけるフィルムショット(又は第1のオブジェクト704、第2のオブジェクト706、第3のオブジェクト708、又はこれらの組み合わせ)の重複を示す。
ある実施形態によれば、回路202は、重複の識別に基づいてユーザのための通知情報を生成するよう構成することができる。いくつかの実施形態では、生成された通知情報が、第1のビデオコンテンツ112のフィルムシーン又はフィルムショットの第2のビデオコンテンツにおける複製を示すことができるエラーメッセージを示すことができる。回路202は、重複チェックに基づいて生成された通知情報を表示するようにディスプレイ画面104を制御するようさらに構成することができる。ある実施形態によれば、通知情報は、第2のビデオコンテンツと比べて重複していることが判明したフィルムシーンの識別子、フィルムショットの識別情報及びオブジェクトの詳細を含むことができる。
ある実施形態によれば、回路202は、第1のビデオコンテンツ112の複数のフィルムショットのそれぞれの重複チェックを行うように構成することができる。いくつかの実施形態では、回路202を、サーバ106に記憶されている複数のビデオ又は映画に関連する第2のメタデータを検索して重複チェックを行うように構成することができる。従って、ビデオ編集装置102は、重複チェック機能を使用して、重複ショット(又はショット内の同じオブジェクトの組み合わせ)に関する自動アラートをユーザ110に提供することができる。ユーザ110は、自動アラートに基づいて、第1のビデオコンテンツ112を仕上げる前に適切な措置(すなわち、ショットを撮り直すべきであるか、それとも重複オブジェクトを編集すべきであるか)を取ることができる。これにより、第1のビデオコンテンツ112に新規性がもたらされ、以前のビデオコンテンツからの同様のシーン又はショットを組み込むことが防がれる。従って、視聴者間における第1のビデオコンテンツ112の人気を高めることができる。
図8A及び図8Bは、本開示の実施形態による、ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知制御のための例示的な動作を示すフローチャートである。図8A及び図8Bの説明は、図1、図2、図3、図4A、図4B、図5、図6及び図7の要素に関連して行う。図8A及び図8Bにはフローチャート800を示す。802〜848の動作は、ビデオ編集装置102において実行することができる。これらの動作は、802から開始して804に進む。
804において、それぞれが一連の画像フレームを含むことができる複数のフィルムショットをそれぞれが含むことができる、フィルムシーケンスのフィルムシーンの組114A〜114Bを含むことができる第1のビデオコンテンツ112を記憶することができる。ある実施形態によれば、メモリ206を、フィルムシーケンスのフィルムシーンの組114A〜114Bを含むことができる第1のビデオコンテンツ112を記憶するように構成することができる。ある実施形態によれば、ビデオ編集装置102を、メモリ206から第1のビデオコンテンツ112を検索するように構成することができる。いくつかの実施形態では、ビデオ編集装置102を、サーバ106から第1のビデオコンテンツ112を検索するように構成することができる。
806において、複数のフィルムショットのうちの第1のフィルムショット116Aの第1の画像フレーム122と、複数のフィルムショットのうちの第2のフィルムショット116Bの第2の画像フレーム124とを抽出することができる。ある実施形態によれば、回路202を、複数のフィルムショットのうちの第1のフィルムショット116Aの第1の画像フレーム122と、複数のフィルムショットのうちの第2のフィルムショット116Bの第2の画像フレーム124とを抽出するように構成することができる。第1の画像フレーム122は、第1のフィルムショット116Aの最後のフレームとすることができ、第2の画像フレームは、第2のフィルムショット116Bの最初のフレームとすることができる。
808において、第1のフィルムショット116Aの抽出された第1の画像フレーム122から第1のオブジェクトの組を検出することができ、第2のフィルムショット116Bの抽出された第2の画像フレーム124から第2のオブジェクトの組を検出することができる。オブジェクト検出器204は、第1のフィルムショット116Aの抽出された第1の画像フレーム122から第1のオブジェクトの組を検出し、第2のフィルムショット116Bの抽出された第2の画像フレーム124から第2のオブジェクトの組を検出するように構成することができる。
810において、第1のオブジェクトの組及び第2のオブジェクトの組の各々から、同じオブジェクトタイプに基づく第1のオブジェクトを識別することができる。ある実施形態によれば、オブジェクト検出器204を、第1のオブジェクトの組及び第2のオブジェクトの組の各々から、同じオブジェクトタイプに基づく第1のオブジェクトを識別するように構成することができる。
812において、第1の画像フレーム122からの第1の角度情報と、第2の画像フレーム124からの第2の角度情報とを検索することができる。ある実施形態によれば、回路202を、第1の画像フレーム122からの第1の角度情報と、第2の画像フレーム124からの第2の角度情報とを検索するように構成することができる。
814において、検索された第1の角度情報に基づいて、第1の画像フレーム122内の第1のオブジェクトの第1の3次元(3D)画像を生成することができる。ある実施形態によれば、回路202を、検索された第1の角度情報に基づいて、第1の画像フレーム122内の第1のオブジェクトの第1の3D画像を生成するように構成することができる。第1の画像フレーム122内の第1のオブジェクトの第1の3D画像の生成は、例えば図5で詳細に説明したものとすることができる。
816において、検索された第2の角度情報に基づいて、第2の画像フレーム124内の第1のオブジェクトの第2の3D画像を生成することができる。ある実施形態によれば、回路202を、検索された第2の角度情報に基づいて、第2の画像フレーム124内の第1のオブジェクトの第2の3D画像を生成するように構成することができる。第2の画像フレーム124内の第1のオブジェクトの第2の3D画像の生成は、例えば図5で詳細に説明したものとすることができる。
818において、第1のオブジェクトの生成された第1の3D画像の第1の視覚属性と、第1のオブジェクトの生成された第2の3D画像の第2の視覚属性との間の偏差を検出することができる。ある実施形態によれば、ビデオ編集装置102を、第1のオブジェクトの生成された第1の3D画像の第1の視覚属性と、第1のオブジェクトの生成された第2の3D画像の第2の視覚属性との間の偏差を検出するように構成することができる。第1の視覚属性及び第2の視覚属性は同じタイプのものとすることができる。第1の視覚属性及び第2の視覚属性の例としては、以下に限定するわけではないが、形状、サイズ、寸法、色、輝度値、コントラスト値、起伏、配向、傾斜角、姿勢、又は文字情報を挙げることができる。
820において、検出された偏差に基づいて、第1のオブジェクトに関連する通知情報を生成することができる。回路202は、検出された偏差に基づいて、第1のオブジェクトに関連する通知情報を生成するように構成することができる。
822において、ディスプレイ画面104を、第1の画像フレーム122及び第2の画像フレーム124内の第1のオブジェクトに関連する生成された通知情報を出力するように制御することができる。回路202は、第1の画像フレーム122及び第2の画像フレーム124内の第1のオブジェクトに関連する生成された通知情報を出力するようにディスプレイ画面104を制御するよう構成することができる。
824において、検出された第2のオブジェクトの組において、検出された第1のオブジェクトの組のうちの1つのオブジェクトが失われているかどうかを検出することができる。回路202は、検出された第2のオブジェクトの組において、検出された第1のオブジェクトの組のうちの1つのオブジェクトが失われているかどうかを検出するように構成することができる。
826において、検出された第2のオブジェクトの組において失われたオブジェクトに関連する通知情報を生成して出力することができる。回路202は、検出された第2のオブジェクトの組において失われたオブジェクトに関連する通知情報を生成して出力するように構成することができる。
828において、第1のビデオコンテンツ112に関連する時代を示す第1のタイムライン情報を検索することができる。回路202は、第1のビデオコンテンツ112に関連する時代を示す第1のタイムライン情報を検索するように構成することができる。第1のタイムライン情報は、例えば図6で詳細に説明したものとすることができる。いくつかの実施形態では、回路202を、ユーザ110からI/O装置210を介して第1のタイムライン情報を受け取るように構成することができる。第1のタイムライン情報は、ユーザ110から受け取られる第2のユーザ入力に含めることができる。
830において、複数のオブジェクトから、第1のオブジェクトのオブジェクトタイプと同じオブジェクトタイプを有する第2のオブジェクトを識別することができる。回路202は、サーバ106に記憶されている複数のオブジェクトから第2のオブジェクトを識別するように構成することができる。サーバ106に記憶されている複数のオブジェクトからの第2のオブジェクトの識別は、例えば図6で詳細に説明したものとすることができる。
832において、識別された第2のオブジェクトの第2のタイムライン情報を検索することができる。回路202は、例えば図6で詳細に説明したように、識別された第2のオブジェクトの第2のタイムライン情報をサーバ106から検索するように構成することができる。
834において、第1のビデオコンテンツ112の検索された第1のタイムライン情報と、識別された第2のオブジェクトの検索された第2のタイムライン情報とを比較することができる。回路202は、例えば図6で詳細に説明したように、第1のビデオコンテンツ112の検索された第1のタイムライン情報と、識別された第2のオブジェクトの検索された第2のタイムライン情報とを比較するように構成することができる。
836において、比較に基づいて、第1のオブジェクトに関連する通知情報を生成して出力することができる。回路202は、例えば図6で詳細に説明したように、比較に基づいて第1のオブジェクトに関連する通知情報を生成して出力するように構成することができる。
838において、第1のビデオコンテンツ112の複数のフィルムショットの各々に関連する第1のメタデータを検索することができる。回路202は、第1のビデオコンテンツ112の複数のフィルムショットの各々に関連する第1のメタデータを検索するように構成することができる。いくつかの実施形態では、回路202を、検出されたオブジェクトの分析に基づいて、検出されたオブジェクトに関連する詳細を第1のメタデータとして決定するように構成することができる。これらの詳細の例としては、以下に限定するわけではないが、オブジェクトのサイズ、オブジェクトの寸法、オブジェクトのオブジェクトタイプ、画像フレーム702が取り込まれた地理位置情報、オブジェクトの姿勢、オブジェクトの配向、オブジェクトの色、オブジェクトの起伏、又はオブジェクトの形状を挙げることができる。いくつかの実施形態では、検出されたオブジェクトタイプが人間である場合、第1のメタデータがアーティスト情報(例えば、有名人又は人物の名前)を含むことができる。第1のビデオコンテンツ112の複数のフィルムショットの各々に関連する第1のメタデータは、例えば図7で詳細に説明したものとすることができる。
840において、第2のビデオコンテンツの複数のフィルムショットの各々に関連する第2のメタデータを検索することができる。回路202は、例えば図7で詳細に説明したように、第2のビデオコンテンツの複数のフィルムショットの各々に関連する第2のメタデータを検索するように構成することができる。第2のメタデータは、第2のビデオコンテンツの複数のフィルムショットに関連する情報を含むことができる。第2のビデオコンテンツに関する情報は、以下に限定するわけではないが、複数のフィルムショット内のオブジェクトに関する情報、複数のフィルムショットのアーティスト情報、又は複数のフィルムショットが取り込まれた地理位置情報を含むことができる。
842において、第1のビデオコンテンツ112に関連する第1のメタデータを第2のビデオコンテンツに関連する第2のメタデータと比較することができる。回路202は、第1のビデオコンテンツ112に関連する第1のメタデータを第2のビデオコンテンツに関連する第2のメタデータと比較するように構成することができる。
844において、比較に基づいて通知情報を生成することができる。回路202は、第1のビデオコンテンツ112に関連する第1のメタデータと、第2のビデオコンテンツに関連する第2のメタデータとの比較に基づいて、通知情報を生成するように構成することができる。
846において、ディスプレイ画面104を、第1のビデオコンテンツ112の第1のメタデータに関連する生成された通知情報を出力するように制御することができる。回路202は、第1のビデオコンテンツ112の第1のメタデータに関連する生成された通知情報を出力するようにディスプレイ画面104を制御するよう構成することができる。制御は、848に進んで終了する。
本開示の例示的な態様は、(図1の第1のビデオコンテンツ112などの)第1のビデオコンテンツを記憶するように構成された(図2のメモリ206などの)メモリを含む(図1のビデオ編集装置102などの)ビデオ編集装置を含むことができる。第1のビデオコンテンツ112は、フィルムシーケンスの(図1のフィルムシーンの組114A〜114Bなどの)一連のフィルムシーンを含むことができる。フィルムシーンの組114A〜114Bの各々は、複数のフィルムショットを含むことができ、複数のフィルムショットの各々は、(図1の一連の画像フレーム118及び一連の画像フレーム120などの)一連の画像フレームを含むことができる。ビデオ編集装置102は、複数のフィルムショットのうちの(図1の第1のフィルムショット116Aなどの)第1のフィルムショットの(図1の第1の画像フレーム122などの)第1の画像フレームを抽出するように構成された(図2の回路202などの)回路をさらに含むことができる。回路202は、複数のショットのうちの(図1の第2のフィルムショット116Bなどの)第2のフィルムショットの(図1の第2の画像フレーム124などの)第2の画像フレームを抽出するようにさらに構成することができる。
ある実施形態によれば、回路202は、第1のフィルムショット116Aの抽出された第1の画像フレーム122から第1のオブジェクトの組を検出し、第2のフィルムショット116Bの抽出された第2の画像フレーム124から第2のオブジェクトの組を検出するように構成することができる。回路202は、第1のオブジェクトの組及び第2のオブジェクトの組の各々から、同じオブジェクトタイプに基づく第1のオブジェクトを識別するようにさらに構成することができる。第1のオブジェクトの組及び第2のオブジェクトの組における第1のオブジェクトのオブジェクトタイプは同じである。回路202は、第1の画像フレーム122内の第1のオブジェクトの少なくとも1つの第1の視覚属性と、第2の画像フレーム124内の第1のオブジェクトの少なくとも1つの第2の視覚属性との間の偏差に基づいて、第1のオブジェクトに関連する通知情報を生成するようにさらに構成することができる。第1の視覚属性及び第2の視覚属性は、同じタイプのものとすることができる。回路202は、第1の画像フレーム122及び第2の画像フレーム124内の第1のオブジェクトに関連する生成された通知情報を出力するように(図1のディスプレイ画面104などの)ディスプレイ画面を制御するようさらに構成することができる。
ある実施形態によれば、第1のフィルムショット116A及び第2のフィルムショット116Bは、第1のビデオコンテンツ112の一連のフィルムシーンのうちの(図1の第1のフィルムシーン114Aなどの)第1のフィルムシーンの連続ショットとすることができる。第1の画像フレーム122は、第1のフィルムショット116Aの一連の画像フレームの中の最後のフレームとすることができ、第2の画像フレーム124は、第2のフィルムショット116Bの一連の画像フレームの中の最初のフレームとすることができる。ある実施形態によれば、第1のフィルムショット116A及び第2のフィルムショット116Bは、第1のビデオコンテンツ112の一連のフィルムシーンのうちの第1のフィルムシーン114Aに対応する。
ある実施形態によれば、第1のフィルムショット116A及び第2のフィルムショット116Bは、第1のビデオコンテンツ112の一連のフィルムシーンのうちの、同じ状況に対応し得る異なるフィルムシーンに対応することができる。
ある実施形態によれば、少なくとも1つの第1の視覚属性及び少なくとも1つの第2の視覚属性は、第1のオブジェクトの形状、サイズ、寸法、色、輝度値、コントラスト値、起伏、配向、傾斜角、姿勢、又は文字情報のうちの少なくとも1つを含むことができる。
ある実施形態によれば、第1のフィルムショット116Aは、第1の角度情報を含むことができ、第2のフィルムショット116Bは、第2の角度情報を含むことができる。回路202は、第1の角度情報に基づいて、第1のフィルムショット116Aの抽出された第1の画像フレーム122内の第1のオブジェクトの第1の3次元(3D)画像を生成するようにさらに構成することができる。回路202は、第2の角度情報に基づいて、第2のフィルムショット116Bの抽出された第2の画像フレーム124内の第1のオブジェクトの第2の3D画像を生成するようにさらに構成することができる。回路202は、決定された第1の3D画像と決定された第2の3D画像との差分に基づいて通知情報を生成するようにさらに構成することができる。
ある実施形態によれば、第1のビデオコンテンツ112は、第1のビデオコンテンツ112に関連する時代を示す第1のタイムライン情報を含むことができる。回路202は、抽出された第1の画像フレーム112内の第1のオブジェクトのオブジェクトタイプと、(サーバ106などの)サーバ上のマスターデータベース内の複数のオブジェクトのオブジェクトタイプとに基づいて、第1のオブジェクトをマスターデータベース内の複数のオブジェクトと比較するようにさらに構成することができる。回路202は、比較に基づいて、マスターデータベース内の複数のオブジェクトのうちの1つのオブジェクトに関連する第2のタイムライン情報を検索するようにさらに構成することができる。第2のタイムライン情報は、オブジェクトの発明、発見、使用、市場公開又は進化のタイミング情報を示すことができる。回路202は、第1のタイムライン情報を検索された第2のタイムライン情報と比較し、第1のタイムライン情報と検索された第2のタイムライン情報との比較に基づいて、第1のオブジェクトに関連する通知情報を生成するようにさらに構成することができる。
ある実施形態によれば、通知情報は、抽出された第2の画像フレーム124内の第1のオブジェクトの描写の制作エラーを示すことができる第1のエラーメッセージを含むことができる。
ある実施形態によれば、回路202は、第1の画像フレーム122内の第1のオブジェクトの第1の位置と、第2の画像フレーム124内の第1のオブジェクトの第2の位置とを特定するようにさらに構成することができる。回路202は、第1のオブジェクトを含むことができる第1のフィルムシーン114Aの状況に基づく、第1の位置と第2の位置との間の位置偏差に基づいて、通知情報を生成するようにさらに構成することができる。
ある実施形態によれば、回路202は、検出された第1のオブジェクトの組における第1のオブジェクトが、抽出された第2の画像フレーム124の検出された第2のオブジェクトの組に存在しないかどうかを判定するようにさらに構成することができる。回路202は、抽出された第2の画像フレーム124の検出された第2のオブジェクトの組に第1のオブジェクトが存在しないとの判定に基づいて、通知情報を第2のエラーメッセージとして生成するようにさらに構成することができる。
ある実施形態によれば、通知情報は、第1のオブジェクトに関連するオブジェクトタイプ、第1のフィルムショットの識別情報、又は第1のオブジェクトを含むことができる第1のフィルムシーン114Aの識別子のうちの少なくとも1つを含むことができる。ある実施形態によれば、回路202は、通知情報をメタデータとして第1のビデオコンテンツ112に追加するようにさらに構成することができる。
ある実施形態によれば、回路202は、検出された第1のオブジェクトの組及び第2のオブジェクトの組に関連する第1のメタデータを決定するようにさらに構成することができる。第1のメタデータは、複数のフィルムショットの各々が取り込まれた地理位置情報、アーティスト情報、又は検出された第1のオブジェクトの組に関する情報、及び検出された第2のオブジェクトの組を示すことができる情報を含むことができる。ある実施形態によれば、回路202は、サーバ106から第2のビデオコンテンツに関する複数のフィルムショットに関連する第2のメタデータを検索するようにさらに構成することができる。回路202は、第1のビデオコンテンツ112の第1のメタデータと第2のビデオコンテンツの第2のメタデータとを比較するようにさらに構成することができる。回路202は、比較に基づいて通知情報を生成するようにさらに構成することができる。通知情報は、第1のビデオコンテンツ112のフィルムシーン又はフィルムショットの第2のビデオコンテンツにおける複製を示すことができる第3のエラーメッセージを含むことができる。
本開示の様々な実施形態は、ビデオコンテンツの連続性チェックのための機械及び/又はコンピュータによって実行可能な少なくとも1つのコードセクションを有する機械コード及び/又はコンピュータプログラムを記憶した非一時的コンピュータ可読媒体及び/又は記憶媒体、及び/又は非一時的機械可読媒体及び/又は記憶媒体を提供することができる。この少なくとも1つのコードセクションは、それぞれが一連の画像フレームを含む複数のフィルムショットをそれぞれが含むフィルムシーケンスの一連のフィルムシーンを含む第1のビデオコンテンツを記憶することを含むステップを機械及び/又はコンピュータに実行させることができる。さらに、複数のフィルムショットのうちの第1のフィルムショットの第1の画像フレームと、複数のフィルムショットのうちの第2のフィルムショットの第2の画像フレームとを抽出することができる。抽出された第1の画像フレームから第1のオブジェクトの組を検出し、抽出された第2の画像フレームから第2のオブジェクトの組を検出することができる。第1のオブジェクトの組及び第2のオブジェクトの組の各々から、同じオブジェクトタイプに基づく第1のオブジェクトを識別することができる。第1のオブジェクトの組及び第2のオブジェクトの組における第1のオブジェクトのオブジェクトタイプは同じものとすることができる。第1の画像フレーム内の第1のオブジェクトの少なくとも1つの第1の視覚属性と、第2の画像フレーム内の第1のオブジェクトの第1の視覚属性と同じタイプの少なくとも1つの第2の視覚属性との間の偏差に基づいて、第1のオブジェクトに関連する通知情報を生成することができる。第1の画像フレーム及び第2の画像フレーム内の第1のオブジェクトに関連する生成された通知情報を出力するようにディスプレイ画面を制御することができる。
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも1つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能を実行する集積回路の一部分を含むハードウェアで具現化することができる。
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはa)別の言語、コード又は表記法への変換、b)異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲に該当する全ての実施形態を含むように意図されている。

Claims (20)

  1. ビデオ編集装置であって、
    フィルムシーケンスの一連のフィルムシーンを含む第1のビデオコンテンツを記憶するように構成されたメモリと、
    回路と、
    を備え、前記一連のフィルムシーンの各々は、複数のフィルムショットを含み、該複数のフィルムショットの各々は、一連の画像フレームを含み、前記回路は、
    前記複数のフィルムショットのうちの第1のフィルムショットの第1の画像フレームと、前記複数のフィルムショットのうちの第2のフィルムショットの第2の画像フレームとを抽出し、
    前記抽出された第1の画像フレームから第1のオブジェクトの組を検出して、前記抽出された第2の画像フレームから第2のオブジェクトの組を検出し、
    前記第1のオブジェクトの組及び前記第2のオブジェクトの組の各々から、同じオブジェクトタイプに基づく第1のオブジェクトを識別し、
    前記第1の画像フレーム内の前記第1のオブジェクトの少なくとも1つの第1の視覚属性と、前記第2の画像フレーム内の前記第1のオブジェクトの、前記第1の視覚属性と同じタイプの少なくとも1つの第2の視覚属性との間の偏差に基づいて、前記第1のオブジェクトに関連する通知情報を生成し、
    前記第1の画像フレーム及び前記第2の画像フレーム内の前記第1のオブジェクトに関連する前記生成された通知情報を出力するようにディスプレイ画面を制御する、
    ように構成される、
    ことを特徴とするビデオ編集装置。
  2. 前記第1のフィルムショット及び前記第2のフィルムショットは、前記第1のビデオコンテンツの前記一連のフィルムシーンのうちの第1のフィルムシーンの連続ショットであり、
    前記第1の画像フレームは、前記第1のフィルムショットの前記一連の画像フレームの中の最後のフレームであり、前記第2の画像フレームは、前記第2のフィルムショットの前記一連の画像フレームの中の最初のフレームである、
    請求項1に記載のビデオ編集装置。
  3. 前記第1のフィルムショット及び前記第2のフィルムショットは、前記第1のビデオコンテンツの前記一連のフィルムシーンのうちの前記第1のフィルムシーンに対応する、
    請求項1に記載のビデオ編集装置。
  4. 前記第1のフィルムショット及び前記第2のフィルムショットは、前記第1のビデオコンテンツの前記一連のフィルムシーンのうちの、同じ状況に対応し得る異なるフィルムシーンに対応する、
    請求項1に記載のビデオ編集装置。
  5. 前記少なくとも1つの第1の視覚属性及び前記少なくとも1つの第2の視覚属性は、前記第1のオブジェクトの形状、サイズ、寸法、色、輝度値、コントラスト値、起伏、配向、傾斜角、姿勢、又は文字情報のうちの少なくとも1つを含む、
    請求項1に記載のビデオ編集装置。
  6. 前記第1のフィルムショットは、第1の角度情報を含み、前記第2のフィルムショットは、第2の角度情報を含み、
    前記第1の角度情報は、前記第1のフィルムショットが取り込まれた第1の角度を示し、前記第2の角度情報は、前記第2のフィルムショットが取り込まれた第2の角度を示す、
    請求項1に記載のビデオ編集装置。
  7. 前記回路は、
    前記第1の角度情報に基づいて、前記第1のフィルムショットの前記抽出された第1の画像フレーム内の前記第1のオブジェクトの第1の3次元(3D)画像を生成し、
    前記第2の角度情報に基づいて、前記第2のフィルムショットの前記抽出された第2の画像フレーム内の前記第1のオブジェクトの第2の3D画像を生成し、
    前記第1の3D画像前記第2の3D画像との差分に基づいて前記通知情報を生成する、
    ようにさらに構成される、請求項6に記載のビデオ編集装置。
  8. 前記第1のビデオコンテンツは、前記第1のビデオコンテンツに関連する時代を示す第1のタイムライン情報を含む、
    請求項1に記載のビデオ編集装置。
  9. 前記回路は、
    前記抽出された第1の画像フレーム内の前記第1のオブジェクトの前記オブジェクトタイプと、サーバ上のマスターデータベース内の複数のオブジェクトのオブジェクトタイプとに基づいて、前記第1のオブジェクトを前記マスターデータベース内の前記複数のオブジェクトと比較し、
    前記比較に基づいて、前記マスターデータベース内の前記複数のオブジェクトのうちの1つのオブジェクトに関連する、該オブジェクトの発明、発見、使用、市場公開又は進化のタイミング情報を示す第2のタイムライン情報を検索し、
    前記第1のタイムライン情報と前記検索された第2のタイムライン情報とを比較し、
    前記第1のタイムライン情報と前記検索された第2のタイムライン情報との前記比較に基づいて、前記第1のオブジェクトに関連する前記通知情報を生成する、
    ようにさらに構成される、請求項8に記載のビデオ編集装置。
  10. 前記通知情報は、前記抽出された第2の画像フレーム内の前記第1のオブジェクトの描写の制作エラーを示す第1のエラーメッセージを含む、
    請求項1に記載のビデオ編集装置。
  11. 前記回路は、
    前記第1の画像フレーム内の前記第1のオブジェクトの第1の位置と、前記第2の画像フレーム内の前記第1のオブジェクトの第2の位置とを特定し、
    前記第1のオブジェクトを含む第1のフィルムシーンの状況に基づく、前記第1の位置と前記第2の位置との間の位置偏差に基づいて、前記通知情報を生成する、
    ようにさらに構成される、請求項1に記載のビデオ編集装置。
  12. 前記回路は、
    前記検出された第1のオブジェクトの組における前記第1のオブジェクトが、前記抽出された第2の画像フレームの前記検出された第2のオブジェクトの組に存在しないかどうかを判定し、
    前記抽出された第2の画像フレームの前記検出された第2のオブジェクトの組に前記第1のオブジェクトが存在しないとの判定に基づいて、前記通知情報を第2のエラーメッセージとして生成する、
    ようにさらに構成される、請求項1に記載のビデオ編集装置。
  13. 前記通知情報は、前記第1のオブジェクトに関連する前記オブジェクトタイプ、前記第1のフィルムショットの識別情報、又は前記第1のオブジェクトを含む第1のフィルムシーンの識別子のうちの少なくとも1つを含み、前記回路は、前記通知情報をメタデータとして前記第1のビデオコンテンツに追加するように構成される、
    請求項1に記載のビデオ編集装置。
  14. 前記回路は、
    前記検出された第1のオブジェクトの組及び前記第2のオブジェクトの組に関連する第1のメタデータを決定する、
    ようにさらに構成され、前記第1のメタデータは、前記複数のフィルムショットの各々が取り込まれた地理位置情報、アーティスト情報、又は前記検出された第1のオブジェクトの組に関する情報、及び前記検出された第2のオブジェクトの組を示す情報を含む、
    請求項1に記載のビデオ編集装置。
  15. 前記回路は、
    サーバから第2のビデオコンテンツに関する複数のフィルムショットに関連する第2のメタデータを検索し、
    前記第1のビデオコンテンツの前記第1のメタデータと前記第2のビデオコンテンツの前記第2のメタデータとを比較し、
    前記比較に基づいて、前記第1のビデオコンテンツのフィルムシーン又はフィルムショットの前記第2のビデオコンテンツにおける複製を示す第3のエラーメッセージを含む前記通知情報を生成する、
    ようにさらに構成される、請求項14に記載のビデオ編集装置。
  16. ビデオ編集装置において、
    それぞれが一連の画像フレームを含む複数のフィルムショットをそれぞれが含むフィルムシーケンスの一連のフィルムシーンを含む第1のビデオコンテンツを記憶するステップと、
    前記複数のフィルムショットのうちの第1のフィルムショットの第1の画像フレームと、前記複数のフィルムショットのうちの第2のフィルムショットの第2の画像フレームとを抽出するステップと、
    前記抽出された第1の画像フレームから第1のオブジェクトの組を検出して、前記抽出された第2の画像フレームから第2のオブジェクトの組を検出するステップと、
    前記第1のオブジェクトの組及び前記第2のオブジェクトの組の各々から、同じオブジェクトタイプに基づく第1のオブジェクトを識別するステップと、
    前記第1の画像フレーム内の前記第1のオブジェクトの少なくとも1つの第1の視覚属性と、前記第2の画像フレーム内の前記第1のオブジェクトの、前記第1の視覚属性と同じタイプの少なくとも1つの第2の視覚属性との間の偏差に基づいて、前記第1のオブジェクトに関連する通知情報を生成するステップと、
    前記第1の画像フレーム及び前記第2の画像フレーム内の前記第1のオブジェクトに関連する前記生成された通知情報を出力するようにディスプレイ画面を制御するステップと、
    を含むことを特徴とする方法。
  17. 前記第1のフィルムショット及び前記第2のフィルムショットは、前記第1のビデオコンテンツの前記一連のフィルムシーンのうちの第1のフィルムシーンの連続ショットであり、
    前記第1の画像フレームは、前記第1のフィルムショットの前記一連の画像フレームの中の最後のフレームであり、前記第2の画像フレームは、前記第2のフィルムショットの前記一連の画像フレームの中の最初のフレームである、
    請求項16に記載の方法。
  18. 前記第1のフィルムショット及び前記第2のフィルムショットは、前記第1のビデオコンテンツの前記一連のフィルムシーンのうちの前記第1のフィルムシーンに対応する、
    請求項16に記載の方法。
  19. 前記第1のフィルムショット及び前記第2のフィルムショットは、前記第1のビデオコンテンツの前記一連のフィルムシーンのうちの、同じ状況に対応し得る異なるフィルムシーンに対応する、
    請求項16に記載の方法。
  20. 前記少なくとも1つの第1の視覚属性及び前記少なくとも1つの第2の視覚属性は、前記第1のオブジェクトの形状、サイズ、寸法、色、輝度値、コントラスト値、起伏、配向、傾斜角、姿勢、又は文字情報のうちの少なくとも1つを含む、
    請求項16に記載の方法。
JP2019201232A 2018-11-15 2019-11-06 ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知 Active JP6891941B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/192,071 2018-11-15
US16/192,071 US11070706B2 (en) 2018-11-15 2018-11-15 Notifications for deviations in depiction of different objects in filmed shots of video content

Publications (2)

Publication Number Publication Date
JP2020088852A JP2020088852A (ja) 2020-06-04
JP6891941B2 true JP6891941B2 (ja) 2021-06-18

Family

ID=70709093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019201232A Active JP6891941B2 (ja) 2018-11-15 2019-11-06 ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知

Country Status (4)

Country Link
US (1) US11070706B2 (ja)
JP (1) JP6891941B2 (ja)
KR (1) KR102204269B1 (ja)
CN (1) CN111193961B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270461B2 (en) * 2019-01-07 2022-03-08 Genieland Company Limited System and method for posture sequence on video from mobile terminals
IL265818A (en) * 2019-04-02 2020-10-28 Ception Tech Ltd System and method for determining the position and orientation of an object in space
WO2020227163A1 (en) * 2019-05-03 2020-11-12 Chad Steelberg Object Tracking and Redaction
US11317156B2 (en) * 2019-09-27 2022-04-26 Honeywell International Inc. Video analytics for modifying training videos for use with head-mounted displays
US11798225B2 (en) * 2021-08-11 2023-10-24 Here Global B.V. 3D building generation using topology

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454396B2 (ja) 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US6721454B1 (en) 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
US6985623B2 (en) 2002-06-10 2006-01-10 Pts Corporation Scene change detection by segmentation analysis
KR100707206B1 (ko) * 2005-04-11 2007-04-13 삼성전자주식회사 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치
CN100551048C (zh) * 2006-12-15 2009-10-14 上海元朔信息科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
US8345769B1 (en) * 2007-04-10 2013-01-01 Nvidia Corporation Real-time video segmentation on a GPU for scene and take indexing
WO2008136466A1 (ja) 2007-05-01 2008-11-13 Dep Co., Ltd. 動画編集装置
KR20090093904A (ko) 2008-02-28 2009-09-02 미디어코러스 주식회사 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템
WO2010137261A1 (ja) 2009-05-25 2010-12-02 パナソニック株式会社 記録媒体、再生装置、集積回路、再生方法、プログラム
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
EP2608105A1 (en) * 2011-12-21 2013-06-26 Thomson Licensing Processing cluster and method for processing audio and video content
EP2690879B1 (en) * 2012-07-23 2016-09-07 LG Electronics, Inc. Mobile terminal and method for controlling of the same
US9117267B2 (en) * 2012-10-18 2015-08-25 Google Inc. Systems and methods for marking images for three-dimensional image generation
JP5754439B2 (ja) * 2012-12-21 2015-07-29 カシオ計算機株式会社 情報報知装置、情報報知方法及びプログラム
JP6297822B2 (ja) 2013-11-19 2018-03-20 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
US9607015B2 (en) * 2013-12-20 2017-03-28 Qualcomm Incorporated Systems, methods, and apparatus for encoding object formations
US9600733B1 (en) * 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
JP6684042B2 (ja) * 2014-09-08 2020-04-22 任天堂株式会社 電子機器
CN105791795B (zh) 2014-12-24 2018-01-26 北京三星通信技术研究有限公司 立体图像处理方法、装置以及立体视频显示设备
KR101795128B1 (ko) 2015-01-27 2017-11-07 네이버웹툰 주식회사 메인 컨텐츠의 장면에 알맞은 간접 컨텐츠를 제공하는 매칭 시스템 및 방법
JP6406044B2 (ja) * 2015-02-13 2018-10-17 オムロン株式会社 カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム
AU2016262874A1 (en) * 2015-05-21 2017-12-07 Facewatch Limited Systems, methods, and devices for information sharing and matching
KR102437135B1 (ko) * 2015-09-23 2022-08-29 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
US20170083765A1 (en) * 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
CN107333031B (zh) * 2017-07-27 2020-09-01 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法
CN108391063B (zh) * 2018-02-11 2021-02-02 北京优聚视微传媒科技有限公司 视频剪辑方法及装置

Also Published As

Publication number Publication date
CN111193961A (zh) 2020-05-22
KR20200056918A (ko) 2020-05-25
US11070706B2 (en) 2021-07-20
JP2020088852A (ja) 2020-06-04
KR102204269B1 (ko) 2021-01-15
CN111193961B (zh) 2022-02-18
US20200162641A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
JP6891941B2 (ja) ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知
US10488195B2 (en) Curated photogrammetry
US10573039B2 (en) Techniques for incorporating a text-containing image into a digital image
CN105981368B (zh) 在成像装置中的照片构图和位置引导
US9047376B2 (en) Augmenting video with facial recognition
CN111860305B (zh) 一种图像标注方法、装置、电子设备及存储介质
US9519355B2 (en) Mobile device event control with digital images
US11580616B2 (en) Photogrammetric alignment for immersive content production
CN105247850A (zh) 对视频方向的自动调节
US11681409B2 (en) Systems and methods for augmented or mixed reality writing
US20200304755A1 (en) Aspect ratio conversion with machine learning
US11423654B2 (en) Identification of continuity errors in video by automatically detecting visual inconsistencies in video frames
US11836847B2 (en) Systems and methods for creating and displaying interactive 3D representations of real objects
US11581018B2 (en) Systems and methods for mixing different videos
US10282633B2 (en) Cross-asset media analysis and processing
US20230419997A1 (en) Automatic Non-Linear Editing Style Transfer
CN114399645A (zh) 多模态数据扩充方法、系统、介质、计算机设备及终端
CN112561795A (zh) 基于Spark和OpenCV的实时生成全景图实现系统及方法
US11823434B1 (en) Techniques for adaptive frame-based clip matching and fingerprinting
US11868444B2 (en) Creating synthetic visual inspection data sets using augmented reality
JP2017033390A (ja) 画像解析装置及びプログラム
CN117750065A (zh) 视频人物替换方法、装置、电子设备及可读存储介质
CN113673277A (zh) 线上绘本内容的获取方法、装置以及智能屏设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R151 Written notification of patent or utility model registration

Ref document number: 6891941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151