KR102204269B1 - 비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지 - Google Patents

비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지 Download PDF

Info

Publication number
KR102204269B1
KR102204269B1 KR1020190138442A KR20190138442A KR102204269B1 KR 102204269 B1 KR102204269 B1 KR 102204269B1 KR 1020190138442 A KR1020190138442 A KR 1020190138442A KR 20190138442 A KR20190138442 A KR 20190138442A KR 102204269 B1 KR102204269 B1 KR 102204269B1
Authority
KR
South Korea
Prior art keywords
image frame
captured
objects
shot
photographed
Prior art date
Application number
KR1020190138442A
Other languages
English (en)
Other versions
KR20200056918A (ko
Inventor
프라빈 토타
산토쉬 발라고팔
스웨타 아가르왈
마수드 로디
닐리마 마날라르
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200056918A publication Critical patent/KR20200056918A/ko
Application granted granted Critical
Publication of KR102204269B1 publication Critical patent/KR102204269B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/278—Content descriptor database or directory service for end-user access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

비디오 편집 디바이스는 제1 비디오 콘텐츠를 저장하는 메모리를 포함하고, 제1 비디오 콘텐츠의 제1 촬영된 샷의 제1 이미지 프레임 및 제1 비디오 콘텐츠의 제2 촬영된 샷의 제2 이미지 프레임을 추출하는 회로를 포함한다. 제1 이미지 프레임은 제1 촬영된 샷의 최종 프레임이고 제2 이미지 프레임은 제2 촬영된 샷의 최초 프레임이다. 회로는 추출된 제1 이미지 프레임으로부터의 제1 세트의 대상들 및 추출된 제2 이미지 프레임으로부터의 제2 세트의 대상들을 검출한다. 회로는 제2 이미지 프레임에서의 제1 대상의 적어도 제2 시각적 속성으로부터의 제1 이미지 프레임에서의 제1 대상의 적어도 제1 시각적 속성의 편차에 기초하여 제1 대상과 연관된 통지 정보를 추가로 생성하고 출력한다.

Description

비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지{NOTIFICATIONS FOR DEVIATIONS IN DEPICTION OF DIFFERENT OBJECTS IN FILMED SHOTS OF VIDEO CONTENT}
본 개시내용의 다양한 실시예들은 비디오 편집 기술에 관한 것이다. 더 구체적으로, 본 개시내용의 다양한 실시예들은 비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들을 통지하기 위한 비디오 편집 디바이스, 방법 및 소프트웨어에 관한 것이다.
비디오 편집 분야에서의 최근의 진보들은 비디오 콘텐츠의 비선형 편집(Non-Linear Editing, NLE)을 용이하게 하는 다양한 기술들의 개발로 이어졌다. 전통적으로, 비디오 콘텐츠는 하나 이상의 이미지 캡처 디바이스에 의해, 상이한 시간 및/또는 프로덕션 위치에서의 다수의 프로덕션 상태에서 캡처될 수 있다. 비디오 콘텐츠(예를 들어, 포스트 프로덕션 영화 콘텐츠)는 복수의 장면을 포함하고, 복수의 장면 각각은 다수의 연속적인 샷을 포함한다. 전형적으로, 장면의 연속적인 샷들은 연속적으로 또는 특정 지속기간 후에(예를 들어, 특정 시간 또는 날 후에) 캡처될 수 있다. 편집자가 장면 또는 비디오 콘텐츠를 생성하기 위해 캡처된 샷들에 대해 다양한 편집 기능들을 그를 통해 수행할 수 있는 다양한 종래의 기법들이 이용가능하다. 편집자는 하나 이상의 장면의 다중의 샷에 존재하는 다양한 대상들(예를 들어, 사람들 또는 비생물체들)의 묘사와 연관된 연속성 에러들을 수동으로 분석할 필요가 있을 수 있다. 연속성 에러들의 식별은 하나 이상의 장면의 다중의 샷 사이 내의 다양한 대상들의 묘사에서 불연속성을 회피하거나 이상(anomaly)을 방지하기 위해 요구될 수 있다. 수동 분석은 대상들의 묘사에서의 연속성 에러들의 식별에서의 부정확성을 초래한다. 이는 비디오 콘텐츠의 전체 품질 및 비디오 콘텐츠의 시청자들 중에서의 편집자의 신용도를 더 감소시킬 수 있다.
종래의 그리고 전통적인 접근법의 추가적인 제한 및 단점은, 도면을 참조하여 본 출원의 나머지 부분에 제시되는 본 개시내용의 일부 양태와의 설명된 시스템의 비교를 통하여 통상의 기술자에게 명백해질 것이다.
[요약]
비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지들을 제어하기 위한 비디오 편집 디바이스 및 방법은, 청구항들에서 더 완전히 제시된 바와 같이, 도면들 중 적어도 하나에서 도시되고 및/또는 그와 관련하여 설명되는 바대로 실질적으로 제공된다.
본 개시내용의 이들 및 다른 특징들 및 장점들은, 전체에 걸쳐 유사한 참조 번호들이 유사한 부분들을 지칭하는 첨부 도면들과 함께, 본 개시내용의 다음의 상세한 설명의 검토로부터 알 수 있다.
도 1은 본 개시내용의 실시예에 따른, 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 예시적인 환경을 도시한다.
도 2는 본 개시내용의 실시예에 따른, 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 예시적인 비디오 편집 디바이스를 도시하는 블록도이다.
도 3은 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 제1 예시적인 시나리오를 도시한다.
도 4a 및 도 4b는, 집합적으로, 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들을 디스플레이하기 위한 사용자 인터페이스를 도시한다.
도 5는 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 제2 예시적인 시나리오를 도시한다.
도 6은 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 사실상의 에러들에 대한 통지들의 제어를 위한 제3 예시적인 시나리오를 도시한다.
도 7은 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 중복성에 대한 통지들의 제어에 대한 제4 예시적인 시나리오를 도시한다.
도 8a 및 도 8b는, 집합적으로, 본 개시내용의 실시예에 따른, 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 예시적인 동작들을 도시하는 흐름도를 묘사한다.
이하의 설명된 구현들은 비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지들을 제어하기 위한 개시된 디바이스 및 방법에서 발견될 수 있다. 본 개시내용의 예시적인 양태들은 비디오 콘텐츠의 한 장면의 다중의 촬영된 샷 사이의 상이한 대상들의 연속성을 자동으로 검사하는 비디오 편집 디바이스를 제공한다. 비디오 편집 디바이스에 의한 자동화된 연속성 검사는 다중의 촬영된 샷 간의 일관성을 보장한다. 비디오 편집 디바이스는 자동 연속성 검사에 기초하여 다중의 촬영된 샷 사이에 존재하는 상이한 대상들의 묘사에서의 편차들에 관해 비디오 콘텐츠의 편집자에 하나 이상의 통지를 더 제공한다. 이러한 통지들은 비디오 콘텐츠의 프로덕션 및 포스트 프로덕션 국면들 동안 비디오 콘텐츠의 전체 품질을 개선하도록 편집자를 추가로 도울 수 있다.
비디오 편집 디바이스는 촬영된 시퀀스의 촬영된 장면들의 세트를 포함할 수 있는 비디오 콘텐츠(예를 들어, 영화)를 저장하도록 구성된 메모리를 포함할 수 있다. 촬영된 장면들의 세트는 복수의 촬영된 샷을 포함할 수 있다. 촬영된 장면의 복수의 촬영된 샷은 비디오 캡처링 디바이스에 의해 연속적으로 또는 특정 지속기간 후에(예를 들어, 특정 시간 또는 날 후에) 캡처된 연속적인 샷들일 수 있다. 촬영된 장면의 복수의 촬영된 샷은 복수의 촬영된 샷에서 공통일 수 있는 복수의 대상을 포함할 수 있다. 복수의 대상은 다양한 살아있는 대상들(예를 들어, 사람들) 및 비생물체 대상들일 수 있다. 개시된 비디오 편집 디바이스는 촬영된 샷들 사이에서 복수의 대상을 비교하여 복수의 대상이 촬영된 샷들에서의 유사한 시각적 속성들로 묘사되는지를 결정할 수 있다. 개시된 비디오 편집 디바이스는 시각적 속성들의 정확한 비교를 위해 복수의 대상의 3차원(3D) 이미지들을 생성할 수 있다. 복수의 대상과 연관된 시각적 속성들의 예들은, 이에 제한되는 것은 아니지만, 형상, 크기, 치수, 색상, 밝기 값, 콘트라스트 값, 텍스처, 오리엔테이션, 경사각, 자세, 또는 텍스트 정보를 포함할 수 있다. 비디오 편집 디바이스는 비교에 기초하여 촬영된 샷들 사이의 복수의 대상의 편차를 추가로 결정할 수 있다. 비디오 편집 디바이스는 결정된 편차에 기초하여 촬영된 샷들 사이의 복수의 대상의 연속성을 자동으로 검사할 수 있다. 비디오 편집 디바이스는 촬영된 샷들 사이의 연속성에서의 다양한 에러들에 관한 통지들을 비디오 콘텐츠의 편집자에 추가로 제공할 수 있다. 비디오 편집 디바이스는 또한 캡처된 비디오 콘텐츠의 타임라인 및 복수의 대상의 제각기 저장된 타임라인들에 기초하여 촬영된 샷들에서의 사실상의 에러(factual error)들을 결정하고, 결정된 사실상의 에러들에 기초하여 편집자에의 통지를 추가로 제공할 수 있다. 비디오 편집 디바이스는 또한 데이터베이스에 저장된 또 다른 비디오 콘텐츠에 존재하는 유사한 대상들과의 비디오 콘텐츠에서의 복수의 대상의 비교에 기초하여 편집자에 통지를 제공할 수 있다. 비디오 편집 디바이스로부터의 그러한 자동화된 통지에 기초하여, 편집자는 촬영된 샷들을 재촬영하거나 또는 복수의 대상의 연속성을 유지하고 검출된 사실상의 에러들을 감소시키기 위해 상이한 이미지 처리 기술을 적용하는 적절한 결정을 내릴 수 있다. 이는 편집 단계 이후 최종적으로 생성된 비디오 콘텐츠의 전체적인 품질을 개선하고 또한 더 적은 시간으로 고품질 비디오 콘텐츠를 생성하여 편집자의 전체적인 신뢰도를 추가로 향상시킨다.
도 1은 본 개시내용의 실시예에 따른, 비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 예시적인 환경을 도시한다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은 비디오 편집 디바이스(102), 데이터 저장 시스템(102A), 디스플레이 스크린(104), 서버(106), 및 통신 네트워크(108)를 포함할 수 있다. 비디오 편집 디바이스(102)는 통신 네트워크(108)를 통해 서버(106)에 통신가능하게 결합될 수 있다. 비디오 편집 디바이스(102)와 연관된 사용자(110)가 더 도시되어 있다.
도 1을 참조하면, 한 세트의 촬영된 장면들(114A 내지 114B)을 포함할 수 있는 제1 비디오 콘텐츠(112)가 더 도시되어 있다. 촬영된 장면들(114A 내지 114B)의 세트는 제1 촬영된 장면(114A) 및 제2 촬영된 장면(114B)을 포함할 수 있다. 제1 촬영된 장면(114A)은 복수의 촬영된 샷(116A 내지 116C)을 포함할 수 있다. 유사하게, 제2 촬영된 장면(114B)은 또 다른 복수의 촬영된 샷(116D 내지 116F)을 포함할 수 있다. 제1 촬영된 샷(116A)은 이미지 프레임들(118)의 시퀀스를 포함할 수 있고, 제2 촬영된 샷(116B)은 이미지 프레임들(120)의 시퀀스를 포함할 수 있다. 제1 촬영된 샷(116A)의 제1 이미지 프레임(122) 및 제2 촬영된 샷(116B)의 제2 이미지 프레임(124)이 더 도시되어 있다. 실시예에 따르면, 제1 이미지 프레임(122)은 제1 촬영된 샷(116A)의 이미지 프레임들(118)의 시퀀스의 최종 프레임일 수 있고, 제2 이미지 프레임(124)은 제2 촬영된 샷(116B)의 이미지 프레임들(120)의 시퀀스의 최초 프레임일 수 있다.
비디오 편집 디바이스(102)는 사용자(110)(예를 들어, 편집자)로부터 편집 요청을 수신하고 수신된 편집 요청에 기초하여 데이터 저장 시스템(102A)으로부터 제1 비디오 콘텐츠(112)를 검색하도록 구성될 수 있는 적합한 로직, 회로 및 인터페이스들을 포함할 수 있다. 실시예에 따르면, 비디오 편집 디바이스(102)는 제1 이미지 프레임(122)에서의 제1 세트의 대상들(도시되지 않음)을 검출하고 제2 이미지 프레임(124)에서의 제2 세트의 대상들(도시되지 않음)을 검출하도록 구성될 수 있다. 비디오 편집 디바이스(102)는 검출된 제1 세트의 대상에서의 제1 대상이 제2 이미지 프레임(124)에서의 검출된 제2 세트의 대상들에 없는지를 검사하도록 추가로 구성될 수 있다. 일부 실시예들에서, 비디오 편집 디바이스(102)는 제2 이미지 프레임(124)에서의 제1 대상의 제2 시각적 속성으로부터 제1 이미지 프레임(122)에서의 제1 대상의 제1 시각적 속성의 편차를 결정하도록 구성될 수 있다. 실시예에 따르면, 비디오 편집 디바이스(102)는 결정된 편차에 기초하여 제1 이미지 프레임(122)과 제2 이미지 프레임(124) 사이의 제1 대상의 연속성 또는 불연속성을 결정하도록 추가로 구성될 수 있다. 일부 실시예들에서, 비디오 편집 디바이스(102)는 제1 이미지 프레임(122)의 제1 대상이 제2 이미지 프레임(124)에 없다는 결정에 기초하여 제1 대상의 연속성 또는 불연속성을 결정하도록 구성될 수 있다. 실시예에 따르면, 비디오 편집 디바이스(102)는, 촬영된 장면들의 세트(114A 내지 114B)에서의 적어도 하나의 이미지 프레임에서의 검출된 제1 세트의 대상들 중 적어도 하나 및/또는 검출된 제2 세트의 대상들 중 적어도 하나와의 사실상의 에러들을 검출하도록 구성될 수 있다. 비디오 편집 디바이스(102)는 결정된 불연속성 또는 사실상의 에러들에 기초하여 사용자(110)에 대한 통지 정보를 출력하도록 추가로 구성될 수 있다. 비디오 편집 디바이스(102)의 예들은 비선형 편집 시스템(NLE), 비선형 비디오 편집 시스템(NLVE), 비디오 편집 시스템, 비디오 편집 제어기, 미디어 프로덕션 시스템, 컴퓨터 워크스테이션, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 셀룰러/모바일 폰, 스마트 기기, 비디오 플레이어, 및/또는 이미지 처리 능력을 갖는 다른 컴퓨팅 디바이스를 포함할 수 있지만, 이것들에만 제한되지는 않는다.
데이터 저장 시스템(102A)은 촬영된 장면들(114A 내지 114B)의 세트를 포함할 수 있는 제1 비디오 콘텐츠(112)를 저장하도록 구성될 수 있는 적합한 로직, 회로, 및 인터페이스들을 포함할 수 있다. 실시예에 따르면, 데이터 저장 시스템(102A)은 제1 비디오 콘텐츠(112)와 관련된 시대를 표시하는 제1 타임라인 정보를 저장하도록 구성될 수 있다. 실시예에 따르면, 데이터 저장 시스템(102A)은 복수의 촬영된 샷(116A 내지 116F)과 연관된 메타데이터를 저장하도록 구성될 수 있다. 데이터 저장 시스템(102A)은 비디오 편집 디바이스(102)가 그에 대해 불연속성 또는 사실상의 에러를 결정하는 제1 대상과 연관된 통지 정보를 저장하도록 구성될 수 있다. 실시예에 따르면, 데이터 저장 시스템(102A)은 비디오 편집 디바이스(102)에 통합된 메모리(도시되지 않음) 또는 데이터베이스(도시되지 않음)일 수 있다.
디스플레이 스크린(104)은 사용자(110)에 대한 통지 정보를 디스플레이하도록 구성될 수 있는 적절한 로직, 회로, 및 인터페이스들을 포함할 수 있다. 디스플레이 스크린(104)은 통신 채널(도시되지 않음)을 통해 비디오 편집 디바이스(102)와 통신가능하게 결합될 수 있다. 디스플레이 스크린(104)은, 이에 제한되는 것은 아니지만, LCD(Liquid Crystal Display) 디스플레이, LED(Light Emitting Diode) 디스플레이, 플라즈마 디스플레이, 및 OLED(Organic LED) 디스플레이 기술, 및 다른 디스플레이 중 적어도 하나와 같은 여러 공지된 기술을 통해 실현될 수 있다. 실시예에 따르면, 디스플레이 스크린(104)은 스마트-유리 디바이스의 디스플레이 스크린, 투시 디스플레이, 프로젝션-기반 디스플레이, 전기 변색 디스플레이, 및 투명 디스플레이를 지칭할 수 있다. 본 기술분야의 통상의 기술자는 본 개시내용의 범위가 별개의 엔티티들로서의 비디오 편집 디바이스(102) 및 디스플레이 스크린(104)의 구현에 제한되지 않는다는 것을 이해할 것이다. 실시예에 따르면, 디스플레이 스크린(104)의 기능들은 본 개시내용의 범위를 벗어나지 않고서 비디오 편집 디바이스(102)에 의해 구현될 수 있다.
서버(106)는 촬영된 장면들(114A 내지 114B)의 세트를 포함할 수 있는 제1 비디오 콘텐츠(112)를 저장하도록 구성될 수 있는 적합한 로직, 회로, 및 인터페이스들을 포함할 수 있다. 서버(106)는 제1 비디오 콘텐츠(112)에 관련된 시대를 표시하는 제1 타임라인 정보를 저장하도록 구성될 수 있다. 실시예에 따르면, 서버(106)는 상이한 대상 유형들의 상이한 대상들의 제2 타임라인 정보를 저장하도록 구성될 수 있다. 제2 타임라인 정보는 발명의 타이밍 정보, 발견, 사용, 시장 공개, 또는 상이한 대상 유형들의 상이한 대상들의 진화를 표시할 수 있다. 실시예에 따르면, 서버(106)는 복수의 촬영된 샷(116A 내지 116F)과 연관된 메타데이터를 저장하도록 구성될 수 있다. 복수의 촬영된 샷(116A 내지 116F)과 연관된 메타데이터는, 복수의 촬영된 샷(116A 내지 116F) 각각이 캡처되는 지리 위치, 아티스트 정보, 검출된 제1 세트의 대상들, 및 검출된 제2 세트의 대상에 관한 정보를 포함할 수 있지만, 이에 한정되지는 않는다. 실시예에 따르면, 서버(106)는 제2 비디오 콘텐츠를 저장하도록 추가로 구성될 수 있으며, 여기서 제2 비디오 콘텐츠는 연관된 메타데이터를 가진 복수의 촬영된 샷을 포함할 수 있다.
실시예에 따르면, 서버(106)는 통신 네트워크(108)를 통해 비디오 편집 디바이스(102)로부터 콘텐츠 요청을 수신하도록 구성될 수 있다. 서버(106)는, 수신된 콘텐츠 요청에 기초하여, 저장된 제1 비디오 콘텐츠(112), 제1 타임라인 정보, 제2 타임라인 정보, 메타데이터, 및 제2 비디오 콘텐츠를 비디오 편집 디바이스(102)에 통신 네트워크(108)를 통해 송신하도록 추가로 구성될 수 있다. 실시예에 따르면, 서버(106)는 웹 애플리케이션, 클라우드 애플리케이션, HTTP 요청, 리포지토리 동작, 파일 전송, 게임 동작 등을 통해 비디오 편집 디바이스(102)의 전술한 동작들을 실행하는 데 활용될 수 있는 클라우드 서버로서 구현될 수 있다. 서버(106)의 다른 예들은 데이터베이스 서버, 파일 서버, 웹 서버, 애플리케이션 서버, 메인프레임 서버, 클라우드 서버, 또는 다른 유형들의 서버를 포함할 수 있지만, 이들로 제한되지는 않는다.
실시예에 따르면, 서버(106)는 비디오 편집 디바이스(102)의 일부일 수 있다. 실시예에 따르면, 서버(106)는 본 기술분야의 통상의 기술자에게 잘 알려져 있는 여러 기술을 사용하여 복수의 클라우드 기반 리소스로서 구현될 수 있다. 또한, 서버(106)는 단일 또는 다중의 서비스 제공자와 연관될 수 있다. 본 기술분야의 통상의 기술자라면, 본 개시내용의 범위는 별개의 엔티티들로서의 서버(106) 및 비디오 편집 디바이스(102)의 구현에 제한되지 않는다는 것을 이해할 것이다. 실시예에 따르면, 서버(106)의 기능성들은 본 개시내용의 범위를 벗어나지 않고서, 비디오 편집 디바이스(102)에 의해 구현될 수 있다.
통신 네트워크(108)는 비디오 편집 디바이스(102) 및 서버(106)가 서로 그를 통해 통신할 수 있는 통신 매체를 포함할 수 있다. 통신 네트워크(108)는 유선 또는 무선 통신 네트워크일 수 있다. 통신 네트워크(108)의 예들은 인터넷, 클라우드 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, PAN(Personal Area Network), LAN(Local Area Network), 또는 MAN(Metropolitan Area Network)을 포함할 수 있지만, 이들로 제한되지는 않는다. 네트워크 환경(100)에서의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜들에 따라 통신 네트워크(108)에 접속하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 전송 제어 프로토콜 및 인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 전송 프로토콜(HTTP), 파일 전송 프로토콜(FTP), 지그비, EDGE, IEEE802.11, 광 충실도(Li-Fi), 802.16, IEEE802.11s, IEEE802.11g, 멀티 홉 통신, 무선 액세스 포인트(AP), 디바이스 대 디바이스 통신, 셀룰러 통신 프로토콜들, 및 블루투스(BT) 통신 프로토콜들을 포함할 수 있지만, 이들로 제한되지는 않는다.
동작 시에, 비디오 편집 디바이스(102)는 사용자(110)로부터 제1 사용자 입력을 수신하도록 구성될 수 있다. 제1 사용자 입력은 제1 비디오 콘텐츠(112)에 대한 연속성 검사를 수행하라는 요청을 포함할 수 있다. 제1 비디오 콘텐츠(112)의 예들은 영화 콘텐츠, 노래 비디오 장면, 멀티미디어 콘텐츠, 애니메이션 콘텐츠, 대화형 콘텐츠 및/또는 이들의 조합을 포함할 수 있지만, 이들로 제한되지는 않는다. 제1 비디오 콘텐츠(112)는 비디오 편집 디바이스(102)의 메모리(도 2에 도시됨)에 저장될 수 있다. 실시예에 따르면, 제1 비디오 콘텐츠(112)는 촬영된 시퀀스의 촬영된 장면들(114A 내지 114B)의 세트를 포함할 수 있다. 제1 촬영된 장면(114A)은 복수의 촬영된 샷(116A 내지 116C)을 포함할 수 있고, 제2 촬영된 장면(114B)은 또 다른 복수의 촬영된 샷(116D 내지 116F)을 포함할 수 있다. 제1 촬영된 장면(114A)의 복수의 촬영된 샷(116A 내지 116C) 및 제2 촬영된 장면(114B)의 복수의 촬영된 샷(116D 내지 116F)은 특정 지속기간(예를 들어, 초 또는 분 단위)을 가질 수 있다. 실시예에 따르면, 제1 촬영된 샷(116A)은 이미지 프레임들(118)의 시퀀스를 포함할 수 있고, 제2 촬영된 샷(116B)은 이미지 프레임들(120)의 시퀀스를 포함할 수 있다. 실시예에 따르면, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)에서의 이미지 프레임들의 수는 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)의 지속기간(또는 시간 길이)에 기초할 수 있다. 일부 실시예들에서, 이미지 프레임들의 수는 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B) 각각의 캡처 시의 비디오 캡처링 디바이스의 캡처 레이트(또는 프레임 레이트)에 기초할 수 있다. 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 시간 기간에 걸쳐 연속적으로 비디오 캡처링 디바이스에 의해 캡처될 수 있다. 일부 실시예들에서, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 불연속적 방식으로 비디오 캡처링 디바이스에 의해 캡처될 수 있다(예를 들어, 시간, 일 또는 주 단위로 특정 시간 기간 후에 캡처된다).
실시예에 따르면, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 샷 식별 정보(예를 들어, 샷 식별 번호)를 추가로 포함할 수 있다. 실시예에 따르면, 비디오 편집 디바이스(102)는 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B) 각각의 샷 식별 정보에 기초하여 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)을 제1 촬영된 장면(114)의 연속적인 샷들로서 결정하도록 구성될 수 있다. 일부 실시예들에서, 비디오 편집 디바이스(102)는 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B) 각각의 캡처 동안 사용되는 클래퍼 보드 정보(clapper board information)에 기초하여 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)을 제1 촬영된 장면(114)의 연속적인 샷들로서 결정하도록 구성될 수 있다. 클래퍼 보드 정보는 캡처의 날짜-시간 정보, 장면 번호, 취수(take number), 비디오 콘텐츠의 제목, 또는 비디오 콘텐츠의 감독의 이름을 포함할 수 있지만, 이에 제한되는 것은 아니다. 일부 실시예들에서, 비디오 편집 디바이스(102)는 제1 비디오 콘텐츠(112)에 대한 연속성 검사를 개시하기 위한 제1 사용자 입력의 수신 전에 연속적인 샷들로서 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)을 선택하기 위해 사용자(110)로부터 하나 이상의 사용자 입력을 수신하도록 구성될 수 있다. 일부 실시예들에서, 비디오 편집 디바이스(102)는 사용자(110)로부터 하나 이상의 사용자 입력을 수신하여 비디오 편집 디바이스(102)의 디스플레이 스크린(104)상에 디스플레이되는 편집 타임라인(도시되지 않음)상에 촬영된 장면들의 세트 중 복수의 촬영된 샷을 배열하도록 구성될 수 있다. 하나 이상의 사용자 입력은 배열에 기초하여 연속적인 샷들로서 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)의 선택을 포함할 수 있다. 실시예에 따르면, 비디오 편집 디바이스(102)는 샷 식별 정보 또는 캡처 타이밍 정보에 기초하여 연속적인 샷들로서 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)을 자동으로 배열하고 선택하도록 구성될 수 있다.
실시예에 따르면, 비디오 편집 디바이스(102)는 제1 촬영된 샷(116A)의 제1 이미지 프레임(122) 및 제2 촬영된 샷(116B)의 제2 이미지 프레임(124)을 추출하도록 추가로 구성될 수 있다. 실시예에 따르면, 제1 이미지 프레임(122)은 제1 촬영된 샷(116A)의 이미지 프레임들(118)의 시퀀스의 최종 프레임일 수 있고, 제2 이미지 프레임(124)은 제2 촬영된 샷(116B)의 이미지 프레임들(120)의 시퀀스의 최초 프레임일 수 있다. 비디오 편집 디바이스(102)는 제1 촬영된 샷(116A)의 제1 이미지 프레임(122) 및 제2 촬영된 샷(116B)의 제2 이미지 프레임(124)에 대해 연속성 검사를 수행할 수 있다.
실시예에 따르면, 비디오 편집 디바이스(102)는 추출된 제1 이미지 프레임(122)으로부터 (도 3에 도시된) 제1 세트의 대상들 및 추출된 제2 이미지 프레임(124)으로부터 (도 3에 도시된) 제2 세트의 대상들을 검출하도록 추가로 구성될 수 있다. 제1 세트의 대상들 및 제2 세트의 대상들의 예들은, 이에 제한되는 것은 아니지만, 사람, 동물, 식물, 또는 다른 비생물체들을 포함할 수 있다.
실시예에 따르면, 비디오 편집 디바이스(102)는 제1 대상의 대상 유형에 기초하여 제1 세트의 대상들 및 제2 세트의 대상들 각각으로부터 제1 대상을 식별하도록 추가로 구성될 수 있다. 제1 세트의 대상들 및 제2 세트의 대상들에서의 제1 대상의 대상 유형은 동일하다. 비디오 편집 디바이스(102)는 제2 이미지 프레임(124)에서의 제1 대상의 제2 시각적 속성으로부터 제1 이미지 프레임(122)에서의 제1 대상의 제1 시각적 속성의 편차를 결정하도록 추가로 구성될 수 있다. 제1 시각적 속성 및 제2 시각적 속성은 동일한 유형을 가질 수 있다. 제1 시각적 속성 및 제2 시각적 속성의 예들은, 이에 제한되는 것은 아니지만, 형상, 크기, 치수, 색상, 밝기 값, 콘트라스트 값, 텍스처, 오리엔테이션, 경사각, 자세, 또는 텍스트 정보를 포함할 수 있다. 제1 이미지 프레임(122)에서의 제1 대상의 제1 시각적 속성과 제2 이미지 프레임(124)에서의 제1 대상의 제2 시각적 속성 사이의 편차는, 예를 들어, 도 3에 상세히 설명될 수 있다.
비디오 편집 디바이스(102)는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124) 둘 다에서 제1 대상의 연속성을 검사하기 위한 편차를 결정하도록 구성될 수 있다. 실시예에 따르면, 제1 대상의 연속성은 제각기 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)의 제1 이미지 프레임(122) 및 제2 이미지 프레임(124) 둘 다에서 시각적 속성들의 유사한 세트를 갖는 제1 대상의 존재에 기초하여 결정될 수 있다.
실시예에 따르면, 비디오 편집 디바이스(102)는 결정된 편차에 기초하여 제1 대상과 연관된 통지 정보를 생성하도록 추가로 구성될 수 있다. 실시예에 따르면, 비디오 편집 디바이스(102)는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서의 제1 대상과 연관된 생성된 통지 정보를 출력하도록 디스플레이 스크린(104)을 제어하게 추가로 구성될 수 있다. 출력 통지 정보는, 예를 들어, 도 4a 및 도 4b에서 상세히 설명될 수 있다. 따라서, 제1 이미지 프레임(122)과 제2 이미지 프레임(124) 사이의 제1 대상의 불연속성에 관한 통지 정보는 사용자(110)(예를 들어, 편집자)로 하여금 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)을 재촬영하거나, 또는 제1 대상에 대한 하나 이상의 공지된 이미지 처리 기술을 적용하여 제1 촬영된 샷(116A)과 제2 촬영된 샷(116B) 사이에서 제1 대상의 연속성을 유지하기 위해 적절한 결정을 내리도록 허용할 수 있다. 사용자(110)는 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)의 캡처 시에 제1 대상의 불연속성이 의도적인 경우에 통지 정보를 폐기하기 위한 결정들을 내릴 수 있다.
실시예에 따르면, 비디오 편집 디바이스(102)는 제1 비디오 콘텐츠(112)의 한 세트의 촬영된 장면들(114A 내지 114B) 각각의 상이한 연속적인 또는 인접한 촬영된 샷들에 대한 연속성 검사를 수행하고 수행된 연속성 검사에 기초하여 상이한 대상들에 대한 통지 정보를 생성하도록 구성될 수 있다. 따라서, 비디오 편집 디바이스(102)는 캡처된 제1 비디오 콘텐츠(112)에서 연속성 에러들(또는 실수들)의 정확하고 자동적인 검출을 제공할 수 있고, 이는 사용자(110)의 실질적인 수동 노력을 더 감소시킨다. 연속성 에러들의 정확하고 자동적인 검출은 사용자(110)가 제1 비디오 콘텐츠(112)의 전체 품질을 개선하고 제1 비디오 콘텐츠(112)의 시청자들 중에서 사용자(110)의 신용도를 향상시키는 것을 더 보조할 수 있다.
도 2는 본 개시내용의 실시예에 따른, 비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 예시적인 비디오 편집 디바이스를 도시하는 블록도이다. 도 2는 도 1의 요소들과 관련하여 설명된다. 도 2를 참조하면, 비디오 편집 디바이스(102)가 도시되어 있다. 비디오 편집 디바이스(102)는 대상 검출기(204)를 추가로 포함할 수 있는 회로(202)를 포함할 수 있다. 비디오 편집 디바이스(102)는 메모리(206), 네트워크 인터페이스(208), 및 입/출력(I/O) 디바이스(210)를 추가로 포함할 수 있다. I/O 디바이스(210)는 디스플레이 스크린(104)을 포함할 수 있다. 회로(202)는 메모리(206), 네트워크 인터페이스(208), 및 I/O 디바이스(210)에 통신가능하게 결합될 수 있다. 회로(202)는 네트워크 인터페이스(208)의 사용에 의해 서버(106)와 통신하도록 구성될 수 있다.
회로(202)는 메모리(206)에 저장된 명령어들의 세트를 실행하도록 구성될 수 있는 적절한 로직, 회로, 및 인터페이스들을 포함할 수 있다. 회로(202)는 I/O 디바이스(210)를 통해 사용자(110)로부터 제1 사용자 입력을 수신하도록(즉, 연속성 검사를 수행하도록) 구성될 수 있다. 회로(202)는 수신된 제1 사용자 입력에 기초하여 촬영된 장면에서의 연속적인 촬영된 샷들에 포함된 상이한 대상들의 연속성을 결정하도록 추가로 구성될 수 있다. 실시예에 따르면, 회로(202)는 제1 비디오 콘텐츠(112)에서의 상이한 대상들을 분석하여 사실상의 에러들을 결정하도록 구성될 수 있다. 회로(202)는 본 기술분야에 공지된 다수의 프로세서 기술에 기초하여 구현될 수 있다. 회로(202)의 예들은 그래픽 처리 유닛(GPU), 중앙 처리 유닛(CPU), X86-기반 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 다른 프로세서들 등일 수 있다.
대상 검출기(204)는, 제각기 제1 촬영된 샷(116A)의 제1 이미지 프레임(122) 및 제2 촬영된 샷(116B)의 제2 이미지 프레임(124)으로부터 제1 세트의 대상들 및 제2 세트의 대상들을 검출하도록 구성될 수 있는 적합한 로직, 회로, 및 인터페이스들을 포함할 수 있다. 실시예에 따르면, 대상 검출기(204)는 검출된 제1 세트의 대상들 및 제2 세트의 대상들의 상이한 대상 유형들을 식별하도록 추가로 구성될 수 있다. 검출된 제1 세트의 대상들 및 제2 세트의 대상들은 2차원(2D) 대상 또는 3차원(3D) 대상 중 적어도 하나에 대응할 수 있다. 실시예에 따르면, 대상 검출기(204)는 대상 검출 및 분류 기술에 기초하여 제1 세트의 대상들, 제2 세트의 대상들, 및 관련 대상 유형들을 검출하도록 구성될 수 있다. 대상 검출 및 분류 기술은 데이터 흐름 그래프들을 사용하는 수치 계산 기술들, 심층 신경망(deep neural network, DNN) 아키텍처, 예컨대 컨볼루션 신경망(CNN), CNN-순환 신경망(CNN-RNN), R-CNN, 고속 R-CNN, 더 고속인 R-CNN, 및 YOLO(You Only Look Once) 네트워크에 기초할 수 있지만, 이에 제한되지는 않는다. 일부 실시예들에서, 대상 검출기(204)는 소벨 연산자(Sobel operator) 또는 프리윗 연산자(Prewitt operator)의 사용에 의한 것과 같이, 인간 형상 기반 대상 경계 식별, 미리 지정된 형상 기반 또는 템플릿 기반 대상 식별과 같은 다른 대상 식별 기법을 구현할 수 있다. 대상 검출기(204)의 구현들의 예들은 특수화된 회로, GPU, RISC 프로세서, ASIC 프로세서, CISC 프로세서, 마이크로컨트롤러, 중앙 처리 유닛(CPU), 또는 다른 제어 회로들일 수 있다.
특정 실시예들에서, 대상 검출기(204)는 이미지 프레임들에서 대상의 검출 및 식별을 위해 훈련된 DNN 학습 모델에 기초하여 구현될 수 있다. 이러한 구현에서, 대상 검출기(204)는, 비디오 캡처링 디바이스에 의해 캡처된 이미지 프레임들에서 대상들의 검출의 훈련 및/또는 속도를 높이기 위해, 특수화된 DNN 회로일 수 있고 및/또는 보완 가속기 회로를 구현할 수 있다. 가속기 회로는 온-디바이스(오프라인) 가속기 회로(도 1에 도시되지 않음) 또는 서버-엔드(온라인) 가속기 회로(즉, 클라우드 서버상에서 이용가능함)일 수 있다.
메모리(206)는 제1 비디오 콘텐츠(112)를 저장하도록 구성될 수 있는 적합한 로직, 회로, 및 인터페이스들을 포함할 수 있고, 제1 타임라인 정보는 제1 비디오 콘텐츠(112)와 관련된 시대를 표시할 수 있다. 실시예에 따르면, 메모리(206)는 비디오 편집 디바이스(102)가 불연속성 또는 사실상의 에러를 그에 대해 결정하는 제1 대상과 연관된 통지 정보를 저장하도록 구성될 수 있다. 일부 실시예들에서, 메모리(206)는 도 1에 도시된 데이터 저장 시스템(102A)과 유사한 기능성들을 수행할 수 있다. 메모리(206)의 구현의 예들은 RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), HDD(Hard Disk Drive), SSD(Solid-State Drive), CPU 캐시, 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이들로 제한되지는 않는다.
네트워크 인터페이스(208)는 통신 네트워크(108)를 통해 비디오 편집 디바이스(102)와 서버(106) 사이의 통신을 용이하게 하도록 구성될 수 있는 적합한 로직, 회로, 및/또는 인터페이스들을 포함할 수 있다. 네트워크 인터페이스(208)는 통신 네트워크(108)와의 비디오 편집 디바이스(102)의 유선 또는 무선 통신을 지원하기 위한 다양한 공지된 기술의 사용에 의해 구현될 수 있다. 네트워크 인터페이스(208)는 안테나, 무선 주파수(RF) 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, 코더-디코더(CODEC) 칩셋, 가입자 식별 모듈(SIM) 카드, 또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지는 않는다.
I/O 디바이스(210)는 사용자(110)와 비디오 편집 디바이스(102)의 상이한 동작 컴포넌트들 사이의 I/O 채널/인터페이스로서 작용하도록 구성될 수 있는 적합한 로직, 회로, 및/또는 인터페이스들을 포함할 수 있다. I/O 디바이스(110)는 제1 비디오 콘텐츠(112)에 대한 연속성 검사를 수행하기 위해 사용자(110)로부터 제1 사용자 입력을 수신하도록 구성될 수 있다. I/O 디바이스(110)는 비디오 편집 디바이스(102)가 불연속성 또는 사실상의 에러를 그에 대해 결정하는 제1 대상과 연관된 통지 정보를 디스플레이하도록 추가로 구성될 수 있다. I/O 디바이스(210)는 디바이스(102)의 상이한 동작 컴포넌트들과 통신하도록 구성될 수 있는 다양한 입력 및 출력 디바이스들을 포함할 수 있다. I/O 디바이스(210)의 예들은 터치 스크린, 키보드, 마우스, 조이스틱, 마이크로폰, 및 디스플레이 스크린(예를 들어, 디스플레이 스크린(104))을 포함할 수 있지만, 이에 제한되는 것은 아니다.
도 1에 설명된 바와 같이, 비디오 편집 디바이스(102)에 의해 실행되는 기능 또는 동작은 회로(202) 및 대상 검출기(204)에 의해 수행될 수 있다. 회로(202) 및 대상 검출기(204)에 의해 실행되는 동작들은, 예를 들어, 도 3, 도 4a, 도 4b, 도 5, 도 6, 및 도 7에서 더 설명된다.
도 3은 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 제1 예시적인 시나리오를 도시한다. 도 3은 도 1 및 도 2로부터의 요소들과 관련하여 설명된다. 도 3을 참조하면, 제1 시나리오(300)가 도시되어 있다.
제1 시나리오(300)에서, 제1 촬영된 샷(116A)의 제1 이미지 프레임(122)과 제2 촬영된 샷(116B)의 제2 이미지 프레임(124)이 도시되어 있다. 실시예에 따르면, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 동일한 촬영된 장면(예를 들어, 제1 촬영된 장면(114A))에 대응할 수 있다. 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 제1 촬영된 장면(114A)의 연속적이거나 인접한 샷들일 수 있다. 실시예에 따르면, 제1 이미지 프레임(122)은 제1 촬영된 샷(116A)의 이미지 프레임들(118)의 시퀀스의 최종 프레임일 수 있고 제2 이미지 프레임(124)은 제2 촬영된 샷(116B)의 이미지 프레임들(120)의 시퀀스의 최초 프레임일 수 있다. 실시예에 따르면, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 제1 비디오 콘텐츠(112)의 상이한 촬영된 장면들에 대응할 수 있으며, 여기서 상이한 촬영된 장면은 동일한 컨텍스트에 대응할 수 있다. 예를 들어, 상이한 장면들이 상이한 시간에 (또는 상이한 스크립트들 또는 대화들을 이용하여) 캡처되지만, 배경에 동일한 컨텍스트로서 유사한 대상들을 갖는다.
도 3에서, 연속적 샷들(제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B))의 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에 대한 연속성 검사를 수행하도록 구성되는 비디오 편집 디바이스(102)가 더 도시된다. 비디오 편집 디바이스(102)는 제1 촬영된 샷(116A)과 제2 촬영된 샷(116B) 사이의 상이한 대상들의 일관성(즉, 존재 또는 시각적 속성들)을 검증하기 위해 연속성 검사를 수행하도록 구성될 수 있다.
회로(202)는 사용자(110)(예를 들어, 제1 비디오 콘텐츠(112)의 편집자)로부터의 제1 사용자 입력의 수신에 기초하여 촬영된 장면들(114A 내지 114B)의 세트의 각각의 연속적인 샷들 사이의 연속성 검사를 개시하도록 구성될 수 있다. 연속성 검사에서, 회로(202)는 제1 촬영된 샷(116A)의 제1 이미지 프레임(122) 및 제2 촬영된 샷(116B)의 제2 이미지 프레임(124)을 추출하도록 구성될 수 있다. 실시예에 따르면, 추출을 위해, 회로(202)는 제1 비디오 콘텐츠(112)가 저장되는 메모리(206)로부터 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)과 연관된 픽셀 정보를 판독하도록 구성될 수 있다. 실시예에 따르면, 회로(202)는 추출된 제1 이미지 프레임(122) 및 추출된 제2 이미지 프레임(124)을 대상 검출기(204)에 제공하도록 추가로 구성될 수 있다.
실시예에 따르면, 대상 검출기(204)는 추출된 제1 이미지 프레임(122)으로부터 (도 3의 302, 304A, 306A, 308A, 310A, 312A, 및 314A와 같은) 제1 세트의 대상들을 검출하도록 추가로 구성될 수 있다. 대상 검출기(204)는 추출된 제2 이미지 프레임(124)으로부터 (도 3의 304B, 306B, 308B, 310B, 312B, 및 314B와 같은) 제2 세트의 대상들을 검출하도록 추가로 구성될 수 있다. 대상 검출기(204)는, 도 1에서 설명된 바와 같은 상이한 대상 검출 기법들에 기초하여 검출된 대상들을 상이한 대상 유형들로 분류하도록 추가로 구성될 수 있다. 도 3과 관련하여, 대상 검출기(204)는 제1 이미지 프레임(122)에서의 제1 세트의 대상들로부터 대상 유형이 사람인 제1 대상(304A), 대상 유형이 개인 제2 대상(306A), 대상 유형이 자동차인 제3 대상(308A), 대상 유형이 조명 기구인 제4 대상(310A), 대상 유형이 박스인 제5 대상(314A), 및 대상 유형이 식물인 제6 대상(302)을 검출 및 분류하도록 구성될 수 있다. 대상 검출기(204)는 제2 이미지 프레임(124)에서의 제2 세트의 대상들로부터 대상 유형이 사람인 제7 대상(304B), 대상 유형이 개인 제8 대상(306B), 대상 유형이 자동차인 제9 대상(308B), 대상 유형이 조명 기구인 제10 대상(310B), 및 대상 유형이 박스인 제11 대상(314B)을 검출 및 분류하도록 추가로 구성될 수 있다. 대상 검출기(204)는 제각기 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서의 제1 세트의 대상들 및 제2 세트의 대상들 각각의 픽셀 좌표들을 결정하도록 구성될 수 있다. 픽셀 좌표들은 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)이 비디오 캡처링 디바이스에 의해 캡처되는 해상도에 기초하여 X축 및 Y축에 있을 수 있다.
실시예에 따르면, 회로(202)는 대상 검출기(204)로부터의 제1 세트의 대상들 및 제2 세트의 대상들 각각의 결정된 픽셀 좌표들 및 검출된 대상 유형을 수신하도록 구성될 수 있다. 회로(202)는 제1 대상(304A) 및 제7 대상(304B) 모두의 결정된 픽셀 좌표 및 대상 유형에 기초하여 제1 이미지 프레임(122)에서의 제1 대상(304A) 및 제2 이미지 프레임(124)에서의 제7 대상(304B)을 동일한 대상들로서 식별하도록 추가로 구성될 수 있다. 실시예에 따르면, 대상 검출기(204)는 검출된 대상들 내에서 상이한 하위 대상들을 검출하고 분류하도록 구성될 수 있다. 예를 들어, 대상 검출기(204)는 제1 이미지 프레임(122)에서 (사람으로서) 검출된 제1 대상(304A) 내의 제12 대상(314)을 휘장으로서 검출하도록 구성될 수 있다. 실시예에 따르면, 회로(202)는 대상 검출기(204)로부터 제1 세트의 대상들에서 제12 대상(314)을 수신하도록 구성될 수 있다. 회로(202)는 제1 이미지 프레임(122)에서의 제12 대상(314)의 대상 유형 및 픽셀 좌표에 기초하여 제1 세트의 대상들에서의 제12 대상(314)(예를 들어, 휘장)이 검출된 제2 세트의 대상들에서 누락되거나 존재하지 않는 것을 결정하도록 구성될 수 있다. 회로(202)는 사용자(110)에 대한 통지 정보를 생성하도록 추가로 구성될 수 있다. 통지 정보는 제1 이미지 프레임(122)(예를 들어, 제1 촬영된 샷(116A)의 최종 프레임)과 제2 이미지 프레임(124)(예를 들어, 제2 촬영된 샷(116B)의 최초 프레임) 사이의 제12 대상(314)의 불연속성 또는 불일치를 나타낼 수 있다. 통지 정보는 사용자(110)에 대한 제12 대상(314)(예를 들어, 휘장)의 불연속성에 관한 경보 또는 에러 메시지일 수 있다. 회로(202)는 제12 대상(314)과 연관된 생성된 통지 정보를 출력하도록 디스플레이 스크린(104)을 제어하게 구성될 수 있다. 통지 정보의 상세 사항은, 예를 들어, 도 4a 및 도 4b에서 상세히 설명될 수 있다. 실시예에 따르면, 회로(202)는 생성된 통지를 오디오 형태로 출력하기 위해 비디오 편집 디바이스(102)와 연관된 스피커(도시되지 않음)를 제어하도록 구성될 수 있다.
실시예에 따르면, 회로(202)는 검출된 제1 세트의 대상들 및 제2 세트의 대상들의 하나 이상의 시각적 속성들을 결정하도록 추가로 구성될 수 있다. 일부 실시예들에서, 회로(202)는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서의 각각의 픽셀의 픽셀 정보에 기초하여 하나 이상의 시각적 속성을 결정하도록 구성될 수 있다. 픽셀 정보는 밝기 값, 콘트라스트 값, 또는 색상 값을 포함할 수 있지만, 이에 한정되지는 않는다. 일부 실시예들에서, 회로(202)는 제1 세트의 대상들 및 제2 세트의 대상들 각각의 결정된 픽셀 좌표들에 기초하여 하나 이상의 시각적 속성을 결정하도록 구성될 수 있다. 검출된 제1 세트의 대상들 및 제2 세트의 대상들의 하나 이상의 시각적 속성들의 예들은, 이에 제한되는 것은 아니지만, 형상, 크기, 치수, 색상, 밝기 값, 콘트라스트 값, 텍스처, 오리엔테이션, 경사각, 자세, 또는 텍스트 정보를 포함할 수 있다.
실시예에 따르면, 회로(202)는 제1 대상(304A) 및 제7 대상(304B)(예를 들어, 동일한 대상들) 각각에 대한 하나 이상의 시각적 속성을 결정하도록 추가로 구성될 수 있다. 회로(202)는 제1 대상(304A) 및 제7 대상(304B) 각각에 대한 결정된 하나 이상의 시각적 속성의 적어도 하나의 시각적 속성의 편차를 결정하도록 구성될 수 있다. 도 3과 관련하여, 제1 대상(304A) 및 제7 대상(304B)의 하나 이상의 시각적 속성은 동일하다. 따라서, 회로(202)는 제1 이미지 프레임(122)과 제2 이미지 프레임(124) 사이의 제1 대상(304A) 및 제7 대상(304B)의 하나 이상의 시각적 속성의 일관성(또는 연속성)을 검출하도록 구성될 수 있다.
회로(202)는 제2 대상(306A) 및 제8 대상(306B) 둘 다의 대상 유형 및 결정된 픽셀 좌표들에 기초하여 제1 이미지 프레임(122)에서의 제2 대상(306A) 및 제2 이미지 프레임(124)에서의 제8 대상(306B)을 동일한 대상들(예를 들어, 개)로서 식별하도록 추가로 구성될 수 있다. 회로(202)는 제2 대상(306A) 및 제8 대상(306B)의 하나 이상의 시각적 속성을 결정하도록 추가로 구성될 수 있다. 도 3과 관련하여, 회로(202)는 제2 대상(306A)과 제8 대상(306B) 사이의 크기의 편차를 결정할 수 있다. 회로(202)는 크기의 편차에 기초하여 제2 대상(306A)(또는 제8 대상(306B))과 연관된 통지 정보를 생성하도록 추가로 구성될 수 있다. 제2 대상(306A)과 제8 대상(306B) 사이의 크기의 편차는 제1 촬영된 샷(116A)의 제1 이미지 프레임(122)과 제2 촬영된 샷(116B)의 제2 이미지 프레임(124) 사이의 불연속성 또는 불일치를 나타낼 수 있다.
유사하게, 도 3과 관련하여, 회로(202)는 제1 이미지 프레임(122)에서의 제3 대상(308A)(자동차)과 제2 이미지 프레임(124)에서의 제9 대상(308B)(제3 대상(308A)과 유사) 사이의 형상의 편차를 결정할 수 있다. 회로(202)는 제1 이미지 프레임(122)에서의 제4 대상(310A)(조명 기구)과 제2 이미지 프레임(124)에서의 제10 대상(310B) 사이의 색상의 편차를 결정하도록 추가로 구성될 수 있다.
실시예에 따르면, 대상 검출기(204)는 검출된 제1 세트의 대상들 및 제2 세트의 대상들에서 텍스트 정보를 검출하도록 구성될 수 있다. 실시예에 따르면, 대상 검출기(204)는 하나 이상의 텍스트 인식 또는 광학 문자 인식 기술에 기초하여 텍스트 정보를 검출할 수 있다. 대상 검출기(204)는 제1 세트의 대상들 및 제2 세트의 대상들 각각에서 검출된 텍스트 정보를 회로(202)에 제공하도록 추가로 구성될 수 있다. 회로(202)는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서 유사한 대상들의 텍스트 정보를 비교하여 텍스트 정보의 편차를 결정하도록 추가로 구성될 수 있다. 도 3과 관련하여, 회로(202)는 제3 대상(308A)에서의 제1 텍스트 정보(312A)(예를 들어, "COP1017X")와 제9 대상(308B)에서의 제2 텍스트 정보(312B)(예를 들어, "COP1022Y") 사이의 편차를 결정할 수 있다. 회로(202)는 제1 텍스트 정보(312A)와 제2 텍스트 정보(312B) 사이의 결정된 편차에 기초하여 제3 대상(308A)(또는 제9 대상(308B))과 연관된 통지 정보를 생성하도록 추가로 구성될 수 있다. 또한, 도 3과 관련하여, 회로(202)는 제1 세트의 대상들과 제2 세트의 대상들 각각의 검출된 대상 유형에 기초하여 제1 세트의 대상들에서의 (식물로서의) 제6 대상(302)이 제2 세트의 대상들에 존재하지 않거나 누락된 것을 결정할 수 있다. 회로(202)는 제1 이미지 프레임(122)과 제2 이미지 프레임(124) 사이의 제6 대상(302)의 불연속성을 표시하기 위한 통지 정보를 생성하도록 구성될 수 있다. 따라서, 비디오 편집 디바이스(102)는 연속적인 샷들 사이의 대상들의 불연속성들(존재 여부에 있어서 또는 적어도 하나의 시각적 속성에 있어서)에 대한 통지 정보의 자동 및 정확한 생성을 제공할 수 있다. 통지 정보의 자동 및 정확한 생성은 불연속성들(또는 연속성 에러들)의 식별에서 상당한 시간 절약을 보장하고, 제1 비디오 콘텐츠(112)의 전체 품질의 개선을 추가로 보장한다.
실시예에 따르면, 회로(202)는 제2 이미지 프레임(124)에서의 제2 세트의 대상들에서의 유사한 대상에 대하여 제1 이미지 프레임(122)에서의 제1 세트의 대상들 각각의 위치 편차를 결정하도록 추가로 구성될 수 있다. 회로(202)는 제1 세트의 대상들 및 제2 세트의 대상들 각각의 픽셀 좌표들에 기초하여 위치 편차를 결정하도록 구성될 수 있다. 도 3과 관련하여, 회로(202)는 제1 이미지 프레임(122)에서의 (박스로서의) 제5 대상(314A)과 (제5 대상(314A)과 유사한) 제11 대상(314B) 사이의 위치 편차를 식별하도록 구성될 수 있다. 제5 대상(314A)과 제11 대상(314B) 사이의 위치 편차는 제1 촬영된 샷(116A)과 제2 촬영된 샷(116B) 사이의 제5 대상(314A)(또는 제11 대상(314B))의 위치 또는 이동의 변화를 나타낼 수 있다. 실시예에 따르면, 회로(202)는 검출된 위치 편차에 기초하여 제5 대상(314A)(또는 제11 대상(314B))에 관한 통지 정보를 생성하도록 구성될 수 있다. 회로(202)는 사용자(110)에게 위치 편차에 관한 통지 정보를 디스플레이하기 위해 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다. 위치 편차에 관한 통지 정보에 기초하여, 사용자(110)는 제11 대상(314B)의 위치의 수정에 의해 제2 촬영된 샷(116B)을 재촬영하고 제5 대상(314A)과 제11 대상(314B) 사이의 위치 불연속을 더 회피하기 위한 결정을 내릴 수 있다. 사용자(110)는 제2 이미지 프레임(124)에서의 제11 대상(314B)의 위치를 정정하기 위해 상이한 이미지 처리 또는 이미지 편집 기술을 이용할 수 있다. 사용자(110)는 또한, 제5 대상(314A)과 제11 대상(314B) 사이의 위치 편차가 제2 촬영된 샷(116B)의 캡처 시에 의도적인 경우에 제5 대상(314A)(또는 제11 대상(314B))에 관한 통지 정보를 무시할 수 있다. 예를 들어, 감독 또는 카메라 맨은 제1 비디오 콘텐츠(112)의 캡처 동안에 제1 촬영된 장면(114A)의 스크립트에 기초하여 연속적인 샷들 사이의 특정 대상의 위치 또는 로케이션을 변경할 수 있다. 또 다른 예에서, 감독 또는 카메라 맨이 제1 촬영된 샷(116A)에 대하여 제2 촬영된 샷(116B)의 캡처 시에 비디오 캡처링 디바이스의 줌을 변경한 경우, 하나 이상의 시각적 속성(예를 들어, 크기 또는 치수)에서의 편차는 사용자(110)에 의해 의도적인 것으로 간주될 수 있다.
실시예에 따르면, 회로(202)는 제1 촬영된 장면(114A)(즉, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)을 포함함)의 컨텍스트에 기초하여 제1 세트의 대상들 각각과 제2 세트의 대상들의 대응하는 유사한 대상들 사이의 위치 편차를 결정하도록 구성될 수 있다. 회로(202)는 제1 촬영된 장면(114A)의 컨텍스트를 결정하기 위해 제1 이미지 프레임(122) 이전의 복수의 이미지 프레임(또는 제1 촬영된 샷(116A) 이전의 복수의 촬영된 샷)을 분석하도록 구성될 수 있다. 실시예에 따르면, 회로(202)는 제1 촬영된 장면(114A)의 컨텍스트를 결정하기 위해 복수의 이미지 프레임에서의 상이한 대상들의 픽셀 좌표들을 결정하도록 구성될 수 있다. 예를 들어, 대상들 및 하위 대상들에서의 빈번한 움직임이 연속적인 샷들 사이에서 캡처되는 (컨텍스트로서의 댄스 또는 노래 장면과 같은) 움직이는 장면의 경우에, 회로(202)는 사용자(110)에 대한 통지 정보를 생성하기 위해(제1 세트의 대상들과 제2 세트의 대상들의 대응하는 유사한 대상들 사이의) 위치 편차를 폐기하도록 구성될 수 있다. 따라서, 비디오 편집 디바이스(102)는 연속적인 샷들 사이의 대상들의 지능적인 연속성 검사를 제공할 수 있다. 비디오 편집 디바이스(102)에 의해 수행되는 이러한 지능형 연속성 검사는 더 적은 시간으로 사용자(110)에게 정확한 연속성 에러들을 제공할 수 있다. 사용자(110)는 편집 단계 후에 최종적으로 배포되는 제1 비디오 콘텐츠(112)의 품질을 개선하기 위해 모든 연속성 에러들을 추가로 분석하고 정정할 수 있다.
도 4a 및 도 4b는, 집합적으로, 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들을 디스플레이하기 위한 사용자 인터페이스를 도시한다. 도 4a 및 도 4b는 도 1, 도 2 및 도 3으로부터의 요소들과 관련하여 설명된다. 도 4a를 참조하면, 디스플레이 스크린(104)상에 디스플레이되는 제1 사용자 인터페이스(UI)(400A)가 도시되어 있다.
실시예에 따르면, 제1 사용자 인터페이스(UI)(400A)는 제1 비디오 콘텐츠(112)의 촬영된 장면들(114A 내지 114B)의 세트의 연속적인 샷들에 대해 회로(202)에 의해 실행되는 연속성 검사에 기초하여 생성된 통지 정보를 표시할 수 있다. 도 4a와 관련하여, 제1 사용자 인터페이스(400A)는, 예를 들어, 도 3에서 상세히 설명된 바와 같이, 제각기 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서의 제1 세트의 대상들과 제2 세트의 대상들 사이에서 실행되는 연속성 검사에 기초하여 생성된 통지 정보를 표시할 수 있다. 통지 정보는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서의 제1 세트의 대상들과 제2 세트의 대상들 사이의 불연속성 또는 불일치를 표시할 수 있다. 실시예에 따르면, 통지 정보는 하나 이상의 대상들의 불연속성이 비디오 편집 디바이스(102)에 의해 검출되는 제1 촬영된 장면(114A)의 식별자를 포함할 수 있다. 제1 촬영된 장면(114A)의 식별자는 제1 비디오 콘텐츠(112)에서의 장면 번호를 표시할 수 있다. 일부 실시예들에서, 통지 정보는 그들 사이에서 대상들의 하나 이상의 불연속성이 비디오 편집 디바이스(102)에 의해 검출되는 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)의 식별 정보를 추가로 포함할 수 있다. 식별 정보는 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)을 포함할 수 있는 제1 촬영된 장면(114A)의 샷 번호를 표시할 수 있다. 실시예에 따르면, 통지 정보는 불연속성들(또는 연속성 에러들)의 상세 사항들을 포함할 수 있다. 불연속성들의 상세 사항들은 제1 세트의 대상들 및 제2 세트의 대상들의 하나 이상의 시각적 속성들에서의 대상 유형 및 편차를 포함할 수 있다.
도 4a와 관련하여, 디스플레이 스크린(104)상에 표 형태로 디스플레이된 생성된 통지 정보를 표시할 수 있는 복수의 UI 옵션(402A 내지 402N)이 도시되어 있다. 복수의 UI 옵션(402A 내지 402N) 각각은 생성된 통지 정보를 디스플레이할 수 있다. 실시예에 따르면, 복수의 UI 옵션(402A 내지 402N) 각각은 제1 촬영된 장면(114A)의 식별자, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)의 식별 정보, 및 검출된 불연속성들의 상세 사항들을 나타낼 수 있다.
실시예에 따르면, 복수의 UI 옵션(402A 내지 402N)은, 도 3에서 설명된 바와 같이 제1 이미지 프레임(122)과 제2 이미지 프레임(124) 사이의 제12 대상(314)(예를 들어, 휘장)에 관한 불연속성을 표시할 수 있는 제1 UI 옵션(402A)을 포함할 수 있다. 예를 들어, 제1 UI 옵션(402A)은 (제1 촬영된 장면(114A)의 식별자로서) 촬영된 장면 번호 "1"에서의 그리고 (제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)의 식별 정보로서) 숫자 1 및 2를 갖는 연속적인 샷들 사이에서의 제12 대상(314)에 의한 연속성 에러들의 상세 사항들을 "유니폼상의 누락된 휘장"으로서 포함할 수 있는 에러 메시지를 표시할 수 있다.
유사하게, 복수의 UI 옵션(402A 내지 402N)은 에러 메시지를 포함할 수 있는 제2 UI 옵션(402B)을 포함할 수 있다. 에러 메시지는 도 3에 설명된 바와 같이 제2 대상(306A) 및 제8 대상(306B)(대상 유형을 개로서 가짐)과 연관된 불연속성(즉, 크기의 편차)을 나타낼 수 있다. 에러 메시지는 또한 제2 이미지 프레임(124)에서의 제8 대상(306B)의 묘사에서의 프로덕션 에러를 나타낼 수 있다. 예를 들어, 제2 UI 옵션(402B)은 제1 촬영된 장면(114A)의 식별자를 "1"로서 갖고 및 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)의 식별 정보를 "1 및 2"로서 갖는 제8 대상(306B)의 연속성 에러의 상세 사항들을 "개의 크기가 상이함"인 것으로서 표시할 수 있다. 도 4a에 대하여, 복수의 UI 옵션(402A 내지 402N)은 제3 UI 옵션(402C), 제4 UI 옵션(402D), 제5 UI 옵션(402E), 및 제6 UI 옵션(402F)을 포함할 수 있다. 실시예에 따르면, 제3 UI 옵션(402C)은 제1 이미지 프레임(122)과 제2 이미지 프레임(124) 사이의 제3 대상(308A) 및 제9 대상(308B)(자동차)과 연관된 불연속성(즉, 형상 및 텍스트 정보에서의 편차)을 나타낼 수 있는 에러 메시지를 포함할 수 있다. 예를 들어, 제3 UI 옵션(402C)은 제3 대상(308A) 및 제9 대상(308B)의 불연속성의 상세 사항을 "자동차의 형상 및 텍스트가 상이함"인 것으로서 나타낼 수 있다. 제4 UI 옵션(402D)은 제4 대상(310A) 및 제10 대상(310B)(조명 디바이스)과 연관된 불연속성(즉, 색상 편차)을 나타낼 수 있는 에러 메시지를 포함할 수 있다. 예를 들어, 제4 UI 옵션(402D)은 제4 대상(310A) 및 제10 대상(310B)의 불연속성의 상세 사항을 "자동차 위의 조명 디바이스의 색상이 상이함"인 것으로서 나타낼 수 있다. 제5 UI 옵션(402E)은 제6 대상(302)의 연속성 에러의 상세 사항을, 촬영된 장면 번호를 "1"로서 그리고 연속적인 샷들을 "1, 2"로서 갖는 "누락된 식물"로서 표시할 수 있다. 또한, 제6 UI 옵션(402F)은 제5 대상(314A) 및 제11 대상(314B)(박스)과 연관된 불연속성(즉, 위치 편차)을 나타낼 수 있는 에러 메시지를 포함할 수 있다. 예를 들어, 제6 UI 옵션(402F)은 제5 대상(314A) 및 제11 대상(314B)의 불연속성의 상세 사항을 "박스의 위치가 상이함"인 것으로서 나타낼 수 있다.
실시예에 따르면, 회로(202)는 통지 정보를 제1 비디오 콘텐츠(112)에서의 메타데이터로서 추가하도록 구성될 수 있다. 일부 실시예들에서, 회로(202)는 통지 정보가 그에 대해 생성되었던 불일치한 대상들을 포함하는 제1 촬영된 샷(116A) 또는 제2 촬영된 샷(116B)과의 메타데이터로서 통지 정보를 추가하도록 구성될 수 있다. 제1 비디오 콘텐츠(112)에서의 추가된 메타데이터는 사용자(110)가 나중의 단계들에서 제1 비디오 콘텐츠(112)를 편집 또는 렌더링하는 동안 상이한 연속성 실수들(또는 불일치하는 대상들)을 신속하게 참조하는 것을 도울 수 있다.
실시예에 따르면, 회로(202)는 I/O 디바이스(210)를 통해 복수의 UI 옵션(402A 내지 402N) 중 하나를 선택하기 위해 사용자(110)로부터 하나 이상의 사용자 입력을 수신하도록 구성될 수 있다. 회로(202)는 복수의 UI 옵션(402A 내지 402N) 중 선택된 것과 연관된 대응하는 샷들 또는 대응하는 이미지 프레임을 디스플레이하도록 디스플레이 스크린(104)을 제어하게 추가로 구성될 수 있다. 예를 들어, 사용자(110)가 제3 UI 옵션(402C)을 선택하는 경우, 회로(202)는 자동차로서의 대상 유형을 갖는 제3 대상(308A)(또는 유사한 제9 대상(308B))의 불연속성(즉, 형상 및 텍스트의 편차)을 포함하는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)을 디스플레이하도록 디스플레이 스크린(104)을 제어할 수 있다.
실시예에 따르면, 회로(202)는, 디스플레이된 복수의 UI 옵션(402A 내지 402N)을 필터링하기 위해, I/O 디바이스(210)를 통해 사용자(110)로부터 하나 이상의 사용자 입력을 수신하도록 구성될 수 있다. 회로(202)는 상이한 인자들에 기초하여 복수의 UI 옵션(402A 내지 402N)을 필터링하도록 구성될 수 있다. 인자들의 예들은 장면 번호, 샷 번호, 대상 유형, 또는 하나 이상의 시각적 속성을 포함할 수 있지만, 이들로만 제한되지는 않는다. 예를 들어, 회로(202)는 장면(1)에 대한 복수의 UI 옵션(402A 내지 402N)(즉, 생성 통지 정보) 중 하나 이상을 필터링하고 디스플레이하기 위해 사용자(110)로부터 하나 이상의 사용자 입력을 수신할 수 있다. 또 다른 예에서, 회로(202)는 대상 유형으로서 위치 편차, 또는 누락된 대상들, 또는 인간을 포함하는 복수의 UI 옵션(402A 내지 402N) 중 하나 이상을 필터링하고 디스플레이하기 위해 사용자(110)로부터 하나 이상의 사용자 입력을 수신할 수 있다. 따라서, 제1 비디오 콘텐츠(112)의 선택적 불연속성들의 디스플레이는 사용자(110)가 제1 비디오 콘텐츠(112)의 품질 및 인기를 향상시키도록 정정되어야만 하는 실제 연속성 실수들을 식별하는 것을 도울 수 있다.
도 4b와 관련하여, 제1 이미지 프레임(122) 및 제2 이미지 프레임(124) 중 어느 하나상에 그래픽 형태로 생성된 통지 정보가 도시되어 있다. 도 4b에서, 통지 정보로서 도시된 복수의 UI 영역(404A 내지 404F)이 있다. 복수의 UI 영역(404A 내지 404F)은, 예를 들어, 도 3에서 상세히 설명된 대로, 연속성 에러들이 검출되었거나 또는 통지 정보가 회로(202)에 의해 생성된 제1 세트의 대상들 및 제2 세트의 대상들 위의 그래픽 오버레이(예를 들어, 투명 경계 또는 영역)일 수 있다. 따라서, 통지 정보의 이러한 그래픽 표현은 (편집자로서의) 사용자(110)가 더 적은 시간으로 연속성 에러들을 식별하는 것을 보조할 수 있다. 상이한 대상들과 연관된 통지 정보의 디스플레이된 그래픽 표현에 기초하여, 사용자(110)는 (연속성 에러들을 갖는) 검출된 샷을 재촬영하고, 공지된 비디오 편집 기법을 이용하여 연속성 에러들을 정정하거나 또는 (불연속성 또는 편차가 샷의 캡처 시에 의도적인 경우에) 특정 대상의 연속성 에러를 그냥 무시하는 적절한 결정을 추가로 취할 수 있다.
도 5는 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 제2 예시적인 시나리오를 도시한다. 도 5는 도 1, 도 2, 도 3, 도 4a, 및 도 4b로부터의 요소들과 관련하여 설명된다. 도 5를 참조하면, 제2 시나리오(500)가 도시되어 있다.
제2 시나리오(500)에서, 연속성 검사가 그에 대해 비디오 편집 디바이스(102)에 의해 수행될 수 있는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)이 도시되어 있다. 제1 이미지 프레임(122)은 (사람 얼굴로서의 대상 유형을 갖는) 제1 얼굴 대상(502A)을 포함할 수 있고, 제2 이미지 프레임(124)은 (제1 얼굴 대상(502A)과 유사한) 제2 얼굴 대상(502B)을 포함할 수 있다. 도 5와 관련하여, 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)은 제1 얼굴 대상(502A)에 대해 상이한 각도들에서 비디오 캡처링 디바이스에 의해 캡처될 수 있다. 예를 들어, 제1 촬영된 샷(116A)에서의 제1 이미지 프레임(122)은 제1 얼굴 대상(502A)의 우측(예를 들어, 0도 각도)으로부터 캡처될 수 있고, 제2 촬영된 샷(116B)에서의 제2 이미지 프레임(124)은 제2 얼굴 대상(502B)의 전면 측(예를 들어, 90도 각도)으로부터 캡처될 수 있다.
실시예에 따르면, 제1 이미지 프레임(122)은 제1 이미지 프레임(122)이 비디오 캡처링 디바이스에 의해 캡처될 수 있는 제1 각도를 표시할 수 있는 제1 각도 정보(예를 들어, 0도)를 포함할 수 있다. 실시예에 따르면, 비디오 캡처링 디바이스는 제1 이미지 프레임(122)을 캡처하기 위해 (예를 들어, 제1 얼굴 대상(502A)의 우측에서) 제1 위치에 있을 수 있다. 제2 이미지 프레임(124)은 제2 이미지 프레임(124)이 비디오 캡처링 디바이스에 의해 캡처될 수 있는 제2 각도를 표시할 수 있는 제2 각도 정보(예를 들어, 90도)를 포함할 수 있다. 실시예에 따르면, 비디오 캡처링 디바이스는 제2 이미지 프레임(124)을 캡처하기 위해 (예를 들어, 제2 얼굴 대상(502B)의 전면 측에서) 제2 위치에 있을 수 있다. (제2 이미지 프레임(124)이 캡처될 수 있는) 제2 각도는 (제1 이미지 프레임(122)이 캡처될 수 있는) 제1 각도에 대해 정의될 수 있다. 실시예에 따르면, 제1 촬영된 샷(116A)의 이미지 프레임들(118)의 시퀀스 각각은 제1 각도 정보를 포함할 수 있고, 제2 촬영된 샷(116B)의 이미지 프레임들(120)의 시퀀스 각각은 제2 각도 정보를 포함할 수 있다.
실시예에 따르면, 대상 검출기(204)는 제1 이미지 프레임(122)으로부터 제1 얼굴 대상(502A)을 검출하도록 구성될 수 있다. 회로(202)는 대상 검출기(204)로부터 검출된 제1 얼굴 대상(502A)을 수신하도록 구성될 수 있다. 실시예에 따르면, 회로(202)는 제1 이미지 프레임(122)에 포함된 제1 각도 정보에 기초하여 검출된 제1 얼굴 대상(502A)의 제1의 3차원(3D) 이미지를 생성하도록 추가로 구성될 수 있다. 일부 실시예들에서, 회로(202)는 상이한 2D-3D 변환 기술을 사용하여 제1 얼굴 대상(502A)의 제1의 3D 이미지를 생성할 수 있다. 이러한 2D-3D 변환 기술의 예는 이산 선형 변환(DLT)을 사용하는 다중의 이미지로부터의 3D 재구성, 심층 신경망들을 사용하는 2D 이미지들로부터의 3D 재구성, 삼각측량술을 사용하는 2D 이미지들로부터의 3D 이미지 재구성, 또는 2D 이미지들에서의 단안 및 스테레오 큐들로부터의 3D 재구성을 포함할 수 있지만, 이들로 제한되지는 않는다.
실시예에 따르면, 대상 검출기(204)는 제2 이미지 프레임(122)으로부터 제2 얼굴 대상(502B)을 검출하도록 추가로 구성될 수 있다. 회로(202)는 대상 검출기(204)로부터 검출된 제2 얼굴 대상(502B)을 수신하도록 구성될 수 있다. 실시예에 따르면, 회로(202)는 제2 이미지 프레임(124)에 포함된 제2 각도 정보에 기초하여 검출된 제2 얼굴 대상(502B)의 제2의 3D 이미지를 생성하도록 추가로 구성될 수 있다.
실시예에 따르면, 이미지 프레임들(118)의 시퀀스 각각은 이미지 프레임들(118)의 시퀀스 각각이 비디오 캡처링 디바이스에 의해 캡처되는 제1 각도를 표시하는 제1 각도 정보를 포함할 수 있다. 일부 실시예들에서, 이미지 프레임들(118)의 시퀀스 중 제1 복수의 이미지 프레임은 이미지 프레임들(118)의 시퀀스 중 제2 복수의 이미지 프레임과 비교하여 상이한 각도로 캡처될 수 있다. 예를 들어, 비디오 캡처링 디바이스가 특정 방향으로(X 축, Y 축, 또는 Z 축 중 어느 하나에서) 그리고 특정 속도로 연속적으로 이동하는 경우, 제1 촬영된 샷(116A)의 제1 복수의 이미지 프레임은 제1 촬영된 샷(116A)의 제2 복수의 이미지 프레임의 캡처에 대해 상이한 각도들로 캡처될 수 있다. 실시예에 따르면, 제1 복수의 이미지 프레임의 수 및 상이한 각도들에서 캡처된 제2 복수의 이미지 프레임의 수는 비디오 캡처링 디바이스의 프레임 (또는 캡처) 레이트 및 제1 촬영된 샷(116A)의 캡처 동안 비디오 캡처링 디바이스가 이동하는 특정 속도에 기초할 수 있다.
실시예에 따르면, 이미지 프레임들(118)의 시퀀스 각각은 비디오 캡처링 디바이스의 제1 움직임 정보를 포함할 수 있다. 제1 움직임 정보는 제1 원래 위치(예를 들어, 이미지 프레임들(118)의 시퀀스 중 제1 이미지 프레임의 캡처링 동안의 비디오 캡처링 디바이스의 위치)에 대한 비디오 캡처링 디바이스의 위치의 변화를 표시할 수 있다. 위치는 3D 물리 공간에서의 비디오 캡처링 디바이스의 XYZ 위치에 대응할 수 있다.
실시예에 따르면, 회로(202)는 이미지 프레임들(118)의 시퀀스의 각각과 연관된 제1 각도 정보 또는 제1 움직임 정보에 기초하여 검출된 제1 얼굴 대상(502A)(또는 도 3의 제1 세트의 대상들)의 제1의 3D 이미지를 생성하도록 구성될 수 있다. 유사하게, 제2 촬영된 샷(116B)의 이미지 프레임들(120)의 시퀀스의 각각은 비디오 캡처링 디바이스의 제2 움직임 정보를 포함할 수 있다. 제2 움직임 정보는 제2 원래 위치에 대한 비디오 캡처링 디바이스의 위치(예를 들어, 제2 촬영된 샷(116B)의 이미지 프레임들(120)의 시퀀스 중 제1 이미지 프레임의 캡처 동안의 비디오 캡처링 디바이스의 위치)의 변화를 나타낼 수 있다. 실시예에 따르면, 회로(202)는 제2 촬영된 샷(116B)의 이미지 프레임들(120)의 시퀀스 각각과 연관된 제2 각도 정보 또는 제2 움직임 정보에 기초하여 검출된 제2 얼굴 대상(502B)(또는 도 3의 제2 세트의 대상들)의 제2의 3D 이미지를 생성하도록 추가로 구성될 수 있다.
실시예에 따르면, 회로(202)는, 제1 얼굴 대상(502A)의 생성된 제1의 3D 이미지(즉, 제1 각도에서 캡처됨)를 제2 얼굴 대상(502B)의 생성된 제2의 3D 이미지(즉, 제2 각도에서 캡처됨)와 비교하도록 추가로 구성될 수 있다. 회로(202)는, 제1 얼굴 대상(502A)의 생성된 제1의 3D 이미지 및 제2 얼굴 대상(502B)의 생성된 제2의 3D 이미지의 하나 이상의 시각적 속성에서의 편차를 검출하도록 추가로 구성될 수 있다. 도 5와 관련하여, 회로(202)는, 제2 얼굴 대상(502B)의 생성된 제2의 3D 이미지로부터 제1 얼굴 대상(502A)의 생성된 제1의 3D 이미지의 텍스처 또는 형상(예를 들어, 혈액의 텍스처 또는 형상)에서의 편차를 검출하도록 구성될 수 있다. 도 5와 관련하여, 제1 얼굴 대상(502A)상의 제1 하위 대상(504A)(예를 들어, 혈흔으로서의 대상 유형을 가짐)의 텍스처 또는 형상은 제2 얼굴 대상(502B)상의 제2 얼굴 하위 대상(504B)(제1 하위 대상(504A)과 유사함)의 텍스처 또는 형상과 상이하다. 또한, 제2 이미지 프레임(124)에서의 제2 얼굴 대상(502B)상의 제3 하위 대상(506)(예를 들어, 혈흔으로서의 대상 유형을 가짐)은 제1 이미지 프레임(122)에서의 제1 얼굴 대상(502A)상에서 누락될 수 있다.
실시예에 따르면, 회로(202)는 제2 하위 대상(504B)으로부터의 제1 하위 대상(504A)의 텍스처(또는 형상)의 편차에 기초하여 통지 정보를 생성하도록 추가로 구성될 수 있다. 일부 실시예들에서, 회로(202)는 연속적인 프레임들(즉, 제1 이미지 프레임(122)과 제2 이미지 프레임(124)) 사이의 제3 하위 대상(506)의 불연속성(또는 부재)의 검출에 기초하여 통지 정보를 생성하도록 구성될 수 있다. 따라서, 비디오 편집 디바이스(102)의 3D 생성 및 비교 능력은 대상들이 연속적인 샷들에서 상이한 각도들로 캡처되었다 하더라도 대상들의 불연속성들의 자동 검출을 제공한다.
도 6은 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 사실상의 에러들에 대한 통지들의 제어를 위한 제3 예시적인 시나리오를 도시한다. 도 6은 도 1, 도 2, 도 3, 도 4a, 도 4b, 및 도 5로부터의 요소들과 관련하여 설명된다. 도 6을 참조하면, 제3 시나리오(600)가 도시되어 있다.
제3 시나리오(600)에서, 제1 비디오 콘텐츠(112)의 특정 촬영된 샷의 캡처된 이미지 프레임(602)이 도시되어 있다. 이미지 프레임(602)은 제1 대상(604) 및 제2 대상(606)을 포함할 수 있다. 실시예에 따르면, 제1 대상(604)은 사람(예를 들어, 뉴스 리포터)으로서의 대상 유형에 대응할 수 있고, 제2 대상(606)은 제1 대상(604)이 잡고 있는 핸들링된 마이크로폰으로서의 대상 유형에 대응할 수 있다. 도 6에서, 제2 대상(606)상에 인쇄된 텍스트 정보가 또한 도시되어 있다. 예를 들어, 텍스트 정보는 제1 대상(604)(예를 들어, 뉴스 리포터)가 연관될 수 있는 조직의 이름(뉴스 채널 명칭과 같은 것)에 대응할 수 있다.
실시예에 따르면, 회로(202)는 제1 비디오 콘텐츠(112)의 편집 단계 동안, I/O 디바이스(210)를 통해 사용자(110)로부터 제2 사용자 입력을 수신하도록 구성될 수 있다. 제2 사용자 입력은 제1 비디오 콘텐츠(112)에 대한 사실상의 에러 검사를 수행하라는 요청을 포함할 수 있다. 제2 사용자 입력의 수신에 응답하여, 회로(202)는 각각의 이미지 프레임(예를 들어, 이미지 프레임(602)) 또는 제1 비디오 콘텐츠(112)의 각각의 촬영된 샷에 대한 사실상의 에러 검사를 실행하도록 구성될 수 있다.
도 6과 관련하여, 회로(202)는 메모리(206)에 저장된 제1 비디오 콘텐츠(112)로부터 이미지 프레임(602)을 추출하도록 구성될 수 있다. 대상 검출기(204)는 추출된 이미지 프레임(602)으로부터 제1 대상(604) 및 제2 대상(606) 각각의 대상 유형을 검출하도록 구성될 수 있다. 대상 검출기(204)는 추출된 이미지 프레임(602)으로부터 제2 대상(606)과 연관된 텍스트 정보(예를 들어, 도 6에 도시된 바와 같은 "Top Channel")를 검출하도록 추가로 구성될 수 있다. 실시예에 따르면, 회로(202)는 제1 대상(604) 및 제2 대상(606) 각각의 검출된 대상 유형, 및 대상 검출기(204)로부터의 텍스트 정보를 수신하도록 구성될 수 있다. 회로(202)는 제1 비디오 콘텐츠와 연관된 제1 타임라인 정보를 검색하도록 추가로 구성될 수 있다. 제1 타임라인 정보는 제1 비디오 콘텐츠(112)에 관련된 시대 또는 제1 비디오 콘텐츠(112)에 의해 묘사된 시대(예를 들어, 중세 시대)를 표시할 수 있다. 실시예에 따르면, 제1 타임라인 정보는 제1 비디오 콘텐츠(112)가 캡처될 수 있는 것에 기초하여 1년 또는 10년을 표시할 수 있다. 일부 실시예들에서, 회로(202)는 I/O 디바이스(210)를 통해 사용자(110)로부터 제1 타임라인 정보를 수신하도록 구성될 수 있다. 제1 타임라인 정보는 사용자(110)로부터 수신된 제2 사용자 입력에 포함될 수 있다.
실시예에 따르면, 회로(202)는 검출된 제1 대상(604) 및 제2 대상(606) 각각의 이미지 및 대상 유형, 및 검출된 텍스트 정보를 서버(106)에 송신하도록 구성될 수 있다. 실시예에 따르면, 서버는 상이한 대상 유형들을 갖는 복수의 대상을 저장할 수 있는 마스터 데이터베이스(도시되지 않음)를 포함할 수 있다. 일부 실시예들에서, 마스터 데이터베이스는 복수의 대상의 상이한 버전들을 포함할 수 있다. 상이한 버전들은 상이한 대상들에 대한 상이한 변경들(예를 들어, 시각적 특징들)을 나타낼 수 있다. 예를 들어, 마스터 데이터베이스는 상이한 텔레비전 또는 모바일 폰 버전들에 대한 상이한 대상 유형들을 저장할 수 있다. 실시예에 따르면, 마스터 데이터베이스는 복수의 대상과 연관된 제2 타임라인 정보, 대상 유형들 또는 상이한 버전들을 포함할 수 있다. 제2 타임라인 정보는 발명의 타이밍 정보, 발견, 사용, 시장 출시, 또는 복수의 대상 각각의 진화, 대상 유형들, 또는 상이한 버전들을 표시할 수 있다. 예를 들어, 모바일 폰(또는 특정 버전 또는 모델)의 제2 타임라인 정보는 모바일 폰이 발명되었을 때, 처음 시장에 출시되었을 때, 또는 사용되거나 진화된 연도를 표시할 수 있다. 도 6과 관련하여, 서버(106)에서의 마스터 데이터베이스는 제2 대상(606)(예를 들어, 핸드헬드 마이크로폰)과 연관된 또는 검출된 텍스트 정보(예를 들어, "Top Channel")와 연관된 제2 타임라인 정보를 저장할 수 있다.
실시예에 따르면, 서버(106)는 이미지 및 검출된 제1 대상(604) 및 제2 대상(606) 각각의 대상 유형, 및 검출된 텍스트 정보를 회로(202)로부터 수신하도록 구성될 수 있다. 서버(106)는 검출된 제1 대상(604) 및 제2 대상(606) 각각의 대상 유형 및 저장된 복수의 대상 각각의 저장된 대상 유형에 기초하여 검출된 제1 대상(604), 제2 대상(606), 및 검출된 텍스트 정보를 저장된 복수의 대상(또는 상이한 버전들)과 비교하도록 추가로 구성될 수 있다. 서버(106)는 식별된 대상의 대상 유형이 수신된 제1 대상(604)(또는 연관된 텍스트 정보를 갖는 제2 대상(606))의 대상 유형과 유사하다는 비교에 기초하여 저장된 복수의 대상으로부터 대상을 식별하도록 추가로 구성될 수 있다. 서버(106)는 마스터 데이터베이스로부터 식별된 대상의 제2 타임라인 정보를 검색하도록 추가로 구성될 수 있다.
실시예에 따르면, 회로(202)는 서버(106)로부터 식별된 대상의 제2 타임라인 정보를 수신하도록 추가로 구성될 수 있다. 일부 실시예들에서, 메모리(206)는 복수의 대상(또는 상이한 버전들)의 이미지들, 연관된 대상 유형들 및 연관된 제2 타임라인 정보를 저장하도록 구성될 수 있다. 회로(202)는, 검출된 제1 대상(604), 제2 대상(606), 및 검출된 텍스트 정보와 대응하는 대상 유형들에 기초한 저장된 복수의 대상(또는 상이한 버전들)의 비교에 기초하여, 저장된 복수의 대상으로부터 대상을 식별하도록 구성될 수 있다. 회로(202)는 식별된 대상과 연관된 제2 타임라인 정보를 검색하도록 추가로 구성될 수 있다.
실시예에 따르면, 회로(202)는 제1 비디오 콘텐츠(112)와 연관된 제1 타임라인 정보를 추출된 이미지 프레임(602)에서의 검출된 제1 대상(604) 및 제2 대상(606) 각각과 연관된 제2 타임라인 정보와 비교하도록 추가로 구성될 수 있다. 회로(202)는 검출된 제1 대상(604) 및 제2 대상(606) 각각에 대한 제2 타임라인 정보로부터의 제1 타임라인 정보에서의 편차를 결정하도록 추가로 구성될 수 있다. 예를 들어, 제1 타임라인 정보가 제1 비디오 콘텐츠(112)가 시대(예를 들어, 1900년)와 관련되고, 제2 대상(606)의 제2 타임라인 정보가 "핸드헬드 마이크로폰"이 나중에 사용되었음을 나타내는 경우(예를 들어, 1950년), 회로(202)는 제1 비디오 콘텐츠(112)의 제1 타임라인 정보와 제2 대상(606)의 제2 타임라인 정보 사이의 편차를 이미지 프레임(602)에서의 사실상의 에러로서 식별할 수 있다. 또 다른 예에서, 검출된 텍스트 정보와 연관된 제2 타임라인 정보가 "Top Channel"이 1970년에 시작된 것을 표시하는 경우, 회로(202)는 제2 대상(606)의 제2 타임라인 정보로부터의 제1 비디오 콘텐츠(112)의 제1 타임라인 정보 사이의 편차를 사실상의 에러로서 식별할 수 있다.
실시예에 따르면, 회로(202)는 사실상의 에러가 검출된 제2 대상(606)과 연관된 통지 정보를 생성하도록 추가로 구성될 수 있다. 실시예에 따르면, 생성된 통지 정보는 이미지 프레임(602)을 포함하는 촬영된 장면의 식별자, 이미지 프레임(602)을 포함하는 촬영된 샷의 식별 정보, 및 제2 대상(606)의 사실상의 에러의 상세 사항들을 포함할 수 있다. 실시예에 따르면, 회로(202)는 도 4a에 도시된 바와 같이 사용자(110)를 위한 디스플레이 스크린상에 생성된 통지 정보를 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, 회로(202)는 사실상의 에러가 검출된 제2 대상(606) 위에 그래픽 오버레이(도 4b에 도시된 바와 같음)를 디스플레이하도록 디스플레이 스크린(104)을 제어하게 구성될 수 있다.
실시예에 따르면, 회로(202)는 제1 비디오 콘텐츠(112)의 각각의 촬영된 샷의 각각의 이미지 프레임에 포함된 각각의 검출된 대상에 대한 사실상의 에러들을 검출하도록 구성될 수 있다. 회로(202)는 회로(202)가 그에 대해 사실상의 에러를 검출하는 각각의 대상에 대한 통지 정보를 생성하도록 추가로 구성될 수 있다. 사실상의 에러에 관한 생성된 통지 정보에 기초하여, 사용자(110)(예를 들어, 편집자)는 사실상의 에러가 검출된 대상의 제거를 위해 촬영된 샷을 재촬영하거나 또는 청중들에 대한 제1 비디오 콘텐츠(112)의 완성 전에 공지된 이미지 처리 기술을 이용하여 대상을 편집하기 위한 결정을 취할 수 있다. 따라서, 비디오 편집 디바이스(102)에 의한 사실상의 에러들의 검출은 제1 비디오 콘텐츠의 전체 품질 및 (편집자로서의) 사용자(110)의 신뢰성을 향상시킬 수 있다.
도 7은 본 개시내용의 실시예에 따른, 도 2의 비디오 편집 디바이스에 의한 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 중복성에 대한 통지들의 제어에 대한 제4 예시적인 시나리오를 도시한다. 도 7은 도 1, 도 2, 도 3, 도 4a, 도 4b, 도 5, 및 도 6의 요소들과 관련하여 설명된다. 도 7을 참조하면, 제4 시나리오(700)가 도시되어 있다.
제4 시나리오(700)에서, 제1 비디오 콘텐츠(112)의 특정 촬영된 샷의 캡처된 이미지 프레임(702)이 도시되어 있다. 이미지 프레임(702)은 제1 대상(704), 제2 대상(706), 및 제3 대상(708)을 포함할 수 있다. 제1 대상(704)은 태양으로서의 대상 유형에 대응할 수 있고, 제2 대상(706)은 사람(예를 들어, 유명인사)으로서의 대상 유형에 대응할 수 있고, 제3 대상(708)은 산으로서의 대상 유형에 대응할 수 있다. 실시예에 따르면, 제1 대상(704), 제2 대상(706), 및 제3 대상(708) 각각의 검출된 대상 유형은 제1 메타데이터일 수 있다. 일부 실시예들에서, 이미지 프레임(702)은 검출된 제1 대상(704), 제2 대상(706), 및 제3 대상(708)과 연관된 상세 사항들을 제1 메타데이터로서 포함할 수 있다. 일부 실시예들에서, 회로(202)는 검출된 대상들의 분석에 기초하여 제1 메타데이터로서의 상세 사항들을 결정하도록 구성될 수 있다. 상세 사항들의 예들은, 이에 제한되는 것은 아니지만, 대상의 크기, 대상의 치수, 대상의 대상 유형, 이미지 프레임(702)이 캡처된 지리 위치, 대상의 자세, 대상의 오리엔테이션, 대상의 색상, 대상의 텍스처, 또는 대상의 형상을 포함할 수 있다. 일부 실시예들에서, 검출된 대상 유형이 사람인 경우, 제1 메타데이터는 아티스트 정보(예를 들어, 유명인사 또는 사람의 이름)를 포함할 수 있다.
실시예에 따르면, 촬영된 샷 및 이미지 프레임(702)과 연관된 제1 메타데이터는 메모리(206)에 저장될 수 있다. 실시예에 따르면, 회로(202)는, 제1 비디오 콘텐츠(112)의 편집 단계 동안, I/O 디바이스(210)를 통해, 사용자(110)로부터 제3 사용자 입력을 수신하도록 구성될 수 있다. 제3 사용자 입력은 제1 비디오 콘텐츠(112)에 대한 중복성 검사를 수행하기 위한 요청을 포함할 수 있다. 사용자(110)(예를 들어, 편집자)는 제1 비디오 콘텐츠(112)의 촬영된 샷들에서의 캡처되고 촬영된 샷들 또는 복수의 대상이 이미 출시된 임의의 다른 비디오 콘텐츠(예를 들어, 다른 영화들)에 포함되지 않는지를 확인하기 위해 제1 비디오 콘텐츠(112)에 대해 중복성 검사를 수행할 수 있다. 중복성 검사에 기초하여, 비디오 편집 디바이스(102)는 캡처된 촬영된 샷들 및 대상들의 포함된 세트들(또는 조합)이 제1 비디오 콘텐츠(112)에 새로 도입되어 제1 비디오 콘텐츠(112)의 신용도 및 인기도를 더 향상시킬 수 있는 것을 보장할 수 있다.
실시예에 따르면, 제3 사용자 입력의 수신에 응답하여, 회로(202)는 이미지 프레임(702)(또는 이미지 프레임(702)을 포함하는 촬영된 장면)과 연관된 저장된 제1 메타데이터를 검색하도록 구성될 수 있다. 일부 실시예들에서, 회로(202)는 이미지 프레임(702)에서의 검출된 대상들과 연관된 제1 메타데이터를 결정하도록 구성될 수 있다. 실시예에 따르면, 회로(202)는 서버(106)로부터 제2 메타데이터를 검색하도록 추가로 구성될 수 있다. 제2 메타데이터는 제2 비디오 콘텐츠(즉, 제1 비디오 콘텐츠(112)와는 상이한 것)의 복수의 촬영된 샷과 연관될 수 있다. 예를 들어, 제2 비디오 콘텐츠는 이미 시청자들에게 출시된 이전의 또는 더 오래된 영화들에 대응할 수 있다. 일부 실시예들에서, 제2 비디오 콘텐츠는 제1 비디오 콘텐츠(112)의 캡처를 담당할 수 있는 콘텐츠 또는 영화 프로덕션 조직(예를 들어, 영화 배너)에 대응할 수 있다.
제2 메타데이터는 제2 비디오 콘텐츠의 복수의 촬영된 샷에 관련된 정보를 포함할 수 있다. 제2 비디오 콘텐츠에 관련된 정보는 복수의 촬영된 샷에서의 대상들에 관한 정보, 복수의 촬영된 샷의 아티스트 정보, 또는 복수의 촬영된 샷이 캡처되는 지리 위치 정보를 포함할 수 있지만, 이에 제한되지는 않는다. 실시예에 따르면, 회로(202)는 제2 비디오 콘텐츠의 복수의 촬영된 샷 각각에 대한 제2 메타데이터를 검색하도록 구성될 수 있다. 회로(202)는, 제1 메타데이터(즉, 이미지 프레임(702)을 포함하는 촬영된 샷과 연관됨)를 제2 비디오 콘텐츠의 복수의 촬영된 샷 각각에 대한 제2 메타데이터와 비교하도록 추가로 구성될 수 있다. 제1 메타데이터가 제2 비디오 콘텐츠의 복수의 촬영된 샷 중 하나에 대한 제2 메타데이터와 매칭되는 경우, 회로(202)는 제1 비디오 콘텐츠(112)에서의 캡처된 촬영된 샷(또는 제1 대상(704), 제2 대상(706), 제3 대상(708), 또는 그 조합)이 제2 비디오 콘텐츠(예를 들어, 더 오래된 영화들)에서 존재하거나 또는 이미 캡처되고/사용될 수 있다는 것을 결정할 수 있다. 이것은 제1 비디오 콘텐츠(112)와 제2 비디오 콘텐츠 사이의 촬영된 샷(또는 제1 대상(704), 제2 대상(706), 제3 대상(708) 또는 그 조합)의 중복성을 나타낸다.
실시예에 따르면, 회로(202)는 중복성의 식별에 기초하여 사용자에 대한 통지 정보를 생성하도록 추가로 구성될 수 있다. 일부 실시예들에서, 생성된 통지 정보는 제2 비디오 콘텐츠에서의 제1 비디오 콘텐츠(112)의 촬영된 장면 또는 촬영된 샷의 리프로덕션(reproduction)을 나타낼 수 있는 에러 메시지를 표시할 수 있다. 회로(202)는 중복성 검사에 기초하여 생성된 통지 정보를 디스플레이하도록 디스플레이 스크린(104)을 제어하게 추가로 구성될 수 있다. 실시예에 따르면, 통지 정보는 촬영된 장면의 식별자, 촬영된 샷의 식별 정보, 및 제2 비디오 콘텐츠와 비교하여 중복성을 가진 것으로 발견되는 대상들의 상세 사항들을 포함할 수 있다.
실시예에 따르면, 회로(202)는 제1 비디오 콘텐츠(112)의 복수의 촬영된 샷 각각에 대한 중복성 검사를 수행하도록 구성될 수 있다. 일부 실시예들에서, 회로(202)는 중복성 검사를 수행하기 위해 서버(106)에 저장된 복수의 비디오 또는 영화와 연관된 제2 메타데이터를 검색하도록 구성될 수 있다. 따라서, 중복성 검사 능력에 의해, 비디오 편집 디바이스(102)는 중복성 샷들(또는 샷에서의 동일한 대상들의 조합)에 관한 자동 경보들을 사용자(110)에게 제공할 수 있다. 자동 경보들에 기초하여, 사용자(110)는 제1 비디오 콘텐츠(112)의 완성 전에 적절한 액션들(즉, 샷을 재촬영하거나 중복성 대상들을 편집함)을 추가로 취할 수 있다. 이는 또한 제1 비디오 콘텐츠(112)에 새로움을 제공하고, 이전 비디오 콘텐츠로부터의 유사한 장면 또는 샷의 통합을 방지한다. 따라서, 청중들 중에서 제1 비디오 콘텐츠(112)의 인기가 향상될 수 있다.
도 8a 및 도 8b는, 집합적으로, 본 개시내용의 실시예에 따른, 비디오 콘텐츠의 촬영된 샷들에서의 상이한 대상들의 묘사에서의 편차들에 대한 통지들의 제어를 위한 예시적인 동작들을 도시하는 흐름도를 묘사한다. 도 8a 및 도 8b는 도 1, 도 2, 도 3, 도 4a, 도 4b, 도 5, 도 6, 및 도 7로부터의 요소들과 관련하여 설명된다. 도 8a 및 도 8b를 참조하면, 흐름도(800)가 도시되어 있다. (802) 내지 (848)의 동작들은 비디오 편집 디바이스(102)상에서 구현될 수 있다. 동작들은 (802)에서 시작하여 (804)로 진행한다.
(804)에서, 촬영된 시퀀스의 촬영된 장면들(114A 내지 114B)의 세트를 포함할 수 있는 제1 비디오 콘텐츠(112)가 저장될 수 있고, 한 세트의 촬영된 장면들(114A 내지 114B) 각각은 복수의 촬영된 샷을 포함할 수 있고, 복수의 촬영된 샷 각각은 이미지 프레임들의 시퀀스를 포함할 수 있다. 실시예에 따르면, 메모리(206)는 촬영된 시퀀스의 촬영된 장면들(114A 내지 114B)의 세트를 포함할 수 있는 제1 비디오 콘텐츠(112)를 저장하도록 구성될 수 있다. 실시예에 따르면, 비디오 편집 디바이스(102)는 메모리(206)로부터 제1 비디오 콘텐츠(112)를 검색하도록 구성될 수 있다. 일부 실시예들에서, 비디오 편집 디바이스(102)는 서버(106)로부터 제1 비디오 콘텐츠(112)를 검색하도록 구성될 수 있다.
(806)에서, 복수의 촬영된 샷 중 제1 촬영된 샷(116A)의 제1 이미지 프레임(122) 및 복수의 촬영된 샷 중 제2 촬영된 샷(116B)의 제2 이미지 프레임(124)이 추출될 수 있다. 실시예에 따르면, 회로(202)는 복수의 촬영된 샷 중 제1 촬영된 샷(116A)의 제1 이미지 프레임(122) 및 복수의 촬영된 샷 중 제2 촬영된 샷(116B)의 제2 이미지 프레임(124)을 추출하도록 구성될 수 있다. 제1 이미지 프레임(122)은 제1 촬영된 샷(116A)의 최종 프레임일 수 있고, 제2 이미지 프레임은 제2 촬영된 샷(116B)의 최초 프레임일 수 있다.
(808)에서, 제1 세트의 대상들은 제1 촬영된 샷(116A)의 추출된 제1 이미지 프레임(122)으로부터 검출될 수 있고, 제2 세트의 대상들은 제2 촬영된 샷(116B)의 추출된 제2 이미지 프레임(124)으로부터 검출될 수 있다. 대상 검출기(204)는 제1 촬영된 샷(116A)의 추출된 제1 이미지 프레임(122)으로부터의 제1 세트의 대상들 및 제2 촬영된 샷(116B)의 추출된 제2 이미지 프레임(124)으로부터의 제2 세트의 대상들을 검출하도록 구성될 수 있다.
(810)에서, 제1 세트의 대상들 및 제2 세트의 대상들 각각으로부터의 제1 대상은 제1 대상의 대상 유형에 기초하여 식별될 수 있고, 여기서 제1 세트의 대상들 및 제2 세트의 대상들의 제1 대상의 대상 유형은 동일하다. 실시예에 따르면, 대상 검출기(204)는 제1 대상의 대상 유형에 기초하여 제1 세트의 대상들 및 제2 세트의 대상들 각각으로부터 제1 대상을 식별하도록 구성될 수 있다.
(812)에서, 제1 이미지 프레임(122)으로부터의 제1 각도 정보 및 제2 이미지 프레임(124)으로부터의 제2 각도 정보가 검색될 수 있다. 실시예에 따르면, 회로(202)는 제1 이미지 프레임(122)으로부터의 제1 각도 정보 및 제2 이미지 프레임(124)으로부터의 제2 각도 정보를 검색하도록 구성될 수 있다.
(814)에서, 제1 이미지 프레임(122)에서의 제1 대상의 제1의 3차원(3D) 이미지가 검색된 제1 각도 정보에 기초하여 생성될 수 있다. 실시예에 따르면, 회로(202)는 검색된 제1 각도 정보에 기초하여 제1 이미지 프레임(122)에서 제1 대상의 제1의 3D 이미지를 생성하도록 구성될 수 있다. 제1 이미지 프레임(122)에서의 제1 대상의 제1의 3D 이미지의 생성은, 예를 들어, 도 5에서 상세히 설명될 수 있다.
(816)에서, 제2 이미지 프레임(124)에서의 제1 대상의 제2의 3D 이미지가 검색된 제2 각도 정보에 기초하여 생성될 수 있다. 실시예에 따르면, 회로(202)는 검색된 제2 각도 정보에 기초하여 제2 이미지 프레임(124)에서의 제1 대상의 제2 3D 이미지를 생성하도록 구성될 수 있다. 제2 이미지 프레임(124)에서의 제1 대상의 제2의 3D 이미지의 생성은, 예를 들어, 도 5에서 상세히 설명될 수 있다.
(818)에서, 제1 대상의 생성된 제2의 3D 이미지의 제2 시각적 속성으로부터의 제1 대상의 생성된 제1의 3D 이미지의 제1 시각적 속성의 편차가 검출될 수 있다. 실시예에 따르면, 비디오 편집 디바이스(102)는 제1 대상의 생성된 제2의 3D 이미지의 제2 시각적 속성으로부터의 제1 대상의 생성된 제1의 3D 이미지의 제1 시각적 속성의 편차를 검출하도록 구성될 수 있다. 제1 시각적 속성 및 제2 시각적 속성은 동일한 유형을 가질 수 있다. 제1 시각적 속성 및 제2 시각적 속성의 예들은, 이에 제한되는 것은 아니지만, 형상, 크기, 치수, 색상, 밝기 값, 콘트라스트 값, 텍스처, 오리엔테이션, 경사각, 자세, 또는 텍스트 정보를 포함할 수 있다.
(820)에서, 제1 대상과 연관된 통지 정보가 검출된 편차에 기초하여 생성될 수 있다. 회로(202)는 검출된 편차에 기초하여 제1 대상과 연관된 통지 정보를 생성하도록 구성될 수 있다.
(822)에서, 디스플레이 스크린(104)은 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서의 제1 대상과 연관된 생성된 통지 정보를 출력하도록 제어될 수 있다. 회로(202)는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서의 제1 대상과 연관된 생성된 통지 정보를 출력하도록 디스플레이 스크린(104)을 제어하게 구성될 수 있다.
(824)에서, 검출된 제1 세트의 대상들에서의 대상이 검출된 제2 세트의 대상들에서 누락되는지가 검출될 수 있다. 회로(202)는 검출된 제1 세트의 대상들에서의 대상이 검출된 제2 세트의 대상들에서 누락되는지를 검출하도록 구성될 수 있다.
(826)에서, 검출된 제2 세트의 대상들에서 누락된 대상과 연관된 통지 정보가 생성되고 출력될 수 있다. 회로(202)는 검출된 제2 세트의 대상들에서 누락된 대상과 연관된 통지 정보를 생성하고 출력하도록 구성될 수 있다.
(828)에서, 제1 비디오 콘텐츠(112)와 관련된 시대를 표시하는 제1 타임라인 정보가 검색될 수 있다. 회로(202)는 제1 비디오 콘텐츠(112)와 관련된 시대를 표시하는 제1 타임라인 정보를 검색하도록 구성될 수 있다. 제1 타임라인 정보는, 예를 들어, 도 6에서 상세히 설명될 수 있다. 일부 실시예들에서, 회로(202)는 I/O 디바이스(210)를 통해 사용자(110)로부터 제1 타임라인 정보를 수신하도록 구성될 수 있다. 제1 타임라인 정보는 사용자(110)로부터 수신된 제2 사용자 입력에 포함될 수 있다.
(830)에서, 제2 대상이 복수의 대상으로부터 식별될 수 있고, 여기서 제1 대상 및 제2 대상의 대상 유형은 동일하다. 회로(202)는 서버(106)에 저장된 복수의 대상으로부터 제2 대상을 식별하도록 구성될 수 있다. 서버(106)에 저장된 복수의 대상으로부터의 제2 대상의 식별은, 예를 들어, 도 6에서 상세히 설명될 수 있다.
(832)에서, 식별된 제2 대상의 제2 타임라인 정보가 검색될 수 있다. 회로(202)는, 예를 들어, 도 6에서 상세히 설명된 바와 같이, 서버(106)로부터 식별된 제2 대상의 제2 타임라인 정보를 검색하도록 구성될 수 있다.
(834)에서, 제1 비디오 콘텐츠(112)의 검색된 제1 타임라인 정보 및 식별된 제2 대상의 검색된 제2 타임라인 정보가 비교될 수 있다. 회로(202)는, 예를 들어, 도 6에서 상세히 설명된 바와 같이, 제1 비디오 콘텐츠(112)의 검색된 제1 타임라인 정보와 식별된 제2 대상의 검색된 제2 타임라인 정보를 비교하도록 구성될 수 있다.
(836)에서, 제1 대상과 연관된 통지 정보가 비교에 기초하여 생성되고 출력될 수 있다. 회로(202)는, 예를 들어, 도 6에서 상세히 설명된 바와 같이, 비교에 기초하여 제1 대상과 연관된 통지 정보를 생성하고 출력하도록 구성될 수 있다.
(838)에서, 제1 비디오 콘텐츠(112)의 복수의 촬영된 샷 각각과 연관된 제1 메타데이터가 검색될 수 있다. 회로(202)는 제1 비디오 콘텐츠(112)의 복수의 촬영된 샷 각각과 연관된 제1 메타데이터를 검색하도록 구성될 수 있다. 일부 실시예들에서, 회로(202)는 검출된 대상들의 분석에 기초하여, 검출된 대상들과 연관된 상세 사항들을 제1 메타데이터로서 결정하도록 구성될 수 있다. 상세 사항들의 예들은, 이에 제한되는 것은 아니지만, 대상의 크기, 대상의 치수, 대상의 대상 유형, 이미지 프레임(702)이 캡처된 지리 위치, 대상의 자세, 대상의 오리엔테이션, 대상의 색상, 대상의 텍스처, 또는 대상의 형상을 포함할 수 있다. 일부 실시예들에서, 검출된 대상 유형이 사람인 경우, 제1 메타데이터는 아티스트 정보(예를 들어, 유명인사 또는 사람의 이름)를 포함할 수 있다. 제1 비디오 콘텐츠(112)의 복수의 촬영된 샷 각각과 연관된 제1 메타데이터는, 예를 들어, 도 7에서 상세히 설명될 수 있다.
(840)에서, 제2 비디오 콘텐츠의 복수의 촬영된 샷 각각과 연관된 제2 메타데이터가 검색될 수 있다. 회로(202)는, 예를 들어, 도 7에 상세히 설명된 바와 같이, 제2 비디오 콘텐츠의 복수의 촬영된 샷 각각과 연관된 제2 메타데이터를 검색하도록 구성될 수 있다. 제2 메타데이터는 제2 비디오 콘텐츠의 복수의 촬영된 샷에 관련된 정보를 포함할 수 있다. 제2 비디오 콘텐츠에 관련된 정보는 복수의 촬영된 샷에서의 대상들에 관한 정보, 복수의 촬영된 샷의 아티스트 정보, 또는 복수의 촬영된 샷이 캡처되는 지리 위치 정보를 포함할 수 있지만, 이에 제한되지는 않는다.
(842)에서, 제1 비디오 콘텐츠(112)와 연관된 제1 메타데이터는 제2 비디오 콘텐츠와 연관된 제2 메타데이터와 비교될 수 있다. 회로(202)는 제1 비디오 콘텐츠(112)와 연관된 제1 메타데이터를 제2 비디오 콘텐츠와 연관된 제2 메타데이터와 비교하도록 구성될 수 있다.
(844)에서, 통지 정보는 비교에 기초하여 생성될 수 있다. 회로(202)는 제1 비디오 콘텐츠(112)와 연관된 제1 메타데이터와 제2 비디오 콘텐츠와 연관된 제2 메타데이터 간의 비교에 기초하여 통지 정보를 생성하도록 구성될 수 있다.
(846)에서, 디스플레이 스크린(104)은 제1 비디오 콘텐츠(112)의 제1 메타데이터와 연관된 생성된 통지 정보를 출력하도록 제어될 수 있다. 회로(202)는 제1 비디오 콘텐츠(112)의 제1 메타데이터와 연관된 생성된 통지 정보를 출력하도록 디스플레이 스크린(104)을 제어하게 구성될 수 있다. 제어는 넘겨져서 (848)에서 종료된다.
본 개시내용의 예시적인 양태들은 (도 1의 제1 비디오 콘텐츠(112)와 같은) 제1 비디오 콘텐츠를 저장하도록 구성된 (도 2의 메모리(206)와 같은) 메모리를 포함하는 (도 1의 비디오 편집 디바이스(102)와 같은) 비디오 편집 디바이스를 포함할 수 있다. 제1 비디오 콘텐츠(112)는 촬영된 시퀀스 중 촬영된 장면들의 세트(예를 들어, 도 1의 촬영된 장면들(114A 내지 114B)의 세트)을 포함할 수 있다. 한 세트의 촬영된 장면들(114A 내지 114B) 각각은 복수의 촬영된 샷을 포함할 수 있고, 복수의 촬영된 샷 각각은 (도 1의 이미지 프레임들(118)의 시퀀스 및 이미지 프레임들(120)의 시퀀스와 같은) 이미지 프레임들의 시퀀스를 포함할 수 있다. 비디오 편집 디바이스(102)는 복수의 촬영된 샷 중 (도 1의 제1 촬영된 샷(116A)과 같은) 제1 촬영된 샷 중 (도 1의 제1 이미지 프레임(122)과 같은) 제1 이미지 프레임을 추출하도록 구성된 (도 2의 회로(202)와 같은) 회로를 추가로 포함할 수 있다. 회로(202)는 복수의 샷 중 (도 1의 제2 촬영된 샷(116B)과 같은) 제2 촬영된 샷의 (도 1의 제2 이미지 프레임(124)과 같은) 제2 이미지 프레임을 추출하도록 추가로 구성될 수 있다.
실시예에 따르면, 회로(202)는 제1 촬영된 샷(116A) 중 추출된 제1 이미지 프레임(122)으로부터의 제1 세트의 대상들 및 제2 촬영된 샷(116B) 중 추출된 제2 이미지 프레임(124)으로부터의 제2 세트의 대상들을 검출하도록 구성될 수 있다. 회로(202)는 제1 대상의 대상 유형에 기초하여 제1 세트의 대상들 및 제2 세트의 대상들 각각으로부터 제1 대상을 식별하도록 추가로 구성될 수 있다. 제1 세트의 대상들 및 제2 세트의 대상들에서의 제1 대상의 대상 유형은 동일하다. 회로(202)는 제2 이미지 프레임(124)에서의 제1 대상의 적어도 제2 시각적 속성으로부터의 제1 이미지 프레임(122)에서의 제1 대상의 적어도 제1 시각적 속성의 편차에 기초하여 제1 대상과 연관된 통지 정보를 생성하도록 추가로 구성될 수 있다. 제1 시각적 속성 및 제2 시각적 속성은 동일한 유형의 것일 수 있다. 회로(202)는 제1 이미지 프레임(122) 및 제2 이미지 프레임(124)에서의 제1 대상과 연관된 생성된 통지 정보를 출력하기 위해 디스플레이 스크린(도 1의 디스플레이 스크린(104)과 같은 것)을 제어하도록 추가로 구성될 수 있다.
실시예에 따르면, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 제1 비디오 콘텐츠(112)의 촬영된 장면들의 세트 중 제1 촬영된 장면(도 1의 제1 촬영된 장면(114A)과 같은 것)의 연속적인 샷들일 수 있다. 제1 이미지 프레임(122)은 제1 촬영된 샷(116A)의 이미지 프레임들의 시퀀스 중 최종 프레임일 수 있고, 제2 이미지 프레임(124)은 제2 촬영된 샷(116B)의 이미지 프레임들의 시퀀스 중 최초 프레임일 수 있다. 실시예에 따르면, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 제1 비디오 콘텐츠(112)의 촬영된 장면들의 세트 중 제1 촬영된 장면(114A)에 대응한다.
실시예에 따르면, 제1 촬영된 샷(116A) 및 제2 촬영된 샷(116B)은 제1 비디오 콘텐츠(112)의 촬영된 장면들의 세트 중 상이한 촬영된 장면들에 대응할 수 있고, 여기서 상이한 촬영된 장면들은 동일한 컨텍스트에 대응할 수 있다.
실시예에 따르면, 적어도 제1 시각적 속성 및 적어도 제2 시각적 속성은 제1 대상의 형상, 크기, 치수, 색상, 밝기 값, 콘트라스트 값, 텍스처, 오리엔테이션, 경사각, 자세, 또는 텍스트 정보 중 적어도 하나를 포함할 수 있다.
실시예에 따르면, 제1 촬영된 샷(116A)은 제1 각도 정보를 포함할 수 있고, 제2 촬영된 샷(116B)은 제2 각도 정보를 포함할 수 있다. 회로(202)는 제1 각도 정보에 기초하여 제1 촬영된 샷(116A) 중 추출된 제1 이미지 프레임(122)에서의 제1 대상의 제1의 3차원(3D) 이미지를 생성하도록 추가로 구성될 수 있다. 회로(202)는 제2 각도 정보에 기초하여 제2 촬영된 샷(116B) 중 추출된 제2 이미지 프레임(124)에서의 제1 대상의 제2의 3D 이미지를 생성하도록 추가로 구성될 수 있다. 회로(202)는 결정된 제1의 3D 이미지 및 결정된 제2의 3D 이미지의 차이에 기초하여 통지 정보를 생성하도록 추가로 구성될 수 있다.
실시예에 따르면, 제1 비디오 콘텐츠(112)는 제1 비디오 콘텐츠(112)와 관련된 시대를 표시하는 제1 타임라인 정보를 포함할 수 있다. 회로(202)는 제1 대상의 대상 유형 및 마스터 데이터베이스에서의 복수의 대상의 대상 유형에 기초하여 추출된 제1 이미지 프레임(122)에서의 제1 대상을 (서버(106)와 같은) 서버상의 마스터 데이터베이스에서의 복수의 대상과 비교하도록 추가로 구성될 수 있다. 회로(202)는 비교에 기초하여 마스터 데이터베이스에서의 복수의 대상 중 한 대상과 연관된 제2 타임라인 정보를 검색하도록 추가로 구성될 수 있다. 제2 타임라인 정보는 대상의 발명, 발견, 사용, 시장 출시, 또는 진화의 타이밍 정보를 표시할 수 있다. 회로(202)는 제1 타임라인 정보를 검색된 제2 타임라인 정보와 비교하고, 제1 타임라인 정보와 검색된 제2 타임라인 정보의 비교에 기초하여 제1 대상과 연관된 통지 정보를 생성하도록 추가로 구성될 수 있다.
실시예에 따르면, 통지 정보는 추출된 제2 이미지 프레임(124)에서의 제1 대상의 묘사에서 프로덕션 에러를 표시할 수 있는 제1 에러 메시지를 포함할 수 있다.
실시예에 따르면, 회로(202)는 제1 이미지 프레임(122)에서의 제1 대상의 제1 위치 및 제2 이미지 프레임(124)에서의 제1 대상의 제2 위치를 결정하도록 추가로 구성될 수 있다. 회로(202)는 제2 위치로부터의 제1 위치의 위치 편차에 기초하여 통지 정보를 생성하도록 추가로 구성될 수 있고, 위치 편차는 제1 대상을 포함할 수 있는 제1 촬영된 장면(114A)의 컨텍스트에 기초한다.
실시예에 따르면, 회로(202)는 검출된 제1 세트의 대상들에서의 제1 대상이 추출된 제2 이미지 프레임(124)의 검출된 제2 세트의 대상들에 존재하지 않는지를 결정하도록 추가로 구성될 수 있다. 회로(202)는 제1 대상이 추출된 제2 이미지 프레임(124)의 검출된 제2 세트의 대상들에 존재하지 않는다는 결정에 기초하여 제2 에러 메시지로서 통지 정보를 생성하도록 추가로 구성될 수 있다.
실시예에 따르면, 통지 정보는 제1 대상에 관련된 대상 유형, 제1 촬영된 샷과 관련된 식별 정보, 또는 제1 대상을 포함할 수 있는 제1 촬영된 장면(114A)의 식별자 중 적어도 하나를 포함할 수 있다. 실시예에 따르면, 회로(202)는 메타데이터로서 통지 정보를 제1 비디오 콘텐츠(112)에 추가하도록 추가로 구성될 수 있다.
실시예에 따르면, 회로(202)는 검출된 제1 세트의 대상들 및 제2 세트의 대상들과 연관된 제1 메타데이터를 결정하도록 추가로 구성될 수 있다. 제1 메타데이터는 복수의 촬영된 샷 각각이 캡처되는 지리 위치, 아티스트 정보, 또는 검출된 제1 세트의 대상들, 및 검출된 제2 세트의 대상들에 관한 정보를 표시할 수 있는 정보를 포함할 수 있다. 실시예에 따르면, 회로(202)는 서버(106)로부터의 제2 비디오 콘텐츠에 관련된 복수의 촬영된 샷과 연관된 제2 메타데이터를 검색하도록 추가로 구성될 수 있다. 회로(202)는 제1 비디오 콘텐츠(112)의 제1 메타데이터를 제2 비디오 콘텐츠의 제2 메타데이터와 비교하도록 추가로 구성될 수 있다. 회로(202)는 비교에 기초하여 통지 정보를 생성하도록 추가로 구성될 수 있다. 통지 정보는 제2 비디오 콘텐츠에서의 제1 비디오 콘텐츠(112)의 촬영된 장면 또는 촬영된 샷의 리프로덕션을 표시할 수 있는 제3 에러 메시지를 포함할 수 있다.
본 개시내용의 다양한 실시예들은 비일시적인 컴퓨터 판독가능 매체 및/또는 저장 매체, 및/또는 비일시적 머신 판독가능 매체 및/또는 그 상에 저장된 저장 매체, 머신 코드 및/또는 비디오 콘텐츠에서의 연속성 검사를 위해 머신 및/또는 컴퓨터에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 컴퓨터 프로그램을 제공할 수 있다. 적어도 하나의 코드 섹션은 머신 및/또는 컴퓨터로 하여금 촬영된 시퀀스 중 한 세트의 촬영된 장면들을 포함하는 제1 비디오 콘텐츠의 저장을 포함하는 단계들을 수행하도록 야기할 수 있고; 여기서 한 세트의 촬영된 장면들의 각각은 복수의 촬영된 샷을 포함하고, 복수의 촬영된 샷 각각은 이미지 프레임의 시퀀스를 포함한다. 또한, 복수의 촬영된 샷 중 제1 촬영된 샷의 제1 이미지 프레임 및 복수의 촬영된 샷 중 제2 촬영된 샷의 제2 이미지 프레임이 추출될 수 있다. 추출된 제1 이미지 프레임으로부터의 제1 세트의 대상들 및 추출된 제2 이미지 프레임으로부터의 제2 세트의 대상들이 검출될 수 있다. 제1 대상의 대상 유형에 기초하여 제1 세트의 대상들 및 제2 세트의 대상들 각각으로부터의 제1 대상이 식별될 수 있다. 제1 세트의 대상들 및 제2 세트의 대상들에서의 제1 대상의 대상 유형은 동일할 수 있다. 제1 대상과 연관된 통지 정보는 제2 이미지 프레임에서의 제1 대상의 적어도 제2 시각적 속성으로부터의 제1 이미지 프레임에서의 제1 대상의 적어도 제1 시각적 속성의 편차에 기초하여 추가로 생성될 수 있고, 여기서 제1 시각적 속성 및 제2 시각적 속성은 동일한 유형의 것이다. 디스플레이 스크린은 제1 이미지 프레임 및 제2 이미지 프레임에서의 제1 대상과 연관된 생성된 통지 정보를 출력하도록 추가로 제어될 수 있다.
본 개시내용은 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 중앙집중형 방식으로, 적어도 하나의 컴퓨터 시스템에서, 또는 분산 방식으로 실현될 수 있으며, 상이한 요소들은 여러 인터커넥트된 컴퓨터 시스템들에 걸쳐 퍼져 있을 수 있다. 본 명세서에 설명된 방법들을 수행하도록 적응된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어와 소프트웨어의 조합은, 로딩되고 실행될 때, 본 명세서에 설명된 방법들을 달성하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 일부를 포함하는 하드웨어로 실현될 수 있다.
본 발명은 또한 컴퓨터 프로그램 제품에 내장될 수 있고, 이것은 본 명세서에 설명된 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고 또한 이것은 컴퓨터 시스템에 로딩될 때 이들 방법들을 완수할 수 있다. 본 맥락에서, 컴퓨터 프로그램은, 정보 처리 능력을 갖는 시스템으로 하여금, 직접적으로, 또는 a) 다른 언어, 코드 또는 표기법으로의 변환; b) 상이한 자료 형태로의 리프로덕션 중 어느 하나 또는 둘 다 이후에 특정 기능을 수행하도록 의도된 명령어들의 세트의 임의의 언어, 코드 또는 표기법으로 된 임의의 표현을 의미한다.
본 개시내용이 특정 실시예들을 참조하여 설명되었지만, 본 기술분야의 통상의 기술자는 본 개시내용의 범위를 벗어나지 않고서 다양한 변경들이 이루어질 수 있고 또한 균등물들로 치환될 수 있다는 것을 이해할 것이다. 또한, 본 개시내용의 범위를 벗어나지 않고서 특정 상황 또는 자료를 본 개시의 교시에 적응시키기 위해 많은 변형들이 이루어질 수 있다. 따라서, 본 개시내용은 개시된 특정 실시예들로만 한정되지 않으며, 본 개시내용은 첨부된 청구항들의 범위 내에 드는 모든 실시예들을 포함할 것으로 의도된다.

Claims (21)

  1. 비디오 편집 디바이스로서:
    촬영된 시퀀스 중 한 세트의 촬영된 장면들을 포함하는 제1 비디오 콘텐츠를 저장하도록 구성된 메모리 -
    상기 한 세트의 촬영된 장면들 각각은 복수의 촬영된 샷을 포함하고, 상기 복수의 촬영된 샷 각각은 이미지 프레임들의 시퀀스를 포함함 -; 및
    회로 - 상기 회로는:
    상기 복수의 촬영된 샷 중 제1 촬영된 샷의 제1 이미지 프레임 및 상기 복수의 촬영된 샷 중 제2 촬영된 샷의 제2 이미지 프레임을 추출하고;
    상기 추출된 제1 이미지 프레임으로부터의 제1 세트의 대상들 및 상기 추출된 제2 이미지 프레임으로부터의 제2 세트의 대상들을 검출하고;
    제1 대상의 대상 유형에 기초하여 상기 제1 세트의 대상들 및 상기 제2 세트의 대상들 각각으로부터 상기 제1 대상을 식별하고 - 상기 제1 세트의 대상들 및 상기 제2 세트의 대상들에서의 상기 제1 대상의 대상 유형은 동일함 -;
    상기 제2 이미지 프레임에서의 상기 제1 대상의 적어도 제2 시각적 속성으로부터의 상기 제1 이미지 프레임에서의 상기 제1 대상의 적어도 제1 시각적 속성의 편차에 기초하여 상기 제1 대상과 연관된 통지 정보를 생성하고 - 상기 제1 시각적 속성 및 상기 제2 시각적 속성은 동일한 유형의 것임 -; 및
    상기 제1 이미지 프레임 및 상기 제2 이미지 프레임에서의 상기 제1 대상과 연관된 생성된 통지 정보를 출력하기 위해 디스플레이 스크린을 제어하도록 구성되고,
    상기 생성된 통지 정보는, 상기 추출된 제2 이미지 프레임에서의 상기 제1 대상의 묘사에서의 연속성 에러를 나타내는 제1 에러 메시지를 포함하고,
    상기 연속성 에러는, 상기 추출된 제1 이미지 프레임과 상기 추출된 제2 이미지 프레임 사이의 상기 제1 대상의 형상, 크기, 텍스트 정보, 텍스처, 또는 색상 중 적어도 하나에서의 불연속성에 대응함 - 를 포함하는 비디오 편집 디바이스.
  2. 제1항에 있어서,
    상기 제1 촬영된 샷 및 상기 제2 촬영된 샷은 상기 제1 비디오 콘텐츠의 상기 한 세트의 촬영된 장면들 중 제1 촬영된 장면의 연속적인 샷들이고,
    상기 제1 이미지 프레임은 상기 제1 촬영된 샷의 이미지 프레임들의 시퀀스 중에서 최종 프레임이고, 상기 제2 이미지 프레임은 상기 제2 촬영된 샷의 이미지 프레임들의 시퀀스 중에서 최초 프레임인 비디오 편집 디바이스.
  3. 제1항에 있어서, 상기 제1 촬영된 샷 및 상기 제2 촬영된 샷은 상기 제1 비디오 콘텐츠의 상기 한 세트의 촬영된 장면들 중 제1 촬영된 장면에 대응하는 비디오 편집 디바이스.
  4. 제1항에 있어서, 상기 제1 촬영된 샷 및 상기 제2 촬영된 샷은 상기 제1 비디오 콘텐츠의 상기 한 세트의 촬영된 장면들 중 상이한 촬영된 장면들에 대응하고, 상기 상이한 촬영된 장면들은 동일한 컨텍스트에 대응하는 비디오 편집 디바이스.
  5. 제1항에 있어서, 적어도 상기 제1 시각적 속성 및 상기 제2 시각적 속성은 상기 제1 대상의 상기 형상, 상기 크기, 치수, 상기 색상, 밝기 값, 콘트라스트 값, 상기 텍스처, 오리엔테이션, 경사각, 자세, 또는 상기 텍스트 정보 중 적어도 하나를 포함하는 비디오 편집 디바이스.
  6. 제1항에 있어서, 상기 제1 촬영된 샷은 제1 각도 정보를 포함하고 상기 제2 촬영된 샷은 제2 각도 정보를 포함하고,
    상기 제1 각도 정보는 상기 제1 촬영된 샷이 캡처되는 제1 각도를 나타내고, 상기 제2 각도 정보는 상기 제2 촬영된 샷이 캡처되는 제2 각도를 나타내는 비디오 편집 디바이스.
  7. 제6항에 있어서, 상기 회로는:
    상기 제1 각도 정보에 기초하여 상기 추출된 제1 이미지 프레임에서의 상기 제1 대상의 제1의 3차원(3D) 이미지를 생성하고;
    상기 제2 각도 정보에 기초하여 상기 추출된 제2 이미지 프레임에서의 상기 제1 대상의 제2의 3D 이미지를 생성하고; 및
    상기 제1의 3D 이미지 및 상기 제2의 3D 이미지 사이의 차이에 기초하여 상기 통지 정보를 생성하도록 추가로 구성되는 비디오 편집 디바이스.
  8. 제1항에 있어서, 상기 제1 비디오 콘텐츠는 상기 제1 비디오 콘텐츠와 관련된 시대를 표시하는 제1 타임라인 정보를 포함하는 비디오 편집 디바이스.
  9. 제8항에 있어서, 상기 회로는:
    상기 제1 대상의 대상 유형 및 마스터 데이터베이스에서의 상기 복수의 대상의 대상 유형에 기초하여 상기 추출된 제1 이미지 프레임에서의 상기 제1 대상을 서버상의 상기 마스터 데이터베이스에서의 복수의 대상과 비교하고;
    상기 제1 대상과 상기 복수의 대상 사이의 상기 비교에 기초하여 상기 마스터 데이터베이스에서의 상기 복수의 대상 중 대상과 연관된 제2 타임라인 정보를 검색하고 - 상기 제2 타임라인 정보는, 상기 대상의 발명, 발견, 사용, 시장 출시, 또는 진화 중 적어도 하나에서의 타이밍 정보를 나타냄 -;
    상기 제1 타임라인 정보를 상기 검색된 제2 타임라인 정보와 비교하고; 및
    상기 제1 타임라인 정보와 상기 검색된 제2 타임라인 정보와의 비교에 기초하여 상기 제1 대상과 연관된 상기 통지 정보를 생성하도록 추가로 구성되는 비디오 편집 디바이스.
  10. 삭제
  11. 제1항에 있어서, 상기 회로는:
    상기 제1 이미지 프레임에서의 상기 제1 대상의 제1 위치 및 상기 제2 이미지 프레임에서의 상기 제1 대상의 제2 위치를 결정하고; 및
    상기 제2 위치로부터의 상기 제1 위치의 위치 편차에 기초하여 상기 통지 정보를 생성하도록 - 상기 위치 편차는 상기 제1 대상을 포함하는 제1 촬영된 장면의 컨텍스트에 기초함 - 추가로 구성되는 비디오 편집 디바이스.
  12. 제1항에 있어서, 상기 회로는:
    상기 검출된 제1 세트의 대상들에서의 상기 제1 대상이 상기 추출된 제2 이미지 프레임의 상기 검출된 제2 세트의 대상들에 존재하지 않는지를 결정하고; 및
    상기 추출된 제2 이미지 프레임의 상기 검출된 제2 세트의 대상들에서 상기 제1 대상이 존재하지 않는다는 결정에 기초하여, 상기 통지 정보를 제2 에러 메시지로서 생성하도록 추가로 구성되는 비디오 편집 디바이스.
  13. 제1항에 있어서, 상기 통지 정보는 상기 제1 대상과 관련된 상기 대상 유형, 상기 제1 촬영된 샷의 식별 정보, 또는 상기 제1 대상을 포함하는 제1 촬영된 장면의 식별자 중 적어도 하나를 더 포함하고,
    상기 회로는 메타데이터로서 상기 통지 정보를 상기 제1 비디오 콘텐츠에 추가하도록 더 구성되는 비디오 편집 디바이스.
  14. 제1항에 있어서, 상기 회로는:
    상기 검출된 제1 세트의 대상들 및 상기 검출된 제2 세트의 대상들과 연관된 제1 메타데이터를 결정하도록 추가로 구성되고,
    상기 제1 메타데이터는, 상기 복수의 촬영된 샷 각각이 캡처되는 지리 위치, 아티스트 정보, 또는 상기 검출된 제1 세트의 대상들 및 상기 검출된 제2 세트의 대상들에 관한 정보 중 적어도 하나를 나타내는 정보를 포함하는 비디오 편집 디바이스.
  15. 제14항에 있어서, 상기 회로는:
    서버로부터 제2 비디오 콘텐츠에 관련된 상기 복수의 촬영된 샷과 연관된 제2 메타데이터를 검색하고;
    상기 제1 비디오 콘텐츠의 상기 제1 메타데이터를 상기 제2 비디오 콘텐츠의 상기 제2 메타데이터와 비교하고; 및
    상기 제1 메타데이터와 상기 제2 메타데이터 사이의 상기 비교에 기초하여 상기 통지 정보를 생성하도록 - 상기 통지 정보는 상기 제2 비디오 콘텐츠에서의 상기 제1 비디오 콘텐츠의 촬영된 장면 또는 촬영된 샷의 리프로덕션(reproduction)을 나타내는 제2 에러 메시지를 더 포함함 - 더 구성되는 비디오 편집 디바이스.
  16. 방법으로서,
    비디오 편집 디바이스에서:
    촬영된 시퀀스의 한 세트의 촬영된 장면들을 포함하는 제1 비디오 콘텐츠를 저장하는 단계 - 상기 한 세트의 촬영된 장면들 각각은 복수의 촬영된 샷을 포함하고, 상기 복수의 촬영된 샷 각각은 이미지 프레임들의 시퀀스를 포함함 -;
    상기 복수의 촬영된 샷 중 제1 촬영된 샷의 제1 이미지 프레임 및 상기 복수의 촬영된 샷 중 제2 촬영된 샷의 제2 이미지 프레임을 추출하는 단계;
    상기 추출된 제1 이미지 프레임으로부터의 제1 세트의 대상들 및 상기 추출된 제2 이미지 프레임으로부터의 제2 세트의 대상들을 검출하는 단계;
    제1 대상의 대상 유형에 기초하여 상기 제1 세트의 대상들 및 상기 제2 세트의 대상들 각각으로부터 상기 제1 대상을 식별하는 단계 - 상기 제1 세트의 대상들 및 상기 제2 세트의 대상들에서의 상기 제1 대상들의 대상 유형은 동일함 -;
    상기 제2 이미지 프레임에서의 상기 제1 대상의 적어도 제2 시각적 속성으로부터의 상기 제1 이미지 프레임에서의 상기 제1 대상의 적어도 제1 시각적 속성의 편차에 기초하여 상기 제1 대상과 연관된 통지 정보를 생성하는 단계 - 상기 제1 시각적 속성 및 상기 제2 시각적 속성은 동일한 유형의 것임 -; 및
    상기 제1 이미지 프레임 및 상기 제2 이미지 프레임에서의 상기 제1 대상과 연관된 생성된 통지 정보를 출력하기 위해 디스플레이 스크린을 제어하는 단계 - 상기 생성된 통지 정보는, 상기 추출된 제2 이미지 프레임에서의 상기 제1 대상의 묘사에서의 연속성 에러를 나타내는 제1 에러 메시지를 포함하고,
    상기 연속성 에러는, 상기 추출된 제1 이미지 프레임과 상기 추출된 제2 이미지 프레임 사이의 상기 제1 대상의 형상, 크기, 텍스트 정보, 텍스처, 또는 색상 중 적어도 하나에서의 불연속성에 대응함 - 를 포함하는 방법.
  17. 제16항에 있어서,
    상기 제1 촬영된 샷 및 상기 제2 촬영된 샷은 상기 제1 비디오 콘텐츠의 상기 한 세트의 촬영된 장면들 중 제1 촬영된 장면의 연속적인 샷들이고,
    상기 제1 이미지 프레임은 상기 제1 촬영된 샷의 이미지 프레임들의 시퀀스 중에서 최종 프레임이고, 상기 제2 이미지 프레임은 상기 제2 촬영된 샷의 이미지 프레임들의 시퀀스 중에서 최초 프레임인 방법.
  18. 제16항에 있어서, 상기 제1 촬영된 샷 및 상기 제2 촬영된 샷은 상기 제1 비디오 콘텐츠의 상기 한 세트의 촬영된 장면들 중 제1 촬영된 장면에 대응하는 방법.
  19. 제16항에 있어서, 상기 제1 촬영된 샷 및 상기 제2 촬영된 샷은 상기 제1 비디오 콘텐츠의 상기 한 세트의 촬영된 장면들 중 상이한 촬영된 장면들에 대응하고,
    상기 상이한 촬영된 장면은 동일한 컨텍스트에 대응하는 방법.
  20. 제16항에 있어서, 적어도 상기 제1 시각적 속성 및 상기 제2 시각적 속성은 상기 제1 대상의 상기 형상, 크기, 치수, 상기 색상, 밝기 값, 콘트라스트 값, 상기 텍스처, 오리엔테이션, 경사각, 자세, 또는 상기 텍스트 정보 중 적어도 하나를 포함하는 방법.
  21. 비디오 편집 디바이스로서:
    촬영된 시퀀스 중 한 세트의 촬영된 장면들을 포함하는 제1 비디오 콘텐츠를 저장하도록 구성된 메모리 -
    상기 한 세트의 촬영된 장면들 각각은 복수의 촬영된 샷을 포함하고,
    상기 복수의 촬영된 샷 각각은 이미지 프레임들의 시퀀스를 포함함 -; 및
    회로 - 상기 회로는:
    상기 복수의 촬영된 샷 중 제1 촬영된 샷의 제1 이미지 프레임 및 상기 복수의 촬영된 샷 중 제2 촬영된 샷의 제2 이미지 프레임을 추출하고;
    상기 추출된 제1 이미지 프레임으로부터의 제1 세트의 대상들 및 상기 추출된 제2 이미지 프레임으로부터의 제2 세트의 대상들을 검출하고;
    제1 대상의 대상 유형에 기초하여, 상기 제1 세트의 대상들 및 상기 제2 세트의 대상들 각각으로부터 상기 제1 대상을 식별하고 - 상기 제1 세트의 대상들 및 상기 제2 세트의 대상들에서의 상기 제1 대상의 상기 대상 유형은 동일함 -;
    상기 검출된 상기 제1 세트의 대상들의 상기 제1 대상이 상기 추출된 제2 이미지 프레임의 상기 검출된 제2 세트의 대상들에 없는지 여부를 결정하고,
    상기 제1 대상이 상기 검출된 제2 세트의 대상들에 없다는 결정에 기초하고, 상기 제2 이미지 프레임에서의 상기 제1 대상의 적어도 제2 시각적 속성으로부터의 상기 제1 이미지 프레임에서의 상기 제1 대상의 적어도 제1 시각적 속성의 편차에 기초하여, 상기 제1 대상과 관련된, 에러 메시지로서의, 통지 정보를 생성하고 - 상기 제1 시각적 속성 및 상기 제2 시각적 속성은 동일한 유형의 것임 -;
    상기 제1 이미지 프레임 및 상기 제2 이미지 프레임에서의 상기 제1 대상과 관련된 상기 생성된 통지 정보를 출력하기 위해 디스플레이 스크린을 제어하도록 구성되는 비디오 편집 디바이스.
KR1020190138442A 2018-11-15 2019-11-01 비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지 KR102204269B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/192,071 2018-11-15
US16/192,071 US11070706B2 (en) 2018-11-15 2018-11-15 Notifications for deviations in depiction of different objects in filmed shots of video content

Publications (2)

Publication Number Publication Date
KR20200056918A KR20200056918A (ko) 2020-05-25
KR102204269B1 true KR102204269B1 (ko) 2021-01-15

Family

ID=70709093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190138442A KR102204269B1 (ko) 2018-11-15 2019-11-01 비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지

Country Status (4)

Country Link
US (1) US11070706B2 (ko)
JP (1) JP6891941B2 (ko)
KR (1) KR102204269B1 (ko)
CN (1) CN111193961B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270461B2 (en) * 2019-01-07 2022-03-08 Genieland Company Limited System and method for posture sequence on video from mobile terminals
IL265818A (en) * 2019-04-02 2020-10-28 Ception Tech Ltd System and method for determining the position and orientation of an object in space
EP3963507A4 (en) * 2019-05-03 2022-12-14 Chad Steelberg PURSUING AND HIDING OBJECTS
US11317156B2 (en) * 2019-09-27 2022-04-26 Honeywell International Inc. Video analytics for modifying training videos for use with head-mounted displays
EP4055516A1 (en) * 2019-11-08 2022-09-14 BASF Agro Trademarks GmbH Scouting functionality emergence
US11798225B2 (en) * 2021-08-11 2023-10-24 Here Global B.V. 3D building generation using topology
CN116600070B (zh) * 2023-04-28 2024-07-02 青岛尘元科技信息有限公司 全息视频的存储方法、装置、设备及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454396B2 (ja) 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US6721454B1 (en) 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
US6985623B2 (en) 2002-06-10 2006-01-10 Pts Corporation Scene change detection by segmentation analysis
KR100707206B1 (ko) * 2005-04-11 2007-04-13 삼성전자주식회사 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치
CN100551048C (zh) * 2006-12-15 2009-10-14 上海元朔信息科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
US8345769B1 (en) * 2007-04-10 2013-01-01 Nvidia Corporation Real-time video segmentation on a GPU for scene and take indexing
WO2008136466A1 (ja) 2007-05-01 2008-11-13 Dep Co., Ltd. 動画編集装置
KR20090093904A (ko) 2008-02-28 2009-09-02 미디어코러스 주식회사 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템
WO2010137261A1 (ja) 2009-05-25 2010-12-02 パナソニック株式会社 記録媒体、再生装置、集積回路、再生方法、プログラム
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
EP2608105A1 (en) * 2011-12-21 2013-06-26 Thomson Licensing Processing cluster and method for processing audio and video content
EP2690879B1 (en) * 2012-07-23 2016-09-07 LG Electronics, Inc. Mobile terminal and method for controlling of the same
US9117267B2 (en) * 2012-10-18 2015-08-25 Google Inc. Systems and methods for marking images for three-dimensional image generation
JP5754439B2 (ja) * 2012-12-21 2015-07-29 カシオ計算機株式会社 情報報知装置、情報報知方法及びプログラム
JP6297822B2 (ja) 2013-11-19 2018-03-20 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
US10346465B2 (en) * 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
US9600733B1 (en) * 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
JP6684042B2 (ja) * 2014-09-08 2020-04-22 任天堂株式会社 電子機器
CN105791795B (zh) 2014-12-24 2018-01-26 北京三星通信技术研究有限公司 立体图像处理方法、装置以及立体视频显示设备
KR101795128B1 (ko) 2015-01-27 2017-11-07 네이버웹툰 주식회사 메인 컨텐츠의 장면에 알맞은 간접 컨텐츠를 제공하는 매칭 시스템 및 방법
JP6406044B2 (ja) * 2015-02-13 2018-10-17 オムロン株式会社 カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム
US20180150683A1 (en) * 2015-05-21 2018-05-31 Facewatch Ltd Systems, methods, and devices for information sharing and matching
US20170083765A1 (en) * 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
KR102437135B1 (ko) * 2015-09-23 2022-08-29 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
CN107333031B (zh) * 2017-07-27 2020-09-01 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法
CN108391063B (zh) * 2018-02-11 2021-02-02 北京优聚视微传媒科技有限公司 视频剪辑方法及装置

Also Published As

Publication number Publication date
JP2020088852A (ja) 2020-06-04
CN111193961A (zh) 2020-05-22
CN111193961B (zh) 2022-02-18
US11070706B2 (en) 2021-07-20
US20200162641A1 (en) 2020-05-21
KR20200056918A (ko) 2020-05-25
JP6891941B2 (ja) 2021-06-18

Similar Documents

Publication Publication Date Title
KR102204269B1 (ko) 비디오 콘텐츠의 촬영된 샷들의 상이한 대상들의 묘사에서의 편차들에 대한 통지
US11115565B2 (en) User feedback for real-time checking and improving quality of scanned image
US10841551B2 (en) User feedback for real-time checking and improving quality of scanned image
US11516383B2 (en) Adaptive camera control for reducing motion blur during real-time image capture
US10652455B2 (en) Guided video capture for item listings
US10440276B2 (en) Generating image previews based on capture information
AU2019219764A1 (en) Foolproof group photo on handheld mobile devices via smart mix and match
US9147226B2 (en) Method, apparatus and computer program product for processing of images
US11581018B2 (en) Systems and methods for mixing different videos
US11423654B2 (en) Identification of continuity errors in video by automatically detecting visual inconsistencies in video frames
CN115797164A (zh) 固定视场中的图像拼接方法、装置、系统
US11868444B2 (en) Creating synthetic visual inspection data sets using augmented reality
CN109660712A (zh) 选择视频序列的帧的方法、系统和装置
RU2790029C1 (ru) Способ формирования панорамного изображения
CN114187326A (zh) 图像处理方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant