KR20210037684A - 저장소 에지에서 비구조적 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 장치 및 방법 - Google Patents

저장소 에지에서 비구조적 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20210037684A
KR20210037684A KR1020217004932A KR20217004932A KR20210037684A KR 20210037684 A KR20210037684 A KR 20210037684A KR 1020217004932 A KR1020217004932 A KR 1020217004932A KR 20217004932 A KR20217004932 A KR 20217004932A KR 20210037684 A KR20210037684 A KR 20210037684A
Authority
KR
South Korea
Prior art keywords
data
media object
storage
object data
metadata
Prior art date
Application number
KR1020217004932A
Other languages
English (en)
Inventor
콘스탄틴 쿠드랴프체프
노암 미즈라히
매츠 오베르그
네델코 바르니카
니틴 난가레
이고르 폴리반이
루완 라트나야케
레오 지앙
꾸잉 차우
웬 룽 장
Original Assignee
마벨 월드 트레이드 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마벨 월드 트레이드 리미티드 filed Critical 마벨 월드 트레이드 리미티드
Priority claimed from PCT/US2019/044534 external-priority patent/WO2020028583A1/en
Publication of KR20210037684A publication Critical patent/KR20210037684A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1027—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB]
    • G06F12/1045—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB] associated with a data cache
    • G06F12/1054—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB] associated with a data cache the data cache being concurrently physically addressed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/387—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/901—Buffering arrangements using storage descriptor, e.g. read or write pointers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/25—Using a specific main memory architecture
    • G06F2212/254—Distributed memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

저장소 디바이스에 결합되고 호스트 디바이스로부터 원격으로 위치한 저장소 제어 장치는 호스트 디바이스로부터 미디어 객체 데이터를 수신한다. 저장소 제어 디바이스는 미디어 객체 데이터의 유형을 식별하고, 식별된 유형에 기초하여, 복수의 컴퓨터 모델들 중에서 저장소 제어 디바이스의 컴퓨터 엔진에 의해 사용할 컴퓨터 모델을 선택한다. 컴퓨터 엔진은 선택된 컴퓨터 모델을 사용하여 미디어 객체 데이터를 기술하는 메타 데이터를 생성한다. 메타 데이터는 미디어 객체 데이터와 별도로 저장소 디바이스에서 선택적으로 검색 가능하도록 저장소 디바이스에 저장된다.

Description

저장소 에지에서 비구조적 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 장치 및 방법
본 개시는 저장소 에지(storage edge)에서 컴퓨터 엔진을 사용하여 미디어 객체 데이터를 기술하는 메타 데이터의 생성에 관한 것이다.
본 명세서에 제공된 배경기술 설명은 일반적으로 본 개시의 맥락을 제시하기 위한 것이다. 본 발명자들의 작업은, 이 작업이 본 배경기술 섹션에, 뿐만 아니라 출원 당시 종래 기술로서 달리 자격이 없는 설명의 양태들로 설명된 결과로, 명시적으로도 묵시적으로도 본 개시에 대한 선행 기술로 자인하지 않는다.
미디어 데이터와 같은 비구조젝 데이터(unstructured data)를 기술하는 메타 데이터를 생성하기 위한 전형적인 시스템들은 수집 서버(ingest server) 또는 기타 중앙 집중식 네트워크 처리 위치와 같이 데이터가 처음 수신되는 위치(수집 지점)에서 그렇게 할 수 있다. 수집 지점은 물리적으로 시스템의 사용자와 병치될 수 있거나 클라우드 저장소 위치일 수 있다. 예를 들어, 비디오 데이터는 카메라, 또는 미디어를 트랜스코딩하는 것 그리고 미디어를 기술하는 메타 데이터를 생성하는 것을 담당하는 서버의 기타 비디오 소스로부터 수신될 수 있다. 이러한 시스템들은 전형적으로 미디어 데이터를 기술하는 모든 메타 데이터에 액세스하기 위해 미디어 데이터 전체의 검색을 요구하기 위해 수신 또는 트랜스코딩된 미디어 데이터와 함께 메타 데이터를 미디어 데이터 스트림에 내장한다. 이는 메타 데이터를 내장하거나 다른 방식으로 포함하기 위해 처리될 미디어 데이터의 볼륨으로 인해 수집 지점의 로드를 증가시킬 수 있다. 전형적인 시스템들은 수집 지점 또는 중앙 집중식 서버에서 미디어 데이터를 기술하는 메타 데이터를 생성한다. 이는 중앙 집중식 서버의 수집 지점으로부터 저장소로 전달되는 데이터의 양을 증가시키고, 결과적으로 저장소 작업을 수행하는 데 요구되는 네트워크 대역폭을 증가시킬 수 있다. 예를 들어, 원격에 위치한 처리 및 저장소 위치들 간에 많은 양의 데이터가 전송되어야 할 수 있다.
본 명세서에 설명되는 구현 예들은 미디어 객체 데이터를 저장 및 관리하기 위한 장치 및 방법을 제공한다. 저장소 디바이스에 결합되고 호스트 디바이스로부터 원격으로 저장소 에지에 위치한 저장소 제어 장치는 호스트 디바이스로부터 미디어 객체 데이터를 수신한다. 저장소 제어 디바이스는 미디어 객체 데이터의 유형을 식별하고, 식별된 유형에 기초하여, 복수의 컴퓨터 모델들 중에서 저장소 제어 디바이스의 컴퓨터 엔진에 의해 사용할 컴퓨터 모델을 선택한다. 컴퓨터 엔진은 선택된 컴퓨터 모델을 사용하여 미디어 객체 데이터를 기술하는 메타 데이터를 생성한다. 메타 데이터는 미디어 객체 데이터와 별도로 저장소 디바이스에서 선택적으로 검색 가능하도록 저장소 디바이스에 저장된다.
일부 구현 예들에서, 저장소 제어 디바이스는 데이터 입력 인터페이스를 사용하여 미디어 객체 데이터에 액세스한다. 각 컴퓨터 모델은 컴퓨터 모델이 구성된 데이터 포맷을 식별하는 관련 입력 데이터 인터페이스 파라미터들을 가진다. 저장소 제어 디바이스는 입력 데이터 인터페이스 파라미터들을 사용하여 미디어 객체 데이터에 액세스하고 미디어 객체 데이터를 식별된 데이터 포맷으로 변환한다.
일부 구현 예들에서, 각 컴퓨터 모델은 관련 하드웨어 인터페이스 파라미터들을 가진다. 저장소 제어 디바이스는 하드웨어 인터페이스 파라미터들을 검색하고 하드웨어 인터페이스 파라미터들을 하드웨어 인터페이스에 적용한다. 저장소 제어 디바이스는 하드웨어 인터페이스를 사용하여 제1 물리적 연결로부터 미디어 객체 데이터에 액세스하고, 하드웨어 인터페이스를 사용하여 제2 물리적 연결을 통해 미디어 객체 데이터 및 메타 데이터를 저장소 디바이스에 저장한다.
일부 구현 예들에서, 각 컴퓨터 모델은 관련 복호화 파라미터들을 가진다. 저장소 제어 디바이스는 복호화 파라미터들을 검색하고 복호화 파라미터들을 사용하여 미디어 객체 데이터를 복호화한다.
일부 구현 예들에서, 저장소 제어 디바이스는 저장소에서 메타 데이터가 이미 제1 컴퓨터 모델을 사용하여 생성된 미디어 객체 데이터를 검색한다. 저장소 제어 디바이스는 제1 컴퓨터를 식별하고 제1 메타 데이터와 상이한 제2 메타 데이터를 생성하기 위해 제2 컴퓨터 모델을 선택한다. 저장 제어 디바이스는 제1 메타 데이터로부터 그리고 미디어 객체 데이터로부터 선택적으로 검색 가능하도록 제2 메타 데이터를 저장할 수 있다. 저장소 제어 디바이스는 제1 및 제2 메타 데이터를 조합하여 조합된 메타 데이터를 생성하고 조합된 메타 데이터를 미디어 객체 데이터와 선택적으로 검색 가능하도록 저장할 수 있다.
일부 구현 예들에서, 저장소 제어 디바이스는 호스트 디바이스로부터 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 데이터에 대한 요청을 수신한다. 이러한 요청에 응답하여, 일부 구현 예들에서, 저장 제어 디바이스는 저장소 디바이스에서, 미디어 객체 데이터와 별도로 미디어 객체 데이터를 기술하는 메타 데이터를 검색한다. 저장 제어 디바이스는 검색된 메타 데이터에 기초하여, 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 데이터의 하나 이상의 부분을 식별한다. 그 다음, 저장소 제어 디바이스는 저장소 디바이스에서 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 데이터의 식별된 부분들을 검색하고, 검색된 미디어 데이터의 부분들을 미디어의 다른 부분들은 전송하지 않고 네트워크 연결을 통해 전송함으로써 호스트로부터의 요청에 응답한다.
일부 구현 예들에서, 저장 제어 디바이스는 미디어 객체 데이터의 복사본을 생성하고 동시에, 저장을 위해 저장소 디바이스에 미디어 객체 데이터를 제공하고, 메타 데이터를 생성하기 위한 처리를 위해 컴퓨터 엔진에 미디어 객체 데이터의 복사본을 제공한다.
일부 구현 예들에서, 저장소 제어 디바이스는 미디어 객체 데이터를 서로 별도로 선택적으로 검색 가능하도록 논리적으로 분리된 방식으로 저장한다.
본 개시의 추가 특징들, 이의 특성 및 다양한 이점들이 첨부 도면들과 함께 취해지는 이하의 구체적인 내용을 고려시 명백해질 것이며, 이러한 첨부 도면들에서 같거나 비슷한 참조 부호들은 전체에 걸쳐 같거나 비슷한 부분들을 나타내며, 이러한 첨부 도면들에서:
도 1은 본 개시의 일부 구현 예들에 따라 비구조적 데이터 객체들을 기술하는 메타 데이터를 생성하기 위한 구성요소들 및 이들 간의 데이터 흐름을 도시한 블록도이다;
도 2는 본 개시의 일부 구현 예들에 따라 비구조적 데이터 객체들을 기술하는 메타 데이터를 생성하기 위한 구성요소들 및 이들 간의 데이터 흐름을 도시한 또 다른 블록도이다;
도 3은 본 개시의 일부 구현 예들에 따른 비휘발성 저장소 디바이스에의 메타 데이터 및 미디어 데이터의 저장을 도시한 블록도이다;
도 4는 본 개시의 일부 구현 예들에 따른 비휘발성 저장소 디바이스에의 메타 데이터 및 미디어 데이터의 저장을 도시한 또 다른 블록도이다;
도 5는 본 개시의 일부 구현 예들에 따른 컴퓨터 엔진의 구성요소들을 도시한 블록도이다;
도 6은 본 개시의 일부 구현 예들에 따라 컴퓨터 모델이 추출되는 데이터 구조의 구성요소들을 도시한 블록도이다;
도 7은 본 개시의 일부 구현 예들에 따라 비구조적 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 프로세스를 나타내는 흐름도이다;
도 8은 본 개시의 일부 구현 예들에 따라 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 또 다른 프로세스를 나타내는 흐름도이다; 그리고
도 9는 본 개시의 일부 구현 예들에 따라 데이터 객체를 기술하는 별도로 검색되는 메타 데이터에 기초하여 데이터 객체의 부분들을 검색하기 위한 프로세스를 나타내는 흐름도이다.
본 명세서에 설명되는 구현 예들은 저장소 에지에서 비구조적 데이터 객체들을 기술하는 메타 데이터를 생성하기 위한 장치 및 방법을 제공한다. 저장소 에지는 하나 이상의 고체 상태 저장소 드라이브 또는 하드 디스크 드라이브와 같은 저장소 디바이스에 로컬인 환경을 나타낸다. 저장소 에지에 위치한 저장소 제어 디바이스는 하나 이상의 저장소 디바이스에서 데이터의 저장 및 검색을 제어하는 데 사용된다. 각 저장소 디바이스는 각각의 저장소 제어 디바이스에 결합되며, 이에 의해 제어될 수 있다. 대안적으로, 여러 저장소 디바이스들이 "STORAGE AGGREGATOR CONTROLLER WITH METADATA COMPUTATION CONTROL(메타 데이터 컴퓨터 제어 기능을 갖는 저장소 애그리게이터 제어기)"라는 명칭의 미국 특허 출원 제16/264,248호에서 설명된 바와 같은 저장소 애그리게이터와 같은 단일 저장소 제어 디바이스에 결합되며, 이에 의해 제어될 수 있다. 저장소 제어 디바이스는 기술하는 메타 데이터가 아직 생성되지 않은 미디어 객체와 같은 비구조적 데이터 객체를 수신한다. 저장소 제어 디바이스의 제어 회로부는 데이터 객체의 데이터의 유형(이를테면, 데이터 유형)을 식별한다. 이 유형에 기초하여, 복수의 컴퓨터 모델들 중에서 컴퓨터 모델이 선택된다. 컴퓨터 엔진, 예를 들어 저장소 에지 또는 저장소 디바이스에 대하여 로컬인 컴퓨터 엔진은, 선택된 컴퓨터 모델을 사용하여 데이터 객체를 기술하는 메타 데이터를 생성한다. 저장소 제어 디바이스는 데이터 객체의 데이터와 별도로 선택적으로 검색 가능하도록 데이터 객체 내에 또는 데이터 객체와 연관시켜 저장할 메타 데이터를 저장소 디바이스에 제공한다. 메타 데이터는 데이터 객체와 별도로 검색될 수 있는 헤더 또는 데이터 객체의 다른 별개의 부분의 데이터 객체에 내장될 수 있다. 예를 들어, 데이터 객체는 비디오 데이터를 포함할 수 있고 메타 데이터는 텍스트 파일로서 생성될 수 있다. 저장소 제어 디바이스는 메타 데이터 텍스트와 비디오 데이터를 논리적으로 분리되는 텍스트 부분과 비디오 부분을 갖는 단일 파일로 조합한다. 그 다음, 파일의 텍스트 부분에만 액세스함으로써 메타 데이터는 별도로 검색될 수 있다. 대안적으로, 메타 데이터는 데이터 객체의 데이터와 인터리빙(interleaving)될 수 있다. 예를 들어, 비디오 데이터에 포함되는 각 키 프레임이 각각의 키 프레임이 적용되는 비디오 데이터의 부분을 기술하는 일부 메타 데이터를 포함한다. 세 번째 대안 예로서, 메타 데이터는 물리적으로 별도의 저장소 디바이스에 저장될 수 있거나 데이터 객체가 저장되는 저장소 디바이스의 논리적으로 별도의 부분에 저장될 수 있다. 예를 들어, 데이터 객체는 제1 고체 상태 드라이브에 저장될 수 있고 메타 데이터는 제2 고체 상태 드라이브에 저장될 수 있다. 다른 예로서, 데이터 객체는 고체 상태 드라이브의 제1 파티션에 저장될 수 있고 메타 데이터는 동일한 고체 상태 드라이브의 제2 파티션에 저장될 수 있다. 데이터의 임의의 다른 적절한 물리적 또는 논리적 분리도 사용될 수 있다.
본 개시는 저장소 에지에서 비구조적 데이터 객체를 기술하는 메타 데이터를 생성하고 데이터 객체의 데이터와 별도로 선택적으로 검색 가능하도록 메타 데이터를 저장하기 위한 방법들 및 시스템들을 설명한다. 저장소 제어 디바이스는 제어 회로부 및 적절한 인공 지능(AI, artificial intelligence) 또는 기계 학습(ML, machine learning) 엔진과 같은 컴퓨터 엔진을 포함한다. 저장소 제어 디바이스는 저장소 에지에 있으며 저장소 디바이스에 저장될 미디어 객체들과 같은 비구조적 데이터를 수신한다. 저장소 제어 디바이스는 비구조적 미디어 객체들의 미디어 데이터에 대한 메타 데이터를 생성하고 메타 데이터를 비구조적 미디어 데이터와 별도로 선택적으로 검색 가능하도록 저장소에 저장한다.
본 명세서에서 사용될 때, "저장소 에지(storage edge)"라는 용어는 비휘발성 저장소에 로컬인 모듈 또는 구성요소를 의미한다. 예를 들어, 비휘발성 메모리의 하나 이상의 인스턴스에 데이터를 저장 또는 검색하기 위해 하나 이상의 저장소 디바이스의 동작을 제어하는 제어기가 저장소 에지 상에 배치된다. 저장소 에지는 예를 들어 전용 저장소 디바이스들에서 또는 저장소 네트워크들에서 찾아지며, 예를 들어 호스트 컴퓨터 또는 데이터 센터에 원격으로 위치한 프로세서와 분리되어 있다. 저장소 에지와 원격 호스트 간의 통신은 컴퓨터 네트워크 연결을 통해 이루어진다.
본 명세서에서 사용될 때, "미디어 데이터 객체들(media data objects)", "데이터 객체들(data objects)", "미디어 객체들(media objects)” 또는 "객체들(objects)"이라는 용어들은 호스트 시스템 상에서 실행되는 애플리케이션에 의해 발행되며 저장소 상에 저장될 수 있는 다양한 유형들의 데이터를 의미한다. "미디어 객체들(media objects)” 또는 "객체들(objects)"의 예들은 비디오, 음향 녹음, 스틸 이미지, 문자 메시지 및 이메일과 같은 텍스트 객체, 자동차 센서 및 사물 인터넷(IoT) 센서와 같은 다양한 유형들의 센서로부터 획득되는 데이터, 데이터베이스 객체 및/또는 임의의 다른 적절한 객체를 포함할 수 있지만, 이에 제한되지는 않는다. 많은 경우, 미디어 객체들은 비구조적(unstructured)이다. 본 명세서에서 사용될 때, "비구조적 객체(unstructured object)"라는 용어는 객체(예를 들어, 텍스트 컨텐츠, 오디오 컨텐츠, 이미지 컨텐츠 또는 비디오 컨텐츠)의 미디어 컨텐츠("컨텐츠 미디어 데이터(content media data)")가 원시 형태로 제공되고 사전에 고정 필드 포맷에 따라 구성되지 않음을 의미한다. 비구조적 객체에는 프레임 또는 기타 컨텐츠 부분별로 컨텐츠의 임의의 양태들을 정의하는 메타 데이터가 선험적으로 태그가 지정되지 않는다. 비구조적 데이터는 비트랜잭션이며, 이의 포맷은 관계형 데이터베이스 스키마에 맞기가 쉽지 않다.
본 명세서에서 사용될 때, "메타 데이터(metadata)"라는 용어는 비휘발성 저장소 디바이스에 저장된 미디어 객체들의 실제 데이터 컨텐츠의 상위 레벨 표현을 나타낸다. "메타 데이터"는 실제 데이터 컨텐츠의 추상화 계층일 수 있으며, 이는 데이터 컨텐츠의 기술(description) 또는 의미(meaning)를 압축된 포맷으로 제공한다. 메타 데이터는 거의 항상 비구조적인 미디어 객체들로부터, 다양한 방식들로 생성될 수 있다. 예시적인 메타 데이터에는 레이블, 태그, 데이터 유형, 데이터 컨텐츠에서 검출되는 객체/개념(concept)/정서(sentiment), 데이터 컨텐츠 내 이러한 객체/개념/정서의 공간적/시간적 위치들 등이 포함될 수 있다.
본 명세서에서 사용될 때, "인공 지능(AI) 모델"이라는 용어는 예를 들어, 심층 신경망 또는 임의의 순환 신경망 또는 이들의 임의의 변형 예 상에 구현되는 임의의 적절한 AI 알고리즘을 나타낸다. 일부 구현 예들에서, AI 모델은 적절하게 임의의 다른 지도 학습(Supervised learning) 또는 비지도 학습(Unsupervised Learning) 또는 강화 학습(Reinforcement learning) 알고리즘들이다. AI 모델은 정확한 것으로 알려져 있는 "훈련 세트(training set)” - 미디어 객체들 및 대응하는 메타 데이터의 모음을 사용하여 훈련된다. 그 다음, 훈련된 AI 모델은 다른 미디어 객체들에 대한 메타 데이터를 생성하기 위해 적용된다. 사전 훈련된 AI 모델을 수신하고 이를 사용하여 객체들의 메타 데이터를 컴퓨팅하는 소프트웨어 또는 하드웨어 모듈은 본 명세서에서 "AI 엔진” 또는 "AI 인터페이스 엔진"이라고 한다. 일부 구현 예들에서, 여러 상이한 AI 모델이 비구조적 또는 부분적으로 구조화된 미디어 객체에 적용될 것이다.
본 개시의 일 양태에 따르면, 저장소 제어 디바이스는 인터넷 또는 다른 적잘한 네트워킹 프로토콜들을 사용하여 근거리 네트워크(LAN, local area network) 또는 광역 네트워크(WAN, wide area network)와 같은 네트워크를 통해 호스트 디바이스로부터 비구조적 데이터를 수신한다. 대안적으로, 비구조적 데이터는 컴퓨터에 로컬로 연결된 캡처 디바이스(예를 들어, 비디오 레코더, 오디오 레코더, 센서)로부터 수신된다. 이러한 구현 예들에서, 저장소 제어 디바이스는 컴퓨터의 저장소로 통합되며 컴퓨터의 다른 부분들로부터 버스를 통해 데이터를 수신한다. 저장소 제어 디바이스는 데이터 객체의 복사본을 생성하고 원본 데이터 객체를 저장소 디바이스에 저장하는 한편 컴퓨터 엔진을 사용하여 복사본을 사용하여 메타 데이터를 생성한다. 메타 데이터를 생성한 후에는 데이터 객체의 복사본이 더 이상 필요하지 않다. 메타 데이터는 비구조적 데이터에서 선택적으로 검색 가능한 방식으로 저장되며, 데이터 객체의 복사본은 저장소 제어 디바이스에서 삭제되거나 삭제 표시되거나 덮어 쓰여지거나 또는 다른 방식으로 제거된다.
메타 데이터는 관련 비구조적 데이터를 검색할 필요 없이 메타 데이터의 선택적 검색을 가능하게 하기 위해, 후술될 바와 같이, 비구조적 데이터와 별도로 저장된다. 예를 들어, 메타 데이터 및 비구조적 데이터는 데이터 파일 또는 다른 데이터 구조의 논리적으로 분리 가능한 하나 이상의 부분에 저장될 수 있다. 일 구현 예에서, 메타 데이터를 포함하는 하나 이상의 부분은 비구조적 데이터와 관련 없이 저장소 제어 디바이스에 의해 액세스 및 판독될 수 있는 독립적인(self-contained) 데이터 파일들로서 구조화된다. 추가적으로, 메타 데이터를 포함하는 하나 이상의 부분에는 저장소 제어 디바이스가 이것들의 위치를 쉽게 찾고 검색할 수 있게 하도록 태그가 지정되거나 다른 방식으로 데이터 파일 또는 데이터 구조 내에서 식별될 수 있다. 또한, 메타 데이터는 자신이 기술하는 비구조적 데이터와의 연관성을 식별하거나 다른 방식으로 포함한다. 이를 통해 저장소 제어 디바이스는 메타 데이터의 검토 또는 분석에 기초하여 비구조적 데이터의 관련 부분들을 검색할 수 있다. 이러한 그리고 다른 구현 예들은 "METADATA GENERATION FOR MULTIPLE OBJECT TYPES(다수의 객체 유형에 대한 메타 데이터 생성)"이라는 명칭의 미국 특허 출원 제16/262,971호에 더 설명되어 있다.
비구조적 데이터로부터 선택적으로 검색 가능한 방식으로 메타 데이터를 저장하면 인덱싱 및 검색 기능들의 효율성을 높일 수 있다. 비구조적 데이터 객체들에서 메타 데이터를 파싱(parsing)하는 것이 아니라, 검색 엔진 또는 인덱서는 미디어 데이터를 검색하지 않고도, 객체들을 기술하는 메타 데이터에 액세스하거나 이를 선택적으로 검색할 수 있다. 이러한 선택적 검색은 메타 데이터 또는 관련 부분들 비구조적 데이터 객체들을 검색하기 위해 액세스되어야 하는 데이터의 양을 줄이며, 검색 또는 인덱싱 기능들을 수행하거나 미디어 객체들의 관련 부분들과 같이 이전 비구조적 데이터의 관련 부분들의 검색을 수행할 때 프로세서 로드를 줄인다.
또한, 호스트 디바이스가 아닌 저장소 에지에서 메타 데이터를 생성하면 호스트 디바이스, 프로세서들 및 저장소 에지 간에 전달되는 데이터가 줄어들며, 이는 결과적으로 수집 지점 또는 중앙 데이터 처리 센터 중 어느 하나로부터 전체 데이터 전달 속도를 높인다. 예를 들어, 메타 데이터가 수집 지점, 데이터 처리 센터 또는 클라우드 서버(즉, 저장소 에지에서 원격인 위치들)에서 생성될 때, 미디어에서 다양한 객체들을 식별 및/또는 이들에 태그를 지정하기 위해서는, 데이터 객체들을 포함하는 비구조적 미디어 데이터가 저장소 에지로, 그리고 때로는 저장소 디바이스로부터 예를 들어 원격 데이터 센터의 원격 프로세서로 전달되어야 한다. 이는 컴퓨터 네트워크를 통해 엄청난 양의 데이터를 전달하며 네트워크에서의 가용 대역폭에 영향을 미치고 상당한 시간이 필요하며, 궁극적으로 전체 네트워크 속도 및/또는 성능에 영향을 미친다. 메타 데이터의 생성을 저장소 에지로 이동시킴으로써, 훨씬 더 큰 볼륨의 비구조적 데이터에 대해 메타 데이터가 쉽게 생성될 수 있으므로, 메타 데이터를 사용하여 저장된 비구조적 컨텐츠 미디어 데이터의 관련 부분들을 쉽게 식별할 수 있다. 더 큰 볼륨의 컨텐츠 미디어가 관련 세그먼트들에 대해 필터링될 수 있으며 관련 세그먼트들은 컴퓨터 네트워크를 통해 저장소로부터 데이터 센터 설비로 비구조적 컨텐츠 미디어 데이터의 전체 볼륨을 전달하지 않고도 저장소 디바이스로부터 전달될 수 있다. 이를 통해 전달되어야 하는 컨텐츠 미디어 데이터의 양을 크게 줄일 수 있을 뿐만 아니라 관련된 컨텐츠 미디어 데이터의 세그먼트들만 더 빨리 찾아서 검토할 수 있다. 이에 따라, 비구조적 데이터의 관련 부분들을 저장소 에지에서 검색할 수 있게 만드는 데 필요한 시간이 한편으로 데이터 센터에서 컴퓨터 엔진들을 사용하여 메타 데이터를 생성하는 데 필요한 큰 볼륨의 컨텐츠 데이터 미디어를 데이터 센터 설비로 전달하는 데 필요한 시간량과, 저장소 에지에서 생성된 메타 데이터 및 특정 요구 해결과 관련된 컨텐츠 데이터의 세그먼트들 양자를 포함하는 상대적으로 적은 양의 데이터를 데이터 처리 설비로 전달하는 데 필요한 시간량의 차이만큼 줄어든다. 예를 들어, 메타 데이터는 감시 비디오에 대해 감시 비디오에 캡처된 인물들의 무드, 또는 감시 비디오에 캡처된 특정 인물들 또는 활동들의 존재에 태그를 지정하기 위해 생성된다. 추가 분석을 위해 요구되는 인물들, 무드 또는 활동들과 관련된 프레임들만 전송되면 된다(예를 들어, 데이터 처리 센터 또는 운용자에게). 또 다른 예로서, 메타 데이터는 오디오 녹음에 대해 로봇 서비스 데스크에서 이루어진 대화의 세그먼트들과 같은 특정 음성 시퀀스들에 태그를 지정하기 위해 생성된다. 메타 데이터는 특정 음성 시퀀스들에 대해 검색되고 전체 녹음 대신 관련 시퀀스들을 포함하는 관련 녹음 부분들만 자동화된 대화에서의 로봇 응답을 개선하기 위해 분석 및 사용되는 설비로 전송된다.
본 개시의 다른 양태에 따르면, 이전에 수신된 비구조적 데이터(이에 대한 메타 데이터는 이전에 제1 컴퓨터 모델을 사용하여 생성되었다)가 저장소 디바이스에서 검색된다. 제2 메타 데이터는 제1 컴퓨터 모델과 상이한 제2 컴퓨터 모델을 사용하여 검색된 비구조적 데이터에 대해 생성된다. 제2 컴퓨터 모델은 제1 컴퓨터 모델과 동일한 유형의 메타 데이터를 더 정확하게 생성하는 제1 컴퓨터 모델의 업데이트된 버전일 수 있다. 제2 메타 데이터는 제1 메타 데이터와 비교되고, 제1 메타 데이터의 대응하는 메타 데이터와 상이한 제2 메타 데이터의 임의의 메타 데이터 또는 제1 메타 데이터에 존재하지 않는 제2 메타 데이터의 임의의 메타 데이터가 저장된다. 대안적으로, 제2 컴퓨터 모델은 제1 컴퓨터 모델과 상이한 유형의 메타 데이터를 생성하도록 구성될 수 있다. 제2 메타 데이터는 또한 이전에 저장된 비구조적 데이터뿐만 아니라 이전에 생성된 제1 메타 데이터와 별도로 선택적으로 검색 가능하도록 저장될 수 있다. 대안적으로, 제2 메타 데이터는 제1 메타 데이터와 병합되고 병합된 메타 데이터는 이전에 저장된 비구조적 미디어와 별도로 선택적으로 검색 가능하도록 저장된다.
도 1은 본 개시의 일부 구현 예들에 따라 비구조적 데이터 객체들을 기술하는 메타 데이터를 생성하기 위한 구성요소들 및 이들 간의 데이터 흐름을 도시한 블록도이다. 저장소 제어 디바이스(102)는 저장소 에지(100)에 위치한다. 비구조적 데이터 객체(104)는 오디오 레코더, 비디오 레코더, 이미징 센서(예를 들어, 적외선 센서), 환경 센서(예를 들어, 온도계), 모션 센서(예를 들어, 가속도계, 레이더, 라이더), 또는 임의의 이러한 레코더 또는 센서로부터의 데이터가 네트워크를 통해 처음 수신되는 서버("수집 서버")와 같은 호스트 디바이스로부터 저장소 제어 디바이스에서 수신된다.
일부 구현 예들에서, 제어 회로부(106)는 입력 데이터 인터페이스를 사용하여 비구조적 데이터(104)를 수신, 검색 또는 액세스하도록 구성된다. 입력 데이터 인터페이스는 필요에 따라 다양한 유형들의 비구조적 데이터에 액세스하도록 구성 가능하다. 입력 데이터 인터페이스의 구성은 입력 데이터 인터페이스 파라미터들을 입력 데이터 인터페이스에 적용함으로써 이루어질 수 있다. 도 6과 관련하여 후술될 바와 같이, 입력 데이터 인터페이스 파라미터들은 특정 포맷의 비구조적 데이터를 처리하도록 구성된 특정 컴퓨터 모델과 연관되어 저장될 수 있다. 비구조적 데이터(104)가 특정 포맷 외의 포맷으로 수신되면, 제어 회로부(106)는 비구조적 데이터를 기술하는 메타 데이터의 생성을 가능하게 하기 위해 비구조적 데이터(104)를 특정 포맷으로 변환하도록 구성된다. 예를 들어, 비디오 데이터는 H.262와 같은 압축된 포맷으로 수신될 수 있는 한편, 컴퓨터 모델은 H.264 비디오 데이터를 처리하도록 구성된다. 입력 데이터 인터페이스 파라미터들은 요구되는 H.264 포맷으로 변환될 수 있는 비디오 압축 포맷 세트를 식별하며, 비디오 데이터를 H.264 포맷으로 변환하기 위해 제어 회로부(106)에 의해 사용할 포맷 변환 도구를 추가로 제공할 수 있다. 또 다른 예로서, 이미지 데이터는 JPEG 포맷으로 수신될 수 있는 한편, 컴퓨터 모델은 이미지들을 비트 맵 포맷으로 처리하도록 구성된다. 입력 데이터 인터페이스 파라미터들은 JPEG를 비트 맵 포맷으로 변환하기에 적절한 입력 포맷으로서 식별하고, 제어 회로부(106)에 의해 사용할 변환 도구를 제공한다.
일부 구현 예들에서, 제어 회로부(106)는 하드웨어 인터페이스를 사용하여 비구조적 데이터(104)를 수신, 검색 또는 액세스할 수 있다. 하드웨어 인터페이스는 저장소 제어 디바이스(102)의 다양한 물리적 또는 논리적 포트들 및/또는 연결부들로부터 데이터에 액세스하도록 구성 가능하다. 하드웨어 인터페이스의 구성은 하드웨어 인터페이스 파라미터들을 하드웨어 인터페이스에 적용함으로써 이루어질 수 있다. 도 6과 관련하여 후술될 바와 같이, 하드웨어 인터페이스 파라미터들은 특정 컴퓨터 모델과 연관되어 저장될 수 있다. 특정 컴퓨터 모델의 선택에 응답하여(예를 들어, 비구조적 데이터의 수신 이전에 수신될 수 있는 명령어(118)에 응답하여), 제어 회로부(106)는 하드웨어 인터페이스 파라미터들을 하드웨어 인터페이스에 적용한다. 하드웨어 인터페이스 파라미터들은 TCP 포트 20(FTP), 80(HTTP) 또는 115(SFTP)와 같은 네트워크 연결의 특정 논리적 포트를 특정할 수 있다. 하드웨어 인터페이스 파라미터들은 이더넷 포트, 직렬 포트, USB 포트, 또는 저장소 제어 디바이스(102)가 비구조적 데이터를 수신할 수 있는 다른 데이터 포트와 같은 물리적 포트 또는 연결을 특정할 수 있다. 하드웨어 인터페이스는 특정된 포트를 청취하고 특정된 포트를 통해 수신된 데이터에 대한 제어 회로부(106) 액세스를 가능하게 한다.
일부 구현 예들에서, 비구조적 데이터(104)는 저장소 에지로의 전송을 위해 암호화된다. 비구조적 데이터(104)의 처리를 가능하게 하기 위해, 제어 회로부(106)는 복호화 파라미터들을 사용하여 비구조적 데이터(104)를 복호화한다. 도 6과 관련하여 후술될 바와 같이, 복호화 파라미터들은 특정 컴퓨터 모델과 연관되어 저장될 수 있다. 특정 컴퓨터 모델의 선택에 응답하여(예를 들어, 비구조적 데이터의 수신 이전에 수신될 수 있는 명령어(118)에 응답하여), 제어 회로부(106)는 복호화 파라미터들을 검색한다. 복호화 파라미터들은 사전 정의된 복호화 키 또는 복호화 키 생성 루틴 이를테면 RSA 알고리즘을 포함할 수 있다. 제어 회로부는 비구조적 데이터(104)에 액세스하기 위해 RSA 알고리즘을 사용하여 복호화 키를 적용하거나 복호화 키를 생성 및 적용한다.
비구조적 데이터(104)에 액세스하거나 이를 수신시, 저장소 제어 디바이스(102)의 제어 회로부(106)는 두 개의 동일한 데이터 스트림들을 생성한다. 제1 데이터 스트림은 원래 수신된 비구조적 데이터(104)를 포함하고, 제2 데이터 스트림은 제어 회로부(106)에 의해 생성된 비구조적 데이터(104)의 동일한 복사본을 포함한다. 그 다음, 제어 회로부(106)는 제1 데이터 스트림(108)을 비휘발성 저장소(110)에 저장한다. 비휘발성 저장소(110)는 하드 드라이브, 플래시 메모리 어레이(예를 들어, NOR-플래시 메모리 또는 NAND-플래시 메모리), 또는 임의의 다른 적절한 유형의 데이터 저장 매체와 같은 임의의 비휘발성 데이터 저장소 디바이스일 수 있다. 전술한 복호화 및/또는 포맷 변환은 처음에 수신된 비구조적 데이터(104)에 관해 또는 단지 컴퓨터 엔진(116)에 의해 처리될 제2 데이터 스트림에 관해 수행될 수 있다.
제어 회로부(106)는 또한 비디오 데이터, 이미지 데이터, 오디오 데이터 또는 임의의 다른 데이터 유형과 같은 비구조적 데이터의 데이터 유형을 결정한다. 제어 회로부(106)는 데이터 스트림(108)과 동일한 제2 데이터 스트림(114)을 저장소 제어 디바이스(102)의 컴퓨터 엔진(116)으로 보낸다. 컴퓨터 엔진(116)은 컴퓨터 모델을 사용하여 메타 데이터를 생성한다. 예를 들어, 컴퓨터 엔진(116)은 기계 학습, 인공 지능 또는 다른 적절한 메타 데이터 생성 엔진일 수 있다. 컴퓨터 엔진(116)에 의해 사용되는 컴퓨터 모델들은 AI 모델들일 수 있으며 행렬 곱셈 연산, 컨볼루션 연산, 신경망에서 정의되는 다른 연산, 또는 임의의 다른 적절한 데이터 처리 방법 또는 연산을 채용할 수 있다. 저장소 제어 디바이스(102)는 컴퓨터 엔진(116)에 의해 사용될 컴퓨터 모델을 선택하고 선택된 모델을 사용하도록 컴퓨터 엔진(116)으로 명령어(118)를 송신한다. 저장소 제어 디바이스(102)는 결정된 데이터 유형에 대응하는 컴퓨터 모델, 또는 컨텐츠로부터 추출될 것이 요구되는 메타 데이터의 유형을 선택한다. 예를 들어, 일부 컴퓨터 모델들은 이미지 프레임에서 얼굴들 또는 음향 녹음의 세그먼트에서 음성들을 식별하는 데 적절하지만, 다른 컴퓨터 모델들은 예를 들어, 이미지 프레임에서 인물의 행동 또는 무드를 식별하도록 설계된다. 일부 컴퓨터 모델은 프레임 또는 데이터 스트림 내에서 객체의 위치를 식별한다. 일부 컴퓨터 모델들은 미디어 데이터의 세그먼트들의 복수의 상이한 특성들을 식별하도록 구성된다.
컴퓨터 엔진(116)은 일 구현 예에서, 비구조적 데이터를 프레임들로 세그먼트화하며 예를 들어, 비구조적 데이터에서의 컨텐츠 및 컨텐츠의 위치들을 기술하는 메타 데이터를 생성하도록 비구조적 데이터의 복사본을 처리한다. 그 다음, 메타 데이터(120)는 도 3 및 도 4와 관련하여 후술될 바와 같이, 비구조적 데이터와 별도로 선택적으로 검색 가능하도록 비휘발성 저장소(110)에 저장된다. 이를 통해 예를 들어, 컨텐츠 미디어 데이터의 관련 세그먼트들을 추출하는 메타 데이터에서의 인덱싱 및 검색 기능들의 효율을 높일 수 있다.
일부 구현 예들에서, 비휘발성 저장소(110)에의 미디어 데이터 및 메타 데이터의 상술된 저장은 상술된 하드웨어 인터페이스 파라미터들(이는 또한 특정 포트 또는 연결(이를 통해 저장소 제어 디바이스(102)는 미디어 객체 데이터 및 메타 데이터를 비휘발성 저장소(110)에 저장한다)을 지정할 수 있다)을 사용하여 구성된 하드웨어 인터페이스를 사용하여 이루어진다. 예를 들어, 하드웨어 인터페이스 파라미터들은 미디어 객체 데이터 및 메타 데이터를 저장할 특정 서버 또는 데이터 저장소의 물리적 또는 논리적 어드레스를 지정할 수 있다. 대안적으로 또는 추가적으로, 하드웨어 인터페이스 파라미터들은 이더넷 포트, 직렬 포트, USB 포트, 또는 저장소 제어 디바이스(102)가 비휘발성 저장소(110)에 액세스할 수 있는 다른 데이터 포트와 같은 특정 포트를 특정할 수 있다.
도 2는 본 개시의 일부 구현 예들에 따라 비구조적 데이터 객체들을 기술하는 메타 데이터를 생성하기 위한 구성요소들 및 이들 간의 데이터 흐름을 도시한 또 다른 블록도이다. 비휘발성 저장소(110)에 이미 저장된 비구조적 데이터 객체에 대해 메타 데이터가 생성되지 않았거나, 비구조적 데이터 객체에 대해 추가 메타 데이터가 생성되어야 하는 경우, 저장소 제어 디바이스(102)는 비휘발성 저장소(110)에서 컨텐츠 미디어 데이터(200)를 검색한다. 제어 회로부(106)는 도 1과 관련하여 상술된 바와 같이, 미디어 데이터(200)의 데이터 유형을 식별한다. 제어 회로부(106)는 처리를 위해 컨텐츠 미디어 데이터(202)를 컴퓨터 엔진(116)에 제공한다. 일부 시나리오들에서 컨텐츠 데이터는 비구조적인 한편, 다른 시나리오들에서 컨텐츠는 컨텐츠에 대해 이전에 생성되었던 부분적 메타 데이터로 부분적으로 구조화된 것이다. 저장소 제어 디바이스(102)는 컴퓨터 모델을 선택하고 선택된 컴퓨터 모델을 사용하도록 컴퓨터 엔진(116)으로 명령어(204)를 송신한다. 도 1과 관련하여 상술된 바와 같이, 저장소 제어 디바이스(102)는 미디어 데이터(200)의 결정된 데이터 유형에 기초하여 컴퓨터 모델을 선택한다. 비구조적 데이터 객체를 기술하는 메타 데이터가 이미 존재하는 경우, 제어 회로부(106)는 메타 데이터를 생성하는 데 사용되었던 제1 컴퓨터 모델을 결정하고 사용될 제2 컴퓨터 모델을 선택한다. 예를 들어, 메타 데이터는 감시 비디오에서 얼굴들을 식별하기 위한 컴퓨터 모델을 사용하여 이미 생성되었을 수 있다. 제어 회로부(106)는 제2 컴퓨터 모델로서, 동일한 감시 비디오에서 얼굴 표정들, 행동들, 무드들 또는 음성들을 식별하기 위한 컴퓨터 모델을 선택할 수 있다. 그 다음, 제2 컴퓨터 모델을 사용하여 생성된 메타 데이터(206)는 도 3 및 도 4와 관련하여 후술될 바와 같이, 비구조적 데이터와 별도로 선택적으로 검색 가능하도록 비휘발성 저장소(110)에 저장된다. 제1 컴퓨터 모델을 사용하여 생성된 메타 데이터 및 제2 컴퓨터 모델을 사용하여 생성된 메타 데이터는 선택적으로 검색 가능하도록 서로 별도로 저장될 수 있다. 대안적으로 또는 추가적으로, 제2 컴퓨터 모델을 사용하여 생성된 메타 데이터는 비구조적 데이터와 별도로 선택적으로 검색 가능한 방식으로 저장될 단일 메타 데이터 세트를 생성하기 위해 제1 컴퓨터 모델을 사용하여 생성된 메타 데이터와 조합될 수 있다.
도 3은 본 개시의 일부 구현 예들에 따른 비휘발성 저장소(110)에의 메타 데이터 및 미디어 데이터의 저장을 도시한 블록도이다. 메타 데이터 및 미디어 데이터는 비휘발성 저장소(110)에 단일 데이터 파일(300) 내에 저장된다. 데이터 파일(300)은 각각, 메타 데이터 부분(302) 및 미디어 데이터 부분(304)에 텍스트 기반 메타 데이터 및 비구조적 미디어 데이터 양자를 호스팅할 수 있는 파일 포맷을 가진다. 비구조적 미디어 데이터를 포함하는 데이터 스트림(108)은 비휘발성 저장소(110)에서 수신되고 데이터 파일(300)은 예를 들어 미디어 데이터 부분(304)에 비구조적 미디어 데이터를 포함하도록 생성된다. 컴퓨터 엔진(116)에 의해 생성된 메타 데이터(120) 또한 비휘발성 저장소(110)에서 수신된다. 비휘발성 저장소(110)는 데이터 파일(300)의 메타 데이터 부분(302)에 메타 데이터를 저장한다. 일 구현 예에서, 메타 데이터 부분들(302)은 미디어 데이터 부분들(304)과 별도로 저장된다. 다른 구현 예에서, 각각의 메타 데이터 부분들(302) 및 미디어 데이터 부분들(304)은 예를 들어 인터리빙되지만, 서로 분리 가능하도록 함께 저장된다. 데이터 파일(300)은 메타 데이터 부분(302) 및 미디어 데이터 부분(304) 양자로 생성될 수 있다. 대안적으로, 비구조적 미디어 데이터(108)가 메타 데이터(120) 이전에 비휘발성 저장소(110)에서 수신되는 경우, 데이터 파일(300)은 미디어 데이터 부분(304)만으로 생성될 수 있으며, 메타 데이터(120)를 수신시, 메타 데이터 부분(302)이 미디어 부분(304)에 덧붙거나, 앞에 붙거나, 연결되거나 또는 이와 인터리빙될 수 있다. 메타 데이터(120)를 미디어 데이터(108)와 분리 가능하도록 저장함으로써, 메타 데이터(120)는 미디어 데이터(108)와 별도로 선택적으로 검색 가능할 수 있으며, 이는 결과적으로 상술된 바와 같이 메타 데이터(120), 또는 메타 데이터(120)에 기초한 미디어 데이터(108)의 특정 부분에 액세스하는 데 있어서 효율성을 증가시킨다.
도 4는 본 개시의 일부 구현 예들에 따른 비휘발성 저장소(110)에의 메타 데이터 및 미디어 데이터의 대안적인 저장을 도시한 또 다른 블록도이다. 비휘발성 저장소(110)는 물리적으로 별도의 저장 영역들(예를 들어, 여러 하드 디스크 드라이브들 또는 고체 상태 드라이브들) 또는 논리적으로 별도의 저장 영역들(예를 들어, 단일 하드 디스크 또는 고체 상태 드라이브 상의 여러 파티션들)을 포함할 수 있다. 비휘발성 저장소(110)는 메타 데이터 저장을 위한 제1 저장 영역(400) 및 데이터 객체 저장을 위한 제2 저장 영역(402)을 지정할 수 있다. 데이터 스트림(108)은 비휘발성 저장소(110)에서 수신된다. 비휘발성 저장소(110)는 수신된 데이터 스트림(108)이 비구조적 미디어 데이터를 포함함을 결정하고 비구조적 미디어 데이터를 데이터 객체 저장소(402)에 저장한다. 비휘발성 저장소(110)는 또한 컴퓨터 엔진(116)에 의해 생성된 메타 데이터(120)를 수신한다. 비휘발성 저장소(110)는 수신된 데이터가 텍스트 기반 메타 데이터임을 결정하고 메타 데이터(120)를 메타 데이터 저장소(400)에 저장한다. 상기한 바와 같이, 메타 데이터(120)와 미디어 데이터(108)의 분리 가능한 저장은 메타 데이터(120)가 미디어 데이터(108)와 별도로 검색 가능하게 할 수 있으며, 이는 결과적으로 메타 데이터(120), 또는 메타 데이터(120)에 기초한 미디어 데이터(108)의 특정 부분에 액세스하는 데 있어서 효율성을 증가시킨다.
일부 구현 예들에서, 컴퓨터 모델들은 저장소 제어 디바이스(102)의 메모리에서의 각각의 데이터 구조들에 저장된다. 컴퓨터 엔진(116) 또는 제어 회로부(106)는 이의 각각의 데이터 구조로부터 컴퓨터 엔진(116)에 의해 사용할 선택된 컴퓨터 모델을 추출한다. 도 5는 본 개시의 일부 구현 예들에 따른 컴퓨터 엔진의 구성요소들을 도시한 블록도이다. 컴퓨터 엔진(116)은 데이터 구조 실행 모듈(data structure runtime module)(500)을 포함한다. 데이터 구조 실행 모듈(500)은 데이터 구조의 컨텐츠가 컴퓨터 엔진(116)에 의해 실행되거나 이에 적용될 수 있는 환경을 제공한다. 추가적으로, 데이터 구조 실행 모듈(500)은 특정 데이터 구조에 필요한 가상 시스템 자원들을 할당한다. 다시 말하면, 데이터 구조 실행 모듈(500)은 도 6과 관련하여 후술될 바와 같이, 데이터 구조의 컨텐츠가 CPU(506) 및 하드웨어 가속기(512)와 같은 컴퓨터 엔진(116)의 하드웨어를 사용하여 실행될 수 있는 애플리케이션 계층을 제공한다. 컴퓨터 엔진(116)은 또한 오케스트레이션 에이전트(orchestration agent)(502)를 포함한다. 데이터 구조 실행 모듈(500)은 데이터 구조(이를테면도 6과 관련하여 후술될 데이터 구조(514n))를 실행하는 것을 담당하는 한편, 오케스트레이션 에이전트(502)는 실행할 데이터 구조를 결정한다. 오케스트레이션 에이전트(502)는 명령어(118)와 같은 명령을 수신하여 특정 데이터 구조를 선택하거나, 처리될 비구조적 데이터 객체의 결정된 데이터 유형의 표시를 수신하고 적절한 데이터 구조를 결정한다. 오케스트레이션 에이전트(502)는 복수의 데이터 구조들(514a, 514b, 514c, ... 514n) 중에서 데이터 구조(예를 들어, 데이터 구조(514b))를 검색하라는 요청(516)을 저장소 제어 디바이스(102)의 메모리로 송신한다. 저장소 제어 디바이스(102)의 메모리는 선택된 데이터 구조(514b)를 포함하는 응답(318)을 송신하며, 이는 그 다음 컴퓨터 엔진(116)에 의해 데이터 구조 실행 모듈(500)로 로딩된다.
데이터 구조 실행 모듈(500)은 데이터 구조(514b)로부터 컴퓨터 모델을 추출한다. 데이터 구조 실행 모듈(500)은 추출된 컴퓨터 모델(520)을 컴퓨터 엔진(116)의 휘발성 메모리(510)로 로딩한다. 데이터 구조 실행 모듈(500)은 또한 추출된 컴퓨터 모델(520)을 사용하여 미디어 데이터를 처리하는 데 필요한 선택된 데이터 구조로부터 다른 데이터 및 파라미터들을 추출할 수 있다. 컴퓨터 엔진(116)은 일 구현 예에서, CPU(506) 상에서 실행되는 운영 체제(504)를 포함하며, 이를 통해 데이터 구조 실행 모듈(500) 및 오케스트레이션 에이전트(502)는 상술된 동작들을 수행한다.
일 구현 예에서, 컴퓨터 엔진(116)은 하드웨어 가속기(512)를 더 포함한다. 컴퓨터 모델들은 CPU(506) 상에서 효율적으로 실행될 수 없는 수천 개의 동작들을 포함한다. 컴퓨터 엔진(116)은 하드웨어 가속기(512)를 사용하여 추출된 컴퓨터 모델을 실행한다.
도 6은 본 개시의 일부 구현 예들에 따라 컴퓨터 모델이 추출되는 데이터 구조의 구성요소들을 도시한 블록도이다. 일부 구현 예들에서, 데이터 구조들, 이를테면 데이터 구조(514n)는 컴파일링된 컴퓨터 모델(600)에 더하여, 비구조적 데이터 객체들을 처리시 컴퓨터 엔진(116)에 의해 사용될 수 있는 여러 다른 항목들 및 파라미터들을 포함한다. 예를 들어, 입력 데이터 인터페이스(602)는 비구조적 데이터의 입력 포맷에 대한 파라미터들을 제공한다. 예를 들어, 특정 데이터 구조 내에 포함된 컴퓨터 모델은 비트 맵 유형의 포맷으로 이미지들을 처리하도록 구성될 수 있다. 미디어 객체 데이터가 JPEG와 같은 압축된 포맷으로 이미지들을 제공하는 경우, 컴퓨터 엔진(116)은 압축된 이미지들을 비트 맵들로 변환해야 한다. 미디어 객체 데이터는 암호화될 수 있다. 예를 들어, 미디어 데이터는 보안 문제들 또는 저작권의 대상이 될 수 있다. 데이터 암호화/복호화(604)는 예를 들어 데이터를 복호화함으로써, 비구조적 데이터에 액세스하는 데 필요한 암호화 또는 복호화 알고리즘들 및 키들을 제공한다. 데이터 전처리 모듈(606)은 상술된 바와 같이 입력 데이터 인터페이스(602)에 의해 요구될 때 비구조적 데이터의 변환과 같은 처리를 위해 비구조적 데이터를 준비하기 위한 메커니즘들을 제공한다. 추가적으로, 데이터 전처리 모듈(606)은 미디어 객체 데이터로부터 개개의 비디오 프레임들 또는 오디오 샘플들을 추출하기 위한 메커니즘들을 제공할 수 있다. 데이터 후처리 모듈(608)은 일 구현 예에서, 컴퓨터 모델(600)에 의해 생성된 메타 데이터의 포맷팅을 위한 파라미터들을 제공한다. 예를 들어, 데이터 후처리 모듈은 미디어 객체 데이터와 관련된 메타 데이터가 배치될 특정 데이터 구조 및/또는 데이터 필드들을 제공한다. 데이터 구조 또는 데이터 필드들은 처리되는 데이터의 유형 및 컴파일링된 컴퓨터 모델(600)의 구성 양자에 특정한 것이다. 하드웨어 인터페이스(610)는 네트워크 인터페이스 또는 직렬 데이터 연결부와 같은 특정 구성요소들을 사용하여 데이터에 액세스하기 위한 파라미터들을 제공한다.
도 7은 본 개시의 일부 구현 예들에 따라 비구조적 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 프로세스(700)를 나타내는 흐름도이다. 비제한적인 일례로서, 비구조적 데이터 객체는 컨텐츠 미디어 데이터 객체이다. 702에서, 저장소 제어 디바이스(102)는 제어 회로부(106)를 사용하여, 호스트 디바이스로부터 미디어 객체를 수신한다. 예를 들어, 제어 회로부(106)는 데이터가 원격 소스들로부터 수신되는 네트워크 인터페이스 또는 다른 데이터 입력 연결부를 포함할 수 있다. 원격 소스들은 비디오 레코더, 오디오 레코더, 수집 서버, 클라우드 서버 등과 같이 미디어 객체가 생성 및/또는 저장소 에지로 송신되는 임의의 호스트 디바이스 또는 서버를 포함한다. 데이터 저장소 센터 또는 분산 저장소 시스템(즉, 클라우드 저장소)에 저장된 데이터가 아니라, 저장소 에지에 수신되거나 이미 존재하는 데이터에 대해 저장소 에지에서 메타 데이터 생성을 수행하면 네트워크를 거친 전달에 필요한 데이터의 볼륨이 크게 감소한다. 일부 구현 예들에서, 저장소 제어 디바이스(102)는 호스트 디바이스로부터, 미디어 객체 데이터를 비휘발성 저장소(110)에 저장하라는 요청을 수신할 수 있다. 704에서, 제어 회로부(106)는 미디어 객체 데이터의 복사본을 생성함으로써, 동일한 컨텐츠 데이터를 포함하는 두 개의 데이터 스트림들을 생성한다. 706에서, 제어 회로부(106)는 하나의 데이터 스트림을 저장을 위해 비휘발성 저장소(110)에 제공한다. 708에서, 제어 회로부(106)는 미디어 객체 데이터의 데이터 유형을 식별한다. 예를 들어, 미디어 객체 데이터는 비디오 스트림일 수 있다. 제어 회로부(106)는 호스트 디바이스로부터 수신된 데이터의 유형을 결정하기 위해 패킷 헤더들을 처리, 검토 또는 다른 방법으로 검사할 수 있다. 제어 회로부(106)는 또한 MPEG-2, MPEG-4 또는 다른 비디오 데이터 포맷들과 같은 데이터 포맷을 결정할 수 있다. 다른 예로서, 미디어 객체 데이터는 오디오 스트림일 수 있다. 제어 회로부(106)는 수신된 데이터의 유형을 결정하기 위해, 패킷 헤더들을 처리, 예시 또는 다른 방법으로 검사할 수 있고, 또한 MP3, WAV 또는 다른 적절한 오디오 데이터 포맷과 같은 데이터 포맷을 결정할 수 있다. 세 번째 예로서, 미디어 객체 데이터는 적외선 센서와 같은 이미징 센서로부터 캡처된 센서 데이터일 수 있다. 제어 회로부(106)는 센서의 시그니처와 같은 패킷 헤더 데이터로부터 센서의 유형을 식별할 수 있다.
710에서, 제어 회로부(106)는 식별된 유형에 기초하여, 복수의 컴퓨터 모델들 중에서 컴퓨터 엔진(116)에 의해 사용할 컴퓨터 모델을 선택한다. 예를 들어, 제어 회로부(106)는 각 프레임에 묘사된 객체들을 식별하기 위해 비디오 데이터의 연속적인 프레임들에 관해 이미지 처리를 수행하기 위한 컴퓨터 모델을 선택한다. 일부 구현 예들에서, 제어 회로부(106)에 의한 컴퓨터 모델의 선택은 또한 생성될 것이 요구되는 메타 데이터의 유형에 기초한다. 예를 들어, 비디오 데이터를 처리하는 데 각각이 상이한 메타 데이터 세트를 생성하는 여러 컴퓨터 모델들이 이용 가능할 수 있다. 하나의 컴퓨터 모델은 비디오 데이터에서 얼굴들을 식별할 수 있는 한편 다른 컴퓨터 모델은 비디오 데이터에서 행동들을 식별한다. 제어 회로부(106)는 사용자로부터 또는 저장소 에지에서 실행되는 프로그램으로부터 특정 유형의 메타 데이터를 생성하기 위한 입력을 수신할 수 있다. 이에 따라, 제어 회로부(106)는 비디오 데이터를 처리하며 요구되는 메타 데이터를 생성하도록 구성된 컴퓨터 모델을 선택한다. 추가 개념들은 "METADATA GENERATION FOR MULTIPLE OBJECT TYPES(다수의 객체 유형에 대한 메타 데이터 생성)"이라는 명칭의 미국 특허 출원 제16/262,971호에 설명되어 있다.
712에서, 컴퓨터 엔진(116)은 선택된 컴퓨터 모델을 사용하여 미디어 객체 데이터를 기술하는 메타 데이터를 생성하도록 제2 데이터 스트림을 처리한다. 714에서, 제어 회로부(106)는 도 3 및 4와 관련하여 상술된 방법들을 사용하여, 비휘발성 저장소(110)에서 미디어 객체 데이터와 별도로 선택적으로 검색 가능하도록 저장을 위해 메타 데이터를 비휘발성 저장소(110)에 제공한다. 이에 따라, 메타 데이터는 미디어 객체 데이터와 별도로 검색될 수 있으며, 이에 의해 상술된 프로세스는 미디어 객체 데이터와 독립적으로 제1 컴퓨터 모델에 의해 생성된 메타 데이터만을 검색할 수 있게 된다.
도 8은 본 개시의 일부 구현 예들에 따라 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 또 다른 프로세스(800)를 나타내는 흐름도이다. 일부 구현 예들에서, 제1 컴퓨터 모델을 사용하여 제1 메타 데이터를 생성하도록 이미 처리된 미디어 객체 데이터가 제2 컴퓨터 모델을 사용하여 추가 또는 보충 메타 데이터를 생성하도록 다시 처리된다. 802에서, 제어 회로부(106)는 제1 컴퓨터 모델을 사용하여 이전에 생성된 미디어 객체 데이터를 기술하는 제1 메타 데이터를 검색한다. 예를 들어, 제어 회로부(806)는 비휘발성 저장소(110)가 제1 메타 데이터를 제공하는 것에 응답하여, SQL "SELECT" 명령을 사용하여 질의 비휘발성 저장소(110) 또는 메타 데이터 저장소(400)를 사용할 수 있다. 대안적으로, 제어 회로부(106)는 제1 메타 데이터가 저장되는 메모리 위치 또는 메모리 어드레스 범위를 식별하고 식별된 위치 또는 어드레스 범위에서 제1 메타 데이터를 검색하기 위해 비휘발성 저장소(110)의 파일 할당 테이블에 액세스할 수 있다.
804에서, 제어 회로부(106)는 제1 메타 데이터를 생성하는 데 사용된 제1 컴퓨터 모델을 식별한다. 예를 들어, 일 구현 예에서, 제어 회로부(106)는 이전에 생성된 메타 데이터의 유형, 또는 하나 이상의 컴퓨터 모델에 대하여 제1 메타 데이터 내에 포함된 특정 메타 데이터 필드들, 또는 이용 가능한 컴퓨터 모델들의 인덱스를 분석하여 메타 데이터의 유형 또는 제1 메타 데이터 내에 포함된 특정 메타 데이터 필드들을 생성하는 식별된 데이터 유형을 처리할 제2 컴퓨터 모델을 식별할 수 있다. 예를 들어, 제1 메타 데이터가 시간에 따른 얼굴들 및 얼굴 위치들을 기술하는 필드들을 포함하는 경우, 제어 회로부(106)는 제1 메타 데이터가 비디오 컨텐츠에서 얼굴들을 식별하도록 구성된 컴퓨터 모델을 사용하여 생성되었다고 결정한다.
806에서, 제어 회로부(106)는 생성될 메타 데이터의 유형을 결정한다. 제어 회로부(106)는 제1 컴퓨터 모델의 업데이트된 버전이 존재하는지 여부를 결정할 수 있다. 예를 들어, 제어 회로부(106)는 제1 컴퓨터 모델이 컴파일링된 일시 또는 제1 컴퓨터 모델을 포함하는 데이터 구조가 처음 이용 가능하게 된 때를 식별한다. 제1 컴퓨터 모델의 업데이트된 버전이 존재하면, 제어 회로부(106)는 제1 메타 데이터와 동일한 유형의 메타 데이터가 생성되어야 한다고 결정한다. 대안적으로, 제어 회로부(106)는 제1 메타 데이터를 보충하기 위한 메타 데이터의 유형을 자동으로 선택할 수 있거나 사용자로부터 생성될 메타 데이터의 특정 유형을 식별하는 입력을 수신할 수 있다. 예를 들어, 제어 회로부(106)는 비디오 프레임들에 묘사된 얼굴들과 같은 객체들을 식별하기 위한 이미지 처리 모델로서 제1 컴퓨터 모델을 식별한다. 그 다음, 제어 회로부(106)는 얼굴들과 연관된 추가 특성들, 이를테면 무드를 식별하는 메타 데이터가 생성되어야 한다고 결정한다. 대안적으로, 제어 회로부(106)는 비디오 데이터 내에서 발화되는 단어들을 기술하는 메타 데이터가 생성되어야 한다고 결정한다.
808에서, 제어 회로부(106)는 생성될 메타 데이터의 결정된 유형에 기초하여 컴퓨터 모델을 선택한다. 예를 들어, 제어 회로부(106)가 생성될 메타 데이터의 유형이 제1 메타 데이터의 유형과 동일하다고 결정하여, 제1 컴퓨터 모델의 업데이트된 버전이 존재 함을 나타내면, 제어 회로부(106)는 업데이트된 컴퓨터 모델을 선택한다. 대안적으로, 상이한 유형의 메타 데이터가 생성되어야 하는 경우, 제어 회로부(106)는 해당 유형의 메타 데이터를 생성하도록 구성된 컴퓨터 모델을 선택한다. 예를 들어, 무드들을 기술하는 메타 데이터가 생성되어야 하는 경우, 제어 회로부(106)는 얼굴들이 식별되는 프레임들을 무드를 식별하도록 처리하도록 구성된 컴퓨터 모델을 선택한다. 발화된 단어들을 기술하는 메타 데이터가 생성되어야 하는 경우, 제어 회로부(106)는 비디오 내에서 발화된 단어들을 포함하는 세그먼트들을 식별하도록 전체 비디오 또는 얼굴들을 포함하는 비디오의 세그먼트들의 오디오 데이터를 처리하기 위한 오디오 처리 컴퓨터 모델을 선택한 다음, 동일하거나 상이한 컴퓨터 모델을 사용하여 발화된 단어들을 텍스트화하고/하거나 발화의 내용을 분석한다. 제어 회로부(106)는 대안적으로 또는 추가적으로, 컨텐츠 미디어에서의 또는 이와 연관된, 텍스트, 이를테면 자막 방송을 추출 및/또는 처리하기 위한 텍스트 처리 컴퓨터 모델을 선택할 수 있다.
810에서, 제어 회로부(106)는 선택된 컴퓨터 모델의 구성에 기초하여 비휘발성 저장소(110)로부터 미디어 객체 데이터의 적어도 일 부분을 검색한다. 예를 들어, 제1 컴퓨터 모델은 비디오 컨텐츠에서 얼굴들을 식별하였고, 선택된 컴퓨터 모델은 비디오 데이터에서의 얼굴들에 기초하여 무드들을 식별하도록 구성된다. 제어 회로부(106)는 비휘발성 저장소(110)에서 전체 비디오 컨텐츠를 검색하는 것이 아니라, 제1 컴퓨터 모델에 의해 생성된 제1 메타 데이터를 사용하여 선택된 컴퓨터 모델을 사용하여 컴퓨터 엔진(116)에 의한 처리를 위한 얼굴들을 포함하는 비디오 컨텐츠의 부분들을 식별한다. 그 다음, 제어 회로부(106)는 비디오 컨텐츠의 식별된 부분들만을 검색한다.
812에서, 컴퓨터 엔진(116)은 제2 컴퓨터 모델을 사용하여 미디어 객체 데이터의 컨텐츠를 기술하는 제2 메타 데이터를 생성한다. 814에서, 제어 회로부(106)는 도 3 및 4와 관련하여 상술된 방법들을 사용하여 저장소 디바이스에서 미디어 객체 데이터와 별도로 선택적으로 검색 가능하도록 저장을 위해 제2 메타 데이터를 비휘발성 저장소(110)에 제공한다. 이에 따라, 메타 데이터는 미디어 객체 데이터와 별도로 검색될 수 있으며, 이에 의해 상술된 프로세스는 미디어 객체 데이터와 독립적으로 제1 컴퓨터 모델에 의해 생성된 메타 데이터만을 검색할 수 있게 된다.
도 9는 본 개시의 일부 구현 예들에 따라 데이터 객체를 기술하는 별도로 검색되는 메타 데이터에 기초하여 데이터 객체의 부분들을 검색하기 위한 프로세스(900)를 나타내는 흐름도이다. 902에서, 저장소 제어 디바이스(102)는 호스트 디바이스로부터 하나 이상의 기준을 충족하는 미디어 객체에 대한 요청을 수신한다. 예를 들어, 미디어 객체는 감시 비디오이고 호스트 디바이스는 사람의 얼굴들을 포함하는 비디오 데이터를 요청한다. 904에서, 저장소 제어 디바이스(102)는 비휘발성 저장소(110)에서, 미디어 객체 데이터를 기술하는 메타 데이터만을 검색한다. 예를 들어, 저장소 제어 디바이스(102)는 감시 비디오를 기술하는 메타 데이터가 저장되는 미디어 객체의 논리적으로 분리 가능한 부분에 액세스하고 감시 비디오 데이터를 검색하지 않고 논리적으로 분리 가능한 부분에 포함된 메타 데이터를 추출, 복사 또는 다른 방법으로 검색한다.
906에서, 저장소 제어 디바이스(102)는 제어 회로부(106)를 사용하여, 메타 데이터를 분석하여 하나 이상의 기준을 충족하는 미디어 객체 데이터의 부분들을 식별한다. 예를 들어, 제어 회로부(106)는 감시 비디오를 기술하는 메타 데이터를 분석하고 요청된 기준을 충족하는 감시 비디오의 부분들 - 본 예에서는 사람의 얼굴들을 포함하는 감시 비디오의 부분들 - 을 식별한다. 908에서, 저장소 제어 디바이스(102)는 요청된 기준을 충족하는 객체들을 포함하는 부분들을 포함하지 않는 미디어 객체 데이터의 다른 부분들과는 별도로 요청된 기준을 충족하는 객체들을 포함하는 미디어 객체 데이터의 식별된 부분들만을 검색한다. 예를 들어, 저장소 제어 디바이스(102)는 메타 데이터에 기초하여 식별된 바와 같이 사람의 얼굴들을 포함하는 감시 비디오의 부분들만을 검색한다. 910에서, 미디어 객체 데이터의 검색된 하나 이상의 부분이 컴퓨터 네트워크를 통해, 호스트 디바이스로 전송된다. 일 구현 예에서, 요청된 기준을 충족하는 객체들을 포함하는 식별된 부분들이 컴퓨터 네트워크를 통해 호스트 디바이스로 전송된다. 그러나, 사람의 얼굴들을 포함하는 것들과 같이 요청된 기준을 충족하지 못하는 미디어 객체 데이터의 다른 부분들은 전송될 필요가 없다.
도 1 내지 도 9와 관련하여 논의된 다양한 구현 예들은 이에 제한되지는 않지만 집적 회로, 주문형 집적 회로(ASIC), DSP 및/또는 등과 같은 하나 이상의 전자 회로의 다양한 전자 구성요소들에 의해 수행된다. 이에 제한되지는 않지만 제어 회로부 및 하드웨어 가속기들(예를 들어, 제어 회로부(106) 및 하드웨어 가속기(312)) 및/또는 등과 같이 본 개시 전반에 걸쳐 논의된 다양한 구성요소들은 전자 회로 구성요소 세트를 포함하고, 하나 이상의 전자 회로 상에서 통신적으로 동작하도록 구성된다. 각 전자 회로는 이에 제한되지는 않지만 논리 게이트, 메모리 셀, 증폭기, 필터 및/또는 등 중 어느 하나를 포함하도록 구성된다. 본 명세서에 개시된 다양한 구현 예들 및 구성요소들은 하나 이상의 일시적 또는 비일시적 프로세서 판독 가능 매체 상에 저장된 프로세서 실행 가능 명령어들에 의해 적어도 부분적으로 동작 및/또는 구현되도록 구성된다.
본 개시의 주제의 다양한 구현 예들이 본 명세서에서 제시되고 설명되었지만, 이러한 구현 예들은 단지 예로서 제공된 것이다. 본 명세서에서 설명된 구현 예들과 관련된 수많은 변형, 변경 및 대체 예들이 본 개시에서 벗어나지 않고 적용 가능하다. 본 명세서에서 설명된 개시의 구현 예들에 대한 다양한 대안 예들이 본 개시를 실행하는 데 채용될 수 있음을 유념한다. 이하의 청구항들은 본 개시의 범위를 정의하고, 이러한 청구항들의 범위 내의 방법들 및 구조들 및 이것들의 균등물들이 이에 의해 커버되도록 의도된다.
도면들에서 동작들이 특정 순서로 도시되어 있지만, 이는 이러한 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되어야 한다거나, 또는 바람직한 결과들을 얻기 위해 모든 도시된 동작들이 수행되어야 한다는 것을 요구하는 것으로 간주되어서는 안 된다.
본 명세서의 주제는 특정 양태들의 측면에서 설명되었지만, 다른 양태들이 구현될 수 있고 이하의 청구항들의 범위 내에 있다. 예를 들어, 청구항들에 나열되는 동작들은 상이한 순서로 수행될 수 있으며 여전히 바람직한 결과들을 얻을 수 있다. 일례로서, 도 7, 도 8 및 도 9에 도시된 프로세스들은 바람직한 결과들을 얻기 위해 반드시 도시된 특정 순서 또는 순차적 순서를 필요로 하지는 않는다. 특정 구현 예들에서, 멀티 태스킹 및 병렬 처리가 바람직할 수 있다. 다른 변형 예들도 이하의 청구항들의 범위 내에 있다.

Claims (20)

  1. 미디어 객체 데이터를 저장 및 관리하기 위한 방법으로서,
    저장소 제어 디바이스에서, 미디어 객체 데이터를 수신하는 단계로서, 상기 저장소 제어 디바이스는 호스트 디바이스로부터 원격으로 저장소 에지에 위치하며 저장소에 결합되는 것인, 상기 미디어 객체 데이터를 수신하는 단계;
    상기 저장소 제어 디바이스에서, 상기 저장소 제어 디바이스의 제어 회로부를 사용하여, 상기 미디어 객체 데이터의 유형을 식별하는 단계;
    상기 저장소 제어 디바이스에서, 식별된 상기 유형에 기초하여, 복수의 컴퓨터 모델들 중에서 상기 저장소 제어 디바이스의 컴퓨터 엔진에 의해 사용할 컴퓨터 모델을 선택하는 단계;
    상기 컴퓨터 엔진에 의해, 선택된 상기 컴퓨터 모델을 사용하여, 상기 미디어 객체 데이터를 기술하는 메타 데이터를 생성하는 단계;
    상기 미디어 객체 데이터와 별도로 상기 저장소 디바이스에서 선택적으로 검색 가능하도록 상기 메타 데이터의 저장을 위해 생성된 상기 메타 데이터를 상기 저장소 디바이스에 제공하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    선택된 상기 컴퓨터 모델과 연관된 입력 데이터 인터페이스 파라미터들을 검색하는 단계로서, 상기 입력 데이터 인터페이스 파라미터들은 선택된 상기 컴퓨터 모델이 구성된 데이터 포맷을 식별하는 것인, 상기 입력 데이터 인터페이스 파라미터들을 검색하는 단계;
    상기 입력 데이터 인터페이스 파라미터들을 사용하여 상기 저장소 에지에서 상기 미디어 객체 데이터에 액세스하는 단계; 및
    상기 미디어 객체 데이터를 식별된 상기 데이터 포맷으로 변환하는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서,
    상기 저장소 제어 디바이스에 의해, 선택된 상기 컴퓨터 모델과 연관된 하드웨어 인터페이스 파라미터들을 검색하는 단계;
    상기 하드웨어 인터페이스 파라미터들을 하드웨어 인터페이스에 적용하는 단계;
    상기 저장소 에지에서, 상기 하드웨어 인터페이스를 사용하여 제1 물리적 연결로부터 상기 미디어 객체 데이터에 액세스하는 단계; 및
    상기 하드웨어 인터페이스를 사용하여 제2 물리적 연결을 통해 상기 미디어 객체 데이터 및 메타 데이터를 상기 저장소 디바이스에 저장하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서, 상기 미디어 객체 데이터는 암호화되며, 상기 방법은:
    상기 저장소 제어 디바이스에 의해, 선택된 상기 컴퓨터 모델과 연관된 복호화 파라미터들을 검색하는 단계; 및
    상기 저장소 에지에서, 상기 복호화 파라미터들을 사용하여 상기 미디어 객체 데이터를 복호화하는 단계를 더 포함하는, 방법.
  5. 제1항에 있어서, 상기 미디어 객체 데이터는 상기 저장소 디바이스에서 검색되며, 상기 방법은:
    상기 메타 데이터를 생성하는 데 사용되는 상기 컴퓨터 모델을 식별하는 단계로서, 상기 컴퓨터 모델은 제1 컴퓨터 모델이고 상기 메타 데이터는 제1 메타 데이터인, 상기 컴퓨터 모델을 식별하는 단계;
    상기 제1 메타 데이터와 상이한 제2 메타 데이터를 생성하기 위해 상기 제1 컴퓨터 모델과 상이한 제2 컴퓨터 모델을 선택하는 단계; 및
    상기 제1 메타 데이터로부터 그리고 상기 미디어 객체 데이터로부터 선택적으로 검색 가능하도록 상기 제2 메타 데이터를 저장하는 단계를 더 포함하는, 방법.
  6. 제5항에 있어서,
    상기 제1 메타 데이터와 상기 제2 메타 데이터를 조합하여 조합된 메타 데이터를 생성하는 단계; 및
    상기 미디어 객체 데이터와 별도로 상기 저장소 디바이스에서 선택적으로 검색 가능하도록 조합된 상기 메타 데이터의 저장을 위해 조합된 상기 메타 데이터를 상기 저장소 디바이스에 제공하는 단계를 더 포함하는, 방법.
  7. 제1항에 있어서,
    상기 저장소 에지에서, 상기 호스트 디바이스로부터, 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 객체 데이터에 대한 요청을 수신하는 단계를 더 포함하는, 방법.
  8. 제7항에 있어서, 상기 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 객체 데이터에 대한 상기 요청에 응답하여:
    상기 저장소 디바이스에서, 상기 미디어 객체 데이터와 별도로 상기 미디어 객체 데이터를 기술하는 상기 메타 데이터만을 검색하는 단계;
    검색된 상기 메타 데이터에 기초하여, 상기 하나 이상의 기준을 충족하는 상기 미디어 객체 데이터의 하나 이상의 부분을 식별하는 단계;
    상기 저장소 에지에서, 상기 미디어 객체 데이터의 다른 부분들과 별도로 상기 저장소 디바이스에서 상기 미디어 객체 데이터의 식별된 상기 하나 이상의 부분만을 검색하는 단계; 및
    컴퓨터 네트워크를 통해, 상기 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 객체 데이터의 검색된 부분들을 상기 호스트 디바이스로 전송하는 단계를 더 포함하는, 방법.
  9. 제1항에 있어서,
    상기 미디어 객체 데이터의 복사본을 생성하는 단계; 및
    동시에, 상기 저장소 제어 디바이스에 의해, 상기 저장을 위해 상기 저장소 디바이스에 상기 미디어 객체 데이터를 제공하고, 메타 데이터를 생성하기 위한 처리를 위해 상기 컴퓨터 엔진에 상기 미디어 객체 데이터의 상기 복사본을 제공하는 단계를 더 포함하는, 방법.
  10. 제1항에 있어서,
    상기 미디어 객체 데이터 및 상기 메타 데이터를 서로 별도로 선택적으로 검색 가능하도록 논리적으로 분리 가능한 방식으로 저장하는 단계를 더 포함하는, 방법.
  11. 호스트 디바이스로부터 원격으로 저장소 에지에 위치하고 하나 이상의 저장소 디바이스에 결합되는 데이터 저장소 제어기로서,
    상기 저장소 디바이스에 로컬인 제어 회로부로서:
    상기 저장소 디바이스에 저장할 미디어 객체 데이터를 수신하도록 구성되며;
    상기 미디어 객체 데이터의 유형을 식별하도록 구성된, 상기 제어 회로부; 및
    상기 제어 회로부와 연관된 컴퓨터 엔진으로서:
    적어도 식별된 상기 유형에 기초하여, 복수의 컴퓨터 모델들 중에서 상기 미디어 객체 데이터를 기술하는 메타 데이터를 생성하기 위해 상기 컴퓨터 엔진에 의해 사용할 컴퓨터 모델을 선택하도록 구성되고;
    선택된 상기 컴퓨터 모델을 사용하여, 상기 미디어 객체 데이터를 기술하는 메타 데이터를 생성하도록 구성되며;
    상기 미디어 객체 데이터와 별도로 상기 저장소 디바이스에서 선택적으로 검색 가능하도록 상기 메타 데이터의 저장을 위해 생성된 상기 메타 데이터를 상기 저장소 디바이스에 제공하도록 구성된, 상기 컴퓨터 엔진을 포함하는, 데이터 저장소 제어기.
  12. 제11항에 있어서, 상기 제어 회로부는 또한:
    선택된 상기 컴퓨터 모델과 연관된 입력 데이터 인터페이스 파라미터들을 검색하도록 구성되되, 상기 입력 데이터 인터페이스 파라미터들은 선택된 상기 컴퓨터 모델이 구성된 포맷을 식별하는 것이고;
    상기 입력 데이터 인터페이스 파라미터들을 사용하여 상기 저장소 에지에서 상기 미디어 객체 데이터에 액세스하도록 구성되며;
    상기 미디어 객체 데이터를 식별된 상기 데이터 포맷으로 변환하도록 구성되는 것인, 데이터 저장소 제어기.
  13. 제11항에 있어서, 상기 제어 회로부는 또한:
    선택된 상기 컴퓨터 모델과 연관된 하드웨어 인터페이스 파라미터들을 검색하도록 구성되고;
    상기 하드웨어 인터페이스 파라미터들을 하드웨어 인터페이스에 적용하도록 구성되고;
    상기 하드웨어 인터페이스를 사용하여 제1 물리적 연결을 통해 상기 저장소 에지에서 상기 미디어 객체 데이터에 액세스하도록 구성되며;
    상기 하드웨어 인터페이스를 사용하여 제2 물리적 연결을 통해 상기 미디어 객체 데이터 및 메타 데이터를 상기 저장소 디바이스에 저장하도록 구성되는 것인, 데이터 저장소 제어기.
  14. 제11항에 있어서, 상기 제어 회로부는 또한:
    선택된 상기 컴퓨터 모델과 연관된 복호화 파라미터들을 검색하도록 구성되며;
    상기 저장소 에지에서, 상기 복호화 파라미터들을 사용하여 상기 미디어 객체 데이터를 복호화하도록 구성되는 것인, 데이터 저장소 제어기.
  15. 제11항에 있어서, 상기 미디어 객체 데이터는 상기 저장소 디바이스에서 검색되며, 상기 제어 회로부는 또한:
    상기 메타 데이터를 생성하는 데 사용되는 상기 컴퓨터 모델을 식별하도록 구성되되, 상기 컴퓨터 모델은 제1 컴퓨터 모델이고 상기 메타 데이터는 제1 메타 데이터인 것이고;
    상기 제1 메타 데이터와 상이한 제2 메타 데이터를 생성하기 위해 상기 제1 컴퓨터 모델과 상이한 제2 컴퓨터 모델을 선택하도록 구성되며;
    상기 제1 메타 데이터로부터 그리고 상기 미디어 객체 데이터로부터 선택적으로 검색 가능하도록 상기 제2 메타 데이터를 저장하도록 구성되는, 데이터 저장소 제어기.
  16. 제15항에 있어서, 상기 제어 회로부는 또한:
    상기 제1 메타 데이터와 상기 제2 메타 데이터를 조합하여 조합된 메타 데이터를 생성하도록 구성되며;
    상기 미디어 객체 데이터와 별도로 상기 저장소 디바이스에서 선택적으로 검색 가능하도록 조합된 상기 메타 데이터의 저장을 위해 조합된 상기 메타 데이터를 상기 저장소 디바이스에 제공하도록 구성되는 것인, 데이터 저장소 제어기.
  17. 제11항에 있어서, 상기 제어 회로부는 또한:
    상기 호스트 디바이스로부터, 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 객체 데이터에 대한 요청을 수신하도록 구성되는 것인, 데이터 저장소 제어기.
  18. 제17항에 있어서, 상기 제어 회로는 또한, 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 객체 데이터에 대한 상기 요청에 응답하여:
    상기 저장소 디바이스에서, 상기 미디어 객체 데이터와 별도로 상기 미디어 객체 데이터를 기술하는 상기 메타 데이터만을 검색하도록 구성되고;
    검색된 상기 메타 데이터에 기초하여, 상기 하나 이상의 기준을 충족하는 상기 미디어 객체의 하나 이상의 부분을 식별하도록 구성되고;
    상기 미디어 객체 데이터의 다른 부분들과 별도로 상기 저장소 디바이스에서 상기 미디어 객체 데이터의 식별된 상기 하나 이상의 부분만을 검색하도록 구성되며;
    컴퓨터 네트워크를 통해, 상기 하나 이상의 기준을 충족하는 객체들을 포함하는 미디어 객체 데이터의 검색된 부분들을 상기 호스트 디바이스로 전송하도록 구성되는 것인, 데이터 저장소 제어기.
  19. 제11항에 있어서, 상기 제어 회로부는 또한:
    상기 미디어 객체 데이터의 복사본을 생성하도록 구성되며;
    동시에, 상기 저장을 위해 상기 저장소 디바이스에 상기 미디어 객체 데이터를 제공하고, 메타 데이터를 생성하기 위한 처리를 위해 상기 컴퓨터 엔진에 상기 미디어 객체 데이터의 상기 복사본을 제공하도록 구성되는 것인, 데이터 저장소 제어기.
  20. 제11항에 있어서, 상기 제어 회로부는 또한 상기 미디어 객체 데이터 및 상기 메타 데이터를 서로 별도로 선택적으로 검색 가능하도록 논리적으로 분리 가능한 방식으로 저장하도록 구성되는 것인, 데이터 저장소 제어기.
KR1020217004932A 2018-07-31 2019-07-31 저장소 에지에서 비구조적 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 장치 및 방법 KR20210037684A (ko)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US201862712823P 2018-07-31 2018-07-31
US62/712,823 2018-07-31
US201862714563P 2018-08-03 2018-08-03
US62/714,563 2018-08-03
US201862716269P 2018-08-08 2018-08-08
US62/716,269 2018-08-08
US201862726847P 2018-09-04 2018-09-04
US201862726852P 2018-09-04 2018-09-04
US62/726,847 2018-09-04
US62/726,852 2018-09-04
US16/262,971 US11294965B2 (en) 2018-07-31 2019-01-31 Metadata generation for multiple object types
US16/264,473 US11080337B2 (en) 2018-07-31 2019-01-31 Storage edge controller with a metadata computational engine
US16/263,387 US11068544B2 (en) 2018-07-31 2019-01-31 Systems and methods for generating metadata describing unstructured data objects at the storage edge
US16/262,971 2019-01-31
US16/264,473 2019-01-31
US16/263,387 2019-01-31
US16/264,248 US11748418B2 (en) 2018-07-31 2019-01-31 Storage aggregator controller with metadata computation control
US16/262,975 2019-01-31
US16/264,248 2019-01-31
US16/262,975 US11036807B2 (en) 2018-07-31 2019-01-31 Metadata generation at the storage edge
PCT/US2019/044534 WO2020028583A1 (en) 2018-07-31 2019-07-31 Systems and methods for generating metadata describing unstructured data objects at the storage edge

Publications (1)

Publication Number Publication Date
KR20210037684A true KR20210037684A (ko) 2021-04-06

Family

ID=65520347

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217004754A KR20210039394A (ko) 2018-07-31 2019-01-31 스토리지 에지에서의 메타데이터 생성
KR1020217004932A KR20210037684A (ko) 2018-07-31 2019-07-31 저장소 에지에서 비구조적 데이터 객체를 기술하는 메타 데이터를 생성하기 위한 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217004754A KR20210039394A (ko) 2018-07-31 2019-01-31 스토리지 에지에서의 메타데이터 생성

Country Status (6)

Country Link
US (7) US11068544B2 (ko)
EP (8) EP3830713A1 (ko)
JP (8) JP7326667B2 (ko)
KR (2) KR20210039394A (ko)
CN (5) CN112534423A (ko)
WO (4) WO2020026036A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10958948B2 (en) * 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US11068544B2 (en) * 2018-07-31 2021-07-20 Marvell Asia Pte, Ltd. Systems and methods for generating metadata describing unstructured data objects at the storage edge
US11863844B2 (en) * 2019-03-29 2024-01-02 Intel Corporation On-demand generation and personalization of video content
CN111782577B (zh) * 2019-04-04 2023-03-24 安徽寒武纪信息科技有限公司 数据处理装置及方法以及相关产品
US11055249B2 (en) 2019-06-25 2021-07-06 Micron Technology, Inc. Access optimization in aggregated and virtualized solid state drives
US10942846B2 (en) 2019-06-25 2021-03-09 Micron Technology, Inc. Aggregated and virtualized solid state drives accessed via multiple logical address spaces
US11513923B2 (en) 2019-06-25 2022-11-29 Micron Technology, Inc. Dynamic fail-safe redundancy in aggregated and virtualized solid state drives
US10942881B2 (en) 2019-06-25 2021-03-09 Micron Technology, Inc. Parallel operations in aggregated and virtualized solid state drives
US11768613B2 (en) 2019-06-25 2023-09-26 Micron Technology, Inc. Aggregation and virtualization of solid state drives
US11762798B2 (en) 2019-06-25 2023-09-19 Micron Technology, Inc. Aggregated and virtualized solid state drives with multiple host interfaces
US11573708B2 (en) * 2019-06-25 2023-02-07 Micron Technology, Inc. Fail-safe redundancy in aggregated and virtualized solid state drives
KR20210012439A (ko) * 2019-07-25 2021-02-03 삼성전자주식회사 마스터 지능 소자 및 이의 제어 방법
US11388487B2 (en) * 2019-10-14 2022-07-12 Palantir Technologies Inc. Systems and methods for generating, analyzing, and storing data snippets
US11861674B1 (en) 2019-10-18 2024-01-02 Meta Platforms Technologies, Llc Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems
JP2023504983A (ja) 2019-12-13 2023-02-08 マーベル アジア ピーティーイー、リミテッド 効率的なメタデータの生成およびエクスポートを伴う自動車データ処理システム
CN111240743B (zh) * 2020-01-03 2022-06-03 格兰菲智能科技有限公司 人工智能集成电路
US11216348B2 (en) * 2020-03-02 2022-01-04 Silicon Motion, Inc. All flash array server and control method thereof
US11321340B1 (en) * 2020-03-31 2022-05-03 Wells Fargo Bank, N.A. Metadata extraction from big data sources
US11321341B2 (en) * 2020-05-15 2022-05-03 National Instruments Corporation Dynamic metadata extraction workflow for measurement data storage
WO2021232024A1 (en) * 2020-05-15 2021-11-18 Rey Bruce Artificial intelligence-based hybrid raid controller device
CN111782886A (zh) * 2020-06-28 2020-10-16 杭州海康威视数字技术股份有限公司 元数据管理的方法和装置
US11683453B2 (en) * 2020-08-12 2023-06-20 Nvidia Corporation Overlaying metadata on video streams on demand for intelligent video analysis
KR20220034542A (ko) 2020-09-11 2022-03-18 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법
KR20220056986A (ko) 2020-10-29 2022-05-09 삼성전자주식회사 메모리 확장기, 이종 컴퓨팅 장치, 및 이종 컴퓨팅 장치의 동작 방법
US20220365718A1 (en) * 2021-05-13 2022-11-17 Micron Technology, Inc. Workload profile data and performance-based memory management
US11483630B1 (en) 2021-08-17 2022-10-25 Rovi Guides, Inc. Systems and methods to generate metadata for content
US11829619B2 (en) 2021-11-09 2023-11-28 Western Digital Technologies, Inc. Resource usage arbitration in non-volatile memory (NVM) data storage devices with artificial intelligence accelerators

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1012909A (en) 1909-10-28 1911-12-26 Safety Power Transmission Company Shaft-protector.
US6012068A (en) * 1997-06-30 2000-01-04 International Business Machines Corporation Media manager for access to multiple media types
US6215749B1 (en) 1998-10-26 2001-04-10 Samsung Electronics Co., Ltd. Signal distortion minimization apparatus in high speed optical disc reproducing device
US7127120B2 (en) 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
US7509321B2 (en) 2003-01-21 2009-03-24 Microsoft Corporation Selection bins for browsing, annotating, sorting, clustering, and filtering media objects
US8200775B2 (en) * 2005-02-01 2012-06-12 Newsilike Media Group, Inc Enhanced syndication
US7707320B2 (en) * 2003-09-05 2010-04-27 Qualcomm Incorporated Communication buffer manager and method therefor
US7707590B2 (en) 2004-09-01 2010-04-27 Microsoft Corporation Computer system and method for providing robust file system information for non-native file system devices
US7788592B2 (en) 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data
US7478102B2 (en) * 2005-03-28 2009-01-13 Microsoft Corporation Mapping of a file system model to a database object
US10210159B2 (en) 2005-04-21 2019-02-19 Oath Inc. Media object metadata association and ranking
US20060274949A1 (en) 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
US20070038647A1 (en) 2005-08-04 2007-02-15 Microsoft Corporation Management of media sources in memory constrained devices
US20070078896A1 (en) 2005-09-30 2007-04-05 Yahoo! Inc. Identifying portions within media files with location tags
US7801910B2 (en) 2005-11-09 2010-09-21 Ramp Holdings, Inc. Method and apparatus for timed tagging of media content
US8930496B2 (en) * 2005-12-19 2015-01-06 Commvault Systems, Inc. Systems and methods of unified reconstruction in storage systems
CN101379464B (zh) 2005-12-21 2015-05-06 数字标记公司 规则驱动型个域网id元数据路由系统和网络
US7801847B2 (en) * 2006-03-27 2010-09-21 Microsoft Corporation Media file conversion using plug-ins
CN101449538A (zh) * 2006-04-04 2009-06-03 约翰逊控制技术公司 媒体文件的文本-语法改进
US7730047B2 (en) * 2006-04-07 2010-06-01 Microsoft Corporation Analysis of media content via extensible object
US20070239780A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Simultaneous capture and analysis of media content
US8589973B2 (en) * 2006-09-14 2013-11-19 At&T Intellectual Property I, L.P. Peer to peer media distribution system and method
WO2008072093A2 (en) * 2006-12-13 2008-06-19 Quickplay Media Inc. Mobile media platform
JP2008192102A (ja) 2007-02-08 2008-08-21 Sony Computer Entertainment Inc メタデータ生成装置およびメタデータ生成方法
JP4891802B2 (ja) 2007-02-20 2012-03-07 日本電信電話株式会社 コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
US8166076B2 (en) * 2007-03-08 2012-04-24 Microsoft Corporation Digital media metadata management
US7929766B2 (en) * 2007-06-08 2011-04-19 Apple Inc. Identifiers for digital media
JP5334335B2 (ja) * 2007-07-02 2013-11-06 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン メディアデータコンテナおよびメタデータコンテナを有するファイルを記憶および読み出すための装置および方法
US20090077561A1 (en) * 2007-07-05 2009-03-19 International Business Machines Corporation Pipeline Processing Method and Apparatus in a Multi-processor Environment
US9824006B2 (en) 2007-08-13 2017-11-21 Digital Kiva, Inc. Apparatus and system for object-based storage solid-state device
KR101432994B1 (ko) * 2007-08-13 2014-08-22 삼성전자주식회사 미디어 객체 기반 메타데이터의 생성 방법, 재생 방법 및그 장치
KR101268987B1 (ko) * 2007-09-11 2013-05-29 삼성전자주식회사 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
US20090132462A1 (en) * 2007-11-19 2009-05-21 Sony Corporation Distributed metadata extraction
US9465892B2 (en) * 2007-12-03 2016-10-11 Yahoo! Inc. Associating metadata with media objects using time
US7996431B2 (en) 2008-02-25 2011-08-09 International Business Machines Corporation Systems, methods and computer program products for generating metadata and visualizing media content
US9966112B1 (en) * 2013-04-18 2018-05-08 Gracenote, Inc. Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
US8452855B2 (en) 2008-06-27 2013-05-28 Yahoo! Inc. System and method for presentation of media related to a context
JP2010039966A (ja) 2008-08-08 2010-02-18 Hitachi Ltd データ管理方式
US8867779B2 (en) 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
CN101754056B (zh) * 2008-12-17 2013-01-02 中国科学院自动化研究所 支持海量数据自动处理的数字内容编目管理系统及方法
US8831276B2 (en) 2009-01-13 2014-09-09 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons
US20100179874A1 (en) * 2009-01-13 2010-07-15 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons and brands
CN101605210B (zh) * 2009-05-31 2014-01-08 上海东方传媒集团有限公司 财经数据制播综合系统
US8938492B1 (en) 2009-09-11 2015-01-20 Symantec Corporation Enabling efficient review of media objects associated with a client device
JP5595701B2 (ja) 2009-09-16 2014-09-24 株式会社日立製作所 ファイル管理方法及びストレージシステム
US20120278560A1 (en) 2009-10-04 2012-11-01 Infinidat Ltd. Pre-fetching in a storage system that maintains a mapping tree
US8589871B2 (en) * 2009-12-18 2013-11-19 Avid Technology, Inc. Metadata plug-in application programming interface
US8843815B2 (en) 2010-01-18 2014-09-23 Hewlett-Packard Development Company, L. P. System and method for automatically extracting metadata from unstructured electronic documents
US8611678B2 (en) 2010-03-25 2013-12-17 Apple Inc. Grouping digital media items based on shared features
US20110289083A1 (en) 2010-05-18 2011-11-24 Rovi Technologies Corporation Interface for clustering data objects using common attributes
US8763068B2 (en) * 2010-12-09 2014-06-24 Microsoft Corporation Generation and provision of media metadata
US20130097172A1 (en) * 2011-04-04 2013-04-18 Zachary McIntosh Method and apparatus for indexing and retrieving multimedia with objective metadata
JP2012221322A (ja) 2011-04-11 2012-11-12 Toshiba Corp オーサリング支援装置、オーサリング支援方法およびプログラム
US9380356B2 (en) 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
CN102439574B (zh) 2011-04-18 2015-01-28 华为技术有限公司 系统缓存中数据替换方法及多核通信处理器
US8917971B2 (en) 2011-12-30 2014-12-23 United Video Properties, Inc. Methods and systems for providing relevant supplemental content to a user device
US8990263B2 (en) 2012-03-15 2015-03-24 International Business Machines Corporation Policy-based management of storage functions in data replication environments
US20130289991A1 (en) 2012-04-30 2013-10-31 International Business Machines Corporation Application of Voice Tags in a Social Media Context
US20140074855A1 (en) 2012-09-13 2014-03-13 Verance Corporation Multimedia content tags
US9678961B2 (en) * 2012-09-13 2017-06-13 Canon Europa N.V. Method and device for associating metadata to media objects
US8775372B2 (en) 2012-11-01 2014-07-08 Red Hat Israel, Ltd. Retrieving historical object-related configuration data
EP2962218B1 (en) 2013-02-27 2021-04-07 Hitachi Vantara LLC Decoupled content and metadata in a distributed object storage ecosystem
WO2014133495A1 (en) 2013-02-27 2014-09-04 Hitachi Data Systems Corporation Content class for object storage indexing system
US9405771B2 (en) 2013-03-14 2016-08-02 Microsoft Technology Licensing, Llc Associating metadata with images in a personal image collection
WO2014170953A1 (ja) 2013-04-16 2014-10-23 株式会社日立製作所 計算機、計算機システム及びキャッシュ制御方法
JP6224356B2 (ja) 2013-06-11 2017-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US9942295B2 (en) 2013-06-28 2018-04-10 Intel Corporation Live crowdsourced media streaming
US9639969B1 (en) 2013-07-25 2017-05-02 Overlay Studio, Inc. Collaborative design
KR20150029402A (ko) 2013-09-10 2015-03-18 에스케이하이닉스 주식회사 데이터 저장 시스템 및 그것의 동작 방법
WO2015054361A1 (en) 2013-10-08 2015-04-16 The Echo Nest Corporation Systems, methods, and computer program products for providing contextually-aware video recommendation
KR102432754B1 (ko) 2013-10-21 2022-08-16 에프엘씨 글로벌 리미티드 최종 레벨 캐시 시스템 및 이에 대응하는 방법
WO2015061964A1 (en) 2013-10-29 2015-05-07 Hua Zhong University Of Science Technology Simulataneous metadata extraction of moving objects
US9170746B2 (en) * 2014-01-07 2015-10-27 Netapp, Inc. Clustered raid assimilation management
WO2015168609A1 (en) 2014-05-02 2015-11-05 Marvell World Trade Ltd. Caching systems and methods for hard disk drives and hybrid drives
US20180107660A1 (en) * 2014-06-27 2018-04-19 Amazon Technologies, Inc. System, method and apparatus for organizing photographs stored on a mobile computing device
US9729542B2 (en) 2014-09-24 2017-08-08 Oracle International Corporation Compartmentalizing application distribution for disparate electronic devices
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
CN104575595B (zh) * 2014-12-12 2017-07-07 杭州华澜微电子股份有限公司 非易失性随机存取的存储装置
US9916237B2 (en) * 2014-12-12 2018-03-13 Sandisk Technologies Llc Model based configuration parameter management
JP5953384B1 (ja) 2015-02-04 2016-07-20 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
US10198498B2 (en) * 2015-05-13 2019-02-05 Rovi Guides, Inc. Methods and systems for updating database tags for media content
US10140149B1 (en) * 2015-05-19 2018-11-27 Pure Storage, Inc. Transactional commits with hardware assists in remote memory
US9990159B2 (en) 2015-06-26 2018-06-05 Xitore, Inc. Apparatus, system, and method of look-ahead address scheduling and autonomous broadcasting operation to non-volatile storage memory
US20170083519A1 (en) * 2015-09-22 2017-03-23 Riffsy, Inc. Platform and dynamic interface for procuring, organizing, and retrieving expressive media content
JP6935396B2 (ja) 2015-09-30 2021-09-15 ティヴォ ソリューションズ インコーポレイテッド メディアコンテンツタグデータの同期化
US10528613B2 (en) 2015-11-23 2020-01-07 Advanced Micro Devices, Inc. Method and apparatus for performing a parallel search operation
US20170169358A1 (en) * 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
US9881236B2 (en) 2015-12-28 2018-01-30 Google Llc Organizing images associated with a user
US10061663B2 (en) 2015-12-30 2018-08-28 Commvault Systems, Inc. Rebuilding deduplication data in a distributed deduplication data storage system
US10902043B2 (en) 2016-01-03 2021-01-26 Gracenote, Inc. Responding to remote media classification queries using classifier models and context parameters
US10089401B2 (en) 2016-01-12 2018-10-02 Fox Broadcasting Company Method and pluggable system for trend-based allocation of media assets between global and local storage
KR102466412B1 (ko) * 2016-01-14 2022-11-15 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법
KR101936950B1 (ko) * 2016-02-15 2019-01-11 주식회사 맴레이 컴퓨팅 디바이스, 코프로세서와 비휘발성 메모리 사이의 데이터 이동 방법 및 이를 포함하는 프로그램
US10180788B2 (en) 2016-04-06 2019-01-15 Sandisk Technologies Inc. Data storage device having internal tagging capabilities
US10346700B1 (en) * 2016-05-03 2019-07-09 Cynny Spa Object recognition in an adaptive resource management system
US10404798B2 (en) 2016-05-16 2019-09-03 Carbonite, Inc. Systems and methods for third-party policy-based file distribution in an aggregation of cloud storage services
US10509407B2 (en) 2016-07-01 2019-12-17 Samsung Electronics Co., Ltd. Apparatus and method for a vehicle platform
KR20180011376A (ko) 2016-07-21 2018-02-01 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작 방법
US10403044B2 (en) * 2016-07-26 2019-09-03 tagSpace Pty Ltd Telelocation: location sharing for users in augmented and virtual reality environments
EP3496969A4 (en) 2016-08-10 2020-09-16 Xevo Inc. PROCEDURE AND SYSTEM FOR PROVIDING INFORMATION ON COLLECTED AND STORED METADATA WITH A DERIVED ATTENTION MODEL
KR20180027710A (ko) * 2016-09-06 2018-03-15 삼성전자주식회사 불휘발성 메모리 장치를 포함하는 스토리지 장치 및 불휘발성 메모리 장치의 액세스 방법
US10701377B2 (en) * 2016-09-14 2020-06-30 Amazon Technologies, Inc. Media storage
US10853233B2 (en) * 2016-10-18 2020-12-01 Toshiba Memory Corporation Reconstruction of address mapping in a host of a storage system
US10535355B2 (en) * 2016-11-18 2020-01-14 Microsoft Technology Licensing, Llc Frame coding for spatial audio data
US10162563B2 (en) 2016-12-02 2018-12-25 International Business Machines Corporation Asynchronous local and remote generation of consistent point-in-time snap copies
CA3077830C (en) 2016-12-05 2023-03-07 Avigilon Coporation System and method for appearance search
US20180173619A1 (en) * 2016-12-21 2018-06-21 Sandisk Technologies Llc System and Method for Distributed Logical to Physical Address Mapping
US11010431B2 (en) * 2016-12-30 2021-05-18 Samsung Electronics Co., Ltd. Method and apparatus for supporting machine learning algorithms and data pattern matching in ethernet SSD
US10970605B2 (en) 2017-01-03 2021-04-06 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
US11256431B1 (en) 2017-01-13 2022-02-22 Lightbits Labs Ltd. Storage system having a field programmable gate array
US11221939B2 (en) 2017-03-31 2022-01-11 Commvault Systems, Inc. Managing data from internet of things devices in a vehicle
US10223272B2 (en) 2017-04-25 2019-03-05 Seagate Technology Llc Latency sensitive metadata object persistence operation for storage device
US10860508B2 (en) * 2017-05-25 2020-12-08 Western Digital Technologies, Inc. Offloaded disaggregated storage architecture
KR102444606B1 (ko) 2017-08-28 2022-09-20 에스케이하이닉스 주식회사 데이터 저장 장치 및 그것의 동작 방법
CN107622281B (zh) * 2017-09-20 2021-02-05 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及移动终端
US10817565B2 (en) 2017-11-06 2020-10-27 Disney Enterprises, Inc. Automation of media content tag selection
US10884996B1 (en) 2018-02-27 2021-01-05 NTT DATA Services, LLC Systems and methods for optimizing automatic schema-based metadata generation
KR20190106005A (ko) 2018-03-07 2019-09-18 에스케이하이닉스 주식회사 메모리 시스템, 그것의 동작 방법 및 전자 장치
JP7119630B2 (ja) 2018-06-20 2022-08-17 日本電信電話株式会社 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム
WO2020011068A1 (zh) 2018-07-10 2020-01-16 第四范式（北京）技术有限公司 用于执行机器学习过程的方法和系统
US20200042888A1 (en) * 2018-07-31 2020-02-06 Gyrfalcon Technology Inc. Self-sufficient artificial intelligence edge devices
US11068544B2 (en) 2018-07-31 2021-07-20 Marvell Asia Pte, Ltd. Systems and methods for generating metadata describing unstructured data objects at the storage edge
EP3877867A4 (en) 2018-11-08 2022-07-27 Evangelos Simoudis VEHICLE DATA MANAGEMENT SYSTEMS AND METHODS
US20210279603A1 (en) 2018-12-13 2021-09-09 SparkCognition, Inc. Security systems and methods
FR3094511B1 (fr) 2019-03-25 2021-04-09 Alstom Transp Tech Procédé d’acquisition de données capturées par un module de capture embarqué dans un engin mobile suivant une trajectoire prédéterminée, programme d’ordinateur et dispositif correspondants
JP7460044B2 (ja) 2019-03-29 2024-04-02 インテル・コーポレーション 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体
US20200402328A1 (en) 2019-06-20 2020-12-24 Volvo Car Corporation Closed loop parallel batch data logging in a vehicle
CN111125442B (zh) 2019-12-11 2022-11-15 苏州智加科技有限公司 数据标注方法及装置

Also Published As

Publication number Publication date
CN112771515A (zh) 2021-05-07
EP3830715A1 (en) 2021-06-09
US11748418B2 (en) 2023-09-05
JP2024038276A (ja) 2024-03-19
EP3830716A1 (en) 2021-06-09
JP7326667B2 (ja) 2023-08-16
US20210342395A1 (en) 2021-11-04
US11080337B2 (en) 2021-08-03
US20200042548A1 (en) 2020-02-06
JP2021533447A (ja) 2021-12-02
EP4266194A1 (en) 2023-10-25
US11068544B2 (en) 2021-07-20
JP2021533446A (ja) 2021-12-02
US20200042240A1 (en) 2020-02-06
US11734363B2 (en) 2023-08-22
US11294965B2 (en) 2022-04-05
CN112534423A (zh) 2021-03-19
JP2021532472A (ja) 2021-11-25
EP3830714A1 (en) 2021-06-09
US20200045110A1 (en) 2020-02-06
US20200042557A1 (en) 2020-02-06
JP7351057B2 (ja) 2023-09-27
US11727064B2 (en) 2023-08-15
CN112513834A (zh) 2021-03-16
US11036807B2 (en) 2021-06-15
WO2020026112A1 (en) 2020-02-06
CN112639768A (zh) 2021-04-09
EP3830715B1 (en) 2023-02-22
KR20210039394A (ko) 2021-04-09
EP3830714B1 (en) 2023-06-21
EP4206951A1 (en) 2023-07-05
JP2023179680A (ja) 2023-12-19
WO2020028597A1 (en) 2020-02-06
US20210256062A1 (en) 2021-08-19
CN112673368A (zh) 2021-04-16
JP2022511233A (ja) 2022-01-31
US20200042549A1 (en) 2020-02-06
WO2020028594A9 (en) 2020-04-23
WO2020028594A1 (en) 2020-02-06
JP2023171874A (ja) 2023-12-05
JP2021532473A (ja) 2021-11-25
EP4220437A1 (en) 2023-08-02
EP3830717B1 (en) 2023-04-12
EP3830713A1 (en) 2021-06-09
EP3830717A1 (en) 2021-06-09
EP3830716B1 (en) 2023-08-30
JP7419621B2 (ja) 2024-01-23
WO2020026036A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
US11068544B2 (en) Systems and methods for generating metadata describing unstructured data objects at the storage edge
US11210504B2 (en) Emotion detection enabled video redaction
JP5801395B2 (ja) シャッタクリックを介する自動的メディア共有
US9858340B1 (en) Systems and methods for queryable graph representations of videos
US20110022394A1 (en) Visual similarity
US10733454B2 (en) Transformation of video streams
US10796203B2 (en) Out-of-sample generating few-shot classification networks
US20130325865A1 (en) Method and Server for Media Classification
CN112732949A (zh) 一种业务数据的标注方法、装置、计算机设备和存储介质
US20150178387A1 (en) Method and system of audio retrieval and source separation
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
Alam et al. Intellibvr-intelligent large-scale video retrieval for objects and events utilizing distributed deep-learning and semantic approaches
Sunny et al. Map-Reduce based framework for instrument detection in large-scale surgical videos
Medida et al. An optimized E-lecture video retrieval based on machine learning classification
Kuhn et al. Large Scale Video Analytics: On-demand, iterative inquiry for moving image research
CN105045914B (zh) 信息归纳分析方法及装置
CN112270205A (zh) 一种案件侦查方法及装置
US20230056131A1 (en) Server and method for classifying entities of a query
WO2020028583A1 (en) Systems and methods for generating metadata describing unstructured data objects at the storage edge
US11526548B1 (en) Image-based query language system for performing database operations on images and videos
US11941051B1 (en) System for performing programmatic operations using an image-based query language
Bulysheva et al. Image database management architecture: logical structure and indexing methods
US8943074B2 (en) Generating and displaying an image tour in response to a user search query
US11835989B1 (en) FPGA search in a cloud compute node
US11789944B2 (en) User-specific computer interaction recall

Legal Events

Date Code Title Description
A201 Request for examination