KR102305023B1 - 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체 - Google Patents

키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체 Download PDF

Info

Publication number
KR102305023B1
KR102305023B1 KR1020207005376A KR20207005376A KR102305023B1 KR 102305023 B1 KR102305023 B1 KR 102305023B1 KR 1020207005376 A KR1020207005376 A KR 1020207005376A KR 20207005376 A KR20207005376 A KR 20207005376A KR 102305023 B1 KR102305023 B1 KR 102305023B1
Authority
KR
South Korea
Prior art keywords
key frame
frame
current
scheduling
network
Prior art date
Application number
KR1020207005376A
Other languages
English (en)
Other versions
KR20200102409A (ko
Inventor
시지안핑
리율러
린다화
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20200102409A publication Critical patent/KR20200102409A/ko
Application granted granted Critical
Publication of KR102305023B1 publication Critical patent/KR102305023B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G06K9/00765—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06K9/00751—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement

Abstract

본 출원 실시예는 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체를 공개하였고, 여기서, 상기 방법은, 뉴럴 네트워크의 제1 네트워크 계층을 통해, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하는 단계; 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득하는 단계; 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하는 단계; 및 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 뉴럴 네트워크의 제2 네트워크 계층을 통해 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득하는 단계 - 뉴럴 네트워크에서, 제1 네트워크 계층의 네트워크 깊이는 제2 네트워크 계층의 네트워크 깊이보다 얕음 - 를 포함한다. 본 출원 실시예는 비디오에서 서로 상이한 프레임 사이의 하위 계층 특징의 변화를 이용함으로써, 신속하고, 정확하게, 자기 적응적으로 키 프레임 스케줄링을 수행하여, 키 프레임의 스케줄링 효율을 향상시킬 수 있다.

Description

키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체
관련 출원의 상호 참조
본 출원은 2017년 12월 27일에 중국 특허청에 제출한 출원번호가 CN201711455838.X이고, 발명의 명칭이 "키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체"인 중국 특허 출원의 우선권을 요청하며, 그 전부 내용을 원용하여 본 출원에 결합하였다.
본 출원은 컴퓨터 비전 기술에 관한 것으로, 특히 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체에 관한 것이다.
비디오 시맨틱 분할은 컴퓨터 비전 및 비디오 시맨틱 이해 작업에서의 중요한 문제이다. 비디오 시맨틱 분할 모델은 자율 주행, 비디오 모니터링 및 비디오 타겟 분석과 같은 많은 분야에서 중요한 응용을 가진다. 비디오 시맨틱 분할 속도는 비디오 시맨틱 분할 작업에서 중요한 측면이다.
본 출원 실시예는 키 프레임 스케줄링의 기술방안을 제공한다.
본 출원의 실시예의 일 측면에 따라 제공되는 키 프레임 스케줄링 방법은,
뉴럴 네트워크의 제1 네트워크 계층을 통해, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하는 단계;
상기 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징에 따라, 상기 현재 프레임의 스케줄링 확률값을 획득하는 단계 - 상기 이전 키 프레임의 하위 계층 특징은 상기 제1 네트워크 계층이 상기 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고, 상기 스케줄링 확률값은 현재 프레임이 키 프레임으로 스케줄링될 확률임 - ;
상기 현재 프레임의 스케줄링 확률값에 따라, 상기 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하는 단계; 및
상기 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 상기 현재 프레임을 현재 키 프레임으로 결정하고, 상기 뉴럴 네트워크의 제2 네트워크 계층을 통해 상기 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 상기 현재 키 프레임의 상위 계층 특징을 획득하는 단계 - 상기 뉴럴 네트워크에서, 상기 제1 네트워크 계층의 네트워크 깊이는 상기 제2 네트워크 계층의 네트워크 깊이보다 얕음 - 를 포함한다.
선택적으로, 본 출원의 상기 임의의 방법 실시예에서, 상기 방법은,
초기 키 프레임을 결정하는 단계;
상기 제1 네트워크 계층을 통해 상기 초기 키 프레임에 대해 특징 추출을 수행하여, 상기 초기 키 프레임의 하위 계층 특징을 획득하고 버퍼링하는 단계; 및
상기 제2 네트워크 계층을 통해 상기 초기 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 상기 초기 키 프레임의 상위 계층 특징을 획득하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 임의의 방법 실시예에서, 상기 방법은,
상기 초기 키 프레임에 대해 시맨틱 분할을 수행하여, 상기 초기 키 프레임의 시맨틱 태그를 출력하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 임의의 방법 실시예에서, 상기 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정한 후, 상기 방법은,
상기 현재 키 프레임의 하위 계층 특징을 버퍼링하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 임의의 방법 실시예에서, 상기 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징에 따라, 상기 현재 프레임의 스케줄링 확률값을 획득하는 단계는,
상기 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징을 스플라이싱하여, 스플라이싱 특징을 얻는 단계; 및
키 프레임 스케줄링 네트워크를 통해, 상기 스플라이싱 특징에 기반하여 상기 현재 프레임의 스케줄링 확률값을 획득하는 단계를 포함한다.
선택적으로, 본 출원의 상기 임의의 방법 실시예에서, 상기 방법은,
상기 현재 키 프레임에 대해 시맨틱 분할을 수행하여, 상기 키 프레임의 시맨틱 태그를 출력하는 단계를 더 포함한다.
본 출원 실시예의 다른 측면에 따라 제공된 키 프레임 스케줄링 장치는,
현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하기 위한 제1 특징 추출 유닛 - 상기 제1 특징 추출 유닛은 뉴럴 네트워크의 제1 네트워크 계층을 포함함 - ;
상기 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징에 따라, 상기 현재 프레임의 스케줄링 확률값을 획득하기 위한 스케줄링 유닛 - 상기 이전 키 프레임의 하위 계층 특징은 상기 제1 네트워크 계층이 상기 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고, 상기 스케줄링 확률값은 현재 프레임이 키 프레임으로 스케줄링될 확률임 - ;
상기 현재 프레임의 스케줄링 확률값에 따라, 상기 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하기 위한 결정 유닛; 및
상기 결정 유닛의 결정 결과에 따라, 상기 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 상기 현재 프레임을 현재 키 프레임으로 결정하고, 상기 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 상기 현재 키 프레임의 상위 계층 특징을 획득하기 위한 제2 특징 추출 유닛 - 상기 제2 특징 추출 유닛은 상기 뉴럴 네트워크의 제2 네트워크 계층을 포함하고, 상기 뉴럴 네트워크에서, 상기 제1 네트워크 계층의 네트워크 깊이는 상기 제2 네트워크 계층의 네트워크 깊이보다 얕음 - 을 포함한다.
선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 이전 키 프레임은 미리 결정된 초기 키 프레임을 포함하고;
상기 장치는,
키 프레임의 하위 계층 특징 및 상위 계층 특징을 버퍼링하기 위한 버퍼링 유닛을 더 포함하고, 상기 키 프레임은 상기 초기 키 프레임을 포함한다.
선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 제1 특징 추출 유닛은 또한, 상기 결정 유닛의 결정 결과에 따라, 상기 버퍼링 유닛에서 상기 현재 키 프레임의 하위 계층 특징을 버퍼링하기 위한 것이다.
선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 스케줄링 유닛은,
상기 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징을 스플라이싱하여, 스플라이싱 특징을 얻기 위한 스플라이싱 서브 유닛; 및
상기 스플라이싱 특징에 기반하여 상기 현재 프레임의 스케줄링 확률값을 획득하기 위한 키 프레임 스케줄링 네트워크를 포함한다.
선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 장치는,
상기 키 프레임에 대해 시맨틱 분할을 수행하여, 상기 키 프레임의 시맨틱 태그를 출력하기 위한 시맨틱 분할 유닛을 더 포함하며, 상기 키 프레임은 초기 키 프레임, 상기 이전 키 프레임 또는 상기 현재 키 프레임을 포함한다.
본 출원 실시예의 또 다른 측면에 따라 제공된 전자 기기는, 본 출원의 임의의 실시예에 따른 키 프레임 스케줄링 장치를 포함한다.
본 출원 실시예의 또 다른 측면에 따라 제공된 전자 기기는,
프로세서 및 본 출원의 임의의 실시예에 따른 키 프레임 스케줄링 장치를 포함하고;
프로세서에 의해 상기 키 프레임 스케줄링 장치가 작동될 때, 본 출원의 임의의 실시예에 따른 키 프레임 스케줄링 장치의 유닛은 작동된다.
본 출원 실시예의 또 다른 측면에 따라 제공된 전자 기기는, 프로세서 및 메모리를 포함하며;
상기 메모리는 적어도 하나의 실행 가능 명령어를 저장하기 위한 것이며, 상기 실행 가능 명령어는 상기 프로세서로 하여금 본 출원의 임의의 실시예에 따른 키 프레임 스케줄링 방법에서의 각 단계의 동작을 실행하도록 한다.
본 출원 실시예의 또 다른 측면에 따라 제공된 컴퓨터 프로그램은, 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 기기에서 작동될 때, 상기 기기 중의 프로세서는 본 출원의 임의의 실시예에 따른 차량 운전 시뮬레이션 방법에서 각 단계를 구현하기 위한 명령어를 실행한다.
본 출원 실시예의 또 다른 측면에 따라 제공된 컴퓨터 판독 가능 명령어를 저장하기 위한 컴퓨터 판독 가능 매체는, 상기 명령어가 실행될 때 본 출원의 임의의 실시예에 따른 키 프레임 스케줄링 방법에서의 각 단계의 동작을 구현한다.
본 출원의 상기 실시예에서 제공한 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체에 기반하여, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하고, 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득하며; 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하고; 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득한다. 본 출원 실시예는 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라 이전 키 프레임 하위 계층 특징에 대한 현재 프레임의 변화를 획득할 수 있고, 비디오에서 서로 상이한 프레임 사이의 하위 계층 특징의 변화를 이용함으로써, 신속하고, 정확하게, 자기 적응적으로 키 프레임 스케줄링을 수행하여, 키 프레임의 스케줄링 효율을 향상시킬 수 있다.
아래에, 첨부된 도면 및 실시예를 참조하여 본 출원의 기술 방안을 상세히 설명한다.
본 출원 실시예는 키 프레임 스케줄링의 기술방안을 제공할 수 있는 효과가 있다.
본 명세서의 일부를 구성하는 도면은 본 출원의 실시예를 설명하고, 본 명세서의 원리를 설명과 함께 해석하기 위한 것이다.
도면을 참조하면, 본 출원은 다음의 상세한 설명에 따라, 더욱 명확하게 이해될 수 있다.
도 1은 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 방법의 흐름 모식도이다.
도 2는 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 방법의 다른 흐름 모식도이다.
도 3은 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 장치의 구조 모식도이다.
도 4는 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 장치의 다른 구조 모식도이다.
도 5는 본 출원 실시예에 의해 제공된 전자 기기의 응용 실시예의 구조 모식도이다.
아래에 첨부 도면을 참조하여 본 출원의 다양한 실시예를 상세히 설명한다. 유의해야 할 것은, 달리 구체적으로 언급되지 않는 한, 실시예에서 반복적으로 설명된 구성 요소, 단계의 상대적인 배열, 수치 표현 및 값은 본 출원의 범위를 한정하려는 것이 아니다.
동시에, 설명의 편의를 위해, 첨부 도면에 도시된 각 부분의 크기는 실제 비율로 도시되지 않았다는 것을 이해해야 한다.
적어도 하나의 예시적인 실시예에 대한 이하의 설명은 실제로 예시일 뿐이며, 본 출원 및 그 응용 또는 사용을 한정하려는 것이 아니다.
관련 기술 분야의 통상의 기술자에게 공지된 기술, 방법 및 기기는 상세하게 논의되지 않을 수 있지만, 적절한 경우, 상기 기술, 방법 및 기기는 명세서의 일부로 간주되어야 한다.
유의해야 할 것은, 유사한 도면 부호 및 문자는 다음의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 논의될 필요가 없다.
본 출원의 실시예는 컴퓨터 시스템/서버에 응용될 수 있으며, 이는 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 작동될 수있다. 컴퓨터 시스템/서버와 함께 사용하기에 적합한 잘 알려진 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 씩 클라이언트, 핸드 헬드 또는 랩톱 기기, 마이크로 프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템 및 상기 시스템 중 어느 하나를 포함하는 분산형 클라우드 컴퓨팅 기술 환경 등을 포함하지만 이에 한정되지 않는다.
컴퓨터 시스템/서버는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템 실행 가능 명령어(예를 들어, 프로그램 모듈)의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 실행하거나 특정 추상 데이터 타입을 구현하기 위한 루틴, 프로그램, 타겟 프로그램, 어셈블리, 논리, 데이터 구조 등을 포함할 수 있다. 컴퓨터 시스템/서버는 작업이 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 실행되는 분산형 클라우드 컴퓨팅 환경에서 구현될 수 있다. 분산형 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.
도 1은 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 방법의 흐름 모식도이다. 도 1에 도시된 바와 같이, 상기 실시예 방법은 다음의 단계들을 포함한다.
단계 102에 있어서, 뉴럴 네트워크의 제1 네트워크 계층을 통해, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득한다.
선택적으로, 현재 프레임은 비디오에서의 임의의 프레임 이미지일 수 있다.
하나의 선택적인 예에서, 상기 단계 102는 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 제1 특징 추출 유닛에 의해 실행될 수도 있다.
단계 104에 있어서, 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득한다.
여기서, 이전 키 프레임의 하위 계층 특징은 상기 제1 네트워크 계층이 상기 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고, 선택적으로, 본 출원 실시예에서 제공한 스케줄링 확률값은 현재 프레임이 키 프레임으로 스케줄링될 확률이다.
하나의 선택적인 예에서, 상기 단계 104는 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 스케줄링 유닛에 의해 실행될 수도 있다.
단계 106에 있어서, 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정한다.
본 출원 실시예의 선택적인 일 예에서, 현재 프레임의 스케줄링 확률값이 기설정된 임계값보다 큰지 여부에 따라, 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정할 수 있다. 예를 들어, 기설정된 임계값이 80%이고, 현재 프레임의 스케줄링 확률값이 상기 기설정된 임계값보다 크거나 같으면, 현재 프레임은 키 프레임으로 스케줄링된 것으로 결정되며, 즉, 상기 현재 프레임은 키 프레임으로 간주된다. 현재 프레임의 스케줄링 확률값이 상기 기설정된 임계값보다 작으면, 현재 프레임은 키 프레임으로 스케줄링되지 않은 것으로 결정된다.
하나의 선택적인 예에서, 상기 단계 106는 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 결정 유닛에 의해 실행될 수도 있다.
단계 108에 있어서, 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 현재 프레임을 현재 키 프레임으로 결정하고, 상기 뉴럴 네트워크의 제2 네트워크 계층을 통해 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득한다.
여기서, 뉴럴 네트워크에서, 상기 제1 네트워크 계층의 네트워크 깊이는 상기 제2 네트워크 계층의 네트워크 깊이보다 얕다.
하나의 선택적인 예에서, 상기 단계 108은 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 제2 특징 추출 유닛에 의해 실행될 수도 있다.
본 출원 실시예에서, 뉴럴 네트워크는 상이한 네트워크 깊이를 갖는 2 개 이상의 네트워크 계층을 포함하고, 뉴럴 네트워크에 포함된 네트워크 계층에서, 특징 추출에 사용되는 네트워크 계층은 특징 계층으로 지칭되며, 뉴럴 네트워크가 하나의 프레임을 수신한 후, 첫 번째 특징 계층을 통해 입력된 프레임에 대해 특징 추출을 수행하고, 이를 두 번째 특징 계층에 입력하며, 두 번째 특징 계층으로부터 시작하여, 각 특징 계층은 입력된 특징 특징에 대해 순차적으로 특징 추출을 수행하여, 추출된 특징을 시맨틱 분할에 사용될 수 있는 특징을 얻을 때까지 다음 네트워크 계층에 입력하여 특징 추출을 수행한다. 뉴럴 네트워크에서 적어도 하나의 특징 계층의 네트워크 깊이는 특징 추출의 순서에 따라 점점 깊어지며, 네트워크 깊이에 따라, 뉴럴 네트워크에서 특징 추출에 사용되는 특징 계층을 2 개의 부분, 즉 하위 계층 특징 계층 및 상위 계층 특징 계층으로 분할하며, 다시 말해서, 상기 제1 네트워크 계층 및 제2 네트워크 계층으로 분할한다. 여기서, 하위 계층 특징 계층에서의 적어도 하나의 특징 계층은 특징 추출을 순차적으로 수행하여 최종적으로 출력된 특징을 하위 계층 특징이라 지칭하며, 상위 계층 특징 계층에서의 적어도 하나의 특징 계층은 특징 추출을 순차적으로 수행하여 최종적으로 출력된 특징을 상위 계층 특징이라 지칭한다. 동일한 뉴럴 네트워크에서 네트워크 깊이가 얕은 특징 계층에 비교하여, 네트워크 깊이가 깊은 특징 계층은 시야가 넓으며, 주목 공간 구조 정보가 많고, 추출된 특징이 시맨틱 분할에 사용될 때, 시맨틱 분할은 더욱 정확하지만, 네트워크 깊이가 깊을수록, 계산이 더 어렵고 복잡하다. 실제 응용에서, 기설정된 표준, 예를 들어 계산량에 따라, 뉴럴 네트워크에서의 특징 계층을 하위 계층 특징 계층 및 상위 계층 특징 계층으로 분할하고, 상기 기설정된 표준은 실제 요구에 따라 조정될 수 있다. 예를 들어, 100 개의 순차적으로 연결된 특징 계층을 포함하는 뉴럴 네트워크의 경우, 사전 설정에 따라, 상기 100 개의 특징 계층의 첫 번째 내지 30 번째인 첫 30 개(다른 개수일 수도 있음)의 특징 계층을 하위 계층 특징 계층으로 사용하며, 31 번째 내지 100 번째인 마지막 70 개의 특징 계층을 상위 계층 특징 계층으로 사용한다. 예를 들어, 피라미드 장면 파싱 네트워크 (Pyramid Scene Parsing Network, PSPN)의 경우, 상기 뉴럴 네트워크는 4 개 부분의 컨볼루션 네트워크(conv1 내지 conv4) 및 하나의 분류 계층을 포함할 수 있으며, 각 부분의 컨볼루션 네트워크는 또한 복수 개의 컨볼루션 계층을 포함하며, 계산량의 크기에 따라, 상기 PSPN에서 conv1로부터 conv4_3까지의 컨볼루션 계층을 하위 계층 특징 계층으로 사용하고, 이는 상기 PSPN의 계산량의 약 1/8을 차지하고, 상기 PSPN에서 conv4_4로부터 분류 계층 전까지의 적어도 하나의 컨볼루션 계층을 상위 계층 특징 계층으로 사용하며, 이는 PSPN의 계산량의 약 7/8을 차지하며; 분류 계층은 상위 계층 특징 계층에 의해 출력된 상위 계층 특징에 대해 시맨틱 분할을 수행하여, 프레임의 시맨틱 태그를 획득하며, 즉 프레임에서 적어도 하나의 픽셀의 분류를 획득한다.
상위 계층 특징의 추출은 네트워크 깊이가 깊은 제2 네트워크 계층을 필요로 하므로, 그 계산의 난이도 및 복잡도는 높고, 프레임의 시맨틱 태그를 정확하게 획득하기 위해서는 또한, 프레임의 상위 계층 특징에 기반하여 시맨틱 분할을 수행할 필요가 있으며, 따라서, 본 출원 실시예에서, 시맨틱 분할을 위해 키 프레임에 대해 상위 계층 특징 추출만을 수행하고, 비디오에서 프레임 단위로 상위 계층 특징 추출을 수행하는 것과 비교하면, 계산의 난이도 및 복잡성을 감소시킬 뿐만 아니라, 비디오의 시맨틱 분할 결과를 획득할 수도 있다.
본 출원의 상기 실시예에 의해 제공된 키 프레임 스케줄링 방법에 따르면, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하고, 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득하며; 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하고; 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득한다. 본 출원 실시예는 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라 이전 키 프레임 하위 계층 특징에 대한 현재 프레임의 변화를 획득할 수 있고, 비디오에서 서로 상이한 프레임 사이의 하위 계층 특징의 변화를 이용함으로써, 신속하고, 정확하게, 자기 적응적으로 키 프레임 스케줄링을 수행하여, 키 프레임의 스케줄링 효율을 향상시킬 수 있다.
또한, 본 출원의 키 프레임 스케줄링 방법의 다른 실시예에서, 상기 도 1에 도시된 실시예 전에, 상기 방법은,
초기 키 프레임을 결정하는 단계를 더 포함할 수 있다. 예를 들어, 비디오에서의 제1 프레임 또는 다른 임의의 하나의 프레임을 초기 키 프레임으로 지정하는 단계;
상기 제1 네트워크 계층을 통해 초기 키 프레임에 대해 특징 추출을 수행하여, 초기 키 프레임의 하위 계층 특징을 획득하고 버퍼링하는 단계 - 상기 키 프레임의 하위 계층 특징에 기반하여 다른 프레임이 키 프레임으로 스케줄링되는지 여부를 결정할 수 있음(상기 단계 102를 참조하여 결정될 수 있음) - ; 및
상기 제2 네트워크 계층을 통해 초기 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 초기 키 프레임의 상위 계층 특징을 획득함으로써 시맨틱 분할에 사용된다.
선택적으로, 본 출원의 키 프레임 스케줄링 방법의 또 다른 실시예에서, 상기 초기 키 프레임에 대해 시맨틱 분할을 수행하여, 상기 키 프레임의 시맨틱 태그를 출력하는 단계를 더 포함할 수 있다.
또한, 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 방법의 또 다른 실시예에서, 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정된 후, 상기 방법은, 현재 프레임을 현재 키 프레임이라 지칭하고, 현재 키 프레임의 하위 계층 특징을 버퍼링하여, 비디오에서 현재 키 프레임 이후의 다른 프레임이 키 프레임으로 스케줄링되어 사용되었는지 여부를 결정하는 단계를 더 포함할 수 있다.
또한, 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 방법의 또 다른 실시예에서, 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정된 후, 상기 방법은, 현재 프레임을 현재 키 프레임이라 지칭하고, 상기 현재 키 프레임에 대해 시맨틱 분할을 수행하여, 상기 현재 키 프레임의 시맨틱 태그를 출력하는 단계를 더 포함할 수 있다. 본 출원 실시예에서, 키 프레임의 경우, 계산에서 비용이 높은 단일 프레임 모델, 예를 들어, PSPN을 호출하여 시맨틱 분할을 수행함으로써, 정밀도가 높은 시맨틱 분할 결과를 획득할 수 있다. 본 출원 실시예에서, 키 프레임 및 현재 프레임은 뉴럴 네트워크의 하위 계층 특징 계층(즉, 제1 네트워크 계층)을 공유하여 하위 계층 특징 추출을 수행할 수 있으며, 여기서, 뉴럴 네트워크는 피라미드 장면 파싱 네트워크 (Pyramid Scene Parsing Network, PSPN)를 사용할 수 있고, 상기 뉴럴 네트워크는 4 개 부분의 컨볼루션 네트워크(conv1 내지 conv4) 및 하나의 분류 계층을 포함할 수 있으며, 각 부분의 컨볼루션 네트워크는 복수 개의 컨볼루션 계층으로도 분할될 수 있으며, 여기서, 뉴럴 네트워크의 하위 계층 특징 계층은 PSPN에서 conv1로부터 conv4_3까지의 컨볼루션 계층을 포함할 수 있으며, PSPN의 계산량의 약 1/8을 차지하며; 뉴럴 네트워크의 상위 계층 특징 계층(즉, 제2 네트워크 계층)은 conv4_4로부터 분류 계층 전까지의 적어도 하나의 컨볼루션 계층을 포함할 수 있으며, PSPN의 계산량의 약 7/8을 차지하고, 키 프레임의 상위 계층 특징 추출에 사용되며; 분류 계층은 키 프레임의 상위 계층 특징에 기반하여 키 프레임에서 적어도 하나의 픽셀의 카테고리를 대응적으로 식별함으로써, 키 프레임에 대한 시맨틱 분할을 구현한다.
도 2는 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 방법의 다른 흐름 모식도이다. 도 2에 도시된 바와 같이, 상기 실시예의 키 프레임 스케줄링 방법은 다음의 단계를 포함한다.
단계 202에 있어서, 뉴럴 네트워크의 제1 네트워크 계층을 통해, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득한다.
본 출원 실시예의 일 예에서, 뉴럴 네트워크의 하위 계층 특징 계층을 통해 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득할 수 있다.
하나의 선택적인 예에서, 상기 단계 202는 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 제1 특징 추출 유닛에 의해 실행될 수도 있다.
단계 204에 있어서, 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득한다.
여기서, 이전 키 프레임의 하위 계층 특징은 상기 제1 네트워크 계층이 상기 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고, 선택적으로, 본 출원 실시예에서 제공한 스케줄링 확률값은 현재 프레임이 키 프레임으로 스케줄링될 확률이다.
하나의 선택적인 예에서, 상기 단계 204는 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 스케줄링 유닛에 의해 실행될 수도 있다.
단계 206에 있어서, 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정한다.
현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 현재 프레임을 현재 키 프레임으로 결정하고, 단계 208을 실행한다. 그렇지 않으면, 현재 프레임이 키 프레임으로 스케줄링되지 않은 것으로 결정되면, 본 실시예의 후속적인 프로세스를 실행하지 않는다.
본 출원을 구현하는 과정에서, 출원인은 연구를 통해 두 프레임 사이의 하위 계층 특징 사이의 차이(두 프레임의 하위 계층 특징 사이의 차이값으로 정의됨)가 클수록, 대응하는 시맨틱 태그의 차이값(두 프레임의 시맨틱 태그에서 비일치 부분이 차지하는 비율로 정의됨)은 크며, 본 출원 실시예는 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징 사이의 차이를 통해, 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정한다. 두 프레임 사이의 하위 계층 특징 사이의 차이가 상기 기설정된 임계값보다 큰 경우, 정확한 시맨틱 결과를 획득하기 위해, 현재 프레임을 키 프레임(즉, 키 프레임으로 스케줄됨)으로 설정될 수 있다.
하나의 선택적인 예에서, 상기 단계 206은, 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 결정 유닛에 의해 실행될 수도 있다.
단계 208에 있어서, 상기 뉴럴 네트워크의 제2 네트워크 계층을 통해 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득하며, 현재 키 프레임의 하위 계층 특징을 버퍼링한다.
하나의 선택적인 예에서, 상기 단계 208는 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 제2 특징 추출 유닛 및 버퍼링 유닛에 의해 실행될 수도 있다.
단계 210에 있어서, 현재 키 프레임에 대해 시맨틱 분할을 수행하여, 현재 키 프레임의 시맨틱 태그를 출력한다.
하나의 선택적인 예에서, 상기 단계 210은 메모리에 저장된 대응하는 명령을 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 시맨틱 분할 유닛에 의해 실행될 수도 있다.
본 출원을 구현하는 과정에서, 출원인은 연구를 통해 비디오에서 프레임 사이의 하위 계층 특징이 크게 변화하면 이에 대해 시맨틱 분할을 수행하여 획득한 시맨틱 태그 사이의 떨림이 크고, 그렇지 않으면 떨림이 작다는 것을 발견하였다. 본 출원 실시예에서, 딥 러닝 방법을 이용하여, 비디오에서 적어도 하나의 프레임의 특징 정보를 획득할 수 있고, 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징 사이의 차이에 따라 하위 계층 특징의 변화를 결정하며, 비디오에서 프레임 사이의 떨림 상황을 분석하고, 현재 프레임 및 인접한 이전 키 프레임 하위 계층 특징 사이의 일치 정도를 계산함으로써, 하위 계층 특징 변화가 크면 태그는 떨림이 크고, 그렇지 않으면 떨림이 작으며, 따라서, 하위 계층 특징에 의해 시맨틱 태그의 떨림 정도의 회귀를 구현함으로써, 키 프레임을 자기 적응적으로 스케줄링할 수 있다.
본 출원의 상기 임의의 실시예의 선택적인 일 예에서, 단계 104 또는 단계 204는,
이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징을 스플라이싱하여, 스플라이싱 특징을 얻는 단계; 및
키 프레임 스케줄링 네트워크를 통해, 상기 스플라이싱 특징에 기반하여 현재 프레임의 스케줄링 확률값을 획득 및 출력하는 단계를 포함할 수 있다.
본 출원 실시예는 자율 주행 장면, 비디오 모니터링 장면, 포트레이트 분할 등 인터넷 엔터테인먼트 제품 등에 사용될 수 있으며, 예를 들어 다음과 같다.
1. 자율 주행의 장면에서, 본 출원 실시예를 이용하여 비디오에서의 타겟 즉 사람 및 차량을 신속하게 분할할 수 있다.
2. 비디오 모니터링 장면에서, 사람을 신속하게 분할할 수 있다.
3. 포트레이트 분할 등 인터넷 엔터테인먼트 제품에서, 사람을 비디오 프레임으로부터 신속하게 분할할 수 있다.
당업자는 상기 방법 실시예를 구현하기 위한 전부 또는 일부 단계는 프로그램 명령어와 관련되는 하드웨어를 통해 완료되며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 때, 상기 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
도 3은 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 장치의 구조 모식도이다. 본 출원 실시예에서 제공한 키 프레임 스케줄링 장치는 본 출원의 상기 각 실시예에 의해 제공된 키 프레임 스케줄링 방법을 구현하기 위한 것일 수 있다. 도 3에 도시된 바와 같이, 키 프레임 스케줄링 장치의 일 실시예에서, 제1 특징 추출 유닛, 스케줄링 유닛, 결정 유닛 및 제2 특징 추출 유닛을 포함할 수 있다. 여기서,
제1 특징 추출 유닛은, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하기 위한 것이며, 상기 제1 특징 추출 유닛은 뉴럴 네트워크의 제1 네트워크 계층을 포함한다.
스케줄링 유닛은, 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득하기 위한 것이다. 여기서, 이전 키 프레임의 하위 계층 특징은 제1 네트워크 계층에 의해 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고, 선택적으로, 본 출원 실시예에서 제공한 스케줄링 확률값은 현재 프레임이 키 프레임으로 스케줄링될 확률이다.
결정 유닛은, 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하기 위한 것이다.
제2 특징 추출 유닛은, 뉴럴 네트워크의 제2 네트워크 계층을 포함하고, 결정 유닛의 결정 결과에 따라, 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 현재 프레임을 현재 키 프레임으로 결정하고, 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득하기 위한 것이다. 여기서, 뉴럴 네트워크에서, 상기 제1 네트워크 계층의 네트워크 깊이는 제2 네트워크 계층의 네트워크 깊이보다 얕다.
본 출원의 상기 실시예에 의해 제공된 키 프레임 스케줄링 장치에 기반하여, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하고, 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득하며; 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하고; 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득한다. 본 출원 실시예는 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라 이전 키 프레임 하위 계층 특징에 대한 현재 프레임의 변화를 획득할 수 있고, 비디오에서 서로 상이한 프레임 사이의 하위 계층 특징의 변화를 이용함으로써, 신속하고, 정확하게, 자기 적응적으로 키 프레임 스케줄링을 수행하여, 키 프레임의 스케줄링 효율을 향상시킬 수 있다.
본 출원 실시예에 의해 제공된 키 프레임 스케줄링 장치의 선택적인 일 실시형태에서, 상기 이전 키 프레임은 미리 결정된 초기 키 프레임을 포함한다.
도 4는 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 장치의 다른 구조 모식도이다. 도 4에 도시된 바와 같이, 도 3에 도시된 실시예와 비교하면, 상기 실시예에서, 키 프레임 스케줄링 장치는, 키 프레임의 하위 계층 특징을 버퍼링하기 위한 버퍼링 유닛을 더 포함하고, 본 출원 실시예에서의 키 프레임은 초기 키 프레임을 포함한다.
또한, 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 장치의 또 다른 실시예에서, 제1 특징 추출 유닛은 또한, 결정 유닛의 결정 결과에 따라, 버퍼링 유닛에서 현재 키 프레임의 하위 계층 특징을 버퍼링하기 위한 것일 수 있다.
본 출원 실시예에 의해 제공된 키 프레임 스케줄링 장치의 일 실시형태에서, 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징을 스플라이싱하여, 스플라이싱 특징을 얻기 위한 스플라이싱 서브 유닛; 및 스플라이싱 특징에 기반하여 현재 프레임의 스케줄링 확률값을 획득하기 위한 키 프레임 스케줄링 네트워크를 포함할 수 있다.
또한, 다시 도 4를 참조하면, 본 출원 실시예에 의해 제공된 키 프레임 스케줄링 장치는, 키 프레임에 대해 시맨틱 분할을 수행하여, 키 프레임의 시맨틱 태그를 출력하기 위한 시맨틱 분할 유닛을 더 포함할 수 있으며, 본 출원 실시예에서의 키 프레임은, 초기 키 프레임, 이전 키 프레임 또는 현재 키 프레임을 포함할 수 있다.
또한, 본 출원 실시예는 또한 전자 기기를 제공하며, 본 출원의 상기 임의의 실시예의 키 프레임 스케줄링 장치를 포함한다.
또한, 본 출원 실시예는 또한, 다른 전자 기기를 제공하며, 상기 전자 기기는,
프로세서 및 본 출원 상기 임의의 실시예의 키 프레임 스케줄링 장치를 포함하며;
프로세서에 의해 상기 키 프레임 스케줄링 장치가 작동될 때, 본 출원의 상기 임의의 실시예의 키 프레임 스케줄링 장치 중의 유닛은 작동된다.
또한, 본 출원 실시예는 또한, 프로세서 및 메모리를 포함하는 또 다른 전자 기기를 제공하며;
메모리는 적어도 하나의 실행 가능 명령어를 저장하기 위한 것이며, 실행 가능 명령어는 프로세서로 하여금 본 출원의 상기 임의의 실시예의 키 프레임 스케줄링 방법에서의 각 단계의 동작을 실행하도록 한다.
본 출원의 실시예는 또한 전자 기기를 제공하며, 예를 들어, 이동 단말, 개인용 컴퓨터(Personal Computer, PC), 태블릿 컴퓨터, 서버 등일 수 있다. 도 5는 본 출원 실시예에 의해 제공된 전자 기기의 응용 실시예의 구조 모식도이다. 도 5를 참조하면, 본 출원의 실시예에 따른 단말 기기 또는 서버를 구현하기에 적합한 전자 기기(500)의 구조 모식도이며, 도 5에 도시된 바와 같이, 전자 기기(500)는 하나 또는 복수 개의 프로세서, 통신부 등을 포함하며, 상기 하나 또는 복수 개의 프로세서는, 예를 들어, 하나 또는 복수 개의 중앙처리장치(Central Processing Unit, CPU)(501), 및 하나 또는 복수 개의 그래픽 처리 장치(Graphic Processing Unit, GPU)(513) 중 적어도 하나이며, 프로세서는 판독 전용 메모리(ROM)(502)에 저장된 실행 가능 명령어 또는 저장 부분(508)으로부터 랜덤 액세스 메모리(RAM)(503)에 로딩된 실행 가능한 명령어에 따라 다양한 적절한 동작 및 처리를 실행할 수 있다. 통신부(512)는 인피니밴드(Infiniband, IB) 랜 카드를 포함할 수 있지만 이에 한정되지 않는 랜 카드를 포함할 수 있지만 이에 한정되지는 않는다.
프로세서는 판독 전용 메모리(502) 및랜덤 액세스 메모리(503) 중 적어도 하나와 통신하여 실행 가능 명령어를 실행할 수 있고, 버스 (504)에 의해 통신부(512)에 연결되고, 통신부(512)를 통해 다른 타겟 기기와 통신함으로써, 본 출원 실시예에에서 제공한 어느 한 방법에 대응하는 동작을 완료하며, 예를 들어, 뉴럴 네트워크의 제1 네트워크 계층을 통해, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하고; 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득하며; 여기서, 이전 키 프레임의 하위 계층 특징은 제1 네트워크 계층에 의해 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고; 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하며; 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 현재 프레임을 현재 키 프레임으로 결정하고, 뉴럴 네트워크의 제2 네트워크 계층을 통해 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득하고; 여기서, 뉴럴 네트워크에서, 제1 네트워크 계층의 네트워크 깊이는 제2 네트워크 계층의 네트워크 깊이보다 얕다.
또한, RAM(503)에는 장치의 동작에 필요한 다양한 프로그램 및 데이터가 더 저장될 수 있다. CPU(501), ROM(502) 및 RAM(503)은 통신 버스(504)를 통해 서로 연결된다. RAM(503)이 있는 경우, ROM(502)은 선택 가능한 모듈이다. RAM(503)은 실행 가능 명령어를 저장하고, 또는 작동될 경우, ROM(502)에 실행 가능 명령어를 기록하며, 실행 가능 명령어는 CPU(501)로 하여금 상기 통신 방법에 대응하는 동작을 실행할 수 있도록 한다. 입력/출력(I/O) 인터페이스(505)도 버스(504)에 연결된다. 통신부(512)는 통합될 수 있거나, 버스에 연결된 복수 개의 서브 모듈(예를 들어 복수 개의 IB 랜 카드)을 갖도록 구성될 수 있다.
다음의 구성 요소, 즉 키보드, 마우스 등을 포함하는 입력 부분(506); 음극 선관(Cathode Ray Tube, CRT), 액정 디스플레이(Liquid Crystal Display, LCD), 스피커 등을 포함하는 출력 부분(507); 하드웨어 등을 포함하는 저장 부분(508); 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스 카드의 통신 부분(509)은 I/O 인터페이스(505)에 연결된다. 통신 부분(509)은 인터넷과 같은 네트워크를 통해 통신 처리를 실행한다. 드라이버(510)는 필요에 따라 I/O 인터페이스(505)에 연결될 수도 있다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 탈착 가능한 매체(511)는 필요에 따라 저장 부분(508)에 장착된 컴퓨터 프로그램을 판독할 수 있도록, 필요에 따라 드라이버(510)에 장착된다.
설명해야 할 것은, 도 5에 도시된 아키텍쳐는 다만 선택적인 구현 방식일 뿐, 구체적인 실천 과정에서, 상기 도 5의 구성 요소의 개수 및 타입은 실제 필요에 따라 선택, 제거, 감소, 증가 또는 교체되며; 상이한 기능적 구성 요소 설치에서, 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수 있으며, 예를 들어 GPU(513) 및 CPU(501)는 분리 설치되거나 GPU(513)가 CPU(501)에 통합될 수 있으며, 통신부는 CPU(501) 또는 GPU(513)에 분리 설치 또는 통합 설치될 수 있는 등이다. 이러한 대안적인 실시형태는 모두 본 출원의 보호 범위에 속한다.
특히, 본 출원의 실시예에 따른 흐름도를 참조하여 설명된 과정은 컴퓨터 소프트웨어 프로그램에 의해 구현될 수 있다. 예를 들어, 본 출원의 실시예는 컴퓨터 판독 가능 매체에 유형적으로 포함된 컴퓨터 프로그램 제품을 포함하며, 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 출원 실시예에 의해 제공된 방법 단계를 대응적으로 실행하기 위한 대응하는 명령어를 포함할 수 있으며, 예를 들어, 뉴럴 네트워크의 제1 네트워크 계층을 통해, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하고; 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 현재 프레임의 하위 계층 특징에 따라, 현재 프레임의 스케줄링 확률값을 획득하며; 여기서, 이전 키 프레임의 하위 계층 특징은 제1 네트워크 계층에 의해 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고; 현재 프레임의 스케줄링 확률값에 따라 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하며; 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정되면, 현재 프레임을 현재 키 프레임으로 결정하고, 뉴럴 네트워크의 제2 네트워크 계층을 통해 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 현재 키 프레임의 상위 계층 특징을 획득하며; 여기서, 뉴럴 네트워크에서, 제1 네트워크 계층의 네트워크 깊이는 제2 네트워크 계층의 네트워크 깊이보다 얕다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신 부분(509)을 통해 네트워크로부터 다운로드 및 설치될 수 있는 것 및 탈착 가능한 매체(511)로부터 설치될 수 있는 것 중 적어도 하나이다. 상기 컴퓨터 프로그램은 중앙처리장치(CPU)(501)에 의해 실행될 때, 본 출원의 방법에 한정된 상기 기능의 동작을 실행한다.
또한, 본 출원 실시예는 또한 컴퓨터 판독 가능 명령어를 저장하기 위한 컴퓨터 저장 매체를 제공하며, 상기 명령어가 실행될 때, 본 출원의 상기 임의의 실시예에 따른 키 프레임 스케줄링 방법의 동작을 구현한다.
또한, 본 출원 실시예는 또한, 컴퓨터 판독 가능 명령어를 포함하는 컴퓨터 프로그램을 제공하며, 컴퓨터 판독 가능 명령어가 기기에서 작동될 때, 기기 중의 프로세서는 본 출원의 상기 임의의 실시예에 따른 키 프레임 스케줄링 방법 중의 단계를 구현하기 위한 실행 가능 명령어를 실행한다.
선택적인 일 실시형태에서, 상기 컴퓨터 프로그램은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품이다.
하나 또는 복수 개의 선택적인 실시형태에서, 본 출원 실시예는 또한, 컴퓨터 판독 가능 명령어를 저장하기 위한 프로그램 제품을 제공하며, 상기 명령어가 실행될 때, 컴퓨터로 하여금 상기 임의의 가능한 구현방식에 따른 키 프레임 스케줄링 방법을 실행하도록 한다.
상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 하나의 선택적인 예에 있어서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 반영되며, 다른 선택적인 예에 있어서, 상기 컴퓨터 프로그램 제품은 구체적으로 SDK 등과 같은 소프트웨어 제품으로 반영된다.
본 명세서에서, 각 실시예는 모두 점진적으로 설명되며, 각 실시예는 다른 실시예와의 차이점에 초점을 맞추고, 각 실시예 사이의 동일하거나 유사한 부분은 서로 참조될 수 있다. 시스템 실시예는 방법 실시예에 거의 대응되므로, 설명이 비교적 간단하고, 관련 부분에 대해서는 방법 실시예의 설명을 참조하면 된다.
본 출원의 방법과 장치는 많은 방식으로 구현될 수 있다. 예를 들어, 본 출원의 방법과 장치는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 구현될 수 있다. 달리 구체적으로 언급되지 않는 한, 상기 방법의 상기 단계의 상기 순서는 다만 구체적인 설명을 위한 것이며, 본 출원의 방법의 단계를 한정하려는 것은 아니다. 또한, 일부 실시예에 있어서, 본 출원은 기록 매체에 기록된 프로그램으로서 구현될 수도 있으며, 이러한 프로그램은 본 출원의 방법을 구현하기 위한 기계 판독 가능 명령어를 포함한다. 따라서, 본 출원은 본 출원에 따른 방법들을 실행하기 위한 프로그램을 저장하는 기록 매체를 더 포함한다.
본 출원의 설명은 예시 및 설명을 목적으로 제공되며, 누락되지 않는 형태로 한정하거나 본 출원을 개시된 형태로 한정하려는 것은 아니다. 많은 보정과 변경은 본 기술분야의 통상의 기술자에게 명백한 것이다. 실시예를 선택하고 설명한 것은 본 출원의 원리 및 실제 응용을 더 잘 설명하기 위해서이고, 본 기술분야의 통상의 기술자로 하여금 본 출원을 이해하여, 특정 사용에 적용 가능한 다양한 보정들을 갖는 다양한 실시예들을 설계하도록 한다.

Claims (16)

  1. 키 프레임 스케줄링 방법으로서,
    뉴럴 네트워크의 제1 네트워크 계층을 통해, 현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하는 단계;
    상기 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징에 따라, 상기 현재 프레임의 스케줄링 확률값을 획득하는 단계 - 상기 이전 키 프레임의 하위 계층 특징은 상기 제1 네트워크 계층이 상기 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고, 상기 스케줄링 확률값은 현재 프레임이 키 프레임으로 스케줄링될 확률임 - ;
    상기 현재 프레임의 스케줄링 확률값이 기설정된 임계값보다 큰지 여부를 결정하여, 상기 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하는 단계; 및
    상기 현재 프레임의 스케줄링 확률값이 상기 기설정된 임계값보다 크면, 상기 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정하여, 상기 현재 프레임을 현재 키 프레임으로 결정하고, 상기 뉴럴 네트워크의 제2 네트워크 계층을 통해 상기 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 상기 현재 키 프레임의 상위 계층 특징을 획득하는 단계 - 상기 뉴럴 네트워크에서, 상기 제1 네트워크 계층의 네트워크 깊이는 상기 제2 네트워크 계층의 네트워크 깊이보다 얕음 - 를 포함하는 것을 특징으로 하는 키 프레임 스케줄링 방법.
  2. 제1항에 있어서,
    초기 키 프레임을 결정하는 단계;
    상기 제1 네트워크 계층을 통해 상기 초기 키 프레임에 대해 특징 추출을 수행하여, 상기 초기 키 프레임의 하위 계층 특징을 획득하고 버퍼링하는 단계; 및
    상기 제2 네트워크 계층을 통해 상기 초기 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 상기 초기 키 프레임의 상위 계층 특징을 획득하는 단계를 더 포함하는 것을 특징으로 하는 키 프레임 스케줄링 방법.
  3. 제2항에 있어서,
    상기 초기 키 프레임에 대해 시맨틱 분할을 수행하여, 상기 초기 키 프레임의 시맨틱 태그를 출력하는 단계를 더 포함하는 것을 특징으로 하는 키 프레임 스케줄링 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정한 후,
    상기 현재 키 프레임의 하위 계층 특징을 버퍼링하는 단계를 더 포함하는 것을 특징으로 하는 키 프레임 스케줄링 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징에 따라, 상기 현재 프레임의 스케줄링 확률값을 획득하는 단계는,
    상기 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징을 스플라이싱하여, 스플라이싱 특징을 얻는 단계; 및
    키 프레임 스케줄링 네트워크를 통해, 상기 스플라이싱 특징에 기반하여 상기 현재 프레임의 스케줄링 확률값을 획득하는 단계를 포함하는 것을 특징으로 하는 키 프레임 스케줄링 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 현재 키 프레임에 대해 시맨틱 분할을 수행하여, 상기 키 프레임의 시맨틱 태그를 출력하는 단계를 더 포함하는 것을 특징으로 하는 키 프레임 스케줄링 방법.
  7. 키 프레임 스케줄링 장치로서,
    현재 프레임에 대해 특징 추출을 수행하여, 현재 프레임의 하위 계층 특징을 획득하기 위한 제1 특징 추출 유닛 - 상기 제1 특징 추출 유닛은 뉴럴 네트워크의 제1 네트워크 계층을 포함함 - ;
    상기 현재 프레임에 인접한 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징에 따라, 상기 현재 프레임의 스케줄링 확률값을 획득하기 위한 스케줄링 유닛 - 상기 이전 키 프레임의 하위 계층 특징은 상기 제1 네트워크 계층이 상기 이전 키 프레임에 대해 특징 추출을 수행하여 얻은 것이고, 상기 스케줄링 확률값은 현재 프레임이 키 프레임으로 스케줄링될 확률임 - ;
    상기 현재 프레임의 스케줄링 확률값이 기설정된 임계값보다 큰지 여부를 결정하여, 상기 현재 프레임이 키 프레임으로 스케줄링되었는지 여부를 결정하기 위한 결정 유닛; 및
    상기 현재 프레임의 스케줄링 확률값이 상기 기설정된 임계값보다 크면, 상기 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정하여, 상기 현재 프레임을 현재 키 프레임으로 결정하고, 상기 현재 키 프레임의 하위 계층 특징에 대해 특징 추출을 수행하여, 상기 현재 키 프레임의 상위 계층 특징을 획득하기 위한 제2 특징 추출 유닛 - 제2 특징 추출 유닛은 상기 뉴럴 네트워크의 제2 네트워크 계층을 포함하고, 상기 뉴럴 네트워크에서, 상기 제1 네트워크 계층의 네트워크 깊이는 상기 제2 네트워크 계층의 네트워크 깊이보다 얕음 - 을 포함하는 것을 특징으로 하는 키 프레임 스케줄링 장치.
  8. 제7항에 있어서,
    상기 이전 키 프레임은 미리 결정된 초기 키 프레임을 포함하고;
    상기 장치는,
    키 프레임의 하위 계층 특징을 버퍼링하기 위한 버퍼링 유닛을 더 포함하고, 상기 키 프레임은 상기 초기 키 프레임을 포함하는 것을 특징으로 하는 키 프레임 스케줄링 장치.
  9. 제8항에 있어서,
    상기 제1 특징 추출 유닛은 또한, 상기 현재 프레임이 키 프레임으로 스케줄링된 것으로 결정한 후, 상기 버퍼링 유닛에서 상기 현재 키 프레임의 하위 계층 특징을 버퍼링하기 위한 것임을 특징으로 하는 키 프레임 스케줄링 장치.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 스케줄링 유닛은,
    상기 이전 키 프레임의 하위 계층 특징 및 상기 현재 프레임의 하위 계층 특징을 스플라이싱하여, 스플라이싱 특징을 얻기 위한 스플라이싱 서브 유닛; 및
    상기 스플라이싱 특징에 기반하여 상기 현재 프레임의 스케줄링 확률값을 획득하기 위한 키 프레임 스케줄링 네트워크를 포함하는 것을 특징으로 하는 키 프레임 스케줄링 장치.
  11. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 장치는,
    상기 키 프레임에 대해 시맨틱 분할을 수행하여, 상기 키 프레임의 시맨틱 태그를 출력하기 위한 시맨틱 분할 유닛을 더 포함하며, 상기 키 프레임은 초기 키 프레임, 상기 이전 키 프레임 또는 상기 현재 키 프레임을 포함하는 것을 특징으로 하는 키 프레임 스케줄링 장치.
  12. 전자 기기로서,
    제7항 내지 제9항 중 어느 한 항에 따른 키 프레임 스케줄링 장치를 포함하는 것을 특징으로 하는 전자 기기.
  13. 전자 기기로서,
    프로세서 및 제7항 내지 제9항 중 어느 한 항에 따른 키 프레임 스케줄링 장치를 포함하고;
    프로세서에 의해 상기 키 프레임 스케줄링 장치가 작동될 때, 제7항 내지 제11항 중 어느 한 항에 따른 키 프레임 스케줄링 장치 중의 유닛이 작동되는 것을 특징으로 하는 전자 기기.
  14. 전자 기기로서,
    프로세서 및 메모리를 포함하고;
    상기 메모리는 적어도 하나의 실행 가능 명령어를 저장하기 위한 것이며, 상기 실행 가능 명령어는 상기 프로세서로 하여금 제1항 내지 제3항 중 어느 한 항에 따른 키 프레임 스케줄링 방법에서의 각 단계의 동작을 실행하도록 하는 것을 특징으로 하는 전자 기기.
  15. 컴퓨터 판독 가능한 저장 매체에 저장되고, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 판독 가능 코드가 기기에서 작동될 때, 상기 기기 중의 프로세서는 제1항 내지 제3항 중 어느 한 항에 따른 키 프레임 스케줄링 방법에서의 각 단계를 구현하기 위한 명령어를 실행하는 것을 특징으로 하는 컴퓨터 프로그램.
  16. 컴퓨터 판독 가능 명령어를 저장하기 위한 컴퓨터 판독 가능 매체로서, 상기 명령어가 실행될 때 제1항 내지 제3항 중 어느 한 항에 따른 키 프레임 스케줄링 방법에서의 각 단계의 동작을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
KR1020207005376A 2017-12-27 2018-12-25 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체 KR102305023B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711455838.X 2017-12-27
CN201711455838.XA CN108229363A (zh) 2017-12-27 2017-12-27 关键帧调度方法和装置、电子设备、程序和介质
PCT/CN2018/123445 WO2019128979A1 (zh) 2017-12-27 2018-12-25 关键帧调度方法和装置、电子设备、程序和介质

Publications (2)

Publication Number Publication Date
KR20200102409A KR20200102409A (ko) 2020-08-31
KR102305023B1 true KR102305023B1 (ko) 2021-09-24

Family

ID=62648208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207005376A KR102305023B1 (ko) 2017-12-27 2018-12-25 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체

Country Status (8)

Country Link
US (1) US11164004B2 (ko)
EP (1) EP3644221A4 (ko)
JP (1) JP6932254B2 (ko)
KR (1) KR102305023B1 (ko)
CN (1) CN108229363A (ko)
MY (1) MY182985A (ko)
SG (1) SG11202000578UA (ko)
WO (1) WO2019128979A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229363A (zh) 2017-12-27 2018-06-29 北京市商汤科技开发有限公司 关键帧调度方法和装置、电子设备、程序和介质
JP7257756B2 (ja) * 2018-08-20 2023-04-14 キヤノン株式会社 画像識別装置、画像識別方法、学習装置、及びニューラルネットワーク
CN111862030B (zh) * 2020-07-15 2024-02-09 北京百度网讯科技有限公司 一种人脸合成图检测方法、装置、电子设备及存储介质
DE102021204846B4 (de) 2021-05-12 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern einer Robotervorrichtung
CN114222124B (zh) * 2021-11-29 2022-09-23 广州波视信息科技股份有限公司 一种编解码方法及设备
CN115908280B (zh) * 2022-11-03 2023-07-18 广东科力新材料有限公司 基于数据处理的pvc钙锌稳定剂的性能确定方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134450A (ja) 2001-10-24 2003-05-09 Ricoh Co Ltd 代表フレーム画像検出装置及びそのプログラム
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
CN102799684B (zh) * 2012-07-27 2015-09-09 成都索贝数码科技股份有限公司 一种视音频文件编目标引、元数据存储索引与搜索方法
EP3074918B1 (en) * 2013-11-30 2019-04-03 Beijing Sensetime Technology Development Co., Ltd. Method and system for face image recognition
US10387773B2 (en) * 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification
US10062412B2 (en) * 2015-06-05 2018-08-28 Apple Inc. Hierarchical segmentation and quality measurement for video editing
US20160378863A1 (en) 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US9552520B1 (en) * 2015-07-07 2017-01-24 Disney Enterprises, Inc. Systems and methods for automatic key frame extraction and storyboard interface generation for video
CN105095862B (zh) * 2015-07-10 2018-05-29 南开大学 一种基于深度卷积条件随机场的人体动作识别方法
CN105677735B (zh) 2015-12-30 2020-04-21 腾讯科技（深圳）有限公司 一种视频搜索方法及装置
WO2017166019A1 (en) * 2016-03-28 2017-10-05 Xiaogang Wang Method and system for pose estimation
CN107484017B (zh) * 2017-07-25 2020-05-26 天津大学 基于注意力模型的有监督视频摘要生成方法
CN108229363A (zh) * 2017-12-27 2018-06-29 北京市商汤科技开发有限公司 关键帧调度方法和装置、电子设备、程序和介质
US11577388B2 (en) * 2019-06-27 2023-02-14 Intel Corporation Automatic robot perception programming by imitation learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wei-Ying Ma and HongJiang Zhang, ‘An Indexing and Browsing System for Home Video’, Theories and Applications, Proceedings Ofeusipco, Vol. 1, 4 Sep. 2000*

Also Published As

Publication number Publication date
JP6932254B2 (ja) 2021-09-08
JP2020536332A (ja) 2020-12-10
EP3644221A4 (en) 2020-10-28
SG11202000578UA (en) 2020-02-27
KR20200102409A (ko) 2020-08-31
MY182985A (en) 2021-02-05
US20200394414A1 (en) 2020-12-17
EP3644221A1 (en) 2020-04-29
US11164004B2 (en) 2021-11-02
WO2019128979A1 (zh) 2019-07-04
CN108229363A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
KR102305023B1 (ko) 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체
JP7165731B2 (ja) 目標検出方法及び装置、トレーニング方法、電子機器並びに媒体
US11170210B2 (en) Gesture identification, control, and neural network training methods and apparatuses, and electronic devices
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
CN109117831B (zh) 物体检测网络的训练方法和装置
US11062453B2 (en) Method and system for scene parsing and storage medium
US10891465B2 (en) Methods and apparatuses for searching for target person, devices, and media
US11270158B2 (en) Instance segmentation methods and apparatuses, electronic devices, programs, and media
CN108230346B (zh) 用于分割图像语义特征的方法和装置、电子设备
CN108235116B (zh) 特征传播方法和装置、电子设备和介质
CN109564575A (zh) 使用机器学习模型来对图像进行分类
US9269025B1 (en) Object detection in images
JP7425147B2 (ja) 画像処理方法、テキスト認識方法及び装置
KR102140805B1 (ko) 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
CN112215171B (zh) 目标检测方法、装置、设备及计算机可读存储介质
WO2019212728A1 (en) Displaying a subset of menu items based on a prediction of the next user-actions
US11604963B2 (en) Feedback adversarial learning
CN114299366A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN112508005B (zh) 用于处理图像的方法、装置、设备以及存储介质
CN110298384B (zh) 对抗样本图像生成方法和装置
CN115830715A (zh) 基于手势识别的无人车控制方法、装置和设备
CN115116080A (zh) 表格解析方法、装置、电子设备和存储介质
CN114489341A (zh) 手势的确定方法和装置、电子设备和存储介质
CN110837596B (zh) 一种智能推荐方法、装置、计算机设备及存储介质
CN113919476A (zh) 一种图像处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant