KR20190019894A - 비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체 - Google Patents

비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체 Download PDF

Info

Publication number
KR20190019894A
KR20190019894A KR1020187017256A KR20187017256A KR20190019894A KR 20190019894 A KR20190019894 A KR 20190019894A KR 1020187017256 A KR1020187017256 A KR 1020187017256A KR 20187017256 A KR20187017256 A KR 20187017256A KR 20190019894 A KR20190019894 A KR 20190019894A
Authority
KR
South Korea
Prior art keywords
frame
layer
feature
fragment
video
Prior art date
Application number
KR1020187017256A
Other languages
English (en)
Other versions
KR102247907B1 (ko
Inventor
잰쭝 왕
징 시야오
Original Assignee
핑안 테크놀로지 (션젼) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 핑안 테크놀로지 (션젼) 컴퍼니 리미티드 filed Critical 핑안 테크놀로지 (션젼) 컴퍼니 리미티드
Publication of KR20190019894A publication Critical patent/KR20190019894A/ko
Application granted granted Critical
Publication of KR102247907B1 publication Critical patent/KR102247907B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

본 발명은 비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체를 개시한다. 이 방법은 재구성할 압축 비디오 프레임을 수신한 후, 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출하는 단계(B)와, 추출된 프레임 단편을 미리 훈련된 비디오 프레임 재구성 모델의 프레임 단편 입력층에 입력하며 상기 비디오 프레임 재구성 모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임 단편에 대해 특징 추상을 하며, 프레임 단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하는 단계(C)와, 상기 비디오 프레임 재구성 모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형 매핑에 의해 입력된 프레임 단편을 프레임 단편 블록으로 재구성하며, 상기 비디오 프레임 재구성 모델의 프레임 단편 출력층에서 재구성된 프레임 단편 블록을 출력하며 재구성된 프레임 단편 블록에 기초하여 재구성된 비디오를 생성하는 단계(D)를 포함한다. 본 발명은 고속 및 고품질로 비디오　프레임을 렌더링 재구성할 수 있다.

Description

비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체
본 발명은 컴퓨터 기술 분야에 관한 것으로, 특히 비디오 압축 감지 재구성 방법, 시스템, 전자장치 및 저장매체에 관한 것이다.
기존의 시간영역에 기초한 비디오 압축 감지 알고리즘은 컴퓨터의 복잡성에 매우 예민하며 특히, 비디오 프레임에 대해 렌더링 재구성을 할 때 처리 속도가 극히 느리고 그래픽 처리 유닛（Graphics Processing Unit，GPU）을 이용하여 병렬적으로 가속해도 이 문제를 현저히 개선할 수 없다. 현재, 빠른 속도로 비디오 블록에 대한 감지　재구성을 완성할 수 있는 알고리즘이 존재하지만 재구성의 품질이 통상적으로 낮다. 따라서, 고속적 및 고품질적으로 비디오 프레임에 대해 렌더링 재구성을 하는 것은 시급히 해결해야 할 기술 문제로 된다.
본 발명의 주된 목적은 고속적 및 고품질적으로 비디오　프레임을 렌더링 재구성하기 위해 비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체를 제공하고자 한다.
본 발명 첫 번째 방면에 있어서 비디오　압축　감지　재구성　방법을 제공하는 바, 상기 방법은 하기와 같은 단계를 포함한다.
(B). 재구성할 압축 비디오 프레임을 수신한 후, 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출한다.
(C). 추출된 프레임　단편을 미리 훈련된 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축한다.
(D). 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형　매핑에 의해 입력된 프레임　단편을 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성한다.
본 발명 두 번째 방면에 있어서, 비디오　압축　감지　재구성　시스템을 제공하는 바, 상기 비디오　압축　감지　재구성 시스템은 하기와 같은 모듈을 포함한다.
추출모듈: 재구성할 압축 비디오 프레임을 수신한 후 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출한다.
특징 추상 모듈: 추출된 프레임　단편을 미리 훈련된 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축한다.
재구성모듈: 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형　매핑에 의해 입력된 프레임　단편을 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성한다.
본 발명 세 번째 방면에 있어서, 처리장비 및 저장장비를 포함하는 전자장치를 제공하는 바, 이 저장장비는 비디오　압축　감지　재구성 프로그램이 저장되고 이는 적어도 1개의 컴퓨터 판독 가능한 명령을 포함하며 이 적어도 1개의 컴퓨터 판독 가능한 명령은 상기 처리장비에 의해 실행될 수 있어 하기와 같은 동작을 실현한다.
재구성할 압축 비디오 프레임을 수신한 후 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출한다.
추출된 프레임　단편을 미리 훈련된 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축한다.
상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형　매핑에 의해 입력된 프레임　단편을 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성한다.
본 발명 네 번째 방면에 있어서, 컴퓨터 판독 가능한 저장매체를 제공하는 바, 이는 처리장비에 의해 실행될 수 있는 적어도 1개의 컴퓨터 판독 가능한 명령을 저장하여 하기와 같은 동작을 실현한다.
재구성할 압축 비디오 프레임을 수신한 후 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출한다.
추출된 프레임　단편을 미리 훈련된 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축한다.
상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형　매핑에 의해 입력된 프레임　단편을 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성한다.
본 발명은 비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체를 제안하는 바, 미리 결정된 추출 규칙에 따라 재구성할 압축　비디오　프레임의 프레임　단편을 추출하며, 미리 훈련된 비디오 프레임 재구성 모델의 다수 개의 특징 추상 은닉층에서 이 프레임 단편에 대해 특징 추상을 하고 프레임 단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하고 상기 비선형 매핑에 의해 입력된 프레임 단편을 프레임 단편 블록으로 재구성하고 출력한다. 재구성할 압축 비디오 프레임을 프레임 단편으로 추출한 후 프레임 단편에 대해 재구성을 하고 바로 큰 압축 비디오 프레임에 대해 처리하지 않기 때문에 계산 복잡도를 낮추고 비디오 프레임의 재구성 속도를 향상시키며, 미리 훈련된 비디오 프레임 재구성 모델의 다수 개의 특징 추상 은닉층에서 각각 프레임 단편에 대해 특징 추상을 하고 프레임 단편을 프레임 단편 블록으로 재구성하고 출력하여 효과적으로 압축 비디오 프레임의 각 세부 특징을 추출할 수 있어 비디오 프레임 재구성의 품질을 향상시킨다.
도1은 본 발명에 따른 비디오　압축　감지　재구성　방법을 실현하기 위한 바람직한 실시예의 어플리케이션 환경을 나타낸 도면이다.　
도2는 본 발명에 따른 비디오　압축　감지　재구성　방법의 제1실시예의 흐름도이다.
도3은 본 발명에 따른 비디오　압축　감지　재구성　방법의 제2실시예의 흐름도이다.
도4는 본 발명에 따른 비디오　압축　감지　재구성　방법의 일 실시예에서의 비디오　프레임　재구성　모델을 나타낸 흐름도이다.
도5는 본 발명에 따른 비디오　압축　감지　재구성　시스템의 제1실시예의 기능 모듈을 나타낸 도면이다.
도6은 본 발명에 따른 비디오　압축　감지　재구성　시스템의 제2실시예의 기능 모듈을 나타낸 도면이다.
본 발명의 목적 실현, 기능 특징 및 장점에 대해 실시예를 통해 도면을 참조하여 설명하기로 한다.
본 발명이 해결하고자 하는 기술문제, 기술방안, 유익 효과를 더 명확하고 뚜렷하게 하기 위해, 하기와 같은 도면과 실시예를 통해 본 발명에 대해 진일보 상세하게 설명하기로 한다. 여기서에서 설명하는 구체적인 실시예는 본 발명을 예시적으로 설명하기 위한 것일 뿐 본 발명을 한정하기 위한 것이 아니다.
도1에 도시된 바와 같이, 본 발명에 따른 비디오　압축　감지　재구성　방법을 실현하기 위한 바람직한 실시예의 어플리케이션 환경을 나타낸 도면이다.　상기 전자장치(1)는 미리 설정되거나 저장된 명령에 따라 자동적으로 수치계산 및/또는 정보처리를 수행할 수 있는 장치이다. 상기 전자장치(1)는 컴퓨터일 수도 있고 단일 네트워크 서버, 다수 개의 네트워크 서버로 구성된 서버그룹, 또는 클라우드 컴퓨팅을 기초하여 대량의 호스트 또는 네트워크　서버로 구선된 클라우드일 수도 있고, 그 중 클라우드 컴퓨팅은 분산 컴퓨팅의 일종으로서 느슨하게　결합된 일군의 컴퓨터 세트로 구성된 1개의 수퍼 가상 컴퓨터이다.
본 실시예에 있어서, 전자장치(1)는 저장장비(11) 및 처리장비(12) 등을 포함한다. 처리장비(12)는 전자장치(1)의 운행을 지지하기 위한 것으로 1개 또는 다수 개의 마이크로프로세서, 디지털 프로세서 등을 포함할 수 있다. 저장장비(11)는 다양한 데이터 및 컴퓨터 판독 가능한 명령을 저장하고, ROM, EPROM 또는 Flash Memory(플래시 메모리)등의 1개 또는 다수 개의 비휘발성　저장매체를 포함할 수 있다. 일 실시예에 있어서, 저장장비(11)에 비디오　압축　감지　재구성 프로그램이 저장되고 이는 적어도 1개의 저장장비(11)에 저장된 컴퓨터 판독 가능한 명령을 포함하며 이는 적어도 1개의 컴퓨터 판독 가능한 명령은 처리장비(12)에 의해 실행될 수 있어 본 발명의 각 실시예에 따른 비디오　압축　감지　재구성 방법을 실현할 수 있다.
본 발명은 비디오　압축　감지　재구성 방법을 개시한다.
도2를 참조하면, 도2는 본 발명에 따른 비디오　압축　감지　재구성　방법의 제1실시예의 흐름도이다.
제1실시예에 있어서, 이 비디오　압축　감지　재구성　방법은 하기와 같은 단계를 포함한다.
단계(S10)에서，재구성할 압축 비디오 프레임을 수신한 후, 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출한다.
본 실시예에 있어서, 재구성할 압축 비디오 프레임을 수신한 후, 바로 상기 압축　비디오　프레임에 대해 렌더링 재구성을 하지 않고 우선 상기 압축　비디오　프레임에 대해 미리 결정된 추출 규칙에 따라 프레임　단편을 추출한다. 이 미리 결정된 추출 규칙은 컬러, 컨텐츠, 포맷, 면적 크기 등의 서로 다른 특징에 따라 상기 압축　비디오　프레임에 대해 프레임　단편을 추출하고 여기서 한정하지 않는다.
선택이 가능한 일 실시방식에 있어서, 상기 미리 결정된 추출 규칙은 재구성할 압축 비디오 프레임을 블록으로 분할하되 상기 재구성할 압축 비디오 프레임을 여러 개의 프레임　단편으로 분할한다. 예를 들어, JPEG, PNG 등 다양한 유형의 압축　비디오　프레임을 블록으로 분할하되, 상기 압축　비디오　프레임을 N×M(예를 들어, 32×32)의 프레임　단편으로 분할하고, N과 M는 양의 정수이다. 그 중, 상기 압축　비디오　프레임을 블록으로 분할할 때, 상기 압축　비디오　프레임을 각각 동일한 크기의 프레임　단편으로 등분할 수도 있고 상기 압축　비디오　프레임을 일정 비율 또는 랜덤으로 서로 다른 크기의 소형 프레임　단편으로 분할할 수도 있고 여기서 한정하지 않는다. 프레임　단편은 규칙의 형태를 갖는 정사각형, 직사각형 등일 수도 있고 불규칙의 형태를 갖는 단편일 수도 있고 여기서 한정하지 않는다.
단계(S20)에서，추출된 프레임　단편을 미리 훈련된 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축한다.
상기 압축　비디오　프레임의 프레임　단편을 추출한 후, 미리 훈련된 비디오　프레임　재구성　모델을 이용하여 이 프레임　단편에 대해 상응하는 처리를 한다. 그 중, 이 비디오　프레임　재구성　모델은 비디오　압축　감지　재구성 때마다 구축되어 훈련된 모델일 수도 있고, 미리 구축되어 훈련된 모델일 수도 있어 비디오　압축　감지　재구성 때마다 바로 이 모델을 호출하면 되고 여기서 한정하지 않는다.
예를 들어, 본 실시예에 있어서, 상기 비디오　프레임　재구성　모델은 프레임　단편 입력층, 프레임　단편 블록 출력층, 다수 개의 특징 추상 은닉층을 포함하고, 상기 압축　비디오　프레임의 프레임　단편을 추출한 후, 추출된 프레임　단편을 이 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며, 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하여 각의 프레임　단편과 최종 재구성될 프레임　단편　블록 사이에서 관계를 이룬다.
단계(S30)에서, 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형　매핑에 의해 입력된 프레임　단편을 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성한다.
상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층은 구축된 상기 비선형　매핑, 즉, 각의 프레임　단편이 특징 추상된 후 최종 재구성될 프레임　단편　블록 사이에서의 맵핑 관계에 의해 입력된 프레임　단편을 최종의 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성하고 예를 들어, 재구성된 프레임　단편 블록이 스티칭, 조합 등으로 재구성된 비디오를 생성하고 상기 압축　비디오　프레임에 대해 렌더링 재구성을 이룬다.
본 실시예는 미리 결정된 추출 규칙에 의해 재구성할 압축　비디오　프레임의 프레임　단편을 추출하며, 미리 훈련된 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 이 프레임　단편에 대해 특징 추상을 하고 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하고 상기 비선형 매핑에 의해 입력된 프레임 단편을 프레임　단편　블록으로 재구성하고 출력한다. 재구성할 압축　비디오　프레임을 프레임　단편으로 추출한 후 프레임　단편에 대해 재구성을 하고 바로 큰 압축　비디오　프레임에 대해 처리하지 않기 때문에 계산 복잡도를 낮추고 비디오　프레임의 재구성 속도를 향상시키며, 미리 훈련된 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 각 프레임　단편에 대해 특징 추상을 하고 프레임 단편을 프레임　단편　블록으로 재구성하고 출력하여 효과적으로 압축　비디오　프레임의 각 세부 특징을 추출할 수 있어 비디오　프레임　재구성의 품질을 향상시킨다.
도3에 도시된 바와 같이, 본 발명의 제2실시예에 따른 비디오　압축　감지　재구성　방법은 상기 실시예에 기초하여 상기 단계(S10) 전에 하기 와 같은 단계를 더 포함한다.
단계(S40)에서，비디오　프레임　재구성　모델을 구축하여 훈련하되 상기 비디오　프레임　재구성　모델은 적어도 1개의 프레임　단편　입력층, 적어도 1개의 프레임　단편 블록 출력층, 및 다수 개의 특징 추상 은닉층을 포함한다.
본 실시예에 있어서, 비디오　프레임　재구성을 하기 전에 비디오　프레임　재구성　모델을 구축하여야 하고 상기 비디오　프레임　재구성　모델은 적어도 1개의 프레임　단편　입력층, 적어도 1개의 프레임　단편 블록 출력층, 및 다수 개의 특징 추상 은닉층을 포함한다. 비디오　프레임　재구성　모델을 훈련하기 전에 훈련 데이터와 테스트 데이터를 생성하는 단계를 더 포함하고, 이 훈련 데이터와 테스트 데이터를 생성하는 단계는 하기와 같은 단계를 포함한다.
미리 설정된 개수(예를 들어, 100개)의 서로 다른 종류의 자연장면의 비디오를 획득하고 획득된 각 비디오를 그레이스케일 컬러 공간으로 변환한다. 그 증, 모든 획득된 비디오의 데이터 크기 누적합이 미리 설정된 값(예를 들어, 10K)을 만족하여야 한다.
각각 변환된 비디오를 미리 정의한 크기가
Figure pct00001
Figure pct00002
Figure pct00003
(예를 들어,
Figure pct00004
=8，
Figure pct00005
=8，
Figure pct00006
)인 메트릭 변환 매트릭스에 의해 압축한다. 예를 들어,
Figure pct00007
는 미리 설정된 개수의 비디오의 비디오 블록 b의 폭이고,
Figure pct00008
는 비디오 블록 b의 높이이고,
Figure pct00009
는 비디오 블록 b의 길이(즉, 비디오　프레임의 개수)이고, 각 비디오 블록은
Figure pct00010
이고, i
Figure pct00011
N, N은 1보다 큰 양의 정수이고, 압축된 비디오　프레임은
Figure pct00012
Figure pct00013
Figure pct00014
Figure pct00015
Figure pct00016
이고, 그 중
Figure pct00017
=
Figure pct00018
，
Figure pct00019
는 메트릭　변환　매트릭스이다.
모든 압축된 비디오에 대해 미리 설정된 비율, 예를 들어, X：Y（예를 들어, 7:3）의 비율에 따라 제1 데이터 세트와 제2 데이터 세트로 구분하고, 그 중, 제1 데이터 세트에 포함된 비디오 개수가 제2 데이터 세트에 포함된 비디오 개수보다 많으며, 제1 데이터 세트를 훈련 세트로 하고 제2 데이터 세트를 테스트 세트로 하며, 그 중, X는 0보다 크고 Y는 0보다 큰다.
일 실시방식에 있어서, 이 비디오　프레임　재구성　모델의 훈련 과정은 하기와 같다.
이 비디오　프레임　재구성　모델을 훈련할 때, 입력된 비디오　프레임의 batch size(배치 크기)가 200로 설치되고 총 훈련 횟수가 10Х106개의 반복 횟수로 설정될 수있으며, 각각 입력된 비디오　프레임　사이의 차이 값은 평균 값이 1로 되고 표준 편차가 1로 되도록 프로토콜로 된다. 훈련의 시작 단계에서 각 특징 추상 은닉층의 뉴런 가중치는 랜덤으로 초기화되고 랜덤　값은 범위가
Figure pct00020
인 균일한 분포에 포함되고 변량S는 이전 특징 추상 은닉층의 뉴런 개수와 같다.
훈련과정에서 확률 기울기 하강(SGD，Stochastic Gradient Descent) 알고리즘에 의해 이비디오　프레임　재구성　모델 중의 각 파라미터를 최적화한다. 확률 기울기 하강 알고리즘은 제어 변량이 많고 제어 시스템이 복잡하고 정확한 수학모델을 구축할 수 없는 최적화 제어 과정에 적용된다. 본 실시예에서 시작 학습률이 0.001로 설정될 수 있고 3×106개의 반복 횟수마다 학습률이 원래의 10분의 1로 된다. 확률 기울기 하강 알고리즘의 모멘텀(momentum)는 0.9로 설정될 수 있고 확률 기울기 하강을 하는 동시에 기울기에 대해 클립핑을 할 수 있고 해답을 구하여야 하는 목표함수가 E(x) = f(x) + r(x)인 것을 가정하고 그 중, f(x)는 손실 함수이고 모델의 훈련 손실을 평가하기 위한 것으로 임의한 미분가능한 볼록함수이고, r(x)는 표준화된 제약 인자이고 모델에 제한하기 위한것으로 모델 파라미터의 확률 분포에 따라 r(x)가 일반적으로 L1 정상 형태 제약（모델이 가우스 분포를 따른다）과 L2 정상 형태 제약（모델이 라플라스 분포를 따른다）을 포함하며, L2 정상 형태를 이용하여 가중치 갱신 기울기에 대해 클립핑을 하여 기울기가 일정 범위 안에 포함함으로써 기울기 발산 현상으로 인해 모델의 컨버전스에 영향을 주는 것을 방지하며 기울기 클립핑의 한계값은 10로 설정될 수 있다.
또한, 다른 실시예에 있어서, 도4에 도시된 바와 같이, 도4는 본 발명에 따른 비디오　압축　감지　재구성　방법의 일 실시예에서의 비디오　프레임　재구성　모델을 나타낸 흐름도이다. 이 비디오　프레임　재구성　모델은 1개의 프레임　단편　입력층, 1개의 프레임　단편 블록 출력층, k 개의 특징 추상 은닉층(k가 1보다 큰 자연수이다)을 포함하고 각 특징 추상 은닉층은 하기와 같은 수식과 같다.
Figure pct00021
=
Figure pct00022
，
그 중,
Figure pct00023
는 이 특징 추상 은닉층의 활성화 값 벡터이고,
Figure pct00024
는 제k층 특징 추상 은닉층의 뉴런의 개수이고,
Figure pct00025
즉,
Figure pct00026
는 활성화 함수이고 표현식은
Figure pct00027
= max
Figure pct00028
이고，
Figure pct00029
는 이 특징 추상 은닉층의 뉴런의 오프셋　벡터이고,
Figure pct00030
는 가중치　매트릭스이고,
Figure pct00031
는 이 특징 추상 은닉층의 입력 벡터이다.
상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스에 기초하여 훈련하면 비디오　프레임　재구성　모델
Figure pct00032
을 얻고, 그 중,
Figure pct00033
는 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스의 파라미터　세트이고,
Figure pct00034
는 상기 프레임　단편 입력층에서 입력된 프레임　단편이고,
Figure pct00035
는 다수 개의 특징 추상 은닉층에 의해 상기 프레임　단편 입력층에서 입력된 프레임　단편에 대해 특징 추상을 하여 구축된 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑이다.
도4를 참조하면, 이 프레임　단편 입력층은 프레임　단편을 입력받고 K층의 특징 추상 은닉층의 특징 추상을 하여 마지막에 이 프레임　단편 블록 출력층에 출력되며, 이 프레임　단편 블록 출력층의 치수는 최종 재구성된 비디오　블록의 총 크기와 같고 모두가
Figure pct00036
Figure pct00037
Figure pct00038
이다. 이 비디오　프레임　재구성　모델을 훈련하기 위해 입력 파라미터에 따라 모델의 가중치와 오프셋 아이템를 지속적으로 조정하여야 한다. 모델의 모든 파라미터로 구성된 세트를
Figure pct00039
로 표시하고 오차역전파(Error Back Propagation, BP) 알고리즘을 이용하여 파라미터를 갱신하고 최적화 함수는 MSE(Mean Squared Error, 평균제곱오차)이면,
Figure pct00040
=
Figure pct00041
이다.
바람직한 실시방식에 있어서, 이 비디오　프레임　재구성　모델의 프레임　단편 입력층의 치수는 8×8인 것을 가정할 수 있고, 이 비디오　프레임　재구성　모델의 프레임　단편 블록 출력층의 치수는 8×8×16인 것을 가정할 수 있고, 이 비디오　프레임　재구성　모델의 특징 추상 은닉층은 7층인 것을 가정할 수 있고, 각 특징 추상 은닉층의 치수는 128, 256，384, 512，512, 4096，2048인 것을 가정할 수 있다.
본 발명은 비디오　압축　감지　재구성 시스템을 진일보 개시한다.
도5를 참조하면, 도5는 본 발명에 따른 비디오　압축　감지　재구성　시스템의 제1실시예의 기능 모듈을 나타낸 도면이다.
제1실시예에 있어서, 이 비디오　압축　감지　재구성　시스템은 하기와 같은 모듈을 포함한다.
추출모듈(01), 재구성할 압축 비디오 프레임을 수신한 후, 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출한다.
본 실시예에 있어서, 재구성할 압축 비디오 프레임을 수신한 후, 바로 상기 압축　비디오　프레임에 대해 렌더링 재구성을 하지 않고 우선 상기 압축　비디오　프레임에 대해 미리 결정된 추출 규칙에 따라 프레임　단편을 추출한다. 이 미리 결정된 추출 규칙은 컬러, 컨텐츠, 포맷, 면적 크기 등의 서로 다른 특징에 따라 상기 압축　비디오　프레임에 대해 프레임　단편을 추출하고 여기서 한정하지 않는다.
선택이 가능한 일 실시방식에 있어서, 상기 미리 결정된 추출 규칙은 재구성할 압축 비디오 프레임을 블록으로 분할하되 상기 재구성할 압축 비디오 프레임을 여러 개의 프레임　단편으로 분할한다. 예를 들어, JPEG, PNG 등 다양한 유형의 압축　비디오　프레임을 블록으로 분할하되, 상기 압축　비디오　프레임을 N×M(예를 들어, 32×32)의 프레임　단편으로 분할하고, N과 M는 양의 정수이다. 그 중, 상기 압축　비디오　프레임을 블록으로 분할할 때, 상기 압축　비디오　프레임을 각각 동일한 크기의 프레임　단편으로 등분할 수도 있고 상기 압축　비디오　프레임을 일정 비율 또는 랜덤으로 서로 다른 크기의 소형 프레임　단편으로 분할할 수도 있고 여기서 한정하지 않는다. 프레임　단편은 규칙의 형태를 갖는 정사각형, 직사각형 등일 수도 있고 불규칙의 형태를 갖는 단편일 수도 있고 여기서 한정하지 않는다.
특징 추상 모듈(02), 추출된 프레임　단편을 미리 훈련된 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축한다.
상기 압축　비디오　프레임의 프레임　단편을 추출한 후, 미리 훈련된 비디오　프레임　재구성　모델을 이용하여 이 프레임　단편에 대해 상응하는 처리를 한다. 그 중, 이 비디오　프레임　재구성　모델은 비디오　압축　감지　재구성 때마다 구축되어 훈련된 모델일 수도 있고, 미리 구축되어 훈련된 모델일 수도 있어 비디오　압축　감지　재구성 때마다 바로 이 모델을 호출하면 되며 여기서 한정하지 않는다.
예를 들어, 본 실시예에 있어서, 상기 비디오　프레임　재구성　모델은 프레임　단편 입력층, 프레임　단편 블록 출력층, 다수 개의 특징 추상 은닉층을 포함하고, 상기 압축　비디오　프레임의 프레임　단편을 추출한 후, 추출된 프레임　단편을 이 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며, 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하여 각각의 프레임　단편과 최종 재구성될 프레임　단편　블록 사이에서 관계를 이룬다.
재구성모듈(03), 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형　매핑에 의해 입력된 프레임　단편을 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성한다.
상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층은 구축된 상기 비선형　매핑, 즉, 각각의 프레임　단편이 특징 추상된 후 최종 재구성될 프레임　단편　블록 사이에서의 맵핑 관계에 의해 입력된 프레임　단편을 최종의 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성하고 예를 들어, 재구성된 프레임　단편 블록이 스티칭, 조합 등으로 재구성된 비디오를 생성하고 상기 압축　비디오　프레임에 대해 렌더링 재구성을 이룬다.
본 실시예는 미리 결정된 추출 규칙에 의해 재구성할 압축　비디오　프레임의 프레임　단편을 추출하며, 미리 훈련된 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 이 프레임　단편에 대해 특징 추상을 하고 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하고 상기 비선형 매핑에 의해 입력된 프레임 단편을 프레임　단편　블록으로 재구성하고 출력한다. 재구성할 압축　비디오　프레임을 프레임　단편으로 추출한 후 프레임　단편에 대해 재구성을 하고 바로 큰 압축　비디오　프레임에 대해 처리하지 않기 때문에 계산 복잡도를 낮추고 비디오　프레임의 재구성 속도를 향상시키며, 미리 훈련된 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 각각 프레임　단편에 대해 특징 추상을 하고 프레임 단편을 프레임　단편　블록으로 재구성하고 출력하여 효과적으로 압축　비디오　프레임의 각 세부 특징을 추출할 수 있어 비디오　프레임　재구성의 품질을 향상시킨다.
도6을 참조하면, 본 발명의 제2실시예는 비디오　압축　감지　재구성 시스템을 개시하고, 상기 실시예에 기초하여 하기와 같은 모듈을 더 포함한다.
구축모듈(04)，비디오　프레임　재구성　모델을 구축하여 훈련하되 상기 비디오　프레임　재구성　모델은 적어도 1개의 프레임　단편　입력층, 적어도 1개의 프레임　단편 블록 출력층, 및 다수 개의 특징 추상 은닉층을 포함한다.
본 실시예에 있어서, 비디오　프레임　재구성을 하기 전에 비디오　프레임　재구성　모델을 구축하여야 하고 상기 비디오　프레임　재구성　모델은 적어도 1개의 프레임　단편　입력층, 적어도 1개의 프레임　단편 블록 출력층, 및 다수 개의 특징 추상 은닉층을 포함한다. 상기 구축모듈은 훈련 데이터와 테스트 데이터를 생성하는 생성유닛을 더 포함하고, 상기 생성유닛은 미리 설정된 개수(예를 들어, 100개)의 서로 다른 종류의 자연장면의 비디오를 획득하고 획득된 각각 비디오를 그레이스케일 컬러 공간으로 변환한다. 그 증, 모든 획득된 비디오의 데이터 크기 누적합이 미리 설정된 값(예를 들어, 10K)을 만족하여야 한다.
각각 변환된 비디오를 미리 정의한 크기가
Figure pct00042
Figure pct00043
Figure pct00044
(예를 들어,
Figure pct00045
=8，
Figure pct00046
=8，
Figure pct00047
)인 메트릭 변환 매트릭스에 의해 압축한다. 예를 들어,
Figure pct00048
는 미리 설정된 개수의 비디오의 비디오 블록 b의 폭이고,
Figure pct00049
는 비디오 블록 b의 높이이고,
Figure pct00050
는 비디오 블록 b의 길이(즉, 비디오　프레임의 개수)이고, 각 비디오 블록은
Figure pct00051
이고, i
Figure pct00052
N, N은 1보다 큰 양의 정수이고, 압축된 비디오　프레임은
Figure pct00053
Figure pct00054
Figure pct00055
Figure pct00056
Figure pct00057
이고, 그 중
Figure pct00058
=
Figure pct00059
，
Figure pct00060
는 메트릭　변환　매트릭스이다.
모든 압축된 비디오에 대해 미리 설정된 비율, 예를 들어, X：Y（예를 들어, 7:3）의 비율에 따라 제1 데이터 세트와 제2 데이터 세트로 구분하고, 그 중, 제1 데이터 세트에 포함된 비디오 개수가 제2 데이터 세트에 포함된 비디오 개수보다 많으며, 제1 데이터 세트를 훈련 세트로 하고 제2 데이터 세트를 테스트 세트로 하며, 그 중, X는 0보다 크고 Y는 0보다 큰다.
일 실시방식에 있어서, 이 비디오　프레임　재구성　모델의 훈련 과정은 하기와 같다.
이 비디오　프레임　재구성　모델을 훈련할 때, 입력된 비디오　프레임의 batch size(배치 크기)가 200로 설치되고 총 훈련 횟수가 10×106개의 반복 횟수로 설정될 수 있으며, 각각 입력된 비디오　프레임　사이의 차이 값은 평균 값이 1로 되고 표준 편차가 1로 되도록 프로토콜로 된다. 훈련의 시작 단계에서 각각 특징 추상 은닉층의 뉴런 가중치는 랜덤으로 초기화되고 랜덤　값은 범위가
Figure pct00061
인 균일한 분포에 포함되고 변량S는 이전 특징 추상 은닉층의 뉴런 개수와 같다.
훈련과정에서 확률 기울기 하강(SGD，Stochastic Gradient Descent) 알고리즘에 의해 이비디오　프레임　재구성　모델 중의 각 파라미터를 최적화한다. 확률 기울기 하강 알고리즘은 제어 변량이 많고 제어 시스템이 복잡하고 정확한 수학모델을 구축할 수 없는 최적화 제어 과정에 적용된다. 본 실시예에서 시작 학습률이 0.001로 설정될 수 있고 3×106개의 반복 횟수마다 학습률이 원래의 10분의 1로 된다. 확률 기울기 하강 알고리즘의 모멘텀(momentum)는 0.9로 설정될 수 있고 확률 기울기 하강을 하는 동시에 기울기에 대해 클립핑을 할 수 있고 해답을 구하여야 하는 목표함수가 E(x) = f(x) + r(x)인 것을 가정하고 그 중, f(x)는 손실 함수이고 모델의 훈련 손실을 평가하기 위한 것으로 임의한 미분가능한 볼록함수이고, r(x)는 표준화된 제약 인자이고 모델에 제한하기 위한 것으로 모델 파라미터의 확률 분포에 따라 r(x)가 일반적으로 L1 정상 형태 제약（모델이 가우스 분포를 따른다）과 L2 정상 형태 제약（모델이 라플라스 분포를 따른다）을 포함하며, L2 정상 형태를 이용하여 가중치 갱신 기울기에 대해 클립핑을 하여 기울기가 일정 범위 안에 포함함으로써 기울기 발산 현상으로 인해 모델의 컨버전스에 영향을 주는 것을 방지하며 기울기 클립핑의 한계값은 10로 설정될 수 있다.
또한, 다른 실시예에 있어서, 이 비디오　프레임　재구성　모델은 1개의 프레임　단편　입력층, 1개의 프레임　단편 블록 출력층, k 개의 특징 추상 은닉층(k가 1보다 큰 자연수이다)을 포함하고 각 특징 추상 은닉층은 하기와 같은 수식과 같다.
Figure pct00062
=
Figure pct00063
，
그 중,
Figure pct00064
는 이 특징 추상 은닉층의 활성화 값 벡터이고,
Figure pct00065
는 제k층 특징 추상 은닉층의 뉴런의 개수이고,
Figure pct00066
즉,
Figure pct00067
는 활성화 함수이고 표현식은
Figure pct00068
= max
Figure pct00069
이고，
Figure pct00070
는 이 특징 추상 은닉층의 뉴런의 오프셋　벡터이고,
Figure pct00071
는 가중치　매트릭스이고,
Figure pct00072
는 이 특징 추상 은닉층의 입력 벡터이다.
상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 가중치　매트릭스에 기초하여 훈련하면 비디오　프레임　재구성　모델
Figure pct00073
을 얻고, 그 중,
Figure pct00074
는 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 가중치　매트릭스의 파라미터　세트이고,
Figure pct00075
는 상기 프레임　단편 입력층에서 입력된 프레임　단편이고,
Figure pct00076
는 다수 개의 특징 추상 은닉층에 의해 상기 프레임　단편 입력층에서 입력된 프레임　단편에 대해 특징 추상을 하여 구축된 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑이다.
도4를 참조하면, 이 프레임　단편 입력층은 프레임　단편을 입력받고 K층의 특징 추상 은닉층의 특징 추상을 하여 마지막에 이 프레임　단편 블록 출력층에 출력되며, 이 프레임　단편 블록 출력층의 치수는 최종 재구성된 비디오　블록의 총 크기와 같고 모두가
Figure pct00077
Figure pct00078
Figure pct00079
이다. 이 비디오　프레임　재구성　모델을 훈련하기 위해 입력 파라미터에 따라 모델의 가중치와 오프셋 아이템를 지속적으로 조정하여야 한다. 모델의 모든 파라미터로 구성된 세트를
Figure pct00080
로 표시하고 오차역전파(Error Back Propagation, BP) 알고리즘을 이용하여 파라미터를 갱신하고 최적화 함수는 MSE(Mean Squared Error, 평균제곱오차)이면,
Figure pct00081
=
Figure pct00082
이다.
바람직한 실시방식에 있어서, 이 비디오　프레임　재구성　모델의 프레임　단편 입력층의 치수는 8×8인 것을 가정할 수 있고, 이 비디오　프레임　재구성　모델의 프레임　단편 블록 출력층의 치수는 8×8×16인 것을 가정할 수 있고, 이 비디오　프레임　재구성　모델의 특징 추상 은닉층은 7층인 것을 가정할 수 있고, 각 특징 추상 은닉층의 치수는 128, 256，384, 512，512, 4096，2048인 것을 가정할 수 있다.
하드웨어의 실현에 있어서, 상기 추출모듈(01), 특징 추상 모듈(02), 재구성 모듈(03), 구축모듈(04) 등은 하드웨어로서 전자장치에 내장되거나 독립적으로 설치될 수도 있고 소프트웨어로서 전자장치의 저장장비에 저장될 수도 있어 처리장비가 상기 각 모듈과 대응되는 작동을 제어하여 수행하기 편리한다. 이 처리장비는 중앙처리장비(CPU), 마이크로프로세서, 마이크로컨트롤러 등일 수 있다.
또한, 본 발명은 컴퓨터 판독 가능한 저장매체를 더 개시하고, 상기 컴퓨터 판독 가능한 저장매체는 비디오　압축　감지　재구성 시스템을 저장하고 상기 비디오　압축　감지　재구성 시스템은 적어도 1개의 프로세서에 의해 수행될 수 있어 상기 적어도 1개의 프로세서에 의해 상기 실시예와 같이 비디오　압축　감지　재구성 방법의 단계를 수행하며, 이 비디오　압축　감지　재구성 방법의 단계(S10), (S20), (S30) 등의 구체적인 실시과정은 전술과 같아 여기서 생략하기로 한다.
본 명세서에 있어서, 용어 "포함", "포괄" 또는 이의 임의 기타 변형은 비 배타성의 포함을 뜻하여 일련의 요소를 포함하는 과정, 방법, 물품 또는 장치는 그런 요소를 포함할 뿐만 아니라 명확하게 열거하지 않은 기타 요소도 포함하거나 이런 과정, 방법, 물품 또는 장치가 고유한 요소를 포함한다. 더 많은 한정이 없는 한 문구 “하나의 …… 포함한다”에 의해 한정된 요소는 이 요소의 과정, 방법, 물품 또는 장치에는 다른 동일한 요소가 존재한다는 것을 배제하지 않는다.
본 기술분야의 당업자에게 있어서 상기와 같은 실시방식에 대한 설명을 통해 상기 실시예 방법이 소프트웨어와 필요하고 통용한 하드웨어 플랫폼으로 구현될 수 있으며 몰론 하드웨어를 통해 구현될 수 있지만 대부분의 경우에서 전자가 바람직한 실시방식임은 자명한 것이다. 이런 이해에 기초하여 본 발명의 기술방안 본질적으로 또는 종래 기술에 공헌할 부분은 소프트웨어 상품으로 구현될 수 있고 이 컴퓨터 소프트웨어 상품은 하나의 저장매체(예를 들어, ROM/RAM, 자기 디스크, 광 디스크)에 저장되고 여러 명령을 포함하여 하나의 단말기장치(휴대폰, 컴퓨터, 서버, 네트워크 장비 등일 수 있다)를 통해 본 발명에 따른 각각의 실시예의 방법을 수행한다.
상기와 같은 실시예는 본 발명의 바람직한 실시예로서 본 발명에 대해 한정하고자 하는 것이 아니다. 상기와 같은 본 발명에 따른 실시예의 순번은 설명하기 위한 것일 뿐 실시예의 우열을 가리기 위한 것이 아니다. 또한, 흐름도에서 논리 순서를 나타내지만 어떤 경우에서 여기의 순서와 다르게 상기 도시되거나 설명된 단계를 수행한다.
본 영역의 기술자들은 본 발명의 범위와 실질을 벗지 않고 여러 가지의 변형방안으로 본 발명을 이룰 수 있으며, 예를 들어, 한 실시예의 특징으로서 다른 실시예에 적용되어 또 다른 실시예를 얻을 수 있다. 본 발명의 기술사상에서 임의 수정, 등가치환, 개진은 모두 본 발명의 특허보호범위내에 포함된다.

Claims (20)

  1. 비디오　압축　감지　재구성　방법에 있어서, 상기 방법은,
    재구성할 압축 비디오 프레임을 수신한 후, 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출하는 단계(B)와,
    추출된 프레임 단편을 미리 훈련된 비디오 프레임 재구성 모델의 프레임 단편 입력층에 입력하며 상기 비디오 프레임 재구성 모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임 단편에 대해 특징 추상을 하며, 프레임 단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하는 단계(C)와,
    상기 비디오 프레임 재구성 모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형 매핑에 의해 입력된 프레임 단편을 프레임 단편 블록으로 재구성하며, 상기 비디오 프레임 재구성 모델의 프레임 단편 출력층에서 재구성된 프레임 단편 블록을 출력하며 재구성된 프레임 단편 블록에 기초하여 재구성된 비디오를 생성하는 단계(D)를 포함하는 것을 특징으로 하는 비디오　압축　감지　재구성　방법.
  2. 제1항에 있어서,
    상기 단계(B) 전에,
    적어도 1개의 프레임 단편 입력층, 적어도 1개의 프레임 단편 블록 출력층, 및 다수 개의 특징 추상 은닉층을 포함하는 비디오 프레임 재구성 모델을 구축하여 훈련하는 단계(A)를 더 포함하는 것을 특징으로 하는 비디오　압축　감지　재구성　방법.
  3. 제1항에 있어서,
    상기 비디오　프레임　재구성　모델은 1개의 프레임　단편　입력층, 1개의 프레임　단편 블록 출력층, 및 k 개의 특징 추상 은닉층을 포함하고 k가 1보다 큰 자연수이고 각 특징 추상 은닉층은
    Figure pct00083
    =
    Figure pct00084
    와 같은 수식을 포함하며，
    그 중,
    Figure pct00085
    는 상기 특징 추상 은닉층의 활성화 값 벡터이고,
    Figure pct00086
    는 제k층 특징 추상 은닉층의 뉴런의 개수이고,
    Figure pct00087
    는 활성화 함수이고,
    Figure pct00088
    는 상기 특징 추상 은닉층의 뉴런의 오프셋　벡터이고,
    Figure pct00089
    는 가중치　매트릭스이고,
    Figure pct00090
    는 상기 특징 추상 은닉층의 입력 벡터이며, 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스에 기초하여 훈련하면 비디오　프레임　재구성　모델
    Figure pct00091
    을 얻고, 그 중,
    Figure pct00092
    는 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스의 파라미터　세트이고,
    Figure pct00093
    는 상기 프레임　단편 입력층에서 입력된 프레임　단편이고,
    Figure pct00094
    는 다수 개의 특징 추상 은닉층에 의해 상기 프레임　단편 입력층에서 입력된 프레임　단편에 대해 특징 추상을 하여 구축된 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑인 것을 특징으로 하는 비디오　압축　감지　재구성　방법.
  4. 제2항에 있어서,
    상기 비디오　프레임　재구성　모델은 1개의 프레임　단편　입력층, 1개의 프레임　단편 블록 출력층, 및 k 개의 특징 추상 은닉층을 포함하고 k가 1보다 큰 자연수이고 각 특징 추상 은닉층은
    Figure pct00095
    =
    Figure pct00096
    와 같은 수식을 포함하며，
    그 중,
    Figure pct00097
    는 상기 특징 추상 은닉층의 활성화 값 벡터이고,
    Figure pct00098
    는 제k층 특징 추상 은닉층의 뉴런의 개수이고,
    Figure pct00099
    는 활성화 함수이고,
    Figure pct00100
    는 상기 특징 추상 은닉층의 뉴런의 오프셋　벡터이고,
    Figure pct00101
    는 가중치　매트릭스이고,
    Figure pct00102
    는 상기 특징 추상 은닉층의 입력 벡터이며, 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스에 기초하여 훈련하면 비디오　프레임　재구성　모델
    Figure pct00103
    을 얻고, 그 중,
    Figure pct00104
    는 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스의 파라미터　세트이고,
    Figure pct00105
    는 상기 프레임　단편 입력층에서 입력된 프레임　단편이고,
    Figure pct00106
    는 다수 개의 특징 추상 은닉층에 의해 상기 프레임　단편 입력층에서 입력된 프레임　단편에 대해 특징 추상을 하여 구축된 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑인 것을 특징으로 하는 비디오　압축　감지　재구성　방법.
  5. 제1항에 있어서,
    상기 미리 결정된 추출 규칙은 재구성할 압축 비디오 프레임을 블록으로 분할하되 상기 재구성할 압축 비디오 프레임을 여러 개의 프레임　단편으로 분할하는 것을 특징으로 하는 비디오　압축　감지　재구성　방법.
  6. 제2항에 있어서,
    상기 미리 결정된 추출 규칙은 재구성할 압축 비디오 프레임을 블록으로 분할하되 상기 재구성할 압축 비디오 프레임을 여러 개의 프레임　단편으로 분할하는 것을 특징으로 하는 비디오　압축　감지　재구성　방법.
  7. 제2항에 있어서,
    상기 단계(A)는 훈련 데이터와 테스트 데이터를 생성하는 단계를 더 포함하고, 상기 훈련 데이터와 테스트 데이터를 생성하는 단계는,
    미리 설정된 개수의 서로 다른 종류의 자연장면의 비디오를 획득하고 획득된 각각 비디오를 그레이스케일 컬러 공간으로 변환하는 단계와,
    각각 변환된 비디오를 미리 정의한 메트릭 변환 매트릭스에 의해 압축하는 단계와,
    모든 압축된 비디오에 대해 미리 설정된 비율에 따라 제1 데이터 세트와 제2 데이터 세트로 구분하고, 제1 데이터 세트를 훈련 세트로 하고 제2 데이터 세트를 테스트 세트로 하는 단계를 포함하는 것을 특징으로 하는 비디오　압축　감지　재구성　방법.
  8. 비디오　압축　감지　재구성　시스템에 있어서, 상기 비디오　압축　감지　재구성　시스템은
    재구성할 압축 비디오 프레임을 수신한 후, 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출하는 추출모듈과,
    추출된 프레임　단편을 미리 훈련된 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하는 특징 추상 모듈과,
    상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형　매핑에 의해 입력된 프레임　단편을 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성하는 재구성모듈을 포함하는 것을 특징으로 하는 비디오　압축　감지　재구성　시스템.
  9. 제8항에 있어서,
    적어도 1개의 프레임 단편 입력층, 적어도 1개의 프레임 단편 블록 출력층, 및 다수 개의 특징 추상 은닉층을 포함하는 비디오 프레임 재구성 모델을 구축하여 훈련하는 구축 모듈을 더 포함하는 것을 특징으로 하는 비디오 압축 감지 재구성 시스템.
  10. 제8항에 있어서,
    상기 비디오　프레임　재구성　모델은 1개의 프레임　단편　입력층, 1개의 프레임　단편 블록 출력층, 및 k 개의 특징 추상 은닉층을 포함하고 k가 1보다 큰 자연수이고 각 특징 추상 은닉층은
    Figure pct00107
    =
    Figure pct00108
    와 같은 수식을 포함하며，
    그 중,
    Figure pct00109
    는 상기 특징 추상 은닉층의 활성화 값 벡터이고,
    Figure pct00110
    는 제k층 특징 추상 은닉층의 뉴런의 개수이고,
    Figure pct00111
    는 활성화 함수이고,
    Figure pct00112
    는 상기 특징 추상 은닉층의 뉴런의 오프셋　벡터이고,
    Figure pct00113
    는 가중치　매트릭스이고,
    Figure pct00114
    는 상기 특징 추상 은닉층의 입력 벡터이며, 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스에 기초하여 훈련하면 비디오　프레임　재구성　모델
    Figure pct00115
    을 얻고, 그 중,
    Figure pct00116
    는 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스의 파라미터　세트이고,
    Figure pct00117
    는 상기 프레임　단편 입력층에서 입력된 프레임　단편이고,
    Figure pct00118
    는 다수 개의 특징 추상 은닉층에 의해 상기 프레임　단편 입력층에서 입력된 프레임　단편에 대해 특징 추상을 하여 구축된 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑인 것을 특징으로 하는 비디오　압축　감지　재구성　시스템.
  11. 제9항에 있어서,
    상기 비디오　프레임　재구성　모델은 1개의 프레임　단편　입력층, 1개의 프레임　단편 블록 출력층, 및 k 개의 특징 추상 은닉층을 포함하고 k가 1보다 큰 자연수이고 각 특징 추상 은닉층은
    Figure pct00119
    =
    Figure pct00120
    와 같은 수식을 포함하며，
    그 중,
    Figure pct00121
    는 상기 특징 추상 은닉층의 활성화 값 벡터이고,
    Figure pct00122
    는 제k층 특징 추상 은닉층의 뉴런의 개수이고,
    Figure pct00123
    는 활성화 함수이고,
    Figure pct00124
    는 상기 특징 추상 은닉층의 뉴런의 오프셋　벡터이고,
    Figure pct00125
    는 가중치　매트릭스이고,
    Figure pct00126
    는 상기 특징 추상 은닉층의 입력 벡터이며, 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스에 기초하여 훈련하면 비디오　프레임　재구성　모델
    Figure pct00127
    을 얻고, 그 중,
    Figure pct00128
    는 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스의 파라미터　세트이고,
    Figure pct00129
    는 상기 프레임　단편 입력층에서 입력된 프레임　단편이고,
    Figure pct00130
    는 다수 개의 특징 추상 은닉층에 의해 상기 프레임　단편 입력층에서 입력된 프레임　단편에 대해 특징 추상을 하여 구축된 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑인 것을 특징으로 하는 비디오　압축　감지　재구성　시스템.
  12. 제8항에 있어서,
    상기 미리 결정된 추출 규칙은 재구성할 압축 비디오 프레임을 블록으로 분할하되 상기 재구성할 압축 비디오 프레임을 여러 개의 프레임　단편으로 분할하는 것을 특징으로 하는 비디오　압축　감지　재구성　시스템.
  13. 제9항에 있어서,
    상기 미리 결정된 추출 규칙은 재구성할 압축 비디오 프레임을 블록으로 분할하되 상기 재구성할 압축 비디오 프레임을 여러 개의 프레임　단편으로 분할하는 것을 특징으로 하는 비디오　압축　감지　재구성　시스템.
  14. 제9항에 있어서,
    상기 구축 모듈은 훈련 데이터와 테스트 데이터를 생성하는 생성 유닛을 더 포함하고, 상기 생성 유닛은,
    미리 설정된 개수의 서로 다른 종류의 자연장면의 비디오를 획득하고 획득된 각각 비디오를 그레이스케일 컬러 공간으로 변환하며, 각각 변환된 비디오를 미리 정의한 메트릭 변환 매트릭스에 의해 압축하며, 모든 압축된 비디오에 대해 미리 설정된 비율에 따라 제1 데이터 세트와 제2 데이터 세트로 구분하고, 제1 데이터 세트를 훈련 세트로 하고 제2 데이터 세트를 테스트 세트로 하는 것을 특징으로 하는 비디오　압축　감지　재구성　시스템.
  15. 처리장비 및 저장장비를 포함하는 전자장치에 있어서, 상기 저장장비는 비디오　압축　감지　재구성 프로그램이 저장되고 이는 적어도 1개의 컴퓨터 판독 가능한 명령을 포함하며 상기 적어도 1개의 컴퓨터 판독 가능한 명령은 상기 처리장비에 의해 실행될 수 있어
    재구성할 압축 비디오 프레임을 수신한 후, 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출하는 동작과,
    추출된 프레임　단편을 미리 훈련된 비디오　프레임　재구성　모델의 프레임　단편 입력층에 입력하며 상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임　단편에 대해 특징 추상을 하며, 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하는 동작과,
    상기 비디오　프레임　재구성　모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형　매핑에 의해 입력된 프레임　단편을 프레임　단편　블록으로 재구성하며, 상기 비디오　프레임　재구성　모델의 프레임　단편 출력층에서 재구성된 프레임　단편 블록을 출력하며 재구성된 프레임　단편 블록에 기초하여 재구성된 비디오를 생성하는 동작을 실현하는 것을 특징으로 하는 전자장치.
  16. 제15항에 있어서,
    상기 적어도 1개의 컴퓨터 판독 가능한 명령은 상기 처리장비에 의해 실행될 수 있어,
    적어도 1개의 프레임 단편 입력층, 적어도 1개의 프레임 단편 블록 출력층, 및 다수 개의 특징 추상 은닉층을 포함하는 비디오 프레임 재구성 모델을 구축하는 동작을 실현하는 것을 특징으로 하는 전자장치.
  17. 제15항에 있어서,
    상기 비디오　프레임　재구성　모델은 1개의 프레임　단편　입력층, 1개의 프레임　단편 블록 출력층, 및 k 개의 특징 추상 은닉층을 포함하고 k가 1보다 큰 자연수이고 각 특징 추상 은닉층은
    Figure pct00131
    =
    Figure pct00132
    와 같은 수식을 포함하며，
    그 중,
    Figure pct00133
    는 상기 특징 추상 은닉층의 활성화 값 벡터이고,
    Figure pct00134
    는 제k층 특징 추상 은닉층의 뉴런의 개수이고,
    Figure pct00135
    는 활성화 함수이고,
    Figure pct00136
    는 상기 특징 추상 은닉층의 뉴런의 오프셋　벡터이고,
    Figure pct00137
    는 가중치　매트릭스이고,
    Figure pct00138
    는 상기 특징 추상 은닉층의 입력 벡터이며, 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스에 기초하여 훈련하면 비디오　프레임　재구성　모델
    Figure pct00139
    을 얻고, 그 중,
    Figure pct00140
    는 상기 특징 추상 은닉층의 활성화 값 벡터, 뉴런의 개수, 활성화 함수, 뉴런의 오프셋　벡터, 및 가중치　매트릭스의 파라미터　세트이고,
    Figure pct00141
    는 상기 프레임　단편 입력층에서 입력된 프레임　단편이고,
    Figure pct00142
    는 다수 개의 특징 추상 은닉층에 의해 상기 프레임　단편 입력층에서 입력된 프레임　단편에 대해 특징 추상을 하여 구축된 프레임　단편에서 프레임 단편 블록까지의 비선형 매핑인 것을 특징으로 하는 전자장치.
  18. 제15항에 있어서,
    상기 미리 결정된 추출 규칙은 재구성할 압축 비디오 프레임을 블록으로 분할하되 상기 재구성할 압축 비디오 프레임을 여러 개의 프레임　단편으로 분할하는 것을 특징으로 하는 전자장치.
  19. 제16항에 있어서,
    상기 적어도 1개의 컴퓨터 판독 가능한 명령은 상기 처리장비에 의해 실행될 수 있어,
    미리 설정된 개수의 서로 다른 종류의 자연장면의 비디오를 획득하고 획득된 각각 비디오를 그레이스케일 컬러 공간으로 변환하는 동작과,
    각각 변환된 비디오를 미리 정의한 메트릭 변환 매트릭스에 의해 압축하는 동작과,
    모든 압축된 비디오에 대해 미리 설정된 비율에 따라 제1 데이터 세트와 제2 데이터 세트로 구분하고, 제1 데이터 세트를 훈련 세트로 하고 제2 데이터 세트를 테스트 세트로 하는 동작을 실현하는 것을 특징으로 하는 전자장치.
  20. 컴퓨터 판독 가능한 저장매체에 있어서, 이는 처리장비에 의해 실행될 수 있는 적어도 1개의 컴퓨터 판독 가능한 명령을 저장하여,
    재구성할 압축 비디오 프레임을 수신한 후, 미리 결정된 추출 규칙에 따라 상기 압축 비디오 프레임의 프레임 단편을 추출하는 동작과,
    추출된 프레임 단편을 미리 훈련된 비디오 프레임 재구성 모델의 프레임 단편 입력층에 입력하며 상기 비디오 프레임 재구성 모델의 다수 개의 특징 추상 은닉층에 의해 입력된 프레임 단편에 대해 특징 추상을 하며, 프레임 단편에서 프레임 단편 블록까지의 비선형 매핑을 구축하는 동작과,
    상기 비디오 프레임 재구성 모델의 다수 개의 특징 추상 은닉층에서 구축된 상기 비선형 매핑에 의해 입력된 프레임 단편을 프레임 단편 블록으로 재구성하며, 상기 비디오 프레임 재구성 모델의 프레임 단편 출력층에서 재구성된 프레임 단편 블록을 출력하며 재구성된 프레임 단편 블록에 기초하여 재구성된 비디오를 생성하는 동작을 실현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장매체.
KR1020187017256A 2016-12-30 2017-06-30 비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체 KR102247907B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201611260793.6A CN106686385B (zh) 2016-12-30 2016-12-30 视频压缩感知重构方法及装置
CN201611260793.6 2016-12-30
PCT/CN2017/091311 WO2018120723A1 (zh) 2016-12-30 2017-06-30 视频压缩感知重构方法、系统、电子装置及存储介质

Publications (2)

Publication Number Publication Date
KR20190019894A true KR20190019894A (ko) 2019-02-27
KR102247907B1 KR102247907B1 (ko) 2021-05-04

Family

ID=58848741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187017256A KR102247907B1 (ko) 2016-12-30 2017-06-30 비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체

Country Status (9)

Country Link
US (1) US10630995B2 (ko)
EP (1) EP3410714A4 (ko)
JP (1) JP6570155B2 (ko)
KR (1) KR102247907B1 (ko)
CN (1) CN106686385B (ko)
AU (1) AU2017389534A1 (ko)
SG (1) SG11201808823PA (ko)
TW (1) TWI664853B (ko)
WO (1) WO2018120723A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106686385B (zh) 2016-12-30 2018-09-25 平安科技（深圳）有限公司 视频压缩感知重构方法及装置
CN109451314B (zh) * 2018-04-23 2021-06-08 杭州电子科技大学 一种基于图模型的图像压缩感知方法
CN108986043B (zh) * 2018-06-26 2021-11-05 衡阳师范学院 一种基于自适应的块压缩感知图像重构方法
CN110704681B (zh) 2019-09-26 2023-03-24 三星电子（中国）研发中心 一种生成视频的方法及系统
CN113382247B (zh) * 2021-06-09 2022-10-18 西安电子科技大学 基于间隔观测的视频压缩感知系统及方法、设备及存储介质
CN113992920A (zh) * 2021-10-25 2022-01-28 北京大学深圳研究生院 一种基于深度展开网络的视频压缩感知重建方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
CN1317673C (zh) 2004-03-18 2007-05-23 致伸科技股份有限公司 利用神经网络分辨影像中文字与图形的系统及其方法
TW201520905A (zh) 2013-11-28 2015-06-01 Nat Univ Chin Yi Technology 字元影像辨識方法與辨識裝置
US20160050440A1 (en) * 2014-08-15 2016-02-18 Ying Liu Low-complexity depth map encoder with quad-tree partitioned compressed sensing
CN105868769A (zh) * 2015-01-23 2016-08-17 阿里巴巴集团控股有限公司 图像中的人脸关键点定位方法及装置
CN104978612A (zh) * 2015-01-27 2015-10-14 厦门大学 基于ahp-rbf的分布式大数据系统风险预测方法
CN105992009A (zh) * 2015-02-05 2016-10-05 袁琳琳 基于运动补偿和分块的视频压缩感知的处理方法
DE202016009107U1 (de) 2015-02-19 2022-04-27 Magic Pony Technology Limited Visuelle Verarbeitung durch zeitliche und räumliche Interpolation
CN105163121B (zh) 2015-08-24 2018-04-17 西安电子科技大学 基于深度自编码网络的大压缩比卫星遥感图像压缩方法
CN105405054A (zh) * 2015-12-11 2016-03-16 平安科技（深圳）有限公司 基于理赔照片深度学习实现保险理赔反欺诈的方法及服务器
CN105740950B (zh) 2016-01-19 2019-03-29 南京邮电大学 基于滑齿法的神经网络的模板匹配方法
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN106686385B (zh) * 2016-12-30 2018-09-25 平安科技（深圳）有限公司 视频压缩感知重构方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. Iliadis, et al. Deep Fully-Connected Networks for Video Compressive Sensing. Cornell University arXiv:1603.04930. Mar. 16, 2016 <URL: https://arxiv.org/abs/1603.04930v1>* *

Also Published As

Publication number Publication date
AU2017389534A1 (en) 2018-10-04
CN106686385B (zh) 2018-09-25
TW201841504A (zh) 2018-11-16
SG11201808823PA (en) 2018-11-29
EP3410714A4 (en) 2019-11-06
CN106686385A (zh) 2017-05-17
US10630995B2 (en) 2020-04-21
EP3410714A1 (en) 2018-12-05
JP2019511850A (ja) 2019-04-25
TWI664853B (zh) 2019-07-01
US20190075309A1 (en) 2019-03-07
KR102247907B1 (ko) 2021-05-04
WO2018120723A1 (zh) 2018-07-05
JP6570155B2 (ja) 2019-09-04

Similar Documents

Publication Publication Date Title
KR102247907B1 (ko) 비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체
CN110462639B (zh) 信息处理设备、信息处理方法及计算机可读存储介质
US10832034B2 (en) Facial image generating method, facial image generating apparatus, and facial image generating device
US11514694B2 (en) Teaching GAN (generative adversarial networks) to generate per-pixel annotation
KR20190028320A (ko) 컨볼루션 신경망의 가지-치기 및 재훈련 방법
CN108763191B (zh) 一种文本摘要生成方法及系统
CN108876864B (zh) 图像编码、解码方法、装置、电子设备及计算机可读介质
KR20210107084A (ko) 이미지 처리 방법 및 장치, 컴퓨터 디바이스, 및 저장 매체
US20220156987A1 (en) Adaptive convolutions in neural networks
CN112102477A (zh) 三维模型重建方法、装置、计算机设备和存储介质
US8290757B2 (en) Method, system and computer readable media for deforming simulation meshes used in posing animated characters
WO2019127940A1 (zh) 视频分类模型训练方法、装置、存储介质及电子设备
DE102021124769A1 (de) Latente-variable generatives modell mit einem rauschkontrastgebenden prior
CN115578614B (zh) 图像处理模型的训练方法、图像处理方法和装置
US10530387B1 (en) Estimating an optimal ordering for data compression
KR102390553B1 (ko) 연합 학습 방법 및 시스템
KR20230144580A (ko) 이미지 프로세싱 방법, 장치, 및 디바이스, 그리고 컴퓨터-판독가능 저장 매체
US20180189996A1 (en) Animating a virtual object
KR102631937B1 (ko) 메타 학습을 통한 삼차원 사람 메쉬 복원 방법 및 장치
JP2020030702A (ja) 学習装置、学習方法及び学習プログラム
CN115984947B (zh) 图像生成方法、训练方法、装置、电子设备以及存储介质
CN115564803B (zh) 一种动画处理方法、装置、设备、存储介质及产品
US11783184B2 (en) Kernel prediction with kernel dictionary in image denoising
CN109885578B (zh) 数据处理方法、装置、设备及存储介质
CN117611821A (zh) 一种实例分割方法、装置、系统及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant