KR20200141651A - 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템 - Google Patents

기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20200141651A
KR20200141651A KR1020190068438A KR20190068438A KR20200141651A KR 20200141651 A KR20200141651 A KR 20200141651A KR 1020190068438 A KR1020190068438 A KR 1020190068438A KR 20190068438 A KR20190068438 A KR 20190068438A KR 20200141651 A KR20200141651 A KR 20200141651A
Authority
KR
South Korea
Prior art keywords
sub
bit stream
decoding
decoded
node
Prior art date
Application number
KR1020190068438A
Other languages
English (en)
Other versions
KR102296987B1 (ko
Inventor
조용범
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020190068438A priority Critical patent/KR102296987B1/ko
Priority to PCT/KR2019/015963 priority patent/WO2020251124A1/ko
Publication of KR20200141651A publication Critical patent/KR20200141651A/ko
Application granted granted Critical
Publication of KR102296987B1 publication Critical patent/KR102296987B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법, 장치 및 시스템이 개시되며, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법은, 복호화 대상의 비트 스트림을 수신하는 단계, 상기 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득하는 단계, 마스터 노드에 접속된 서브 노드의 기기 정보를 획득하는 단계, 상기 영상 정보 및 상기 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 노드에 할당되는 서브 비트 스트림을 결정하는 단계 및 블록 체인을 통해 상기 결정된 서브 비트 스트림을 상기 서브 노드 각각에 할당하는 단계를 포함할 수 있다.

Description

기계 학습 모델에 기초한 블록 체인을 이용한 HEVC 분산형 복호화 방법, 장치 및 시스템{APPARATUS, METHOD AND SYSTEM FOR HEVC DECODING IMAGE BASED ON DISTRIBUTED SYSTEM AND MACHINE LEARNING MODEL USING BLOCK CHAIN NETWORK}
본원은 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법, 장치 및 시스템에 관한 것이다.
최근 케이블 방송 등에서 UHD(Ultra High Definition) 상용 서비스가 개시되었고, 이동 멀티미디어 단말기에서도 고화질의 멀티미디어 서비스의 제공이 가능해지는 등 초고해상도 영상 서비스에 대한 필요성이 커지고 있다. 이러한 초고해상도의 영상을 이용하기 위해 기존의 비디오 압축 기술보다 부호화 효율이 훨씬 높은 압축 기술이 필요하게 되었다. 이러한 흐름에 따라 차세대 비디오 부호화 표준인 HEVC(High Efficiency Video Coding)가 2013년 1월 스위스 제네바에서 차세대 최종 표준안으로 승인되었다. HEVC는 기존 H.264/AVC와 비교하였을 때, 40~50%의 향상된 부호화 효율을 보인다.
그러나, HEVC는 향상된 부호화/복호화 효율을 가지는 반면, 그에 수반하여 부호화/복호화의 복잡도 또한 크게 증가하여 영상의 부호화/복호화에 고성능의 인코더 또는 디코더가 요구되며, 상당한 크기의 저장 공간을 필요로 하는 실정이다. 특히, 임베디드 시스템(Embedded System)와 같이 리소스가 한정적인 환경에서 고해상도 비디오를 부호화/복호화하는 것은 상당히 어려운 일이다.
이와 관련하여, HEVC영상의 복호화를 위해 병렬 복호화 기법 또는 분산 처리 시스템을 도입하여, 복호화 대상인 하나의 비트 스트림을 분할하여 분할된 비트 스트림 각각에 대한 독립적인 복호화를 처리하는 방식을 채택할 수 있다. 다만, 분할 비트 스트림에 대한 병렬 복호화 작업에는 높은 안정성이 요구되며, 분할 비트 스트림을 독립적으로 복호화하더라도 복호화 작업은 데이터 의존성(Data Dependency)가 높아 분할 비트 스트림 각각의 복호화 결과가 공유될 수 있어야만 한다는 한계를 가진다.
이러한 병렬 복호화가 하나의 디바이스에서 이루어지는 경우, 공통된 메모리 장치에 기초하여 분할 비트 스트림 각각의 복호화 결과가 공유될 수 있지만, 이기종 분산형 복호기(Decoder)의 경우, 분할 비트 스트림 각각의 복호화 결과를 공유하기 위한 추가적인 데이터 전송이 요구되는 한계를 가진다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2015-0033194호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 기계 학습 모델에 기초하여 서브 노드의 복호화 성능을 예측하고, 예측된 복호화 성능에 기초하여 복호화 대상 비트 스트림을 복수의 서브 비트 스트림으로 분할하여 서브 노드 각각에 할당하여 병렬적으로 복호화하고, 블록 체인에 기초하여 각 서브 노드의 복호화 결과를 공유함으로써 안정성 및 데이터 의존성의 문제를 해결할 수 있는 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법, 장치 및 시스템을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법은, 복호화 대상의 비트 스트림을 수신하는 단계, 상기 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득하는 단계, 마스터 노드에 접속된 서브 노드의 기기 정보를 획득하는 단계, 상기 영상 정보 및 상기 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 노드에 할당되는 서브 비트 스트림을 결정하는 단계 및 블록 체인을 통해 상기 결정된 서브 비트 스트림을 상기 서브 노드 각각에 할당하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법은, 상기 서브 노드마다 할당된 서브 비트 스트림에 대한 상기 서브 노드의 복호화 결과를 수신하는 단계 및 상기 수신된 서브 비트 스트림에 대한 복호화 결과를 종합하여 상기 복호화 대상의 비트 스트림을 복호화하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법은, 상기 복호화 대상의 비트 스트림의 복호화 결과에 기초하여 상기 복호화 대상을 재생하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법은, 상기 서브 노드 각각으로부터 수신한 상기 서브 비트 스트림의 복호화 결과에 디블로킹 필터를 적용하여 경계값을 처리하는 단계를 포함할 수 있다.
또한, 상기 서브 비트 스트림을 결정하는 단계는, 기기 정보 및 복호화 대상의 영상 정보를 상기 기 학습된 기계 학습 모델의 입력으로 하여, 상기 서브 노드마다 복호화 가능한 서브 비트 스트림의 정보를 결정할 수 있다.
또한, 상기 기기 정보는, 초당 부동소수점 연산 능력(Floating-point Operations Per Second, FLOPS), 초당 입출력 처리 능력(Input/Output Operations Per Second, IOPS), 메모리 정보, 단일 명령 다중 데이터 처리 능력(Single Instruction Multiple Data, SIMD) 또는 스레드 번호 중 적어도 하나를 포함할 수 있다.
또한, 상기 복호화 대상의 영상 정보는, CTU 깊이 정보, 해상도 정보(Resolution), 양자화 파라미터(Quantization Parameter) 중 적어도 하나를 포함할 수 있다.
또한, 상기 기 학습된 기계 학습 모델은, 합성곱 신경망 네트워크(Convolutional Neural Network, CNN), 심층 신경망 네트워크(Deep Neural Network, DNN), 순환 신경망 네트워크(Recurrent Neural Network, RNN) 중 적어도 하나와 연계될 수 있다.
또한, 상기 마스터 노드 및 상기 서브 노드는 상기 블록 체인을 이용하기 위한 암호화 키를 공유할 수 있다.
한편, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치는, 복호화 대상의 비트 스트림을 수신하고, 상기 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득하는 영상 획득부, 상기 영상 정보 및 접속된 서브 노드의 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 노드에 할당되는 서브 비트 스트림을 결정하는 서브 비트 스트림 결정부, 블록 체인을 통해 상기 결정된 서브 비트 스트림을 상기 서브 노드 각각에 할당하는 서브 비트 스트림 할당부, 상기 서브 노드마다 할당된 서브 비트 스트림에 대한 상기 서브 노드의 복호화 결과를 수신하는 수집부 및 상기 수신된 서브 비트 스트림에 대한 복호화 결과를 종합하여 상기 복호화 대상의 비트 스트림을 복호화하는 메인 처리부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치는, 상기 메인 처리부의 복호화 결과에 기초하여 상기 복호화 대상을 재생하는 영상 재생부를 포함할 수 있다.
또한, 상기 메인 처리부는, 상기 서브 노드 각각으로부터 수신한 상기 서브 비트 스트림의 복호화 결과에 디블로킹 필터를 적용하여 경계값을 처리할 수 있다.
또한, 상기 서브 비트 스트림 결정부는, 상기 기기 정보 및 상기 복호화 대상의 영상 정보를 상기 기 학습된 기계 학습 모델의 입력으로 하여, 상기 서브 노드마다 복호화 가능한 서브 비트 스트림의 정보를 결정할 수 있다.
한편, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템은, 복호화 대상의 비트 스트림을 수신하고, 상기 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득하고, 상기 영상 정보 및 접속된 복수의 서브 노드의 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 비트 스트림을 결정하여 블록 체인을 통해 상기 결정된 서브 비트 스트림을 상기 복수의 서브 노드 각각에 할당하고, 서브 비트 스트림에 대한 복호화 결과를 수신하여 상기 복호화 대상의 비트 스트림을 복호화하는 마스터 노드 및 상기 마스터 노드에 의해 할당된 상기 서브 비트 스트림을 복호화하고, 상기 서브 비트 스트림의 복호화 결과를 상기 마스터 노드에 반환하는 복수의 서브 노드를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 기계 학습 모델에 기초하여 서브 노드의 복호화 성능을 예측하고, 예측된 복호화 성능에 기초하여 복호화 대상 비트 스트림을 복수의 서브 비트 스트림으로 분할하여 서브 노드 각각에 할당하여 병렬적으로 복호화하고, 블록 체인에 기초하여 각 서브 노드의 복호화 결과를 공유함으로써 안정성 및 데이터 의존성의 문제를 해결할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 임베디드 시스템과 같이 영상 복호화를 수행할 수 있는 자원(리소스)가 부족한 환경에서도 별도의 사용자 단말 등의 CPU, GPU 등을 서브 노드로 활용하여 고해상도의 영상을 빠르게 복호화할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 복호화 대상인 비트 스트림을 분할한 서브 비트 스트림을 서브 노드 각각의 성능을 고려하여 각 서브 노드의 성능에 적합한 만큼 할당하여 마스터 노드 및 복수의 서브 노드를 포함하는 전체 시스템의 복호화 효율이 향상될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 기기 정보 및 복호화 대상의 영상 정보를 설명하기 위한 도면이다.
도 3은 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치의 개략적인 구성도이다.
도 4는 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법의 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템(10)은, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치(100)(이하, '마스터 노드(100)'라 한다.), 복수의 서브 노드(200) 및 블록 체인 네트워크(300)(이하, '블록 체인(300)'이라 한다.)를 포함할 수 있다.
마스터 노드(100) 및 서브 노드(200)는 연산 처리, 신호 처리, 컴퓨팅, 영상 처리(영상 부호화 또는 영상 복호화) 등의 태스크를 수행할 수 있는 주체일 수 있다. 구체적으로, 마스터 노드(100) 및 서브 노드(200)는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphic Processing Unit, GPU), 디지털 신호 연산기(Digital Signal Processor, DSP), 기타 하드웨어 처리 유닛, 프로세서, 스레드 중 어느 하나를 의미하거나, 전술한 중앙 처리 장치 등이 구비된 사용자 단말(도 2 기준, 20b) 자체를 의미하는 것일 수 있다.
또한, 본원에서의 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치(100)는, 마스터 노드와 동일한 구성으로 이해될 수 있다.
또한, 실시예에 따라, 사용자 단말(20b)에 CPU 등이 복수개의 코어로 이루어진 경우(예를 들면, 멀티 코어 프로세서가 구비된 사용자 단말(20b)), 하나의 사용자 단말(20b)에 대하여도, 복수의 코어 각각이 본원에서의 서브 노드(200)가 될 수 있다.
예를 들면, 사용자 단말(20b)은, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 유/무선 통신 장치를 포함할 수 있다.
블록 체인(300)은 블록에 데이터를 담아 체인 형태로 연결하여, 여러 노드(컴퓨터 등)에 데이터를 동시에 복제해 저장하는 분산형 데이터 저장 기술로, 블록 체인(300)의 가장 큰 특징은 중앙 서버가 미존재하고, 각 노드의 연산 처리 결과를 모든 노드가 공유할 수 있다는 것이다.
즉, 본원에서는 마스터 노드(100) 및 서브 노드(200)가 블록 체인(300)을 통해 데이터를 주고 받도록 하여, 복호화 대상의 비트 스트림을 독립된 단위로 분할 하여 각 서브 노드(200)각각이 독립적으로 복호화를 수행하더라도, 각각의 복호화 결과를 모든 서브 노드(200) 및 마스터 노드(100)가 공유할 수 있도록 함으로써, 복호화 작업에 요구되는 데이터 의존성(Data Dependency) 문제를 해결하는 것을 특징으로 한다. 영상 처리, 영상 부호화 작업은 이전에 부호화/복호화 된 프레임 또는 주변 영역의 부호화/복호화 결과를 참조하여 현재 프레임 또는 현재 해당 영역의 부호화 작업을 진행하기 때문에 데이터 의존성이 높다.
또한, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템(10)은, 블록 체인(300)의 데이터 동기화 기능을 이용하여 복호화 대상 영상의 inter-prediction(화면 간 예측), intra-prediction(화면 내 예측)을 수행할 수 있다.
쉽게 말해, 본원에서의 블록 체인(300)은 이기종의 서브 노드(200) 및 마스터 노드(100)를 포함하는 분산 처리 시스템에서의 공유 메모리와 같은 기능을 수행할 수 있다.
이와 관련하여, 마스터 노드(100) 및 서브 노드(200)는 블록 체인(300)을 이용하기 위한 암호화 키(Key)를 공유할 수 있다. 본원의 일 실시예에 따르면, 새로운 서브 노드(200)가 마스터 노드(100)에 접속될 때, 마스터 노드(100)가 새로이 접속된 서브 노드(200)로 상기 암호화 키를 제공하도록 구현될 수 있다. 본원에서의 마스터 노드(100) 및 서브 노드(200)가 공유된 암호화 키(Key)를 기반으로 하여 블록 체인 네트워크(300)를 통해 연결되므로, 데이터의 보안성이 유지될 수 있다.
마스터 노드(100)는 복호화 대상의 비트 스트림(A)을 수신할 수 있다.
도 2는 본원의 일 실시예에 따른 기기 정보 및 복호화 대상의 영상 정보를 설명하기 위한 도면이다.
본원의 일 실시예에 따르면, 도 2를 참조하면, 복호화 대상의 영상 정보(2a)는, 복호화 대상 영상(20a)의 CTU 깊이 정보(CTU Depth), 해상도 정보(Resolution), 양자화 파라미터(Quantization Parameter) 중 적어도 하나를 포함할 수 있다. 복호화 대상의 영상 정보(2a)는 마스터 노드(100)가 수신하는 비트 스트림(A)의 헤더 파일에 포함될 수 있으며, 마스터 노드(100)는 헤더 파일을 참조하여 영상 정보(2a)를 획득할 수 있다.
또한, 도 2를 참조하면, 기기 정보(2b)는, 초당 부동소수점 연산 능력(Floating-point Operations Per Second, FLOPS), 초당 입출력 처리 능력(Input/Output Operations Per Second, IOPS), 메모리 정보, 단일 명령 다중 데이터 처리 능력(Single Instruction Multiple Data, SIMD) 또는 스레드 번호 중 적어도 하나를 포함할 수 있다. 또한, 기기 정보(2b)는 서브 노드(200)에 해당하는 사용자 단말(20b)에 대하여 결정되는 것일 수 있다. 마스터 노드(100)는 연결된 각 사용자 단말(20b)로부터 기기 정보(2b)를 수신할 수 있다.
또한, 도 2에 도시된 기기 정보 및 복호화 대상의 영상 정보는 본원에서의 기계 학습 모델의 학습 대상 특성(feature)일 수 있다. 즉, 본원에서의 기계 학습 모델은, 기기 정보 및 복호화 대상의 영상 정보를 기초로, 특정 기기(예를 들면, 본원에서의 서브 노드)가 복호화 가능한 서브 비트 스트림의 정보(예를 들면, 복호화 가능한 서브 비트 스트림의 크기 정보 또는 해상도 정보를 포함)를 예측하는 모델일 수 있다.
마스터 노드(100)는 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득할 수 있다. 특히, 복호화 대상의 영상 정보는 마스터 노드(100)가 수신한 비트 스트림(A)과 연계된 복호화 대상 영상의 헤더 파일(Header File)로부터 획득되는 것일 수 있다.
마스터 노드는(100)는, 마스터 노드(100)에 접속된 서브 노드(200)의 기기 정보를 획득할 수 있다.
마스터 노드(100)는, 영상 정보 및 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 노드에 할당되는 서브 비트 스트림을 결정할 수 있다. 구체적으로, 마스터 노드(100)는, 기기 정보 및 복호화 대상의 영상 정보를 기 학습된 기계 학습 모델의 입력으로 하여, 서브 노드(200) 마다 복호화 가능한 서브 비트 스트림의 정보를 결정할 수 있다.
예시적으로, 복호화 가능한 서브 비트 스트림의 정보란, 서브 노드(200)의 성능에 기초하여 결정되는 서브 노드(200)가 복호화 가능한 서브 비트 스트림의 크기 정보, 시간 정보 또는 해상도 정보 중 적어도 하나를 포함할 수 있다.
또한, 본원의 일 실시예에 따르면, 마스터 노드(100)는, 서브 노드(200)마다 할당된 서브 비트 스트림의 복호화 종료 시점의 차이가 미리 설정된 시간 이하가 되도록(다시 말해, 복호화 종료 시점이 동기화 되도록) 서브 노드(200) 각각이 복호화할 서브 비트 스트림의 정보를 결정할 수 있다.
이는, 본원에서의 분할된 서브 비트 스트림 각각은 독립적이므로, 서브 노드(200) 각각의 서브 비트 스트림에 대한 복호화 결과를 마스터 노드(100)가 취합하여, 복호화 대상의 비트 스트림 전체에 대한 복호화를 수행하므로, 어느 하나의 서브 노드(200)의 복호화 결과를 다른 서브 노드(200)의 복호화 결과보다 앞서 수신한 경우에도, 서브 노드(200) 전체의 복호화가 완료될 때까지 대기해야 하기 때문이다.
또한, 기 학습된 기계 학습 모델은, 합성곱 신경망 네트워크(Convolutional Neural Network, CNN), 심층 신경망 네트워크(Deep Neural Network, DNN), 순환 신경망 네트워크(Recurrent Neural Network, RNN) 중 적어도 하나와 연계될 수 있으나, 이에 한정되는 것은 아니며, 다양한 기계 학습 방식을 통해 생성된 것일 수 있다.
마스터 노드(100)는, 결정된 서브 비트 스트림을 블록 체인(300)을 통해 서브 노드(200) 각각에 할당할 수 있다. 즉, 본원에 의하면, 마스터 노드(100)가 단독으로 고해상도의 대형의 대상 영상에 대한 복호화를 수행하기 어려운 저사양, 저성능인 경우에도, 해당 복호화 대상의 비트 스트림을 독립된 복수의 서브 비트 스트림으로 분할하고, 복수의 서브 노드(200)가 분할된 복수의 서브 비트 스트림을 나눠서 복호화하고, 분할된 서브 비트 스트림의 복호화 결과를 종합하여 복호화 대상의 비트 스트림 전체에 대한 복호화를 처리할 수 있도록 함으로써, 저가(low-cost)로도 확장성이 높은 분산형 HEVC 복호화 시스템(10)을 구축할 수 있는 효과가 있다.
요약하면, 마스터 노드(100)는, 기 학습된 기계 학습 모델을 통해 서브 노드(200)의 성능을 예측하고, 서브 노드(200) 각각의 성능에 맞는 처리량(서브 비트 스트림)을 할당할 수 있다.
마스터 노드(100)는 서브 노드(200)마다 할당된 서브 비트 스트림에 대한 서브 노드(200)의 복호화 결과를 블록 체인(300)을 통해 수신할 수 있다. 각각의 서브 노드(200)는 자신에게 할당된 서브 비트 스트림의 복호화 결과를 블록 체인(300) 네트워크로 전송 및 공유하며, 각 서브 노드(200)는 다른 서브 노드(200)의 복호화 결과를 블록 체인(300)을 통해 공유하고, 자신에게 할당된 서브 비트 스트림의 복호화에 참조할 수 있다. 또한, 마스터 노드(100)는 각 서브 노드(200)의 서브 비트 스트림의 복호화 결과를 수신한다. 여기서, 할당된 서브 비트 스트림에 대한 서브 노드(200)의 복호화 결과는, 서브 비트 스트림 각각에 대한 복호화를 수행하여 획득되는 복호화된 분할 영상 자체 또는 상기 복호화된 분할 영상과 연계된 데이터를 의미하는 것일 수 있다.
또한, 마스터 노드(100)는 서브 노드(200) 각각으로부터 수신한 서브 비트 스트림의 복호화 결과에 디블로킹 필터(De-blocking Filter)를 적용하여 경계값을 처리할 수 있다.
구체적으로, 디블로킹 필터(De-blocking Filter)는, 경계값 처리를 통해 서브 비트 스트림 각각의 복호화 결과 사이에 형성될 수 있는 불규칙적인 모서리, 불연속적인 특성 등을 제거하여 복호화 대상의 비트 스트림 전체에 대한 복호화 결과인 재생 영상(B)의 영상 품질을 향상시키고, 예측 성능을 향상시키기 위하여 적용되는 영상 필터를 의미할 수 있다.
마스터 노드(100)는 수신된 서브 비트 스트림에 대한 복호화 결과를 종합하여 복호화 대상의 비트 스트림을 복호화할 수 있다. 본원의 일 실시예에 따르면, 마스터 노드(100)는 서브 비트 스트림에 대한 복호화된 분할 영상들을 시계열적으로 이어 붙여 복호화 대상의 비트 스트림(A)를 복호화한 재생 영상(B)을 생성할 수 있다.
마스터 노드(100)는 복호화 대상의 비트 스트림의 복호화 결과에 기초하여 복호화 대상을 재생할 수 있다. 또한, 본원의 일 실시예에 따르면, 복호화 대상의 비트 스트림의 복호화 결과에 기초한 재생 영상(B)은, 마스터 노드(100)에 구비된 디스플레이 장치, 영상 재생 장치 등에서 재생될 수 있다.
다른 예로, 마스터 노드(100)는 재생 영상(B)에 대한 데이터를 별도의 디스플레이 장치 또는 영상 재생 단말로 전송하고, 재생 영상(B)에 대한 데이터를 수신한 별도의 디스플레이 장치 또는 영상 재생 단말에서 재생 영상(B)이 재생될 수 있다.
또한, 본원의 일 실시예에 따르면, 마스터 노드(100)로부터 서브 비트 스트림을 할당 받은 서브 노드(200)가 소정의 원인으로 마스터 노드(100)와의 접속이 해제되거나, 새롭게 서브 비트 스트림을 할당 받을 수 있는 서브 노드(200)가 추가적으로 마스터 노드(100)에 접속되어 마스터 노드(100)에 접속된 서브 노드(200)의 수가 변동되는 경우, 마스터 노드(100)는, 서브 비트 스트림을 재분할하고, 변동된 복수의 서브 노드(200)로 재분할된 서브 비트 스트림을 새로이 할당하도록 구현될 수 있다.
또한, 전술한 마스터 노드(100)의 서브 노드(200)에 대한 서브 비트 스트림 할당에 있어서, 하나의 서브 노드(200)에 대하여 하나의 서브 비트 스트림이 기계 학습 모델에 기초하여 결정되고, 하나의 서브 노드(200)에 하나의 서브 비트 스트림이 할당되는 것으로 설명되었으나, 실시예에 따라, 서브 노드(200)의 CPU 등이 복수개의 코어로 이루어진 경우(예를 들면, 멀티 코어 프로세서가 구비된 사용자 단말인 경우 등) 하나의 서브 노드(200)에 대하여도, 각 코어 마다 서브 비트 스트림이 할당되도록 구현될 수 있다.
복수의 서브 노드(200)는, 마스터 노드(100)에 의해 할당된 서브 비트 스트림에 대한 복호화를 수행할 수 있다.
복수의 서브 노드(200)는, 할당된 서브 비트 스트림에 대한 복호화 결과를 블록 체인(300)을 통하여 마스터 노드(100)에 전송할 수 있다.
도 3은 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치의 개략적인 구성도이다.
도 3을 참조하면, 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치(100)는, 영상 획득부(110), 서브 비트 스트림 결정부(120), 서브 비트 스트림 할당부(130), 수집부(140), 메인 처리부(150) 및 영상 재생부(160)를 포함할 수 있다.
영상 획득부(110)는, 복호화 대상의 비트 스트림을 수신하고, 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득할 수 있다. 특히, 복호화 대상의 영상 정보는 영상 획득부(110)가 수신한 비트 스트림과 연계된 복호화 대상 영상의 헤더 파일(Header File)로부터 획득되는 것일 수 있다.
서브 비트 스트림 결정부(120)는, 접속된 서브 노드(200)의 기기 정보를 획득할 수 있다.
또한, 서브 비트 스트림 결정부(120)는, 영상 획득부(110)에 의해 획득된 영상 정보 및 접속된 서브 노드(200)의 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 노드(200)에 할당되는 서브 비트 스트림을 결정할 수 있다. 구체적으로, 기기 정보 및 복호화 대상의 영상 정보를 기 학습된 기계 학습 모델의 입력으로 하여, 서브 노드(200)마다 복호화 가능한 서브 비트 스트림의 정보를 결정할 수 있다.
여기서, 기기 정보는, 초당 부동소수점 연산 능력(Floating-point Operations Per Second, FLOPS), 초당 입출력 처리 능력(Input/Output Operations Per Second, IOPS), 메모리 정보, 단일 명령 다중 데이터 처리 능력(Single Instruction Multiple Data, SIMD) 또는 스레드 번호 중 적어도 하나를 포함할 수 있다.
또한, 복호화 대상의 영상 정보는, CTU 깊이 정보, 해상도 정보(Resolution), 양자화 파라미터(Quantization Parameter) 중 적어도 하나를 포함할 수 있다.
또한, 서브 비트 스트림 결정부(120)가, 서브 노드(200)마다 복호화 가능한 서브 비트 스트림의 정보를 결정하는 것은, 예시적으로, 서브 노드(200)의 성능에 기초하여 결정되는 서브 노드(200)가 복호화 가능한 서브 비트 스트림의 크기 정보 또는 해상도 정보 중 적어도 하나를 결정하는 것으로 이해될 수 있다.
또한, 본원의 일 실시예에 따르면, 서브 비트 스트림 결정부(120)는, 서브 노드(200)마다 할당된 서브 비트 스트림의 복호화 종료 시점의 차이가 미리 설정된 시간 이하가 되도록(다시 말해, 복호화 종료 시점이 동기화 되도록) 서브 노드(200) 각각이 복호화할 서브 비트 스트림의 정보를 결정할 수 있다.
서브 비트 스트림 할당부(130)는, 블록 체인(300)을 통해 서브 비트 스트림 결정부(120)에 의해 결정된 서브 비트 스트림을 서브 노드(200) 각각에 할당할 수 있다.
수집부(140)는, 서브 노드(200)마다 할당된 서브 비트 스트림에 대한 서브 노드(200)의 복호화 결과를 수신할 수 있다.
여기서, 수집부(140)가 수신하는 할당된 서브 비트 스트림에 대한 서브 노드(200)의 복호화 결과는, 서브 비트 스트림 각각에 대한 복호화를 수행하여 획득되는 복호화된 분할 영상 자체 또는 상기 복호화된 분할 영상과 연계된 데이터를 의미하는 것일 수 있다.
메인 처리부(150)는, 수신된 서브 비트 스트림에 대한 복호화 결과를 종합하여 복호화 대상의 비트 스트림을 복호화할 수 있다. 또한, 메인 처리부(150)는, 서브 노드(200) 각각으로부터 수신한 서브 비트 스트림의 복호화 결과에 디블로킹 필터(De-blocking Filter)를 적용하여 경계값을 처리할 수 있다.
영상 재생부(160)는, 메인 처리부(150)의 복호화 결과에 기초하여 복호화 대상을 재생할 수 있다. 본원의 일 실시예에 따르면, 영상 재생부(160)는 디스플레이 장치, 영상 재생 장치 등을 포함할 수 있고, 복호화 대상의 비트 스트림의 복호화 결과에 기초한 재생 영상(B)는, 영상 재생부(160)에 구비된 디스플레이 장치, 영상 재생 장치 등에서 재생되는 것일 수 있다.
또한, 본원의 다른 실시예에 따르면, 영상 재생부(160)는 별도로 마련된 디스플레이 장치 또는 영상 재생 단말로 복호화 대상의 비트 스트림의 복호화 결과에 기초한 재생 영상(B)에 대한 데이터를 전송하고, 재생 영상(B)에 대한 데이터를 수신한 별도의 디스플레이 장치 또는 영상 재생 단말에서 재생 영상(B)이 재생되는 것일 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 4는 본원의 일 실시예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법의 동작 흐름도이다.
도 4에 도시된 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법은 앞서 설명된 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치(100) 또는 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치(100) 또는 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템(10)에 대하여 설명된 내용은 도 4에 대한 설명에도 동일하게 적용될 수 있다.
도 4를 참조하면, 단계 S410에서 영상 획득부(110)는, 복호화 대상의 비트 스트림을 수신할 수 있다.
다음으로, 단계 S420에서 영상 획득부(120)는, 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득할 수 있다.
다음으로, 단계 S430에서 서브 비트 스트림 결정부(120)는, 마스터 노드에 접속된 서브 노드의 기기 정보를 획득할 수 있다.
다음으로, 단계 S440에서 서브 비트 스트림 결정부(120)는, 영상 정보 및 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 노드(200)에 할당되는 서브 비트 스트림을 결정할 수 있다.
다음으로, 단계 S450에서 서브 비트 스트림 할당부(130)는, 블록 체인(300)을 통해 결정된 서브 비트 스트림을 서브 노드(200) 각각에 할당할 수 있다.
다음으로, 단계 S460에서 수집부(140)는, 서브 노드(200)마다 할당된 서브 비트 스트림에 대한 서브 노드(200)의 복호화 결과를 블록 체인(300)을 통해 수신할 수 있다.
다음으로, 단계 S470에서 메인 처리부(150)는, 수신된 서브 비트 스트림에 대한 복호화 결과를 종합하여 복호화 대상의 비트 스트림을 복호화할 수 있다.
다음으로, 단계 S480에서 영상 재생부(160)는, 복호화 대상의 비트 스트림의 복호화 결과에 기초하여 복호화 대상을 재생할 수 있다.
상술한 설명에서, 단계 S410 내지 S480은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템
100: 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치
110: 영상 획득부
120: 서브 비트 스트림 결정부
130: 서브 비트 스트림 할당부
140: 수집부
150: 메인 처리부
160: 영상 재생부
200: 서브 노드
300: 블록 체인 네트워크
A: 복호화 대상의 비트 스트림
B: 재생 영상
20a: 복호화 대상 영상
20b: 사용자 단말

Claims (15)

  1. 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 방법에 있어서,
    복호화 대상의 비트 스트림을 수신하는 단계;
    상기 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득하는 단계;
    마스터 노드에 접속된 서브 노드의 기기 정보를 획득하는 단계;
    상기 영상 정보 및 상기 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 노드에 할당되는 서브 비트 스트림을 결정하는 단계; 및
    블록 체인을 통해 상기 결정된 서브 비트 스트림을 상기 서브 노드 각각에 할당하는 단계,
    를 포함하는 분산형 HEVC 복호화 방법.
  2. 제1항에 있어서,
    상기 서브 노드마다 할당된 서브 비트 스트림에 대한 상기 서브 노드의 복호화 결과를 수신하는 단계; 및
    상기 수신된 서브 비트 스트림에 대한 복호화 결과를 종합하여 상기 복호화 대상의 비트 스트림을 복호화하는 단계,
    를 더 포함하는 것인, 분산형 HEVC 복호화 방법.
  3. 제 2항에 있어서,
    상기 복호화 대상의 비트 스트림의 복호화 결과에 기초하여 상기 복호화 대상을 재생하는 단계,
    를 더 포함하는 것인, 분산형 HEVC 복호화 방법.
  4. 제 2항에 있어서,
    상기 서브 노드 각각으로부터 수신한 상기 서브 비트 스트림의 복호화 결과에 디블로킹 필터를 적용하여 경계값을 처리하는 단계를 더 포함하는 것인, 분산형 HEVC 복호화 방법.
  5. 제 1항에 있어서,
    상기 서브 비트 스트림을 결정하는 단계는,
    기기 정보 및 복호화 대상의 영상 정보를 상기 기 학습된 기계 학습 모델의 입력으로 하여, 상기 서브 노드마다 복호화 가능한 서브 비트 스트림의 정보를 결정하는 것인, 분산형 HEVC 복호화 방법.
  6. 제 5항에 있어서,
    상기 기기 정보는,
    초당 부동소수점 연산 능력(Floating-point Operations Per Second, FLOPS), 초당 입출력 처리 능력(Input/Output Operations Per Second, IOPS), 메모리 정보, 단일 명령 다중 데이터 처리 능력(Single Instruction Multiple Data, SIMD) 또는 스레드 번호 중 적어도 하나를 포함하는 것인, 분산형 HEVC 복호화 방법.
  7. 제 5항에 있어서,
    상기 복호화 대상의 영상 정보는,
    CTU 깊이 정보, 해상도 정보(Resolution), 양자화 파라미터(Quantization Parameter) 중 적어도 하나를 포함하는 것인, 분산형 HEVC 복호화 방법.
  8. 제 5항에 있어서,
    상기 기 학습된 기계 학습 모델은,
    합성곱 신경망 네트워크(Convolutional Neural Network, CNN), 심층 신경망 네트워크(Deep Neural Network, DNN), 순환 신경망 네트워크(Recurrent Neural Network, RNN) 중 적어도 하나와 연계된 것인, 분산형 HEVC 복호화 방법.
  9. 제 1항에 있어서,
    상기 마스터 노드 및 상기 서브 노드는 상기 블록 체인을 이용하기 위한 암호화 키를 공유하는 것인, 분산형 HEVC 복호화 방법.
  10. 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 장치에 있어서,
    복호화 대상의 비트 스트림을 수신하고, 상기 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득하는 영상 획득부;
    상기 영상 정보 및 접속된 서브 노드의 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 노드에 할당되는 서브 비트 스트림을 결정하는 서브 비트 스트림 결정부;
    블록 체인을 통해 상기 결정된 서브 비트 스트림을 상기 서브 노드 각각에 할당하는 서브 비트 스트림 할당부;
    상기 서브 노드마다 할당된 서브 비트 스트림에 대한 상기 서브 노드의 복호화 결과를 수신하는 수집부; 및
    상기 수신된 서브 비트 스트림에 대한 복호화 결과를 종합하여 상기 복호화 대상의 비트 스트림을 복호화하는 메인 처리부,
    를 포함하는, 분산형 HEVC 복호화 장치.
  11. 제 10항에 있어서,
    상기 메인 처리부의 복호화 결과에 기초하여 상기 복호화 대상을 재생하는 영상 재생부,
    를 더 포함하는 것인, 분산형 HEVC 복호화 장치.
  12. 제 10항에 있어서,
    상기 메인 처리부는,
    상기 서브 노드 각각으로부터 수신한 상기 서브 비트 스트림의 복호화 결과에 디블로킹 필터를 적용하여 경계값을 처리하는 것인, 분산형 HEVC 복호화 장치.
  13. 제 10항에 있어서,
    상기 기기 정보는,
    초당 부동소수점 연산 능력(Floating-point Operations Per Second, FLOPS), 초당 입출력 처리 능력(Input/Output Operations Per Second, IOPS), 메모리 정보, 단일 명령 다중 데이터 처리 능력(Single Instruction Multiple Data, SIMD) 또는 스레드 번호 중 적어도 하나를 포함하고,
    상기 복호화 대상의 영상 정보는,
    CTU 깊이 정보, 해상도 정보(Resolution), 양자화 파라미터(Quantization Parameter) 중 적어도 하나를 포함하고,
    상기 서브 비트 스트림 결정부는,
    상기 기기 정보 및 상기 복호화 대상의 영상 정보를 상기 기 학습된 기계 학습 모델의 입력으로 하여, 상기 서브 노드마다 복호화 가능한 서브 비트 스트림의 정보를 결정하는 것인, 분산형 HEVC 복호화 장치.
  14. 기계 학습 모델에 기초한 블록 체인을 이용한 분산형 HEVC 복호화 시스템에 있어서,
    복호화 대상의 비트 스트림을 수신하고, 상기 수신한 비트 스트림으로부터 복호화 대상의 영상 정보를 획득하고, 상기 영상 정보 및 접속된 복수의 서브 노드의 기기 정보를 기초로 기 학습된 기계 학습 모델을 통해 서브 비트 스트림을 결정하여 블록 체인을 통해 상기 결정된 서브 비트 스트림을 상기 복수의 서브 노드 각각에 할당하고, 서브 비트 스트림에 대한 복호화 결과를 수신하여 상기 복호화 대상의 비트 스트림을 복호화하는 마스터 노드; 및
    상기 마스터 노드에 의해 할당된 상기 서브 비트 스트림을 복호화하고, 상기 서브 비트 스트림의 복호화 결과를 상기 마스터 노드에 반환하는 복수의 서브 노드,
    를 포함하는, 분산형 HEVC 복호화 시스템.
  15. 제 1항 내지 제 9항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190068438A 2019-06-11 2019-06-11 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템 KR102296987B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190068438A KR102296987B1 (ko) 2019-06-11 2019-06-11 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템
PCT/KR2019/015963 WO2020251124A1 (ko) 2019-06-11 2019-11-20 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190068438A KR102296987B1 (ko) 2019-06-11 2019-06-11 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20200141651A true KR20200141651A (ko) 2020-12-21
KR102296987B1 KR102296987B1 (ko) 2021-09-02

Family

ID=73780888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190068438A KR102296987B1 (ko) 2019-06-11 2019-06-11 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템

Country Status (2)

Country Link
KR (1) KR102296987B1 (ko)
WO (1) WO2020251124A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191380A1 (ko) * 2021-03-10 2022-09-15 숭실대학교 산학협력단 블록체인 기반의 영상 위변조 방지 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591041B (zh) * 2021-09-28 2021-12-31 环球数科集团有限公司 一种防止代码注入或源码反编译的分布式编码系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107500A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225378A (ja) * 2008-03-18 2009-10-01 Fujitsu Microelectronics Ltd 復号方法、復号装置、暗号化装置、認証方法および認証装置
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
KR101976787B1 (ko) * 2018-12-21 2019-05-09 (주)소프트제국 블록체인에서 스마트 컨트랙트를 이용한 전자 문서 유통 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107500A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
L. Wei, et al. Implementation of HEVC Decoder in Distributed Mobile Embedded System. 2017 IEEE 7th CCWC. Jan. 2017, pp.1-5* *
S. S. Arslan, et al. Compress-Store on Blockchain: A Decentralized Data Processing and Immutable Storage for Multimedia Streaming. Cornell University arXiv:1905.10458. May 24, 2019 *
반소정. HEVC 부호기에 적합한 Support Vector Machine 기반 이기종 클러스터 스케줄러 구현. 건국대학교 석사학위논문. Aug. 2018, pp.1-45* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191380A1 (ko) * 2021-03-10 2022-09-15 숭실대학교 산학협력단 블록체인 기반의 영상 위변조 방지 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
WO2020251124A1 (ko) 2020-12-17
KR102296987B1 (ko) 2021-09-02

Similar Documents

Publication Publication Date Title
US12003743B2 (en) Video stream decoding method and apparatus, terminal device, and storage medium
US10666977B2 (en) Methods and apparatuses for coding and decoding depth map
US10728565B2 (en) Video encoding method and apparatus thereof and a video decoding method and apparatus thereof
CN105451031B (zh) 一种视频转码方法和系统
US10674159B2 (en) Effective intra encoding for screen data
JP2022507670A (ja) ビデオ復号化方法、ビデオ復号化装置、コンピュータ・プログラム及びビデオ符号化方法
US8660177B2 (en) Parallel entropy coding
JP2022511657A (ja) ピクチャ予測方法および装置
TW201507439A (zh) 視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒體
US20160173904A1 (en) Method for determining motion vector and apparatus therefor
US20210329252A1 (en) Motion information acquisition method and device for video encoding or decoding
US11682144B2 (en) Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
JP2022531131A (ja) インタ予測における融合モード候補のための大域的運動
KR102296987B1 (ko) 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템
US10334263B2 (en) Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference
US20160065989A1 (en) Interlayer video encoding method and apparatus for using view synthesis prediction, and video decoding method and apparatus for using same
US10554966B2 (en) Multi-view image encoding/decoding method and apparatus
US9674534B2 (en) Method and apparatus for encoding multi-view video prediction capable of view switching, and method and apparatus for decoding multi-view video prediction capable of view switching
US10944982B1 (en) Rendition switch indicator
JP2014011726A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP7437426B2 (ja) インター予測方法および装置、機器、記憶媒体
CN116170582A (zh) 一种视频数据处理方法、装置、计算机设备以及存储介质
US20160173891A1 (en) Method and apparatus for inter-layer encoding and method and apparatus for inter-layer decoding video using residual prediction
KR20090075608A (ko) 동영상 압축을 위한 서브샘플링기반 화면내 예측 부호화장치 및 방법
KR102296960B1 (ko) 블록 체인을 이용한 분산형 hevc 부호화 방법, 장치 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right