KR20210031296A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20210031296A
KR20210031296A KR1020190113070A KR20190113070A KR20210031296A KR 20210031296 A KR20210031296 A KR 20210031296A KR 1020190113070 A KR1020190113070 A KR 1020190113070A KR 20190113070 A KR20190113070 A KR 20190113070A KR 20210031296 A KR20210031296 A KR 20210031296A
Authority
KR
South Korea
Prior art keywords
data
coding mode
value
processor
compression
Prior art date
Application number
KR1020190113070A
Other languages
English (en)
Inventor
조대성
이원재
조인상
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190113070A priority Critical patent/KR20210031296A/ko
Priority to PCT/KR2020/005459 priority patent/WO2021049732A1/en
Priority to US16/928,691 priority patent/US11483585B2/en
Publication of KR20210031296A publication Critical patent/KR20210031296A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보가 저장된 메모리 및 입력 영상을 인공 지능 모델을 이용하여 처리한 출력 영상을 획득하는 프로세서를 포함한다. 프로세서는, 복수의 레이어 중 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수에 기초하여 연산 데이터를 복수의 코딩 모드 중 적어도 하나에 따라 압축하고, 압축된 데이터를 내부 메모리에 저장하며, 내부 메모리에 저장된 압축 데이터를 압축 해제하여 연산 데이터에 대응되는 복원 데이터를 획득하고, 획득된 복원 데이터를 복수의 레이어 중 제2 레이어로 제공할 수 있다.

Description

전자 장치 및 그 제어 방법 { Electronic apparatus and control method thereof }
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 인공 지능 모델을 이용하여 영상 처리를 수행하는 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 기기가 개발 및 보급되고 있다. 특히, 가정, 사무실, 공공 장소 등 다양한 장소에서 이용되는 디스플레이 장치는 최근 수년 간 지속적으로 발전하고 있다.
최근에는 고해상도 영상 서비스에 대한 요구가 크게 증가하고 있다. 이러한 요구로 인해 super resolution, style transfer 등 deep learning 기반 기술이 영상 처리에 이용되고 있다.
Super Resolution은 저해상도의 입력 영상을 일련의 미디어 처리를 통해 고해상도의 영상으로 복원하는 기술이다. 예를 들어, deep learning 기반의 복수의 레이어를 포함하는 CNN 모델을 이용하여 저해상도의 입력 영상을 가로/세로 방향으로 스케일링하여 고해상도의 영상으로 복원할 수 있다.
이러한 deep learning 기반 Super resolution 처리 과정에 생성되는 다채널 피쳐 맵(feature map) 영상에 대해 기존의 JPEG, JPEG2000, PNG, MPEG 혹은 Lempel-Ziv Run-length Coding 방식을 적용하여 압축함으로써 저장 용량을 줄일 수 있다.
하지만, 이 경우 CNN 연산 처리를 위한 기본 단위와 압축 처리를 위한 기본 단위가 일치하지 않는다는 문제점이 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 실시간 뉴럴 네트워크 시스템에서 적은 하드웨어 자원으로 연산 데이터를 효율적으로 압축할 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는, 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보가 저장된 메모리 및 입력 영상을 상기 인공 지능 모델을 이용하여 처리한 출력 영상을 획득하는 프로세서를 포함하며, 상기 프로세서는, 상기 복수의 레이어 중 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수에 기초하여 상기 연산 데이터를 복수의 코딩 모드 중 적어도 하나에 따라 압축하고, 상기 압축된 데이터를 내부 메모리에 저장하며, 상기 내부 메모리에 저장된 상기 압축 데이터를 압축 해제하여 상기 연산 데이터에 대응되는 복원 데이터를 획득하고, 상기 획득된 복원 데이터를 상기 복수의 레이어 중 제2 레이어로 제공할 수 있다.
여기서, 상기 복수의 코딩 모드는, 무손실 코딩 모드 또는 손실 코딩 모드 중 적어도 하나를 포함하며, 상기 프로세서는, 상기 연산 데이터에 포함된 넌 제로(non-zero) 개수가 임계 개수 미만이면, 상기 무손실 코딩 모드에 따라 상기 연산 데이터를 압축하고, 상기 연산 데이터에 포함된 넌 제로(non-zero) 개수가 상기 임계 개수 이상이면, 상기 손실 코딩 모드에 따라 상기 연산 데이터를 압축하며, 상기 무손실 코딩 모드에 따라 압축된 데이터는 상기 넌 제로(non-zero) 값을 포함하며, 상기 손실 코딩 모드에 따라 압축된 데이터는 상기 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다.
또한, 상기 손실 코딩 모드는 제1 손실 코딩 모드, 제2 손실 코딩 모드 또는 제3 손실 코딩 모드 중 적어도 하나를 포함하며, 상기 제1 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값의 위치 정보, 상기 넌 제로(non-zero) 값 중 최대 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하며, 상기 제2 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값의 위치 정보, 상기 넌 제로(non-zero) 값 중 최대 값, 상기 넌 제로(non-zero) 값의 바이어스(bias) 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하며, 상기 제3 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값 중 최대 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다.
또한, 상기 프로세서는, 상기 연산 데이터의 코딩 블럭을 복수의 서브 코딩 블럭으로 구분하고, 상기 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 기초하여 압축 기본 단위의 크기를 결정하고, 상기 결정된 압축 기본 단위로 상기 복수의 코딩 모드 중 하나에 따라 압축을 수행할 수 있다.
또한, 상기 프로세서는, 상기 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 따라 결정된 상기 복수의 서브 코딩 블럭 각각의 코딩 모드에 기초하여 상기 연산 데이터에 무손실 압축이 적용되는 비율을 산출하고, 상기 산출된 비율이 최대가 되는 상기 서브 코딩 블럭의 크기를 상기 압축 기본 단위의 크기로 결정할 수 있다.
또한, 상기 프로세서는, 상기 내부 메모리의 크기에 기초하여 결정된 허용 데이터 크기에 기초하여 상기 압축을 수행할 수 있다.
또한, 상기 프로세서는, 상기 연산 데이터에 포함된 넌 제로(non-zero) 값 중 최대 값의 크기에 기초하여 상기 연산 데이터의 압축을 위한 비트 수를 가변할 수 있다.
또한, 상기 프로세서는, 플로트(float) 타입의 상기 연산 데이터를 고정 소수점(fixed-point) 타입으로 변환하고, 상기 변환된 연산 데이터의 정수(integer) 파트 또는 분수(Fractional) 파트 중 적어도 하나의 길이에 기초하여 상기 정수 파트 및 상기 분수 파트 각각의 양자화를 위해 할당되는 비트 수를 동적으로 가변할 수 있다.
또한, 상기 프로세서는, 상기 변환된 연산 데이터의 각 채널 데이터에 포함된 넌 제로 값의 최대 정수 길이에 기초하여 상기 각 채널 데이터의 압축을 위해 할당되는 비트 수를 동적으로 가변할 수 있다.
또한, 상기 내부 메모리는, 상기 복수의 레이어 각각에 대해 구비된 2D(two dimensional) 라인 버퍼일 수 있다.
또한, 디스플레이를 더 포함하며, 상기 프로세서는, 상기 출력 영상을 출력하도록 상기 디스플레이를 제어하며, 상기 출력 영상은, 4K 또는 8K 이상의 고해상도 영상일 수 있다.
한편, 본 개시의 일 실시 예에 따른 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보를 저장하는 전자 장치의 제어 방법은, 상기 복수의 레이어 중 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수에 기초하여 상기 연산 데이터를 복수의 코딩 모드 중 적어도 하나에 따라 압축하는 단계, 상기 압축된 데이터를 내부 메모리에 저장하는 단계, 상기 내부 메모리에 저장된 상기 압축 데이터를 압축 해제하여 상기 연산 데이터에 대응되는 복원 데이터를 획득하는 단계 및, 상기 획득된 복원 데이터를 상기 복수의 레이어 중 제2 레이어로 제공하는 단계를 포함할 수 있다.
여기서, 복수의 코딩 모드는, 무손실 코딩 모드 또는 손실 코딩 모드 중 적어도 하나를 포함하며, 상기 압축하는 단계는, 상기 연산 데이터에 포함된 넌 제로(non-zero) 개수가 임계 개수 미만이면, 상기 무손실 코딩 모드에 따라 상기 연산 데이터를 압축하고, 상기 연산 데이터에 포함된 넌 제로(non-zero) 개수가 상기 임계 개수 이상이면, 상기 손실 코딩 모드에 따라 상기 연산 데이터를 압축하며, 상기 무손실 코딩 모드에 따라 압축된 데이터는 상기 넌 제로(non-zero) 값을 포함하며, 상기 손실 코딩 모드에 따라 압축된 데이터는 상기 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다.
또한, 상기 손실 코딩 모드는 제1 손실 코딩 모드, 제2 손실 코딩 모드 또는 제3 손실 코딩 모드 중 적어도 하나를 포함하며, 상기 제1 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값의 위치 정보, 상기 넌 제로(non-zero) 값 중 최대 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하며, 상기 제2 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값의 위치 정보, 상기 넌 제로(non-zero) 값 중 최대 값, 상기 넌 제로(non-zero) 값의 바이어스(bias) 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하며, 상기 제3 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값 중 최대 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다.
또한, 상기 압축하는 단계는, 상기 연산 데이터의 코딩 블럭을 복수의 서브 코딩 블럭으로 구분하고, 상기 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 기초하여 압축 기본 단위의 크기를 결정하고, 상기 결정된 압축 기본 단위로 상기 복수의 코딩 모드 중 하나에 따라 압축을 수행할 수 있다.
또한, 상기 압축하는 단계는, 상기 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 따라 결정된 상기 복수의 서브 코딩 블럭 각각의 코딩 모드에 기초하여 상기 연산 데이터에 무손실 압축이 적용되는 비율을 산출하고, 상기 산출된 비율이 최대가 되는 상기 서브 코딩 블럭의 크기를 상기 압축 기본 단위의 크기로 결정할 수 있다.
또한, 상기 압축하는 단계는, 상기 연산 데이터에 포함된 넌 제로(non-zero) 값 중 최대 값의 크기에 기초하여 상기 연산 데이터의 압축을 위한 비트 수를 가변할 수 있다.
또한, 상기 압축하는 단계는, 플로트(float) 타입의 상기 연산 데이터를 고정 소수점(fixed-point) 타입으로 변환하고, 상기 변환된 연산 데이터의 정수(integer) 파트 또는 분수(Fractional) 파트 중 적어도 하나의 길이에 기초하여 상기 정수 파트 및 상기 분수 파트 각각의 양자화를 위해 할당되는 비트 수를 동적으로 가변할 수 있다.
또한, 상기 압축하는 단계는, 상기 변환된 연산 데이터의 각 채널 데이터에 포함된 넌 제로 값의 최대 정수 길이에 기초하여 상기 각 채널 데이터의 압축을 위해 할당되는 비트 수를 동적으로 가변할 수 있다.
또한, 본 개시의 일 실시 예에 따른 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보를 저장하는 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 상기 복수의 레이어 중 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수에 기초하여 상기 연산 데이터를 복수의 코딩 모드 중 적어도 하나에 따라 압축하는 단계, 상기 압축된 데이터를 내부 메모리에 저장하는 단계, 상기 내부 메모리에 저장된 상기 압축 데이터를 압축 해제하여 상기 연산 데이터에 대응되는 복원 데이터를 획득하는 단계 및, 상기 획득된 복원 데이터를 상기 복수의 레이어 중 제2 레이어로 제공하는 단계를 포함할 수 있다.
상술한 다양한 실시 예에 따르면, 실시간 뉴럴 네트워크 시스템에서 적은 하드웨어 자원으로 연산 데이터를 효율적으로 압축함으로써, 연산 데이터의 리드 및 라이트를 위한 전송 대역폭을 효율적으로 절감할 수 있게 된다.
도 1a는 본 개시의 일 실시 예에 따른 전자 장치의 영상 처리 동작을 설명하기 위한 도면이다.
도 1b는 본 개시의 다른 실시 예에 따른 Super Resolution 처리를 위한 인공 지능 모델의 일 예를 도시한다.
도 1c는 본 개시의 일 실시 예에 따라 임의의 레이어의 연산 결과가 다음 레이어로 제공되는 과정을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 순차적으로 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 개시의 일 실시 예에 따라 연산 데이터를 변환하는 방법을 설명하기 위한 도면들이다.
도 5 및 도 6은 본 개시의 일 실시 예에 따른 코딩 모드 결정 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 개시의 일 실시 예에 따른 압축 데이터의 저장 방법을 설명하기 위한 도면들이다.
도 8은 본 개시의 일 실시 예에 따른 압축 해제 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 각 코딩 블럭의 압축 기본 단위 결정 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 코딩 모드 별 압축 데이터의 구성을 자세히 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따라 코딩 블럭을 기본 압축 단위로 구분한 예시를 나타내는 도면이다.
도 12는 본 개시의 일 실시 예에 따른 전자 장치의 일 구현 예를 나타내는 도면이다.
도 13은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 또는 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1a는 본 개시의 일 실시 예에 따른 전자 장치의 영상 처리 동작을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치는 인공 지능 모델(또는 신경망 모델 또는 학습 네트워크 모델)을 이용하여 입력 영상에 대한 영상 처리를 수행하도록 구현될 수 있다. 여기서, 인공 지능 모델은 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 파라미터(parameters)(또는 복수의 가중치(weight values))를 포함하며, 이전(previous) 레이어의 연산 결과와 복수의 파라미터들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들에 포함된 파라미터들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공 지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 파라미터들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
도 1a는 본 개시의 일 실시 예에 따른 Super Resolution 처리를 위한 인공 지능 모델의 일 예를 도시한다. Super Resolution이란 해상도가 낮은 영상을 일련의 미디어 처리를 통해 높은 해상도로 변환하는 처리를 의미한다.
도 1a에 따르면 본 개시의 일 실시 예에 따른 전자 장치는 입력 영상(10), 예를 들어 저해상도 영상에 대해 보간 처리(20)를 수행하고, 보간 처리된 영상(11)을 인공 지능 모델(20)에 입력하여 잔차 영상(12)을 획득할 수 있다. 즉, 인공 지능 모델(20)은 Residual neural network로 구현될 수 있다.
전자 장치는 보간 처리된 영상(11)을 잔차 영상(12)과 결합하여 출력 영상(13), 예를 들어 고해상도 영상을 획득할 수 있다. 여기서, 보간 처리는 해상도가 낮은 영상을 높은 해상도로 스케일링하는 처리를 의미하며, 예를 들어 bilinear interpolation, nearest neighbor interpolation, bicubic interpolation, deconvolution interpolation, subpixel convolution interpolation, polyphase interpolation, trilinear interpolation, linear interpolation 중 적어도 하나의 보간 기법이 이용될 수 있다. 또한, 잔차 영상(residual image)은 잔차 정보 만을 포함하는 영상을 의미할 수 있다. 여기서, 잔차 정보는 입력 영상과 기준 영상의 차이에 따른 정보로서, 예를 들어, 에지(edge) 방향, 에지 강도, 노이즈 정보 또는 텍스처(texture) 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 다른 예에 따라 잔차 정보는 계조 정보, 밝기 정보 또는 감마 정보 중 적어도 하나를 포함할 수 있다.
도 1b는 본 개시의 다른 실시 예에 따른 Super Resolution 처리를 위한 인공 지능 모델의 일 예를 도시한다.
도 1b에 따르면 전자 장치는 입력 영상(10), 예를 들어 저해상도 영상을 인공 지능 모델(20)에 입력하여 잔차 영상(12’)을 획득하고, 잔차 영상(12')을 보간 처리(40)하여 보간 처리된 잔차 영상(12)을 획득할 수 있다. 또한, 전자 장치는 입력 영상(10)에 대해 보간 처리(20)를 수행하여 보간 처리된 영상(11)을 획득할 수 있다. 이어서, 전자 장치는 보간 처리된 영상(11)을 보간 처리된 잔차 영상(12)과 결합하여 출력 영상(13), 예를 들어 고해상도 영상을 획득할 수 있다. 즉, 도 1b에 도시된 실시 예에 따르면, 도 1a에 도시된 실시 예와 달리 입력 영상(10)을 인공 지능 모델(20)에 입력하여 잔차 영상(12’)을 획득할 수도 있다.
한편, 도 1a 및 도 1b에 도시된, Super Resolution 처리에 이용되는 인공 지능 모델(20)는 학습을 통해 만들어진 것일 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공 지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 별도의 서버 및/또는 시스템을 통해 이루어질 수 있으나, 이에 한정되는 것은 아니며 전자 장치에서 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공 지능 모델(20)은 예를 들어, CNN 기반의 VDSR 기술(Jiwon Kim, et al. , Accurate Image Super-Resolution Using Very Deep Convolutional Networks, CVPR 2016), EDSR(Enhanced Deep Residual Networks for Single Image Super-Resolution), DRCN(Deeply-Recursive Convolutional Network for Image Super-Resolution.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.), MDSR(Multi-scale deep super-resolution system) 등이 이용될 수 있으나, 이에 한정되는 것은 아니다.
한편, 상술한 바와 같이 인공 지능 모델(20)에 포함된 복수의 신경망 레이어들 각각은 복수의 파라미터를 포함하며, 인공 지능 모델(20)은 이전 레이어의 연산 결과와 복수의 파라미터들 간의 연산을 통해 신경망 연산을 수행할 수 있다.
도 1c는 본 개시의 일 실시 예에 따라 임의의 레이어의 연산 결과가 다음 레이어로 제공되는 과정을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따르면, 임의의 레이어에서 컨벌루션 필터 적용 후 활성화 함수, 예를 들어 ReLU(Rectified Linear Unit) 연산을 통해 출력되는 연산 데이터가 출력될 수 있다. 이 경우, 레이어에서 출력되는 연산 데이터는 다채널 데이터로서, 예를 들어, 64 개의 피쳐 맵(또는 액티베이션 맵) 데이터가 출력될 수 있다. 이 경우, 피쳐 맵 데이터를 메모리에 저장하거나 읽을 때 과다한 전송 용량이 필요한데 예를 들어, 레이어 개수가 19 개인 경우 총 1216개 (19계층 x 64 채널)의 피쳐 맵 데이터에 대한 Read/Write가 필요하게 된다. 이 경우 프로세서의 외부 메모리에 Read/Write를 하게 되면 과다한 양의 전송 대역폭이 필요하게 된다.
이에 따라 본 개시에서는 도 1c에 도시된 바와 같이 임의의 레이어에서 출력되는 피쳐 맵 데이터를 프로세서의 내부 메모리에 압축하여 저장한 후 압축 데이터를 복원하여 다음 레이어에 적용하는 다양한 실시 예에 대해 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2에 따르면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
전자 장치(100)는 TV 또는 set-top box 로 구현될 수 있으나, 이에 한정되는 것은 아니며 스마트 폰, 태블릿 PC, 노트북 PC, HMD(Head mounted Display), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이, 카메라, 캠코더, 프린터, 서버 등으로 구현될 수 있다. 또는 전자 장치(100)는 클라우딩 컴퓨팅 환경이 구축된 시스템 자체일 수도 있다. 이에 한정되는 것은 아니며, 인공 지능 모델을 이용하여 데이터를 처리하는 장치라면 한정되지 않고 적용 가능하다.
일 예에 따라 전자 장치(100)는 다양한 압축 영상 또는 다양한 해상도의 영상을 수신할 수 있다. 예를 들어, 영상 처리 장치(100)는 MPEG(Moving Picture Experts Group)(예를 들어, MP2, MP4, MP7 등), JPEG(joint photographic coding experts group), AVC(Advanced Video Coding), H.264, H.265, HEVC(High Efficiency Video Codec) 등으로 압축된 형태로 영상을 수신할 수 있다. 또는 영상 처리 장치(100)는 SD(Standard Definition), HD(High Definition), Full HD, Ultra HD 영상 중 어느 하나의 영상을 수신할 수 있다.
메모리(110)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 예에 따라, 메모리(110)는 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보를 저장할 수 있다. 여기서, 인공 지능 모델에 관한 정보를 저장한다는 것은 인공 지능 모델의 동작과 관련된 다양한 정보, 예를 들어 인공 지능 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터에 대한 정보 등을 저장한다는 것을 의미할 수 있다.
다른 예에 따라, 메모리(110)는 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 수신된 영상을 저장할 수 있다. 여기서, 영상은 디지털 동영상이 될 수 있으나 이에 한정되는 것은 아니다.
또 다른 예에 따라, 메모리(110)는 영상 처리에 필요한 다양한 영상 정보, 예를 들어 텍스처 처리를 위한 텍스처 정보, 에지 처리를 위한 에지 정보 등을 저장할 수 있다. 또한, 메모리(110)는 영상 처리에 의해 생성된 최종 출력 영상을 저장할 수도 있다.
본 개시의 일 실시 예에 따르면, 메모리(110)는 본 개시에 따른 다양한 동작들에서 생성되는 데이터를 저장하는 단일 메모리로 구현될 수 있다. 다만, 본 개시의 다른 실시 예에 따르면, 메모리(110)는 복수의 메모리를 포함하도록 구현될 수도 있다.
프로세서(120)는 메모리(110)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 구체적으로, 프로세서(120)는 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
일 실시 예에 따라 프로세서(120)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
한편, 본 개시의 일 실시 예에 따른 인공 지능 모델을 실행하기 위한 프로세서(120)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다. 프로세서(120)는, 메모리(110)에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(120)가 인공 지능 전용 프로세서인 경우, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 인공 지능 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다.
프로세서(120)는 입력 데이터를 처리하여 출력 데이터를 획득한다. 여기서, 입력 데이터는 텍스트, 이미지 또는 사용자 음성 중 적어도 하나를 포함할 수 있다. 예를 들어, 입력 데이터는, 외부 장치와 통신 가능한 통신부, 키보드 또는 터치 패드 등과 같은 사용자 입력부, 카메라, 마이크 등을 통해 입력될 수 있다. 출력 데이터는 인공 지능 모델의 종류에 따라 다양한 형태가 될 수 있다. 예를 들어 출력 데이터는, 해상도가 향상된 이미지, 이미지 내에 포함된 오브젝트 관련 정보, 음성에 대응되는 텍스트 등이 될 수 있다. 다만 이하에서는 설명의 편의를 위하여 입력 데이터가 입력 영상인 경우를 한정하여 설명하도록 한다.
일 예에 따라, 프로세서(120)는 입력 영상을 영상 처리하여 출력 영상을 획득한다. 여기서, 입력 영상 및 출력 영상은 SD(Standard Definition), HD(High Definition), Full HD, UHD(Ultra High Definition) 영상 등이 될 수 있다. 특히, 출력 영상은 UHD(Ultra High Definition) 영상, 예를 들어 4K(3840x2160) 영상 또는 8K(7680x4320) 또는 그 이상의 해상도(예를 들어 16K, 32K)를 가지는 영상일 수 있으나, 이에 한정되는 것은 아니다. 영상 처리는 영상 개선(image enhancement), 영상 복원(image restoration), 영상 변환(image transformation), 영상 분석(image analysis), 영상 인식(image understanding) 또는 영상 압축(image compression) 중 적어도 하나를 포함하는 디지털 영상 처리가 될 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 인공 지능 모델을 이용하여 입력 영상을 처리함으로써 출력 영상을 획득할 수 있다. 예를 들어, 프로세서(120)는 인공 지능 모델을 이용하기 위하여, 메모리(110), 예를 들어 dram과 같은 외부 메모리에 저장된 인공 지능 모델 관련 정보를 로딩하여 이용할 수 있다.
또는 프로세서(120)는 입력 영상을 전처리(pre-processing)하고, 전처리된 영상을 인공 지능 모델을 이용하여 처리함으로써 출력 영상을 획득할 수 있다. 여기서, 전처리는 보간 처리를 포함할 수 있으나, 반드시 이에 한정되는 것은 아니며 인공 지능 모델을 이용하지 않고 입력 영상의 화질을 향상시킬 수 있는 다양한 영상 처리를 포함할 수 있다. 다만, 이하에서는 설명의 편의를 위하여 입력 영상을 보간 처리하는 것으로 설명하도록 한다.
일 실시 예에 따라 프로세서(120)는 입력 영상을 보간 처리하고, 보간 처리된 영상을 인공 지능 모델을 이용하여 처리한 출력 영상을 획득할 수 있다. 다른 실시 예에 따라 프로세서(120)는 입력 영상을 보간 처리함과 병렬적으로, 입력 영상을 인공 지능 모델에 입력하여 출력 영상을 획득할 수 있다. 예를 들어 프로세서(120)는 bilinear interpolation, nearest neighbor interpolation, bicubic interpolation, deconvolution interpolation, subpixel convolution interpolation, polyphase interpolation, trilinear interpolation, linear interpolation 중 적어도 하나의 보간 기법을 이용하여 보간 처리를 수행할 수 있다.
또한, 인공 지능 모델은, 복수의 신경망 레이어(이하, 레이어라 함)를 이용한 연산을 통해 입력 영상 또는 보간 처리된 영상을 처리하여 출력할 수 있다. 일 예로, 인공 지능 모델은 잔차 영상을 생성하여 출력할 수 있다. 여기서, 복수의 레이어 각각은 상이한 파라미터를 포함하는 필터를 이용하여 보간 처리된 영상에 대한 잔차 영상을 생성할 수 있다. 여기서, 파라미터는 필터의 가중치(또는 계수)와 동일한 의미일 수 있다. 이 경우, 인공 지능 모델은 Identity Function, Logistic Sigmoid Function, Hyperbolic Tangent(tanh) Function, ReLU Function, Leaky ReLU Function 등 다양한 유형의 활성화 함수(Activation function)를 이용하여 연산을 수행할 수 있다. 다만, 인공 지능 모델이 반드시 잔차 영상 만을 생성하는 것은 아니며, 인공 지능 모델의 구현 예에 따라 다양한 방식으로 입력된 영상을 처리하고, 처리된 영상을 출력할 수 있다.
일 실시 예에 따라 프로세서(120)는 하나의 인공 지능 모델을 이용하여 입력 영상을 처리할 수 있으나, 다른 실시 예에 따라 프로세서(120)는 복수의 인공 지능 모델을 이용하여 입력 영상을 처리할 수 있다. 이 경우 복수의 인공 지능 모델은 순차적으로 동작하거나, 병렬적으로 동작할 수 있다. 일 예로, 프로세서(120)는 제1 인공 지능 모델에 입력 영상을 입력하고, 제1 인공 지능 모델의 출력을 제2 인공 지능 모델에 입력한 후 제2 인공 지능 모델로부터 출력되는 영상에 기초하여 출력 영상을 획득할 수 있다. 다른 예로 프로세서(120)는 제1 및 제2 인공 지능 모델 각각에 입력 영상을 입력하고, 제1 및 제2 인공 지능 모델로부터 병렬적으로 출력되는 복수의 영상에 기초하여 출력 영상을 획득할 수 있다. 예를 들어, 복수의 인공 지능 모델은 제1 잔차 영상을 생성하는 모델 및 제2 잔차 영상을 생성하는 모델을 포함할 수 있다. 또는 복수의 인공 지능 모델은, 해상도의 업 스케일링을 위한 모델 및 노이즈 감소를 위한 모델을 포함할 수 있다. 또는 복수의 인공 지능 모델은, 객체 영역 처리를 위한 모델 및 배경 영역 처리를 위한 모델을 포함할 수 있다.
프로세서(120)는 인공 지능 모델로부터 출력되는 영상, 예를 들어 잔차 영상 및 전 처리된 영상, 예를 들어, 보간 처리된 영상에 기초하여 출력 영상을 획득할 수 있다. 예를 들어, 프로세서(120)는 보간 처리된 영상에 포함된 픽셀 값 및 잔차 영상에 포함된 픽셀 값을 대응되는 픽셀 단위로 합산하여 출력 영상을 획득할 수 있다. 또는 프로세서(120)는 제1 및 제2 인공 지능 모델로부터 각각 출력되는 제1 및 제2 잔차 영상 및 전 처리된 영상에 기초하여 출력 영상을 획득할 수도 있다. 또는 프로세서(120)는 제1 인공 지능 모델로부터 출력되는 제1 잔차 영상을 제2 인공 지능 모델에 입력하여 획득된, 제2 잔차 영상 및 전 처리된 영상에 기초하여 출력 영상을 획득할 수도 있다.
상술한 바와 같이 프로세서(120)는 입력 영상 또는 보간 처리된 영상을 적어도 하나의 인공 지능 모델에 입력하여 잔차 영상을 획득할 수 있으나, 이하에서는 설명의 편의를 위하여 보간 처리된 영상을 하나의 인공 지능 모델에 입력하여 잔차 영상을 획득하는 경우를 상정하여 설명하도록 한다. 다만, 본 개시에 따른 다양한 실시 예가 입력 영상을 인공 지능 모델에 입력하여 잔차 영상을 획득하는 경우, 복수의 인공 지능 모델을 이용하여 잔차 영상을 획득하는 경우에도 적용될 수 있음은 물론이다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 인공 지능 모델에 포함된 복수의 레이어 중, 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수(NNZ(Number of Non-zero))에 기초하여 연산 데이터를 복수의 코딩 모드(압축 모드) 중 적어도 하나에 따라 압축하고, 압축된 데이터를 내부 메모리에 저장할 수 있다. 여기서, 내부 메모리는 N 라인 메모리, 예를 들어 N 라인 버퍼(line buffer)로 구현될 수 있다. 이는 프로세서(120)의 하드웨어적 한계에 따라 메모리 용량이 제한적이기 때문이다. 예를 들어, 라인 버퍼는 레지스터, 캐시 메모리 등으로 구현될 수 있으나, 데이터를 일시적으로 저장하는 기능을 할 수 있다면 이에 한정되지 않고 구현 가능하다. 이에 따라 프로세서(120)는 내부 메모리의 크기에 기초하여 결정된 허용 데이터 크기를 초과하지 않는 guaranteed 압축을 수행할 수 있다.
프로세서(120)는 내부 메모리에 저장된 압축 데이터를 압축 해제하여 연산 데이터에 대응되는 복원 데이터를 획득하며, 획득된 복원 데이터를 복수의 레이어 중 제2 레이어로 제공할 수 있다. 여기서, 제2 레이어는 제1 레이어의 다음 레이어가 될 수 있다. 예를 들어 제1 레이어가 n 번째 레이어인 경우, 제2 레이어는 n+1 번째 레이어가 될 수 있다.
본 개시의 일 실시 예에 따르면, 복수의 코딩 모드는 무손실 코딩 모드 또는 손실 코딩 모드 중 적어도 하나를 포함할 수 있다. 이 경우, 손실 코딩 모드는 제1 손실 코딩 모드, 제2 손실 코딩 모드 또는 제3 손실 코딩 모드 중 적어도 하나를 포함할 수 있다. 이 경우, 제1 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값의 위치 정보, 넌 제로(non-zero) 값 중 최대 값 및 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다. 또한, 제2 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값의 위치 정보, 넌 제로(non-zero) 값 중 최대 값, 넌 제로(non-zero) 값의 바이어스(bias) 값 및 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다. 또한, 제3 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값 중 최대 값 정보 및 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 연산 데이터를 복수의 블럭으로 구분하고, 복수의 블럭 각각에 포함된 넌 제로(non-zero) 개수에 기초하여 압축 단위의 크기를 결정하고, 결정된 압축 단위로 복수의 코딩 모드 중 하나에 따라 압축을 수행할 수 있다. 구체적으로, 프로세서(120)는 복수의 블럭 각각에 포함된 넌 제로(non-zero) 개수에 따라 결정된 복수의 블럭 각각의 코딩 모드에 기초하여 연산 데이터에 무손실 압축이 적용되는 비율을 산출하고, 산출된 비율이 최대가 되는 블럭의 크기를 압축 단위의 크기로 결정할 수 있다.
일 실시 예에 따라 프로세서(120)는 코딩 블록 단위로 압축을 수행할 수 있다. 구체적으로, 프로세서(120)는 하나의 코딩 블록을 적어도 하나의 서브 코딩 블럭으로 구분하고, 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 기초하여 압축 기본 단위의 크기를 결정할 수 있다. 여기서, 코딩 블럭은 연산 데이터에서 소정 크기의 블럭 데이터를 의미하며 압축 대상이 되는 데이터 단위이고, 압축 기본 단위는 실제 압축이 일어나는 데이터 단위가 될 수 있다. 즉, 프로세서(120)는 하나의 코딩 블럭을 적어도 하나의 서브 코딩 블럭로 구분하여 각 서브 코딩 블럭에 대해 개별적으로 압축을 수행함으로써, 결과적으로 하나의 코딩 블럭에 대한 압축을 수행할 수 있다.
일 예에 따라, 제1 레이어에서 출력되는 피쳐 맵 데이터가 H(Hight)*W(width)*C(channel)의 3차원 데이터인 경우, 코딩 블럭은 피쳐 맵 데이터에 포함된 복수의 채널 각각에 대한 데이터를 포함할 수 있다. 이는 레이어에서의 연산, 예를 들어, CNN 연산을 위해서는 복수의 채널 데이터 각각에서 동일 위치의 특정 픽셀 값을 동시에 이용하여야 하기 때문이다.
한편, 코딩 블럭의 크기는 연산 데이터 크기, 내부 메모리 용량, 압축 성능 등에 기초하여 기 설정된 크기로 결정될 수 있고, 경우에 따라 가변될 수 있다. 예를 들어, CNN 연산 처리는 라인 단위로 수행될 수 있으나, 압축은 라인 단위 데이터에서 코딩 블럭 단위로 수행될 수 있다.
한편, 프로세서(120)는 제1 레이어에서 출력되는 채널 별 연산 데이터 각각에 기초하여 연산 데이터 각각의 압축을 위해 할당되는 비트 수를 동적으로 가변 하여 압축을 수행할 수 있다.
일 예에 따라 연산 데이터가 플로트(float) 타입인 경우, 프로세서(120)는 플로트(float) 타입의 연산 데이터를 고정 소수점(fixed-point) 타입으로 변환하고, 변환된 연산 데이터의 정수(integer) 파트 또는 분수(Fractional) 파트 중 적어도 하나의 길이에 기초하여 정수 파트 및 분수 파트 각각의 양자화를 위해 할당되는 비트 수를 동적으로 가변할 수 있다. 예를 들어, 프로세서(120)는 변환된 각 채널 별 연산 데이터에 포함된 넌 제로 값의 정수 길이 중 최대 정수 길이에 기초하여 비트 수를 동적으로 가변할 수 있다.
이하에서는 도 3을 참조하여 전자 장치(100)의 동작을 좀더 자세히 설명하도록 한다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 순차적으로 설명하기 위한 흐름도이다.
도 3에 따르면, 프로세서(120)는 인공 지능 모델에 포함된 제1 레이어에서 연산 데이터가 출력되면(S310), 출력된 연산 데이터를 변환할 수 있다(S320). 예를 들어, 제1 레이어에서 출력되는 연산 데이터는 피쳐 맵(feature map)(또는 액티베이션 맵(Activation Map) 데이터가 될 수 있다. 일 예에 따라, 제1 레이어에서 출력된 연산 데이터는 플로트(float) 타입일 수 있으며, 프로세서(120)는 플로트 타입의 연산 데이터를 고정 소수점(fixed-point) 타입으로 변환할 수 있다.
도 4 및 도 5는 본 개시의 일 실시 예에 따라 연산 데이터를 변환하는 방법을 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 인공 지능 모델에 포함된 각 레이어에서 출력되는 연산 데이터, 예를 들어, 플로트(float) 타입의 피쳐 맵(feature map) 데이터를 고정 소수점(fixed-point) 타입으로 변환하여 데이터 크기를 줄일 수 있다. 예를 들어, 32 비트 플로트(float) 타입의 피쳐 맵 데이터를 8 비트 내지 16 비트의 고정 소수점(fixed-point) 타입으로 변환할 수 있다. 이와 같이 데이터의 기본 크기를 줄여 주면 연산량을 줄일 뿐 아니라 메모리 크기를 줄일 수 있다. 예를 들어, 32 비트 플로트 타입을 8 비트 고정 소수점 타입으로 변환하면 데이터 크기를 1/4로 데이터를 줄일 수 있다. 다만, 경우에 따라 각 레이어에서 이용되는 파라미터, 즉, 가중치 파라미터에 대해서도 동일한 형태의 타입 변환이 이루어질 수 있으나, 이하에서는 피쳐 맵 데이터를 변환하는 경우를 한정하여 설명하도록 한다. 이 경우, 프로세서(120)는 각 레이어 별 연산 데이터 또는 연산 데이터의 채널 별 데이터를 분석하여 각 연산 데이터에 대한 동적 변환을 수행할 수 있다.
도 4는 8 비트 고정 소수점 값을 동적 소수점 값으로 변환하는 방법을 설명하기 위한 도면이다. 도 4에 따르면, 고정 소수점 값은 정수(integer) 파트와 분수(Fractional) 파트로 구성될 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 각 레이어 별 연산 데이터 또는 연산 데이터의 채널 별 데이터에 대해 각각 정수 파트의 길이 IL(integer length)와 분수 파트의 길이 FL(fractional length)의 최적 값을 산출하여 동적 소수점(dynamic Fixed-Point) 값으로 변환할 수 있다. 즉, 프로세서(120)는 레이어 별 또는 채널 별로 고정 소수점 값의 정수 파트 및 분수 파트의 bit-width를 다양하게 가변할 수 있다. 예를 들어, 계층 별로 FL를 다양화하는 기존의 기술(P.Gysel et al., “Hardware-oriented Approximation of Convolutional Neural Networks,” arXiv:1604.03168)이 이용될 수 있다. 이에 대해서는 도 10을 참고하여 좀더 자세히 설명하도록 한다.
다시 도 3으로 돌아와서, 프로세서(120)는 변환된 연산 데이터에 기초하여 변환된 연산 데이터에 대한 코딩 모드를 결정할 수 있다(S330).
본 개시의 일 실시 예에 따르면, 프로세서(120)는 연산 데이터, 예를 들어 피쳐 맵에 포함된 많은 값이 제로(zero) 값을 가지는 특성을 이용하여, non-zero의 수에 따라 무손실 혹은 손실 압축 방식을 다양하게 적용할 수 있다. 예를 들어, 프로세서(120)는 코딩 블럭 단위로 압축을 수행할 수 있다. 즉, 프로세서(120)는 코딩 블럭 내에 포함된 non-zero의 수에 따라 무손실 혹은 손실 압축 방식을 다양하게 적용할 수 있다. 여기서, 코딩 블럭은 피쳐 맵에서 소정 크기의 블럭 데이터가 될 수 있다. 코딩 블럭의 크기는 연산 데이터 크기, 내부 메모리 용량, 압축 성능 등에 기초하여 기 설정된 크기로 결정될 수 있고, 경우에 따라 가변될 수 있다.
도 5 및 도 6은 본 개시의 일 실시 예에 따른 코딩 모드 결정 방법을 설명하기 위한 도면이다.
프로세서(120)는 인공 지능 모델에 포함된 각 레이어에서 필터 적용 후 활성 함수를 통해 연산된 연산 데이터에 포함된 코딩 블럭 단위로 코딩 모드를 결정할 수 있다.
예를 들어, 프로세서(120)는 도 5에 도시된 바와 같이 CNN 모델에서 각 레이어의 컨벌루션 필터 적용 후 ReLU(Rectified Linear Unit) 연산을 통해 출력(S510)되는 피쳐 맵 데이터에서 코딩 블럭을 식별하고(S520), 각 코딩 블럭 단위로 압축 기본 단위인 서브 코딩 블럭의 크기를 결정하고, 결정된 서브 코딩 블럭(Sub Coding Block)에 대응되는 코딩 모드(이하, SCB 코딩 모드)를 결정할 수 있다(S530).
구체적으로, 도 6에 도시된 바와 같이 코딩 블럭을 채널 방향으로 파티셔닝하여 파티션 후보를 결정한다(S531). 이어서, 각 파티션 후보에 대한 넌 제로 값 개수를 산출하고(S532), 산출된 넌 제로 값 개수를 기초로 각 파티션 후보에 대한 코딩 모드를 결정한 후, 결정된 코딩 모드에 기초하여 코딩 블럭 내 무손실 압축 비율을 산출한다(S533). 이어서, 코딩 블럭 내 무손실 압축 비율이 최대가 되는 파티션 후보를 서브 코딩 블럭 즉, 압축 기본 단위로 결정한다(S534). 이 후, 결정된 서브 코딩 블럭 각각에 대응되는 코딩 모드를 결정할 수 있다(S535). 즉, 코딩 블럭 내 무손실 압축 비율이 최대가 되는 파티션 후보 각각에 대한 코딩 모드를 실제 적용할 코딩 모드로 결정할 수 있다.
다시 도 5로 돌아와서, 프로세서(120)는 결정된 코딩 모드에 따라 압축된 데이터를 라인 버퍼에 라이트하여 저장(S540)할 수 있다. 이 경우, S520, S530, S540 동작은 압축기(compressor)(또는 인코더(encoder))를 통해 수행될 수 있다. 여기서, 압축기(compressor)(또는 인코더(encoder))는 적어도 하나의 소프트웨어 또는 적어도 하나의 하드웨어 또는, 적어도 하나의 소프트웨어 및 적어도 하나의 하드웨어의 조합으로 구현될 수 있다. 예를 들어, 압축기(또는 인코더)에 해당하는 소프트웨어 또는 하드웨어 로직이 프로세서(120) 칩 내에 구현될 수 있다. 다만, 이에 한정되는 것은 아니며 압축기의 일부 동작에 해당하는 소프트웨어 또는 하드웨어 로직은 하나의 칩 내에, 나머지에 해당하는 소프트웨어 또는 하드웨어 로직은 다른 칩 내에 구현될 수도 있다.
도 7a 및 도 7b는 본 개시의 일 실시 예에 따른 압축 데이터의 저장 방법을 설명하기 위한 도면들이다.
프로세서(120)는 상술한 실시 예에 따라 압축된 피쳐 맵 데이터를 도 7a에 도시된 바와 같이 2D 라인 버퍼에 저장할 수 있다. 예를 들어, 피쳐 맵 데이터는 H(Hight)*W(width)*C(channel)의 3차원 데이터가 될 수 있다. 이 경우, 2D 라인 버퍼는 도 7a에 도시된 바와 같이 W(width)*C(channel)의 2D 버퍼로 구현될 수 있고 압축된 크기를 가질 수 있는데, 이는 본 개시의 일 실시 예에 따른 압축이 수행되었기 때문이다.
일 실시 예에 따라 프로세서(120)는 코딩 블럭 단위로 최대 압축율(예를 들어 1/2)이 보장되도록 압축을 수행할 수 있다. 예를 들어 도 7b에 도시된 바와 같이 코딩 블럭 단위로 압축율이 상이하더라도 2D 라인 버퍼의 크기에 기초하여 최대 허용하는 데이터 크기를 넘지 않도록 압축을 수행할 수 있다. 여기서, 코딩 블럭은 피쳐 맵 데이터에 포함된 복수의 채널 각각에 대한 데이터를 포함할 수 있다. 이는 레이어의 연산에서 서로 다른 채널 간 데이터 정보를 이용하기 때문이다. 예를 들어 코딩 블럭은 도 7b에서 BLK_W*BLK_C의 크기를 가질 수 있으며, 각 코딩 블럭(BLK_W*BLK_C) 별로 최대 허용하는 데이터 크기를 넘지 않도록 압축을 수행할 수 있다. 여기서, BLK_W는 코딩 블럭의 가로 데이터 크기를 나타내며, BLK_C는 코딩 블럭에 대응되는 복수의 채널 데이터 크기(또는 개수)를 나타낼 수 있다.
다시 도 3으로 돌아와서, 프로세서(120)는 압축된 데이터를 압축 해제하여 복원된 피쳐 맵 데이터를 획득하고, 복원된 피쳐 맵 데이터를 다음 레이어로 제공할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 압축 해제 방법을 설명하기 위한 도면이다.
도 8에 도시된 바와 같이 프로세서(120)는 내부 메모리, 예를 들어 라인 버퍼에 압축되어 저장된 피쳐 맵 데이터를 압축 해제하여 압축 데이터를 복원할 수 있다.
구체적으로, 프로세서(120)는 라인 버퍼로부터 압축된 피쳐 맵 데이터의 비트를 리딩하여(S810), 피쳐 맵 데이터를 압축할 때 수행된 코딩 모드를 결정할 수 있다(S820). 이 경우, 압축 자체가 프로세서(120)에 의해 수행되었으므로 프로세서(120)는 코딩 모드를 알고 있을 수 있으나, 압축 데이터에 압축 데이터에 대한 코딩 모드 정보가 포함되어 있을 수도 있다.
이어서, 프로세서(120)는 압축 데이터에 포함된 각 서브 코딩 블럭에 대한 코딩 모드에 기초하여 압축 해제를 수행할 수 있다(S830). 이 경우 프로세서(120)는 압축 해제된 데이터를 버퍼에 저장하면서 압축 해제 동작을 수행할 수 있다(S840). 이 후, 프로세서(120)는 압축된 데이터에 포함된 모든 서브 코딩 블럭에 대한 압축이 해제되어 압축 데이터에 대한 복원 데이터, 즉, 코딩 블럭에 대응되는 복원 데이터가 획득되면 획득된 복원 데이터를 제2 레이어에서의 컨벌루션 연산을 위해 제2 레이어로 입력할 수 있다(S840). 이 경우, S810, S820, S830 동작은 압축 해제기(decompressor)(또는 디코더(decoder))를 통해 수행될 수 있다. 여기서, 압축 해제기(또는 디코더)의 구현 예는 상술한 압축기(또는 인코더)의 구현 예와 유사하므로 자세한 설명은 생략하도록 한다.
도 9는 본 개시의 일 실시 예에 따른 각 코딩 블럭의 압축 기본 단위 결정 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 코딩 블럭 내에서 서브 코딩 블럭(SCB)의 크기를 최대 크기부터 점차 줄여가면서 각 서브 코딩 블럭(SCB)의 크기 별로 전체 코딩 블럭(CB)의 무손실 압축 비율을 산출하고, 무손실 압축 비율이 최대가 되는 서브 코딩 블럭(SCB)의 크기를 압축 기본 단위로 결정할 수 있다.
도 9에 따르면, 프로세서(120)는 코딩 블럭(CB)의 크기 즉, BLK_W*BLK_C를 결정한다(S910). 여기서, BLK_W는 코딩 블럭의 가로 데이터 크기를 나타내며, BLK_C는 코딩 블럭에 대응되는 복수의 채널 데이터 크기(또는 개수)를 나타낼 수 있다. 코딩 블럭의 크기는 연산 데이터 크기, 내부 메모리 용량, 압축 성능 등에 기초하여 기 설정된 크기로 결정될 수 있고, 경우에 따라 가변될 수 있다.
이어서, 프로세서(120)는 서브 코딩 블럭(SCB)의 최대 크기를 결정한다(S915). 예를 들어, 서브 코딩 블럭(SCB)의 최대 크기는 BLK_W*PART_C(PART_C는 2의 배수)로 결정될 수 있다.
프로세서(120)는 서브 코딩 블럭의 최대 크기가 BLK_W*PART_C(PART_C=BLK_C)부터 시작하여(S920), 각 서브 코딩 블럭 내 넌 제로 개수(NNZ)를 계산한다(S925).
프로세서(120)는 각 서브 코딩 블럭 내 넌 제로 개수에 기초하여 각 서브 코딩 블럭의 코딩 모드를 결정한다(S930).
프로세서(120)는 무손실 압축이 수행되는 서브 코딩 블럭에 기초하여 코딩 블럭 내 무손실 압축 비율(RATE_LS)를 계산한다(S935).
프로세서(120)는 BLK_C = 1이 아닌 경우(S940:N), S920 단계에서 S935 단계를 반복한다. 즉, 프로세서(120)는 코딩 블럭을 채널 방향으로 파티셔닝하여 BLK_C의 크기를 점차 줄여가면서 S920 단계에서 S935 단계를 반복하여 BLK_C의 크기 별 코딩 블록 내 무손실 압축 비율을 획득할 수 있다.
프로세서(120)는 BLK_C = 1이 되면(S940:Y), 즉 BLK_C가 최소 단위가 될 때까지 S920 단계에서 S935 단계가 반복되면, 현재까지 산출된 코딩 블록 내 무손실 압축 비율에 기초하여 최대 무손실 압축 비율을 가지는 SCB를 기본 압축 단위로 설정한다(S950).
한편, 프로세서(120)는 S930 단계에서 기설정된 기준에 따라 각 서브 코딩 블럭의 코딩 모드를 결정할 수 있다. 예를 들어, 프로세서(120)는 각 서브 코딩 블럭의 크기에 따라 기설정된 넌 제로 개수에 기초하여 각 서브 코딩 블럭의 코딩 모드를 결정할 수 있다. 하기 표 1은 일 예에 따른 코딩 모드의 기준을 나타낸다.
Figure pat00001
표 1에 따르면 코딩 모드는 무손실 코딩 모드(모드 0), 제1 손실 코딩 모드(모드 1), 제2 손실 코딩 모드(모드 2) 및 제3 손실 코딩 모드(모드 3)가 될 수 있다.
표 1에 도시된 바와 같이 각 코딩 모드 별로 파티션, 즉 서브 블럭 크기에 따른 넌 제로 값의 임계 개수가 기설정되어 있을 수 있으며, 이는 실험 등에 의해 적절한 값으로 결정될 수 있다. 예를 들어, 압축 후 열화의 크기에 기초하여 넌 제로 값의 임계 개수가 결정될 수 있다.
무손실 코딩 모드는 코딩 블럭에 포함된 각 서브 블럭 별로 넌 제로 값의 개수가 제1 임계 개수 미만인 경우로 정의되며, 무손실 코딩 모드에 따라 압축된 압축 데이터는 넌 제로 값의 위치 정보를 포함할 수 있다. 또한, 손실 코딩 모드는 코딩 블럭에 포함된 각 서브 블럭 별로 넌 제로 값의 개수가 제1 임계 개수 이상인 경우로 정의될 수 있다. 이는 넌 제로 값의 개수가 적은 경우에는 무손실 압축을 수행하더라도 손실 저하를 최소화하면서 압축 성능을 만족시킬 수 있지만, 넌 제로 값의 개수가 많은 경우에는 압축 데이터의 용량을 고려하여 불가피하게 손실 압축을 수행하여야 하기 때문이다.
제1 손실 코딩 모드 및 제2 손실 코딩 모드는 각 서브 블럭 별로 넌 제로 값의 개수가 제1 임계 개수 이상 제2 임계 개수 미만인 경우로 정의되며, 제1 및 제2 손실 코딩 모드에 따라 압축된 압축 데이터는 넌 제로 값의 위치 정보를 포함할 수 있다. 다만, 제1 손실 코딩 모드에 따라 압축된 압축 데이터는 바이어스 값을 포함하지 않지만, 제2 손실 코딩 모드에 따라 압축된 압축 데이터는 바이어스 값을 포함할 수 있다. 예를 들어, 서브 블럭 내의 넌 제로 값들의 크기가 골고루 퍼져 있는 경우에는 바이어스 값을 적용하지 않는 제1 손실 코딩 모드에 따라 압축하고, 넌 제로 값들의 크기가 특정 범위로 편향되어 있는 경우에는 바이어스 값을 적용하는 제2 손실 코딩 모드에 따라 압축할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 코딩 모드 별 압축 데이터의 구성을 자세히 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따르면 무손실 코딩 모드 또는 손실 코딩 모드에 따라 생성된 압축 데이터는 넌 제로 값의 위치 정보 및 넌 제로 값 자체와 관련된 정보를 포함할 수 있다. 예를 들어, 넌 제로 값 자체와 관련된 정보는, 코딩 모드에 따라 넌 제로 값 자체, 넌 제로 값 중 최대 값, 0에서 넌 제로 값의 최대 값의 중간 값들로 양자화된 양자화 인덱스 정보, 넌 제로 값 중 최소 값 또는 넌 제로 값 중 최소 값에서 최대 값의 중간 값들로 양자화된 양자화 인덱스 정보 중 적어도 하나를 포함할 수 있다.
도 10의 (a)는 무손실 코딩 모드에 따라 생성되는 압축 데이터의 일 예를 도시한 것으로, 이 경우 압축 데이터는 연산 데이터에 포함된 넌 제로(non-zero) 값의 위치 정보 및 넌 제로 값 자체를 포함할 수 있다. 예를 들어, 프로세서(120)는 연산 데이터에 포함된 넌 제로 값의 개수가 제1 임계 개수 미만인 경우 무손실 코딩 모드에 따라 연산 데이터를 압축할 수 있다. 예를 들어, 기본 압축 단위인 서브 코딩 블럭이 8 비트 데이터이며 서브 코딩 블럭 내 데이터 개수(제로 값 포함)가 16 개인 경우 16 비트를 이용하여 넌 제로 값의 위치 정보를 나타낼 수 있다. 예를 들어 16 개의 데이터 각각에 대응되는 16 개의 비트 각각에서 넌 제로 값은 "1"로 제로 값은 "0"으로 나타낼 수 있다. 또한, 넌 제로 값 각각을 8 비트를 이용하여 나타낼 수 있다.
도 10의 (b)는 제1 손실 코딩 모드에 따라 생성되는 압축 데이터의 일 예를 도시한 것으로, 제1 손실 코딩 모드에 따라 생성된 압축 데이터는 연산 데이터에 포함된 넌 제로 값의 위치 정보, 넌 제로 값 중 최대 값 및 넌 제로 값 각각의 양자화 인덱스 정보를 포함할 수 있다. 예를 들어, 프로세서(120)는 연산 데이터에 포함된 넌 제로 값의 개수가 제1 임계 개수 이상이고 제2 임계 개수 미만인 경우 제1 손실 코딩 모드에 따라 연산 데이터를 압축할 수 있다. 예를 들어, 기본 압축 단위인 서브 코딩 블럭이 8 비트 데이터이며 연산 데이터의 코딩 블럭 내 데이터 개수(제로 값 포함)가 16 개인 경우 16 비트를 이용하여 넌 제로 값의 위치 정보를 나타내고, 8 비트를 이용하여 넌 제로 값 중 최대 값을 나타내고, 넌 제로 값 각각의 양자화 인덱스 값을 5 비트를 이용하여 나타낼 수 있다. 예를 들어 넌 제로 값 각각에 대해 5 비트를 이용하여 0 부터 최대 값 사이 구간을 32 구간으로 구분하고, 32 구간 중 넌 제로 값이 속하는 구간 정보를 5 비트로 나타낼 수 있다. 예를 들어, 넌 제로 값 중 최대 값이 218인 경우, 1~218 값을 32 구간으로 구분하고, 각 구간에 대한 양자화 인덱스 값을 생성할 수 있다. 예를 들어, 제1 구간은 1~7 값을 포함하고, 제2 구간은 8~14 값을 포함하고, 제3 구간은 15~21 값을 포함하고, 31 구간은 211~217 값을 포함하고 마지막 구간은 최대 값 218을 나타낼 수 있다. 이 경우 5 비트를 이용하여 제1 구간(1*step)은 "Index 0", 제2 구간(2*step)은 "Index 1", 제3 구간은 "Index 2", 제3 구간(3*step)은 "Index 3", 마지막 구간 즉, 최대 값은 "Index 31"을 나타내는 이진수로 표현할 수 있게 된다. 이 경우 프로세서(120)는 각 넌 제로 값을 32 개의 구간 중 가장 가까운 구간에 대응되는 인덱스 값으로 양자화할 수 있다. 예를 들어 넌 제로 값이 215인 경우 해당 넌 제로 값은 "Index 31"로 표현할 수 있게 된다. 다만 상술한 실시 예에서는 양자화 인덱스 값이 제로 값을 제외한 넌 제로 값을 나타낸다는 점에서 1~218 구간을 32 구간으로 구분하였지만, 0~218 구간을 32 구간으로 구분할 수 있음은 물론이다. 또한, 최대 값을 하나의 인덱스 값 즉, "Index 31"으로 나타내지 않고 최대 값을 포함하는 복수의 넌 제로 값 구간을 "Index 31"로 나타낼 수 있음은 물론이다.
하기 표 2는 상술한 일 예에 따른 제2 손실 코딩 모드에서 양자화 인덱스 값을 나타내는 도면이다.
Index 0 Index 1 Index 2 Index 3 ... Index 30 Index 31
1*step 2*step 3*step 4*step ... 31*step max
여기서, index n은 넌 제로 값이 n+1 구간에 속함을 의미할 수 있다. 예를 들어, 표 2에 각 step 은 step = MAX/power(2,index_bits)와 같은 수식으로 표현될 수 있다.
도 10의 (c)는 제2 손실 코딩 모드에 따라 생성되는 압축 데이터의 일 예를 도시한 것으로, 제2 손실 코딩 모드에 따라 생성된 압축 데이터는 연산 데이터에 포함된 넌 제로 값의 위치 정보, 넌 제로 값 중 최대 값, 넌 제로 값의 바이어스(bias) 값 및 넌 제로 값 각각의 양자화 인덱스 정보를 포함할 수 있다. 예를 들어, 프로세서(120)는 연산 데이터에 포함된 넌 제로 값의 개수가 제1 임계 개수 이상이고 제2 임계 개수 미만이며, 넌 제로 값의 바이어스 값, 예를 들어 0이 아닌 최소값을 가지는 경우 제2 손실 코딩 모드에 따라 연산 데이터를 압축할 수 있다. 예를 들어, 기본 압축 단위인 서브 코딩 블럭이 8 비트 데이터이며 연산 데이터의 코딩 블럭 내 데이터 개수(제로 값 포함)가 16 개인 경우 16 비트를 이용하여 넌 제로 값의 위치 정보를 나타내고, 8 비트를 이용하여 넌 제로 값 중 최대 값을 나타내고, 8 비트 정보를 이용하여 넌 제로 값 중 최소 값 즉, 바이어스 값을 나타내고, 넌 제로 값 각각의 양자화 인덱스 값을 5 비트를 이용하여 나타낼 수 있다. 예를 들어 넌 제로 값 각각에 대해 5 비트를 이용하여 최소값 부터 최대 값 사이 구간을 32 구간으로 구분하고, 32 구간 중 넌 제로 값이 속하는 구간 정보를 5 비트 정보로 나타낼 수 있다. 예를 들어, 넌 제로 값 중 최대 값이 218 이고 최소 값 즉, 바이어스 값이 32인 경우, 32~218 값을 32 구간으로 구분하고, 각 구간에 대한 양자화 인덱스 값을 생성할 수 있다. 예를 들어, 제1 구간은 32~37 값을 포함하고, 제2 구간은 38~43 값을 포함하고, 제3 구간은 44~49 값을 포함하고, 31 구간은 212~217 값을 포함하고, 32 구간은 최대 값 218을 나타낼 수 있다. 이 경우 5 비트를 이용하여 제1 구간(1*step)은 "Index 0", 제2 구간(2*step)은 "Index 1", 제3 구간은 "Index 2", 제3 구간(3*step)은 "Index 3", 마지막 구간 즉, 최대 값은 "Index 31"을 나타내는 이진수로 표현할 수 있게 된다. 이 경우 프로세서(120)는 각 넌 제로 값을 32 개의 구간 중 가장 가까운 구간에 대응되는 인덱스 값으로 양자화할 수 있다. 예를 들어 넌 제로 값이 214인 경우 해당 넌 제로 값은 "Index 31"로 나타낼 수 있게 된다.
하기 표 3은 상술한 일 예에 따른 제2 손실 코딩 모드에서 양자화 인덱스 값을 나타내는 도면이다.
Index 0 Index 1 Index 2 Index 3 ... Index 30 Index 31
1*step
+Bias		 2*step
+Bias		 3*step
+Bias		 4*step
+Bias		 ... 31*step
+Bias		 max
여기서, index n은 넌 제로 값이 바이어스 값이 적용된 n+1 구간에 속함을 의미할 수 있다. 예를 들어, 표 3에 각 step 은 step = (MAX-Bias) / power(2,index_bits)와 같은 수식으로 표현될 수 있다.
도 10의 (d)는 제3 손실 코딩 모드에 따라 생성되는 압축 데이터의 일 예를 도시한 것으로, 제3 손실 코딩 모드에 따라 생성된 압축 데이터는 연산 데이터에 포함된 넌 제로(non-zero) 값 중 최대 값 및 넌 제로(non-zero) 값 각각의 양자화 인덱스 정보를 포함할 수 있다. 예를 들어, 프로세서(120)는 연산 데이터에 포함된 넌 제로 값의 개수가 제2 임계 개수 이상인 경우 경우 제3 손실 코딩 모드에 따라 연산 데이터를 압축할 수 있다. 이 경우, 프로세서(120)는 넌 제로 값의 위치 정보를 별도로 생성하지 않고 제로 값 및 넌 제로 값 각각에 대한 양자화 인덱스 정보를 생성할 수 있다. 이는 넌 제로 값의 개수가 제2 임계 개수 이상으로 많은 경우이므로 구지 16 비트를 이용하여 넌 제로 값의 위치 정보를 생성하는 것이 큰 의미가 없기 때문이다. 예를 들어, 기본 압축 단위인 서브 코딩 블럭이 8 비트 데이터이며 연산 데이터의 코딩 블럭 내 데이터 개수(제로 값 포함)가 16 개인 경우 8 비트를 이용하여 넌 제로 값 중 최대 값을 나타내고, 제로 값 및 넌 제로 값 각각의 양자화 인덱스 값을 각각 5 비트를 이용하여 나타낼 수 있다. 예를 들어 제로 값 및 넌 제로 값 각각에 대해 5 비트를 이용하여 최소값 부터 최대 값 사이 구간을 32 구간으로 구분하고, 32 구간 중 넌 제로 값이 속하는 구간 정보를 5 비트 정보로 나타낼 수 있다.
예를 들어, 넌 제로 값 중 최대 값이 211 인 경우, 0~211 값을 32 구간으로 구분하고, 각 구간에 대한 양자화 인덱스 값을 생성할 수 있다. 예를 들어, 제로 값을 하나의 구간으로 구분하고, 제1 구간은 1~7 값을 포함하고, 제2 구간은 8~14 값을 포함하고, 30 구간은 206~210 값을 포함하고, 마지막 구간은 최대 값 211을 나타낼 수 있다.
이 경우 5 비트를 이용하여 제로 값은 "Index 0", 제1 구간(1*step)은 "Index 1", 제2 구간(2*step)은 "Index 2", 제3 구간(3*step)은 "Index 3", 30 구간(30*step)은 "Index 30", 최대 값은 "Index 31"을 나타내는 이진수로 표현할 수 있게 된다. 이 경우 프로세서(120)는 각 넌 제로 값을 32 개의 구간 중 가장 가까운 구간에 대응되는 인덱스 값으로 양자화할 수 있다. 예를 들어 넌 제로 값이 209인 경우 해당 넌 제로 값은 "Index 31"로 표현할 수 있게 된다.
하기 표 4는 상술한 일 예에 따른 제3 손실 코딩 모드에서 양자화 인덱스 값을 나타내는 도면이다.
Index 0 Index 1 Index 2 Index 3 ... Index 30 Index 31
0 1*step 2*step 3*step ... 30*step max
여기서, index n은 넌 제로 값이 바이어스 값이 적용된 n+1 구간에 속함을 의미할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 넌 제로 값 중 최대 값 및 최소값에 대해서도 압축을 수행할 수 있다. 예를 들어, 프로세서(120)는 표 5 및 표 6에 도시된 바와 같이 8 bit 값을 2 bit 로 압축할 수 있다. 다만, 표 5 및 표 6에 도시된 수치는 일 예일 뿐이며, 다양한 비트 값을 그보다 작은 비트 값을 이용하여 압축할 수 있음은 물론이다.
최대값 압축값 복원값
0~31 0 31
32~63 1 63
64~127 2 127
128~255 3 255
최소값 압축값 복원값
16~31 0 16
32~63 1 32
64~127 2 64
128~255 3 128
한편, 상술한 표 1 내지 표 6에 기재된 수치는 일 예일 뿐이며, 다양하게 변경 설정될 수 있음은 물론이다.
일 실시 예에 따르면, 프로세서(120)는 서브 코딩 블럭 각각의 압축을 위해 할당되는 비트 수를 동적으로 가변할 수 있다.
구체적으로, 프로세서(120)는 서브 코딩 블럭 내에 포함된 채널 별 데이터 각각에 대해 할당되는 양자화 인덱스 비트를 나타내기 위한 비트(이하, 인덱스 비트라 함)의 크기를 가변할 수 있다. 일반적으로 고정 소수점 타입을 표현하는 경우 소수점 위치가 고정되어 있어 정수 파트 및 분수 파트 각각에 할당되는 비트 즉, 메모리 용량이 정해져 있을 수 있으나, 본 개시의 일 실시 예에 따르면 정수 파트 및 분수 파트 중 적어도 하나에 할당되는 비트의 크기를 가변할 수 있다.
일 예에 따라 프로세서(120)는 도 4에 도시된 바와 같이 고정 소수점 타입으로 변환된 데이터에서 정수(integer) 파트 또는 분수(Fractional) 파트 중 적어도 하나의 길이에 기초하여 정수 파트 및 분수 파트 각각의 양자화를 위해 할당되는 비트 수를 동적으로 가변할 수 있다. 구체적으로 프로세서(120)는 각 채널 데이터의 최대 정수 길이(max integer length)에 기초하여 각 채널 데이터에 할당되는 비트 수를 동적으로 가변할 수 있다.
예를 들어, 도 4에 도시된 실시 예에서 상측이 제1 채널 데이터의 최대 값을 나타내고, 하측이 제2 채널 데이터의 최대 값을 나타내는 경우, 프로세서(130)는 제2 채널 데이터보다 제2 채널 데이터에 더 많은 비트를 할당할 수 있다. 이는 정수 파트의 길이가 압축 결과에 미치는 영향이 크기 때문이다. 이 경우, 프로세서(130)는 제1 채널 데이터에 대해서는 제2 채널 데이터보다 더 많은 비트를 이용하여 정수 파트를 양자화할 수 있다. 다만, 프로세서(120)는 분수 파트에 대해서는 제1 및 제2 채널 데이터에 동일한 비트 수를 할당할 수도 있으나, 정수 파트에 할당된 비트 수에 기초하여 분수 파트에 할당되는 비트 수를 가변하는 것도 가능하다. 이와 같이 프로세서(120)는 결과에 미치는 영향이 큰 파트의 값은 큰 비트를 이용하여로 양자화함으로써 양자화로 인한 오류를 최소화시킬 수 있다.
도 11은 본 개시의 일 실시 예에 따라 코딩 블럭을 기본 압축 단위로 구분한 예시를 나타내는 도면이다.
도 11의 (a) 내지 (d)에 도시된 각 코딩 블럭(CB)의 사이즈(BLK_W*BLK_C)가 8*8인 경우로, 각 코딩 블럭(CB)에서 BLK_C의 사이즈 즉, 채널 방향 데이터의 사이즈를 줄여가면서 무손실 압축 비율이 최대가 되는 기본 압축 단위를 결정한 경우를 도시하였다. 도 10에서는 설명의 편의를 위하여 표 1에 도시된 기준에 따라 코딩 모드를 결정하였지만 코딩 모드를 결정하기 위한 기준은 이에 한정되지 않음은 물론이다.
도 11의 (a)는 코딩 블럭의 기본 압축 단위가 8*1(BLK_W*PART_C)로 결정된 경우로, 8*1의 기본 압축 단위 각각에 대해 넌 제로 개수에 기초하여 결정된 코딩 모드를 도시하였다. 즉, 8*1 사이즈 단위로 코딩 모드를 결정한 경우가 코딩 블럭에 대한 무손실 압축 비율이 가장 큰 경우가 될 수 있다.
도 11의 (b)는 코딩 블럭의 기본 압축 단위가 8*2(BLK_W*PART_C)로 결정된 경우로, 8*2의 기본 압축 단위 각각에 대해 넌 제로 개수에 기초하여 결정된 코딩 모드를 도시하였다. 즉, 8*2 사이즈 단위로 코딩 모드를 결정한 경우가 코딩 블럭에 대한 무손실 압축 비율이 가장 큰 경우가 될 수 있다.
도 11의 (c)는 코딩 블럭의 기본 압축 단위가 8*4(BLK_W*PART_C)로 결정된 경우로, 8*4의 기본 압축 단위 각각에 대해 넌 제로 개수에 기초하여 결정된 코딩 모드를 도시하였다. 즉, 8*4 사이즈 단위로 코딩 모드를 결정한 경우가 코딩 블럭에 대한 무손실 압축 비율이 가장 큰 경우가 될 수 있다.
도 11의 (d)는 코딩 블럭의 기본 압축 단위가 8*8(BLK_W*PART_C)로 결정된 경우로, 8*8의 기본 압축 단위 각각에 대해 넌 제로 개수에 기초하여 결정된 코딩 모드를 도시하였다. 즉, 8*8 사이즈 단위로 코딩 모드를 결정한 경우가 코딩 블럭에 대한 무손실 압축 비율이 가장 큰 경우가 될 수 있다.
도 12는 본 개시의 일 실시 예에 따른 전자 장치의 일 구현 예를 나타내는 도면이다.
도 12에 따르면, 전자 장치(100’)는 메모리(110), 프로세서(120), 입력부(130), 디스플레이(140), 출력부(150) 및 사용자 인터페이스(160)를 포함한다. 도 10에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(120)는 경우에 따라 입력 영상의 보간 처리 전에 추가 전 처리를 수행할 수 있다. 일 예에 따라, 프로세서(120)는 입력 영상의 노이즈를 제거하는 프리 필터링을 추가적으로 수행할 수 있다. 예를 들어, 가우시안 필터와 같은 스무딩 필터(Smoothing Filter), 입력 영상을 기설정된 가이던스(guidance)에 대비시켜 필터링하는 가이디드(guided) 필터 등을 적용하여 두드러진 노이즈를 제거할 수 있다.
입력부(130)는 다양한 타입의 컨텐츠를 입력받는다. 예를 들어 입력부(130)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 영상 신호를 입력받을 수 있다. 여기서, 영상 신호는 SD(Standard Definition), HD(High Definition), Full HD 또는 Ultra HD 영상 중 어느 하나의 디지털 영상 신호가 될 수 있으나 이에 한정되는 것은 아니다.
디스플레이(140)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(140)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다. 프로세서(120)는 상술한 다양한 실시 예에 따라 획득된 출력 영상을 출력하도록 디스플레이(140)를 제어할 수 있다. 여기서, 출력 영상은, 4K 또는 8K 이상의 고해상도 영상일 수 있다.
출력부(150)는 음향 신호를 출력한다. 예를 들어, 출력부(150)는 프로세서(120)에서 처리된 디지털 음향 신호를 아날로그 음향 신호로 변환하고 증폭하여 출력할 수 있다. 예를 들어, 출력부(150)는 적어도 하나의 채널을 출력할 수 있는, 적어도 하나의 스피커 유닛, D/A 컨버터, 오디오 앰프(audio amplifier) 등을 포함할 수 있다. 일 예에 따라 출력부(150)는 다양한 멀티 채널 음향 신호를 출력하도록 구현될 수 있다. 이 경우, 프로세서(120)는 입력 영상의 인핸스 처리에 대응되도록 입력된 음향 신호를 인핸스 처리하여 출력하도록 출력부(150)를 제어할 수 있다. 예를 들어, 프로세서(120)는 입력된 2채널 음향 신호를 가상의 멀티 채널(예를 들어, 5.1 채널) 음향 신호로 변환하거나, 전자 장치(100’)가 놓인 위치를 인식해 공간에 최적화된 입체 음향 신호로 처리하거나, 입력 영상의 타입(예를 들어 컨텐츠 장르)에 따라 최적화된 음향 신호를 제공할 수 있다.
사용자 인터페이스(160)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린, 리모콘 송수신부 등으로 구현될 수 있다. 리모콘 송수신부는 적외선 통신, 블루투스 통신 또는 와이파이 통신 중 적어도 하나의 통신 방식을 통해 외부 원격 제어 장치로부터 리모콘 신호를 수신하거나, 리모콘 신호를 송신할 수 있다.
전자 장치 (100’)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다. 튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다. 복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다. 일 실시 예에 따라 튜너를 통해 수신된 입력 영상은 복조부(미도시)를 통해 처리된 후, 본 개시의 일 실시 예에 따른 영상 처리를 위해 프로세서(120)로 제공될 수 있다.
도 13은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 13에 도시된 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보를 저장하는 전자 장치의 제어 방법에 따르면, 프로세서(120)는 복수의 레이어 중 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수에 기초하여 연산 데이터를 복수의 코딩 모드 중 적어도 하나에 따라 압축한다(S1310).
이어서, 압축된 데이터를 내부 메모리에 저장한다(S1320).
이어서, 내부 메모리에 저장된 압축 데이터를 압축 해제하여 연산 데이터에 대응되는 복원 데이터를 획득한다(S1330).
이어서, 획득된 복원 데이터를 복수의 레이어 중 제2 레이어로 제공한다(S1340).
여기서, 복수의 코딩 모드는, 무손실 코딩 모드 또는 손실 코딩 모드 중 적어도 하나를 포함할 수 있다. 이 경우, S1310 단계에서는, 연산 데이터에 포함된 넌 제로(non-zero) 개수가 임계 개수 미만이면, 무손실 코딩 모드에 따라 연산 데이터를 압축하고, 연산 데이터에 포함된 넌 제로(non-zero) 개수가 임계 개수 이상이면, 손실 코딩 모드에 따라 연산 데이터를 압축할 수 있다. 또한, 무손실 코딩 모드에 따라 압축된 데이터는 넌 제로(non-zero) 값을 포함하며, 손실 코딩 모드에 따라 압축된 데이터는 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다.
또한, 손실 코딩 모드는 제1 손실 코딩 모드, 제2 손실 코딩 모드 또는 제3 손실 코딩 모드 중 적어도 하나를 포함할 수 있다. 이 경우, 제1 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값의 위치 정보, 넌 제로(non-zero) 값 중 최대 값 및 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다. 제2 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값의 위치 정보, 넌 제로(non-zero) 값 중 최대 값, 넌 제로(non-zero) 값의 바이어스(bias) 값 및 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다. 제3 손실 코딩 모드에 따라 압축된 데이터는, 넌 제로(non-zero) 값 중 최대 값 및 넌 제로(non-zero) 값의 양자화 값을 포함할 수 있다.
또한, S1310 단계에서는, 연산 데이터의 코딩 블럭을 복수의 서브 코딩 블럭으로 구분하고, 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 기초하여 압축 기본 단위의 크기를 결정하고, 결정된 압축 기본 단위로 복수의 코딩 모드 중 하나에 따라 압축을 수행할 수 있다.
또한, S1310 단계에서는, 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 따라 결정된 복수의 서브 코딩 블럭 각각의 코딩 모드에 기초하여 연산 데이터에 무손실 압축이 적용되는 비율을 산출하고, 산출된 비율이 최대가 되는 서브 코딩 블럭의 크기를 압축 기본 단위의 크기로 결정할 수 있다.
또한, S1310 단계에서는, 연산 데이터에 포함된 넌 제로(non-zero) 값 중 최대 값의 크기에 기초하여 연산 데이터의 압축을 위한 비트 수를 가변할 수 있다.
또한, S1310 단계에서는, 플로트(float) 타입의 연산 데이터를 고정 소수점(fixed-point) 타입으로 변환하고, 변환된 연산 데이터의 정수(integer) 파트 또는 분수(Fractional) 파트 중 적어도 하나의 길이에 기초하여 정수 파트 및 상기 분수 파트 각각의 양자화를 위해 할당되는 비트 수를 동적으로 가변할 수 있다.
또한, S1310 단계에서는, 변환된 연산 데이터의 각 채널 데이터에 포함된 넌 제로 값의 최대 정수 길이에 기초하여 각 채널 데이터의 압축을 위해 할당되는 비트 수를 동적으로 가변할 수 있다.
상술한 다양한 실시 예에 따르면, 실시간 뉴럴 네트워크 시스템에서 적은 하드웨어 자원으로 연산 데이터를 효율적으로 압축함으로써, 연산 데이터의 리드 및 라이트를 위한 전송 대역폭을 효율적으로 절감할 수 있게 된다.
또한, 피쳐 맵 데이터를 외부 메모리가 아닌 내부 메모리에 저장하므로, 외부 메모리에 피쳐 맵 데이터를 리드 및 라이트하기 위한 전송 대역폭을 감소시킬 수 있게 된다.
상술한 다양한 실시 예들에 따르면, 실시간으로 데이터를 처리하는 인공 지능 모델에서 적은 하드웨어 자원으로 연산 데이터의 리드 및 라이트를 위한 전송 대역폭을 효과적으로 절감할 수 있게 된다.
한편, 특정 패턴의 영상에 대해 내부 메모리(예를 들어 라인 버퍼)에 저장되기 전 피쳐 맵 데이터(즉, 레이어에서 출력되는 피쳐 맵 데이터) 및 저장된 피쳐 맵 데이터 즉, 압축 전/후 피쳐 맵 데이터를 비교하여 특정 패턴이 검출되면 본 개시에 따른 실시 예가 적용된 것으로 판단될 수 있다. 구체적으로, 압축 전/후 피쳐 맵 데이터를 비교하여 넌 제로 값의 개수에 따른 특정 패턴, 예를 들어 무손실 패턴 또는 손실 패턴이 존재하면, 본 개시에 따른 실시 예가 적용된 것으로 판단될 수 있다. 또한 고정 소수점(fixed-point) 데이터에 대해 내부 메모리(예를 들어 라인 버퍼)에 저장되기 전 피쳐 맵 데이터(즉, 레이어에서 출력되는 피쳐 맵 데이터) 및 저장된 피쳐 맵 데이터 즉, 압축 전/후 피쳐 맵 데이터를 비교하여 압축 전/후의 피쳐 맵 데이터 간 차가 각 레이어마다 가변되면 본 개시에 따른 실시 예가 적용된 것으로 적용된 것으로 판단될 수 있다. 구체적으로, 각 레이어에 대한 압축 전/후 피쳐 맵 데이터를 비교하여 고정 소수점 데이터의 정수(integer) 파트 또는 분수(Factional) 파트의 크기에 따라 피쳐 맵 데이터 간 차가 가변되면, 본 개시에 따른 실시 예가 적용된 것으로 적용된 것으로 판단될 수 있다.
본 개시의 다양한 실시 예들은 디스플레이 장치 뿐 아니라, 셋탑 박스와 같은 영상 수신 장치, 영상 처리 장치 등 영상 처리가 가능한 모든 전자 장치에 적용될 수 있음은 물론이다. 또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 영상 처리 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 또는 소프트웨어 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 영상 처리 장치(예: 영상 처리 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 메모리
120: 프로세서

Claims (20)

  1. 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보가 저장된 메모리; 및
    입력 영상을 상기 인공 지능 모델을 이용하여 처리한 출력 영상을 획득하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 복수의 레이어 중 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수에 기초하여 상기 연산 데이터를 복수의 코딩 모드 중 적어도 하나에 따라 압축하고, 상기 압축된 데이터를 내부 메모리에 저장하며,
    상기 내부 메모리에 저장된 상기 압축 데이터를 압축 해제하여 상기 연산 데이터에 대응되는 복원 데이터를 획득하고, 상기 획득된 복원 데이터를 상기 복수의 레이어 중 제2 레이어로 제공하는 전자 장치.
  2. 제1항에 있어서,
    상기 복수의 코딩 모드는,
    무손실 코딩 모드 또는 손실 코딩 모드 중 적어도 하나를 포함하며,
    상기 프로세서는,
    상기 연산 데이터에 포함된 넌 제로(non-zero) 개수가 임계 개수 미만이면, 상기 무손실 코딩 모드에 따라 상기 연산 데이터를 압축하고,
    상기 연산 데이터에 포함된 넌 제로(non-zero) 개수가 상기 임계 개수 이상이면, 상기 손실 코딩 모드에 따라 상기 연산 데이터를 압축하며,
    상기 무손실 코딩 모드에 따라 압축된 데이터는 상기 넌 제로(non-zero) 값을 포함하며,
    상기 손실 코딩 모드에 따라 압축된 데이터는 상기 넌 제로(non-zero) 값의 양자화 값을 포함하는, 전자 장치.
  3. 제2항에 있어서,
    상기 손실 코딩 모드는 제1 손실 코딩 모드, 제2 손실 코딩 모드 또는 제3 손실 코딩 모드 중 적어도 하나를 포함하며,
    상기 제1 손실 코딩 모드에 따라 압축된 데이터는,
    넌 제로(non-zero) 값의 위치 정보, 상기 넌 제로(non-zero) 값 중 최대 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하며,
    상기 제2 손실 코딩 모드에 따라 압축된 데이터는,
    넌 제로(non-zero) 값의 위치 정보, 상기 넌 제로(non-zero) 값 중 최대 값, 상기 넌 제로(non-zero) 값의 바이어스(bias) 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하며,
    상기 제3 손실 코딩 모드에 따라 압축된 데이터는,
    넌 제로(non-zero) 값 중 최대 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 연산 데이터의 코딩 블럭을 복수의 서브 코딩 블럭으로 구분하고, 상기 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 기초하여 압축 기본 단위의 크기를 결정하고, 상기 결정된 압축 기본 단위로 상기 복수의 코딩 모드 중 하나에 따라 압축을 수행하는, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 따라 결정된 상기 복수의 서브 코딩 블럭 각각의 코딩 모드에 기초하여 상기 연산 데이터에 무손실 압축이 적용되는 비율을 산출하고, 상기 산출된 비율이 최대가 되는 상기 서브 코딩 블럭의 크기를 상기 압축 기본 단위의 크기로 결정하는, 전자 장치.
  6. 제4항에 있어서,
    상기 프로세서는,
    상기 내부 메모리의 크기에 기초하여 결정된 허용 데이터 크기에 기초하여 상기 압축을 수행하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 연산 데이터에 포함된 넌 제로(non-zero) 값 중 최대 값의 크기에 기초하여 상기 연산 데이터의 압축을 위한 비트 수를 가변하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    플로트(float) 타입의 상기 연산 데이터를 고정 소수점(fixed-point) 타입으로 변환하고, 상기 변환된 연산 데이터의 정수(integer) 파트 또는 분수(Fractional) 파트 중 적어도 하나의 길이에 기초하여 상기 정수 파트 및 상기 분수 파트 각각의 양자화를 위해 할당되는 비트 수를 동적으로 가변하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 변환된 연산 데이터의 각 채널 데이터에 포함된 넌 제로 값의 최대 정수 길이에 기초하여 상기 각 채널 데이터의 압축을 위해 할당되는 비트 수를 동적으로 가변하는, 전자 장치.
  10. 제1항에 있어서,
    상기 내부 메모리는,
    상기 복수의 레이어 각각에 대해 구비된 2D(two dimensional) 라인 버퍼인, 전자 장치.
  11. 제1항에 있어서,
    디스플레이;를 더 포함하며,
    상기 프로세서는,
    상기 출력 영상을 출력하도록 상기 디스플레이를 제어하며,
    상기 출력 영상은,
    4K 또는 8K 이상의 고해상도 영상인, 전자 장치.
  12. 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보를 저장하는 전자 장치의 제어 방법에 있어서,
    상기 복수의 레이어 중 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수에 기초하여 상기 연산 데이터를 복수의 코딩 모드 중 적어도 하나에 따라 압축하는 단계;
    상기 압축된 데이터를 내부 메모리에 저장하는 단계;
    상기 내부 메모리에 저장된 상기 압축 데이터를 압축 해제하여 상기 연산 데이터에 대응되는 복원 데이터를 획득하는 단계; 및
    상기 획득된 복원 데이터를 상기 복수의 레이어 중 제2 레이어로 제공하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 복수의 코딩 모드는,
    무손실 코딩 모드 또는 손실 코딩 모드 중 적어도 하나를 포함하며,
    상기 압축하는 단계는,
    상기 연산 데이터에 포함된 넌 제로(non-zero) 개수가 임계 개수 미만이면, 상기 무손실 코딩 모드에 따라 상기 연산 데이터를 압축하고,
    상기 연산 데이터에 포함된 넌 제로(non-zero) 개수가 상기 임계 개수 이상이면, 상기 손실 코딩 모드에 따라 상기 연산 데이터를 압축하며,
    상기 무손실 코딩 모드에 따라 압축된 데이터는 상기 넌 제로(non-zero) 값을 포함하며,
    상기 손실 코딩 모드에 따라 압축된 데이터는 상기 넌 제로(non-zero) 값의 양자화 값을 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 손실 코딩 모드는 제1 손실 코딩 모드, 제2 손실 코딩 모드 또는 제3 손실 코딩 모드 중 적어도 하나를 포함하며,
    상기 제1 손실 코딩 모드에 따라 압축된 데이터는,
    넌 제로(non-zero) 값의 위치 정보, 상기 넌 제로(non-zero) 값 중 최대 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하며,
    상기 제2 손실 코딩 모드에 따라 압축된 데이터는,
    넌 제로(non-zero) 값의 위치 정보, 상기 넌 제로(non-zero) 값 중 최대 값, 상기 넌 제로(non-zero) 값의 바이어스(bias) 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하며,
    상기 제3 손실 코딩 모드에 따라 압축된 데이터는,
    넌 제로(non-zero) 값 중 최대 값 및 상기 넌 제로(non-zero) 값의 양자화 값을 포함하는, 제어 방법.
  15. 제12항에 있어서,
    상기 압축하는 단계는,
    상기 연산 데이터의 코딩 블럭을 복수의 서브 코딩 블럭으로 구분하고, 상기 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 기초하여 압축 기본 단위의 크기를 결정하고, 상기 결정된 압축 기본 단위로 상기 복수의 코딩 모드 중 하나에 따라 압축을 수행하는, 제어 방법.
  16. 제15항에 있어서,
    상기 압축하는 단계는,
    상기 복수의 서브 코딩 블럭 각각에 포함된 넌 제로(non-zero) 개수에 따라 결정된 상기 복수의 서브 코딩 블럭 각각의 코딩 모드에 기초하여 상기 연산 데이터에 무손실 압축이 적용되는 비율을 산출하고, 상기 산출된 비율이 최대가 되는 상기 서브 코딩 블럭의 크기를 상기 압축 기본 단위의 크기로 결정하는, 제어 방법.
  17. 제12항에 있어서,
    상기 압축하는 단계는,
    상기 연산 데이터에 포함된 넌 제로(non-zero) 값 중 최대 값의 크기에 기초하여 상기 연산 데이터의 압축을 위한 비트 수를 가변하는, 제어 방법.
  18. 제12항에 있어서,
    상기 압축하는 단계는,
    플로트(float) 타입의 상기 연산 데이터를 고정 소수점(fixed-point) 타입으로 변환하고, 상기 변환된 연산 데이터의 정수(integer) 파트 또는 분수(Fractional) 파트 중 적어도 하나의 길이에 기초하여 상기 정수 파트 및 상기 분수 파트 각각의 양자화를 위해 할당되는 비트 수를 동적으로 가변하는, 제어 방법.
  19. 제18항에 있어서,
    상기 압축하는 단계는,
    상기 변환된 연산 데이터의 각 채널 데이터에 포함된 넌 제로 값의 최대 정수 길이에 기초하여 상기 각 채널 데이터의 압축을 위해 할당되는 비트 수를 동적으로 가변하는, 제어 방법.
  20. 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보를 저장하는 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    상기 복수의 레이어 중 제1 레이어에서 출력되는 연산 데이터에 포함된 넌 제로(non-zero) 개수에 기초하여 상기 연산 데이터를 복수의 코딩 모드 중 적어도 하나에 따라 압축하는 단계;
    상기 압축된 데이터를 내부 메모리에 저장하는 단계;
    상기 내부 메모리에 저장된 상기 압축 데이터를 압축 해제하여 상기 연산 데이터에 대응되는 복원 데이터를 획득하는 단계; 및
    상기 획득된 복원 데이터를 상기 복수의 레이어 중 제2 레이어로 제공하는 단계;를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
KR1020190113070A 2019-09-11 2019-09-11 전자 장치 및 그 제어 방법 KR20210031296A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190113070A KR20210031296A (ko) 2019-09-11 2019-09-11 전자 장치 및 그 제어 방법
PCT/KR2020/005459 WO2021049732A1 (en) 2019-09-11 2020-04-24 Electronic apparatus and controlling method thereof
US16/928,691 US11483585B2 (en) 2019-09-11 2020-07-14 Electronic apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190113070A KR20210031296A (ko) 2019-09-11 2019-09-11 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20210031296A true KR20210031296A (ko) 2021-03-19

Family

ID=74851482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190113070A KR20210031296A (ko) 2019-09-11 2019-09-11 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11483585B2 (ko)
KR (1) KR20210031296A (ko)
WO (1) WO2021049732A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367167B2 (en) * 2020-08-21 2022-06-21 Apple Inc. Neural network-based image processing with artifact compensation
US20220198610A1 (en) * 2020-12-17 2022-06-23 PicsArt, Inc. Image super-resolution
WO2023112172A1 (ja) * 2021-12-14 2023-06-22 日本電信電話株式会社 学習装置、画像処理装置、学習方法、画像処理方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620252B2 (en) * 2005-04-22 2009-11-17 Hewlett-Packard Development Company, L.P. System and method for compressing an image
US8599925B2 (en) 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
US7751633B1 (en) * 2006-08-31 2010-07-06 Hewlett-Packard Development Company, L.P. Method for compressing an image
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
WO2013117811A1 (en) 2012-02-06 2013-08-15 Nokia Corporation Method for coding and an apparatus
US20160358069A1 (en) 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Neural network suppression
KR102499355B1 (ko) 2016-02-26 2023-02-13 벌시테크 리미티드 손실 및 무손실 영상 압축을 위한 형상-적응형 모델-기반 코덱
US10242311B2 (en) 2016-08-11 2019-03-26 Vivante Corporation Zero coefficient skipping convolution neural network engine
KR102335955B1 (ko) 2016-11-07 2021-12-08 한국전자통신연구원 컨볼루션 신경망 시스템 및 그것의 동작 방법
US10726583B2 (en) * 2016-12-30 2020-07-28 Intel Corporation System and method of encoding and decoding feature maps and weights for a convolutional neural network
JP6767660B2 (ja) 2017-01-27 2020-10-14 富士通株式会社 プロセッサ、情報処理装置及びプロセッサの動作方法
JP6936592B2 (ja) * 2017-03-03 2021-09-15 キヤノン株式会社 演算処理装置およびその制御方法
US11146795B2 (en) * 2017-03-10 2021-10-12 Qualcomm Incorporated Intra filtering flag in video coding
KR102301232B1 (ko) 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
US11080611B2 (en) * 2017-12-22 2021-08-03 Intel Corporation Compression for deep learning in case of sparse values mapped to non-zero value

Also Published As

Publication number Publication date
WO2021049732A1 (en) 2021-03-18
US11483585B2 (en) 2022-10-25
US20210076066A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US11895307B2 (en) Block-based predictive coding for point cloud compression
US11568571B2 (en) Techniques and apparatus for lossless lifting for attribute coding
US11483585B2 (en) Electronic apparatus and controlling method thereof
US11861809B2 (en) Electronic apparatus and image processing method thereof
CN106254877B (zh) 视频处理系统、处理视频数据帧的方法、装置与存储介质
US11917205B2 (en) Techniques and apparatus for scalable lifting for point-cloud attribute coding
JP2017085603A (ja) 領域ベースの画像圧縮
JP2016226001A (ja) デコーダおよび復号方法
KR102471288B1 (ko) 송신, 수신 장치 및 방법
CN113795870B (zh) 一种对点云属性编解码的方法、装置及存储介质
US11671576B2 (en) Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US20210217137A1 (en) Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
Fu et al. Improved hybrid layered image compression using deep learning and traditional codecs
KR20210020387A (ko) 전자 장치 및 그 제어 방법
CN113170140A (zh) 数据阵列的位平面编码
US10304213B2 (en) Near lossless compression scheme and system for processing high dynamic range (HDR) images
EP2843954B1 (en) Lossy color compression using adaptive quantization
WO2018120019A1 (zh) 用于神经网络数据的压缩/解压缩的装置和系统
WO2012160626A1 (ja) 画像圧縮装置、画像復元装置、及びプログラム
KR102020220B1 (ko) 이미지 압축 방법 및 장치
WO2011064073A1 (en) Method, device and system for image compression and decompression using support vector regression
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质
KR101811774B1 (ko) 그래픽 처리 장치 및 방법
KR20210062485A (ko) 전자 장치 및 그 제어 방법
US11854235B1 (en) Lossless integer compression scheme