KR20220045882A - 특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법 - Google Patents

특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법 Download PDF

Info

Publication number
KR20220045882A
KR20220045882A KR1020210060595A KR20210060595A KR20220045882A KR 20220045882 A KR20220045882 A KR 20220045882A KR 1020210060595 A KR1020210060595 A KR 1020210060595A KR 20210060595 A KR20210060595 A KR 20210060595A KR 20220045882 A KR20220045882 A KR 20220045882A
Authority
KR
South Korea
Prior art keywords
feature map
feature
channel
value
channels
Prior art date
Application number
KR1020210060595A
Other languages
English (en)
Other versions
KR102554709B1 (ko
Inventor
최해철
곽상운
윤정일
한희지
Original Assignee
한국전자통신연구원
한밭대학교 산학협력단
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한밭대학교 산학협력단, 한밭대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US17/459,797 priority Critical patent/US20220108127A1/en
Publication of KR20220045882A publication Critical patent/KR20220045882A/ko
Application granted granted Critical
Publication of KR102554709B1 publication Critical patent/KR102554709B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법이 개시된다. 본 발명의 일실시예에 따른 특징 맵 부호화 장치는 특징 맵에 상응하는 특징 맵 정보를 획득하고, 상기 특징 맵 정보를 기반으로 상기 특징 맵을 재구성하고, 재구성된 특징 맵에 상응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 프로세서; 및 상기 특징 맵 정보를 저장하는 메모리를 포함한다.

Description

특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법 {APPARATUS FOR FEATURE MAP ENCODING AND DECODING, AND METHOD USING THE SAME}
본 발명은 특징 맵 부호화 및 복호화 기술에 관한 것으로, 특히 재정렬, 재구성 및 실수/정수 변환 과정을 통해 특징 맵을 효율적으로 부/복호화할 수 있는 기술에 관한 것이다.
인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
이러한 인공지능 기술 중 이미지 분석을 위해 사용되는 CNN(CONVOLUTIONAL LAYER NETWORK) 모델은 이미지나 영상으로부터 원하는 특징(FEATURE)를 추출하기 위한 용도로 사용된다. 이 과정에서, 각 채널마다 생성되는 특징 맵(FEATURE MAP) 영상의 저장 용량을 줄이기 위해 특징 맵 부호화 기술을 사용할 수 있다. 예를 들어, 일반적인 동영상 압축 방식을 이용하여 특징 맵을 압축할 수 있지만 종래의 영상 압축 방식을 특징 맵에 적용할 경우, CNN 모델 내에서 효과적으로 활용되기 어렵다는 문제점이 있다.
따라서, CNN 처리 과정 중에 생성되는 특징 맵을 효과적으로 부호화 및 복호화 할 수 있는 기술의 필요성이 절실하게 대두된다.
한국 공개 특허 제10-2020-0026026호, 2020년 3월 10일 공개(명칭: CNN 활용 시스템의 특징 맵을 고속으로 압축 처리하기 위한 전자장치 및 제어방법)
본 발명의 목적은 신경망 모델을 이용한 특징 추출 과정에서 특징 맵을 효과적으로 부호화 및 복호화하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 특징 맵을 효과적으로 부호화 및 복호화하면서, 부호화 및 복호화된 특징 맵을 신경망 네트워크 내에서 효과적으로 활용할 수 있는 기술을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 특징 맵 부호화 장치는 특징 맵에 상응하는 특징 맵 정보를 획득하고, 상기 특징 맵 정보를 기반으로 상기 특징 맵을 재구성하고, 재구성된 특징 맵에 상응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 프로세서; 및 상기 특징 맵 정보를 저장하는 메모리를 포함한다.
이 때, 특징 맵 정보는 신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함할 수 있다.
이 때, 프로세서는 상기 특징 맵이 복수개의 채널들로 구성된 경우, 특징 값을 기반으로 상기 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류할 수 있다.
이 때, 프로세서는 기준 채널의 특징 값과 상기 복수개의 채널들 각각의 특징 값 사이의 유사성을 판별하고, 상기 유사성이 높은 순서대로 상기 복수개의 채널들을 분류할 수 있다.
이 때, 프로세서는 분류된 복수개의 채널들을 상기 특징 맵 채널 그룹의 순서 또는 상기 유사성이 높은 순서대로 재정렬할 수 있다.
이 때, 프로세서는 재정렬된 복수개의 채널들을 한 개의 특징 맵 채널로 재구성할 수 있다.
이 때, 한 개의 특징 맵 채널은 기설정된 크기의 행렬 형태에 상응할 수 있다.
이 때, 프로세서는 상기 한 개의 특징맵 채널의 행렬 값에 상기 재정렬된 복수개의 채널들을 순서대로 입력할 수 있다.
이 때, 프로세서는 상기 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 상기 특징 값을 실수에서 정수로 변환할 수 있다.
이 때, 프로세서는 군집화(clustering) 알고리즘을 이용하여 상기 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류할 수 있다.
또한, 본 발명의 일실시예에 따른 특징 맵 복호화 장치는 부호화된 특징 맵에 상응하는 특징 맵 정보를 획득하고, 상기 특징 맵 정보를 기반으로 상기 부호화된 특징 맵을 역재구성하고, 역재구성된 특징 맵에 상응하는 특징 값을 정수에서 실수로 변환하여 복호화된 특징 맵을 생성하는 프로세서; 및 상기 특징 맵 정보를 저장하는 메모리를 포함한다.
이 때, 특징 맵 정보는 신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함할 수 있다.
이 때, 프로세서는 상기 특징 맵 가로 길이 및 상기 특징 맵 세로 길이를 기반으로 기설정된 크기의 행렬 형태에 상응하는 한 개의 특징 맵 채널을 복수개의 채널들로 분할할 수 있다.
이 때, 프로세서는 상기 복수개의 채널들을 상기 특징 맵 채널 번호에 상응하는 순서대로 역재정렬할 수 있다.
이 때, 프로세서는 상기 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 상기 특징 값을 정수에서 실수로 변환할 수 있다.
또한, 본 발명의 일실시예에 따른 특징 맵 부호화 및 복호화 방법은 특징 맵에 상응하는 특징 맵 정보를 획득하고, 상기 특징 맵 정보를 기반으로 상기 특징 맵을 재구성하는 단계; 재구성된 특징 맵에 상응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 단계; 상기 특징 맵 정보를 획득하고, 상기 부호화된 특징 맵에 상응하는 특징 맵 정보를 기반으로 상기 부호화된 특징 맵을 역재구성하는 단계; 및 역재구성된 특징 맵에 상응하는 특징 값을 정수에서 실수로 변환하여 복호화된 특징 맵을 생성하는 단계를 포함한다.
이 때, 신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함할 수 있다.
이 때, 재구성하는 단계는 상기 특징 맵이 복수개의 채널들로 구성된 경우, 특징 값을 기반으로 상기 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류하는 단계; 분류된 복수개의 채널들을 상기 특징 맵 채널 그룹의 순서 재정렬하는 단계; 및 재정렬된 복수개의 채널들을 한 개의 특징 맵 채널로 재구성하는 단계를 포함할 수 있다.
이 때, 재구성하는 단계는 상기 특징 맵이 복수개의 채널들로 구성된 경우에 기준 채널의 특징 값과 상기 복수개의 채널들 각각의 특징 값 사이의 유사성을 판별하고, 상기 유사성이 높은 순서대로 상기 복수개의 채널들을 분류하는 단계; 분류된 복수개의 채널들을 상기 유사성이 높은 순서대로 재정렬하는 단계; 및 재정렬된 복수개의 채널들을 한 개의 특징 맵 채널로 재구성하는 단계를 포함할 수 있다.
이 때, 한 개의 특징 맵 채널은 기설정된 크기의 행렬 형태에 상응할 수 있다.
이 때, 재구성하는 단계는 한 개의 특징맵 채널의 행렬 값에 상기 재정렬된 복수개의 채널들을 순서대로 입력할 수 있다.
이 때, 부호화된 특징 맵을 생성하는 단계는 상기 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 상기 특징 값을 실수에서 정수로 변환하는 단계를 포함할 수 있다.
이 때, 특징 맵 채널 그룹으로 분류하는 단계는 군집화(clustering) 알고리즘을 이용하여 상기 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류할 수 있다.
이 때, 역재구성하는 단계는 상기 특징 맵 가로 길이 및 상기 특징 맵 세로 길이를 기반으로 기설정된 크기의 행렬 형태에 상응하는 한 개의 특징 맵 채널을 복수개의 채널들로 분할하는 단계를 포함할 수 있다.
이 때, 역재구성하는 단계는 상기 복수개의 채널들을 상기 특징 맵 채널 번호에 상응하는 순서대로 역재정렬하는 단계를 더 포함할 수 있다.
이 때, 복호화된 특징 맵을 생성하는 단계는 상기 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 상기 특징 값을 정수에서 실수로 변환하는 단계를 포함할 수 있다.
본 발명에 따르면, 신경망 모델을 이용한 특징 추출 과정에서 특징 맵을 효과적으로 부호화 및 복호화하는 기술을 제공할 수 있다.
또한, 본 발명은 특징 맵을 효과적으로 부호화 및 복호화하면서, 부호화 및 복호화된 특징 맵을 신경망 네트워크 내에서 효과적으로 활용할 수 있는 기술을 제공할 수 있다.
도 1은 신경망의 대표적 메타구조(FASTER R-CNN)의 일 예를 나타낸 도면이다.
도 2는 특징 맵(2차원 ARRAY)을 출력하는 컨볼루션 연산의 일 예를 나타낸 도면이다.
도 3은 특징맵(3차원 ARRAY)을 출력하는 컨볼루션 연산의 일 예를 나타낸 도면이다.
도 4 내지 도 5는 여러 계층으로 구성된 신경망의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 특징 맵 부호화 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명에 따른 특징 맵을 채널의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 특징 맵 재정렬 과정의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 특징맵 채널 그룹을 생성하는 과정의 일 예를 나타낸 도면이다.
도 10은 본 발명에 따라 특징 맵을 재정렬하는 과정의 일 예를 나타낸 도면이다.
도 11 내지 도 12는 본 발명에 따라 특징 맵을 재구성하는 과정의 일 예를 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 특징 맵 부호화 장치를 나타낸 블록도이다.
도 14는 본 발명의 일실시예에 따른 특징 맵 복호화 방법을 나타낸 동작흐름도이다.
도 15 내지 도 16은 본 발명에 따라 특징 맵을 역재구성하는 과정의 일 예를 나타낸 도면이다.
도 17은 본 발명에 따라 특징 맵을 역재정렬하는 과정의 일 예를 나타낸 도면이다.
도 18은 본 발명의 일실시예에 따른 특징 맵 복호화 장치를 나타낸 블록도이다.
도 19는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
신경망에서 입력에 대해 적어도 하나의 필터(커널)을 적용했을 때 출력되는 결과(특징) 값들을 특징 맵으로 정의할 수 있으며, 특징 맵은 1D, 2D 혹은 3D Array로 표현할 수 있다.
이 때, 2차원 특징 맵은 가로, 세로 크기로 표현될 수 있고, 3차원 특징 맵은 가로, 세로, 채널 크기로 표현될 수 있다. 또한, 2차원 특징 맵의 특징(값의) 개수는 가로, 세로 크기의 곱일 수 있고, 3차원 특징 맵의 특징(값의) 개수는 가로, 세로, 채널 크기의 곱일 수 있다.
신경망의 메타구조는 도 1에 도시된 것처럼 특징추출기(FEATURE EXTRACTOR) 및 분류기(BOX CLASSIFIER) 중 하나를 포함한 형태일 수 있는데, 특징 추출기는 VGGNet, Inception, Resnet, FPN 중 적어도 하나일 수 있다.
예를 들어, 도 2를 참조하면, 신경망에서 입력 데이터에 대해 하나의 필터(커널)를 적용했을 때 출력되는 결과(특징) 값들을 2차원 특징 맵으로 정의할 수 있다. 도 2에 도시된 2차원 특징 맵은 가로 크기가 n', 세로 크기가 m'에 해당하고, 하나의 채널을 가진 형태에 상응할 수 있다.
다른 예를 들어, 도 3을 참조하면, 신경망에서 입력 데이터에 대해 여러 개의 필터(커널)들을 적용했을 때 출력되는 결과(특징) 값들을 3차원 특징 맵으로 정의할 수 있다. 도 3에 도시된 3차원 특징 맵은 가로 크기가 n', 세로 크기가 m'에 해당하고, K'개의 채널들로 이루어진 형태에 상응할 수 있다.
또한, 신경망은 도 4에 도시된 것처럼 다수의 계층(LAYER)으로 구성될 수 있는데, 각 계층은 가중치(WEIGHT)곱 연산, 컨볼루션(CONVOLUTION) 연산, 활성 함수(ACTIVATION FUNCTION) 적용, 풀링(POOLING) 연산 중 적어도 하나를 포함할 수 있다. 이 때, 신경망을 구성하는 각 계층은 특징 맵을 입력 혹은 출력으로 가질 수 있다.
예를 들어, 신경망은 제1 계층부터 제n 계층으로 구성될 수 있다. 이렇게 구성된 신경망 계층들은 제1 계층, 제2 계층, ..., 제n 계층 등으로 계층 번호를 지정할 수 있다. 즉, 도 5에 도시된 것처럼 conv1, conv2, conv3, conv4, conv5 과정으로 구성된 신경망에서, conv2, conv3, conv4, conv5 계층을 각각 제1 계층, 제2 계층, 제3 계층, 제4 계층으로 지정할 수 있다.
이하에서 설명하는 본 발명에서는, 상기와 같은 신경망을 구성하는 각 계층에서 특징 맵을 보다 효과적으로 입출력하기 위한 특징 맵 부호화 및 복호화 기술에 대해 제안하고자 한다.
도 6은 본 발명의 일실시예에 따른 특징 맵 부호화 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 특징 맵 부호화 방법은 특징 맵에 상응하는 특징 맵 정보를 획득한다(S610).
이 때, 특징 맵은 부호화 대상으로써 신경망을 구성하는 특정 계층에서의 출력에 해당할 수 있다.
이 때, 특징 맵 정보는 신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함할 수 있다.
예를 들어, NN_layer_idx, feature_map_width, feature_map_height, feature_map_channel, channel_idx, delta_channel_idx에 상응하게 시그널링된 구문요소를 통해 특징 맵 정보를 획득할 수 있다.
이 때, 신경망 계층 인덱스(NN_layer_idx)를 이용하여 특정 신경망 계층 번호를 획득할 수 있다. 예를 들어, 도 4에 도시된 제1 계층은 NN_layer_idx가 0일 수 있고, 제2 계층은 NN_layer_idx가 1일 수 있다. 다른 예를 들어, 도 5에 도시된 conv2(C2)은 제1 계층이므로 NN_layer_idx가 0일 수 있고, conv3(C3)은 제2 계층이므로 NN_layer_idx가 1일 수 있다.
따라서, 신경망 계층 인덱스(NN_layer_idx)로부터 어느 신경망 계층인지 유추할 수 있으며, 유추된 값을 통해 신경망 계층 번호를 획득할 수 있다.
즉, 도 4에 도시된 신경망에서, NN_layer_idx가 0인 경우에는 제1 계층인 것으로 판단하여 신경망 계층 번호가 0일 수 있고, NN_layer_idx가 1인 경우에는 제2 계층인 것으로 판단하여 신경망 계층 번호가 1일 수 있다. 또한, 도 5에 도시된 신경망에서, NN_layer_idx가 0인 경우에는 제1 계층인 conv2(C2)인 것으로 판단하여 신경망 계층 번호가 0일 수 있고, NN_layer_idx가 1인 경우에는 제2 계층인 conv3(C3)인 것으로 판단하여 신경망 계층 번호가 1일 수 있다.
결국, 신경망 계층 인덱스(NN_layer_idx)를 통해 현재 입력된 특징 맵이 어느 신경망 계층의 특징 맵인지 판단할 수 있다.
예를 들어, 도 4에 도시된 신경망을 기준으로 하였을 때 특징 맵의 NN_layer_idx가 0인 경우에는 제1 계층의 특징 맵인 것으로 판단할 수 있고, 특징맵의 NN_layer_idx가 1인 경우에는 제2 계층의 특징 맵인 것으로 판단할 수 있다.
다른 예를 들어, 도 5에 도시된 신경망을 기준으로 하였을 때 특징 맵의 NN_layer_idx가 0인 경우에는 제1 계층인 conv2(C2) 계층의 특징 맵인 것으로 판단할 수 있고, 특징 맵의 NN_layer_idx가 1인 경우에는 제2 계층인 conv3(C3) 계층의 특징 맵인 것으로 판단할 수 있다.
이 때, 특징 맵 가로 길이, 특징 맵 세로 길이 및 특징 맵 채널 길이는 각각 feature_map_width, feature_map_height, feature_map_channel로 표현할 수 있다.
예를 들어, 도 2와 같이 2차원 특징 맵이 가로 n'개와 세로 m'개의 특징 값으로 이루어진 경우, 특징 맵 가로 길이는 n'이며 특징 맵 세로 길이는 m'에 해당할 수 있다. 즉, feature_map_width 는 n'이며, feature_map_height는 m'일 수 있다.
다른 예를 들어, 도 3과 같이 3차원 특징 맵이 가로 n'개, 세로 m'개, 채널 k'개의 특징 값으로 이루어진 경우, 특징 맵 가로 길이는 n', 특징 맵 세로 길이는 m', 특징 맵 채널 길이는 k'에 해당할 수 있다. 즉, feature_map_width 는 n', feature_map_height는 m', feature_map_channel은 k'일 수 있다.
따라서 feature_map_width, feature_map_height, feature_map_channel에 각각 해당하는 값을 통해 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이를 유추할 수 있다.
이 때, 특징 맵 정보에 해당하는 NN_layer_idx, feature_map_width, feature_map_height, feature_map_channel, channel_idx, delta_channel_idx은 특징 맵의 부호화 및 복호화를 위한 장치로 시그널링될 수 있다.
따라서, 본 발명의 일실시예에 따른 특징 맵 부호화 장치 또는 특징 맵 복호화 장치는 시그널링된 NN_layer_idx, feature_map_width, feature_map_height, feature_map_channel, channel_idx, delta_channel_idx를 통해 현재 부호화 또는 복호화하려는 특징 맵의 신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이에 해당하는 특징 맵 정보를 획득할 수 있다.
만약, feature_map_width 값이 시그널링되지 않은 경우, 현재 부호화 또는 복호화하려는 특징 맵의 가로 길이가 1인 것으로 판단할 수 있다. 또한, feature_map_height 값이 시그널링되지 않은 경우, 현재 부호화 또는 복호화하려는 특징 맵의 세로 길이가 1인 것으로 판단할 수 있다. 또한, feature_map_channel 값이 시그널링되지 않은 경우, 현재 부호화 또는 복호화하려는 특징 맵의 채널 길이가 1인 것으로 판단할 수 있다.
이 때, 특징 맵 가로 길이는 특징 맵 Column의 개수에 대응할 수 있으며, 특징 맵 세로 길이는 특징맵 Row의 개수에 대응할 수 있다. 또한, 특징 맵 채널 길이는 특징 맵 깊이(depth) 크기에 대응할 수 있다.
또한, 본 발명의 일실시예에 따른 특징 맵 부호화 방법은 특징 맵 정보를 기반으로 특징 맵을 재구성한다(S620).
이 때, 특징 맵은 소정 개수의 채널로 구성될 수 있다. 예를 들어, 특징 맵 채널들은 제1 특징맵 채널, 제2 특징맵 채널 등으로 구성될 수 있으며, 각각 제1 특징맵 채널, 제2 특징맵 채널 등의 번호로 지칭될 수 있다.
도 7을 참조하면, 도시된 특징 맵은 k'개의 채널들로 구성될 수 있다. 이 때, 첫 번째 특징맵 채널을 제1 특징맵 채널, 두 번째 특징맵 채널을 제2 특징맵 채널, 마지막 특징맵 채널을 제k'-1 특징맵 채널로 지칭할 수 있다. 여기서 k'는 소정의 수에 상응하고, channel_idx는 특징맵 채널 번호에 상응할 수 있다.
이 때, 특징 맵 정보에 포함된 특징맵 채널 인덱스(channel_idx)를 이용하여 특정 특징맵 채널 또는 특정 특징맵 채널 번호를 지정할 수 있다.
예를 들어, 도 7에서 제1 특징맵 채널은 channel_idx가 0이고, 제2 특징맵 채널은 channel_idx가 1이므로, 특징맵 채널 인덱스(channel_idx)로부터 해당 채널이 특징 맵의 어느 채널인지 유추할 수 있다.
이 때, feature_map_channel 값을 통해 channel_idx의 범위 혹은 최대값 중 적어도 하나를 유추할 수 있다.
예를 들어, 도 7에서 feature_map_channel 값이 k'이므로 channel_idx는 0, 1, 2, ..., k'-1 의 값을 가질 수 있고, channel_idx의 최대 값은 k'-1일 수 있다. 만약, feature_map_channel 값이 1인 경우, channel_idx은 0의 값만 가질 수 있으므로, channel_idx의 최대 값도 0일 수 있다.
이와 같이 특징 맵을 구성하는 임의의 채널은 channel_idx 값을 가질 수 있으며, channel_idx 값으로부터 해당 채널이 특징 맵의 어느 채널인지 유추할 수 있다.
예를 들어, 도 7에서 channel_idx 값이 1인 채널은 현재 특징 맵을 구성하는 채널들 중 제2 특징맵 채널인 것으로 판단할 수 있다. 즉, 시그널링된 channel_idx가 a인 값을 갖는 경우 현재 부호화 또는 복호화하려는 특징맵 채널은 제 a+1 특징맵 채널이며, 해당 채널의 특징 맵 채널 번호가 a인 것으로 판단할 수 있다.
또한, 본 발명에 따르면 델타 채널 인덱스(delta_channel_idx)를 이용하여 현재 특징맵 채널을 판단할 수도 있다.
이 때, 델타 채널 인덱스(delta_channel_idx)는 현재 특징맵 채널의 특징맵 채널 번호 차이를 나타내는 값으로, 기준 특징맵 채널의 특징맵 채널 번호와 현재 특징맵 채널의 특징맵 채널 번호의 차이 값으로 정의할 수 있다. 여기서, 기준 특징맵 채널은 제k 특징맵 채널 혹은 이전 특징맵 채널일 수 있다. 이전 특징맵 채널은 이전에 시그널링된 특징맵 채널 혹은 이전에 부/복호화된 특징맵 채널일 수 있다.
예를 들어, 기준 특징맵 채널이 이전 특징맵 채널(past_channel)인 경우, 이전 특징맵 채널의 특징맵 채널 번호(past_channel_idx)와 현재 특징맵 채널의 특징맵 채널 번호(present_channel_idx) 간의 차이 값(|past_channel_idx - present_channel_idx|)이 현재 특징맵 채널의 특징맵 채널 번호 차이(delta_channel_idx)에 상응할 수 있다.
다른 예를 들어, 기준 특징맵 채널이 제p 특징맵 채널(p_channel)인 경우, 제p 특징맵 채널의 특징맵 채널 번호(p_channel_idx)와 현재 특징맵 채널의 특징맵 채널 번호(present_channel_idx) 간의 차이 값(|p_channel_idx - present_channel_idx|)이 현재 특징맵 채널의 특징맵 채널 번호 차이(delta_channel_idx)에 상응할 수 있다.
이 때, 본 발명의 일실시예에 따른 특징 맵 부호화 장치 또는 특징 맵 복호화 장치는 시그널링되는 정보에 의해 기준 특징맵 채널이 이전 특징맵 채널인지 또는 제P 특징맵 채널인지 여부를 확인할 수 있다.
이 때, 기준 특징맵 채널이 이전 특징맵 채널인 경우, 이전 특징맵 채널의 특징맵 채널 번호(channel_idx)와 현재 특징맵 채널의 특징맵 채널 번호 차이(delta_channel_idx)를 더하여 현재 특징맵 채널의 특징맵 채널 번호(channel_idx)를 유추할 수 있다.
또는, 기준 특징맵 채널이 제p 특징맵 채널인 경우, 제p 특징맵 채널의 특징맵 채널 번호(channel_idx)와 현재 특징맵 채널의 특징맵 채널 번호 차이(delta_channel_idx)를 더하여 현재 특징맵 채널의 특징맵 채널 번호(channel_idx)를 유추할 수 있다.
즉, 현재 부호화 또는 복호화하려는 특징 맵 채널은 delta_channel_idx 값을 가질 수 있으며, delta_channel_idx 값으로부터 현재 부호화 또는 복호화하려는 특징맵 채널이 어느 특징맵 채널인지 알 수 있으며, 특징맵 채널 번호를 유추할 수 있다.
이 때, feature_map_channel 값을 통해 delta_channel_idx 값의 범위 혹은 최대값 및 최소값을 유추할 수 있다.
예를 들어, 도 7과 같이 feature_map_channel 값이 k'인 경우, delta_channel_idx 값의 범위는 -k'부터 k'까지 일 수 있다. 또한, delta_channel_idx의 최대값은 k'이며, 최소값은 -k'일 수 있다.
만약, feature_map_channel 값이 1인 경우, 특징 맵을 구성하는 채널이 하나뿐이므로 delta_channel_idx 값은 0인 것으로 유추할 수 있다.
이 때, 본 발명에 따른 재구성 과정은 도 8에 도시된 것처럼 특징맵 분류 단계와 특징맵 재정렬 단계를 거쳐 재정렬된 특징맵을 통해 수행될 수 있다.
이 때, 특징맵 분류 단계는 특징맵의 특징 값으로 특징맵들을 분류하는 단계이고, 특징맵 재정렬 단계는 특징맵의 특징들의 순서를 변경하는 단계일 수 있다.
본 발명에서는 특징 맵 채널 수(feature_map_channel)에 따라 특징맵 분류 단계와 특징맵 재정렬 단계 중 적어도 하나를 수행하지 않을 수도 있다.
예를 들어, 특징맵 채널이 1개인 경우에는 재정렬이 무의미하므로, 특징맵 분류 단계와 특징맵 재정렬 단계를 수행하지 않을 수 있다.
이 때, 특징 맵이 복수개의 채널들로 구성된 경우, 특징 값을 기반으로 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류할 수 있다.
예를 들어, k'개의 특징맵 채널들을 특쟁맵 채널 간의 상호 유사도를 기준으로 제1 특징맵 채널 그룹, 제2 특징맵 채널 그룹, ..., 제P 특징맵 채널 그룹으로 분류할 수 있다. 이 때, P는 소정의 양수일 수 있다.
이 때, 군집화(CLUSTERING) 알고리즘을 이용하여 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류할 수 있다.
예를 들어, 도 9에 도시된 것처럼, 군집화 알고리즘을 이용하여 k'개의 특징맵 채널들을 P개의 특징맵 채널 그룹들로 분류할 수 있다. 이 때, 군집화 알고리즘으로 k-means 알고리즘 또는 친밀도 전파 (affinity propagation) 알고리즘을 사용할 수도 있다.
이 때, P개의 특징맵 채널 그룹들에 속한 특징맵 채널 수의 합은 원래 채널 수와 동일할 수 있다. 즉, 도 9를 참조하면, 제1 특징맵 채널 그룹(910)부터 제P 특징맵 채널 그룹(930)까지 각각의 그룹에 포함된 모든 채널 수를 더하면 k'개에 상응할 수 있다. (0~a)+(1~a')+...+(4~a'') = 0~k'
이 때, 기준 채널의 특징 값과 복수개의 채널들 각각의 특징 값 사이의 유사성을 판별하고, 유사성이 높은 순서대로 복수개의 채널들을 분류할 수 있다.
예를 들어, k'개의 특징맵 채널들과 기준 채널 간의 유사성을 판별하여, 가장 유사한 특징맵 채널, 두 번째 유사한 특징맵 채널, ..., k'번째 유사한 특징맵 채널 등으로 k'개의 채널들을 분류할 수 있다.
즉, 기준 채널이 첫 번째 특징맵 채널이라고 가정한다면, PSNR 혹은 MSE 중 적어도 하나를 이용하여 기준채널과 가장 유사한 특징맵 채널, 두 번째 유사한 특징맵 채널, ..., k'번째 유사한 특징맵 채널 등으로 k'개의 특징맵 채널들을 분류할 수 있다.
이 때, 분류된 복수개의 채널들을 특징 맵 채널 그룹의 순서 또는 유사성이 높은 순서대로 재정렬할 수 있다.
이 때, 재정렬이란 특징맵의 특징 순서를 변경하는 것에 상응할 수 있다.
예를 들어, 도 10에 도시된 것처럼 k'개의 특징맵 채널들을 제1 특징맵 채널 그룹, 제2 특징맵 채널 그룹, ..., 제P 특징맵 채널 그룹의 순서로 재정렬할 수 있다.
이 때, 재정렬된 복수개의 채널들을 한 개의 특징 맵 채널로 재구성할 수 있다.
이 때, 한 개의 특징 맵 채널은 기설정된 크기의 행렬 형태에 상응할 수 있다.
이 때, 한 개의 특징 맵 채널의 행렬 값에 재정렬된 복수개의 채널들을 순서대로 입력할 수 있다.
예를 들어, 도 11에 도시된 것처럼 k'개의 특징맵 채널들을 1장의 특징맵 채널로 재구성하되, 1장의 특징맵 채널에 상응하는 Row와 Column 크기의 행렬 형태에 k'개의 특징맵 채널들을 순서대로 이어 붙일 수 있다. 이 때, 1장의 채널로 재구성된 특쟁맵에서 Row 값은 세로 방향에 위치하는 재구성 전의 특징맵 채널 개수이며 가로 방향의 Column 값은 가로 방향에 위치하는 재구성 전의 특징맵 채널 개수이다. 도 11에서는 Column 값이 5이고, 전체 특징맵 채널 개수가 k'개 이므로 Row 값이 k'/5일 수 있다.
이와 같은 방식으로 3D array 형태의 특징맵을 2D array 형태의 특징맵으로 재구성할 수 있다.
이 때, 도 11에 도시된 k'개의 특징맵 채널들을 기준 채널과 유사한 순서대로 재정렬하여 1장의 특징맵 채널로 재구성할 수 있다. 즉, k'개의 채널들 중 기준 채널과 가장 유사한 특징맵 채널, 두 번째 유사한 특징맵 채널, ..., k'번째 유사한 특징맵 채널 순서로 1장의 특징맵 채널에 상응하는 row와 column 크기의 행렬에 입력할 수 있다.
다른 예를 들어, 도 12에 도시된 것처럼, 1장의 특징맵 채널에 상응하는 Row와 Column 크기의 행렬 형태에 특징맵 채널 그룹 별로 재정렬된 k'개의 특징맵 채널들을 순서대로 이어 붙일 수 있다. 즉, 제1 특징맵 채널 그룹의 특징맵 채널들, 제2 특징맵 채널 그룹의 특징맵 채널들, ..., 제P 특징맵 채널 그룹 특징맵 채널들을 1장의 특징맵 채널에 순서대로 이어 붙여 재구성을 수행할 수도 있다.
이 때, 재정렬된 k'개의 특징맵 채널들은 기준 채널 다음 순서부터 이어 붙일 수 있다.
이 때, [수학식 1]을 참조하면, 1장의 특징맵 채널에 상응하는 Row와 Column 크기는 feature_map_channel 값을 기반으로 유추할 수 있다.
[수학식 1]
exp= log2feature_map_channel
row= 2exp(-exp>>1)
column= 2exp>>1
또한, 본 발명의 일실시예에 따른 특징 맵 부호화 방법은 재구성된 특징 맵에 상응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성한다(S630).
일반적으로 신경망 구조에서 특징 맵의 특징(값)은 소정 범위를 갖는 실수 또는 정수 중 하나로 표현될 수 있다.
예를 들어, 특징맵 채널이 1개인 경우, 특징맵은 소정 개수의 특징값으로 구성되며, 소정 개수는 n'* m'개에 상응할 수 있다.
이 때, 실수의 범위는 2128~2-128 에 상응할 수 있고, 정수의 범위는 0~255, 0~511, 0~1023 중 하나일 수 있다.
이 때, 본 발명의 일실시예에 따른 부호화 과정에서는 특징맵의 특징(값)을 실수에서 정수로 변환한 후 부호화를 수행할 수 있다.
이 때, 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나를 이용한 정규화 과정을 통해 특징 값을 실수에서 정수로 변환할 수 있다.
예를 들어, [수학식 2]와 같이 특징 값의 평균값(cast_avg), 특징 값의 분산값(cast_var), 변환 후 범위최소 값(cast_min), 변환 후 범위최대값(cast_max) 중 적어도 하나를 이용한 정규화 과정을 통해 소정의 실수 특징 값을 0부터 255 사이의 정수 특징 값 a에 상응하도록 변환할 수 있다.
[수학식 2]
a = 실수 특징 값 - cast_avg
a = a / cast_var
a = a * 64
a = a + 128
a = clip(a, cast_min, cast_max)
이 때, 특징 값의 평균값(cast_avg)은 특징맵 전체 혹은 하나의 특징맵 채널에서의 특징 값들의 평균값에 상응할 수 있다.
이 때, 특징 값의 분산값(cast_var)은 특징맵 전체 혹은 하나의 특징맵 채널에서의 특징 값들의 분산값에 상응할 수 있다.
이 때, 실수를 정수로 변환 후 정수의 범위는 변환 후 범위최소 값(cast_min)에서 변환 후 범위최대값(cast_max) 사이에 해당할 수 있다.
따라서, 본 발명에서는 특징 맵의 부호화를 위해 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나를 시그널링 할 수 있다.
이 때, 도 6에 도시된 특징맵 정보 획득 단계(S610), 특징맵 재구성 단계(S620) 및 실수 정수 변환 단계(S630)는 feature_map_layer_idx, feature_map_width, feature_map_height, feature_map_channel, channel_idx, delta_channel_idx, cast_avg, cast_var, cast_min, cast_max, 부호화 파라미터, 픽쳐 정보, 슬라이스 정보, 양자화 파라미터(QP), 부호화 블록 플래그(CBF), 블록 크기, 블록 깊이, 블록 형태, 엔트로피 부호화 방법, 주변 블록의 화면 내 예측 모드, 시간적 계층 수준 중 적어도 하나에 기반하여 수행 여부가 결정될 수 있다. 또한, 특징맵 정보 획득 단계(S610), 특징맵 재구성 단계(S620) 및 실수 정수 변환 단계(S630)의 동작 순서는 도 6에 도시된 형태에 한정되지 않고, 필요에 따라 변경될 수도 있다.
이와 같은 특징 맵 부호화 방법을 통해 신경망 모델을 이용한 특징 추출 과정에서 특징 맵을 효과적으로 부호화할 수 있다.
또한, 특징 맵을 효과적으로 부호화하고, 부호화된 특징 맵을 신경망 네트워크 내에서 효과적으로 활용할 수 있다.
도 13은 본 발명의 일실시예에 따른 특징 맵 부호화 장치를 나타낸 블록도이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 특징 맵 부호화 장치(1300)는 통신부(1310), 프로세서(1320) 및 메모리(1330)를 포함한다.
통신부(1310)는 네트워크와 같은 통신망을 통해 특징 맵 부호화를 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.
예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.
또한, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
프로세서(1320)는 특징 맵에 상응하는 특징 맵 정보를 획득한다.
이 때, 특징 맵 정보는 신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함할 수 있다.
또한, 프로세서(1320)는 특징 맵 정보를 기반으로 특징 맵을 재구성한다.
이 때, 특징 맵이 복수개의 채널들로 구성된 경우, 특징 값을 기반으로 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류할 수 있다.
이 때, 기준 채널의 특징 값과 복수개의 채널들 각각의 특징 값 사이의 유사성을 판별하고, 유사성이 높은 순서대로 상기 복수개의 채널들을 분류할 수 있다.
이 때, 분류된 복수개의 채널들을 특징 맵 채널 그룹의 순서 또는 유사성이 높은 순서대로 재정렬할 수 있다.
이 때, 재정렬된 복수개의 채널들을 한 개의 특징 맵 채널로 재구성할 수 있다.
이 때, 한 개의 특징 맵 채널은 기설정된 크기의 행렬 형태에 상응할 수 있다.
이 때, 한 개의 특징맵 채널의 행렬 값에 재정렬된 복수개의 채널들을 순서대로 입력할 수 있다.
또한, 프로세서(1320)는 재구성된 특징 맵에 상응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성한다.
이 때, 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 특징 값을 실수에서 정수로 변환할 수 있다.
메모리(1330)는 특징 맵 정보를 저장한다.
또한, 메모리(1330)는 상술한 바와 같이 본 발명의 일실시예에 따른 특징 맵 부호화 장치(1300) 에서 발생하는 다양한 정보를 저장한다.
실시예에 따라, 메모리(1330)는 특징 맵 부호화 장치(1300)와 독립적으로 구성되어 특징 맵 부호화를 위한 기능을 지원할 수 있다. 이 때, 메모리(1330)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.
한편, 특징 맵 부호화 장치(1300)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 특징 맵 부호화 장치를 이용함으로써 신경망 모델을 이용한 특징 추출 과정에서 특징 맵을 효과적으로 부호화할 수 있다.
또한, 특징 맵을 효과적으로 부호화하고, 부호화된 특징 맵을 신경망 네트워크 내에서 효과적으로 활용할 수 있다.
도 14는 본 발명의 일실시예에 따른 특징 맵 복호화 방법을 나타낸 동작흐름도이다.
도 14를 참조하면, 본 발명의 일실시예에 따른 특징 맵 복호화 방법은 부호화된 특징 맵에 상응하는 특징 맵 정보를 획득한다(S1410).
이 때, 특징 맵 정보는 신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함할 수 있다.
이 때, 단계(S1410)은 상기의 도 6의 단계(S610)의 과정과 유사하므로 상세한 설명은 생략하도록 한다.
또한, 본 발명의 일실시예에 따른 특징 맵 복호화 방법은 특징 맵 정보를 기반으로 부호화된 특징 맵을 역재구성한다(S1420).
이 때, 특징 맵 가로 길이 및 특징 맵 세로 길이를 기반으로 기설정된 크기의 행렬 형태에 상응하는 한 개의 특징 맵 채널을 복수개의 채널들로 분할할 수 있다.
예를 들어, 도 15에 도시된 것처럼, 1장의 특징맵 채널의 가로를 특징 맵 가로 길이(feature_map_width) 값마다 분할하고, 1장의 특징맵 채널의 세로를 특징 맵 세로 길이(feature_map_height) 값마다 분할하여 k'개의 특징맵 채널들을 획득할 수 있다. 이렇게 획득된 k'개의 특징맵 채널들을 채널 번호 순서대로 일렬로 구성하여 원특징맵에 상응하는 3차원 특징맵으로 복원할 수 있다.
다른 예를 들어, 도 16에 도시된 것처럼, 1장의 특징맵 채널의 가로를 특징 맵 가로 길이(feature_map_width) 값마다 분할하고, 1장의 특징맵 채널의 세로를 특징 맵 세로 길이(feature_map_height) 값마다 분할하여 k'개의 특징맵 채널들을 획득할 수 있다. 이렇게 획득된 k'개의 특징맵 채널들을 특징맵 채널 그룹 순서대로 구성하여 원특징맵에 상응하는 3차원 특징맵으로 복원할 수 있다.
이 때, 채널 번호는 channel_idx 혹은 delta_channel_idx를 기반으로 유추하여 알 수 있다.
이 때, 복수개의 채널들을 특징 맵 채널 번호에 상응하는 순서대로 역재정렬할 수 있다.
예를 들어, 도 17에 도시된 것처럼, channel_idx를 이용하여 특징맵 채널 번호가 낮은 순으로 복수개의 채널들을 역재정렬하여 원특징맵을 복원할 수 있다. 즉, channel_idx를 이용하여 제1 특징맵 채널, 제2 특징맵 채널, ..., 제k' 특징맵 채널의 순서로 역재정렬을 수행할 수 있다.
다른 예를 들어, 도 17에는 도시하지 아니하였으나, delta_channel_idx를 기반으로 복수개의 채널들 각각의 특징맵 채널 번호를 유추하고, 유추된 특징맵 채널 번호가 낮은 순으로 복수개의 채널들을 역재정렬할 수도 있다.
또한, 본 발명의 일실시예에 따른 특징 맵 복호화 방법은 역재구성된 특징 맵에 상응하는 특징 값을 정수에서 실수로 변환하여 복호화된 특징 맵을 생성한다(S1430).
이 때, 본 발명의 일실시예에 따른 복호화 과정에서는 특징맵의 특징(값)을 정수에서 실수로 변환한 후 복호화를 수행할 수 있다.
이 때, 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 특징 값을 정수에서 실수로 변환할 수 있다.
예를 들어, [수학식 3]과 같이 특징 값의 평균값(cast_avg), 특징 값의 분산값(cast_var), 변환 후 범위최소 값(cast_min), 변환 후 범위최대값(cast_max) 중 적어도 하나를 이용한 정규화 과정을 통해 소정의 정수 특징 값을 소정의 실수 특징 값 b에 상응하도록 변환할 수 있다.
이 때, 소정의 실수 특징 값 b는 2-128부터 2128 사이의 양의 실수, 0, -2128부터 -2-128사이의 음의 실수 중 하나에 상응할 수 있다.
[수학식 3]
b = b - 128
b = b / 64
b = b * cast_var
b = b + cast_avg
이 때, 특징 값의 평균값(cast_avg)은 특징맵 전체 혹은 하나의 특징맵 채널에서의 특징 값들의 평균값에 상응할 수 있다.
이 때, 특징 값의 분산값(cast_var)은 특징맵 전체 혹은 하나의 특징맵 채널에서의 특징 값들의 분산값에 상응할 수 있다.
이 때, 정수를 실수로 변환 후 실수의 범위는 변환 후 범위최소 값(cast_min)에서 변환 후 범위최대값(cast_max) 사이에 해당할 수 있다.
따라서, 본 발명에서는 특징 맵의 부호화를 위해 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나를 시그널링 할 수 있다.
이 때, 도 14에 도시된 특징맵 정보 획득 단계(S1410), 특징맵 역재구성 단계(S1420) 및 정수 실수 변환 단계(S1430)는 feature_map_layer_idx, feature_map_width, feature_map_height, feature_map_channel, channel_idx, delta_channel_idx, cast_avg, cast_var, cast_min, cast_max, 부호화 파라미터, 픽쳐 정보, 슬라이스 정보, 양자화 파라미터(QP), 부호화 블록 플래그(CBF), 블록 크기, 블록 깊이, 블록 형태, 엔트로피 부호화 방법, 주변 블록의 화면 내 예측 모드, 시간적 계층 수준 중 적어도 하나에 기반하여 수행 여부가 결정될 수 있다. 또한, 특징맵 정보 획득 단계(S1410), 특징맵 역재구성 단계(S1420) 및 정수 실수 변환 단계(S1430)의 동작 순서는 도 14에 도시된 형태에 한정되지 않고, 필요에 따라 변경될 수도 있다.
이와 같은 특징 맵 복호화 방법을 통해 신경망 모델을 이용한 특징 추출 과정에서 특징 맵을 효과적으로 복호화할 수 있다.
또한, 특징 맵을 효과적으로 복호화하고, 복호화된 특징 맵을 신경망 네트워크 내에서 효과적으로 활용할 수 있다.
도 18은 본 발명의 일실시예에 따른 특징 맵 복호화 장치를 나타낸 블록도이다.
도 18을 참조하면, 은 본 발명의 일실시예에 따른 특징 맵 복호화 장치(1800)는 통신부(1810), 프로세서(1820) 및 메모리(1830)를 포함한다.
통신부(1810)는 네트워크와 같은 통신망을 통해 특징 맵 복호화를 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.
예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.
또한, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
프로세서(1820)는 부호화된 특징 맵에 상응하는 특징 맵 정보를 획득한다.
이 때, 특징 맵 정보는 신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함할 수 있다.
또한, 프로세서(1820)는 특징 맵 정보를 기반으로 부호화된 특징 맵을 역재구성한다.
이 때, 특징 맵 가로 길이 및 특징 맵 세로 길이를 기반으로 기설정된 크기의 행렬 형태에 상응하는 한 개의 특징 맵 채널을 복수개의 채널들로 분할할 수 있다.
이 때, 복수개의 채널들을 특징맵 채널 번호에 상응하는 순서대로 역재정렬할 수 있다.
또한, 프로세서(1820)는 역재구성된 특징 맵에 상응하는 특징 값을 정수에서 실수로 변환하여 복호화된 특징 맵을 생성한다.
이 때, 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 특징 값을 정수에서 실수로 변환할 수 있다.
메모리(1830)는 특징 맵 정보를 저장한다.
또한, 메모리(1830)는 상술한 바와 같이 본 발명의 일실시예에 따른 특징 맵 복호화 장치(1800) 에서 발생하는 다양한 정보를 저장한다.
실시예에 따라, 메모리(1830)는 특징 맵 복호화 장치(1800)와 독립적으로 구성되어 특징 맵 복호화를 위한 기능을 지원할 수 있다. 이 때, 메모리(1830)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.
한편, 특징 맵 복호화 장치(1800)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 특징 맵 복호화 장치를 이용함으로써 신경망 모델을 이용한 특징 추출 과정에서 특징 맵을 효과적으로 복호화할 수 있다.
또한, 특징 맵을 효과적으로 복호화하고, 복호화된 특징 맵을 신경망 네트워크 내에서 효과적으로 활용할 수 있다.
도 19는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 19를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 19에 도시된 바와 같이, 컴퓨터 시스템(1900)은 버스(1920)를 통하여 서로 통신하는 하나 이상의 프로세서(1910), 메모리(1930), 사용자 입력 장치(1940), 사용자 출력 장치(1950) 및 스토리지(1960)를 포함할 수 있다. 또한, 컴퓨터 시스템(1900)은 네트워크(1980)에 연결되는 네트워크 인터페이스(1970)를 더 포함할 수 있다. 프로세서(1910)는 중앙 처리 장치 또는 메모리(1930)나 스토리지(1960)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1930) 및 스토리지(1960)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1931)이나 RAM(1932)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.
예를 들어, 도 13 및 도 18에 도시된 특징 맵 부호화 장치 및 특징 맵 복호화 장치는 도 19에 도시된 컴퓨터 시스템에 상응하게 구현될 수 있다.
이상에서와 같이 본 발명에 따른 특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
1300: 특징 맵 부호화 장치 1800: 특징 맵 복호화 장치
1900: 컴퓨터 시스템 1910: 프로세서
1920: 버스 1930: 메모리
1931: 롬 1932: 램
1940: 사용자 입력 장치 1950: 사용자 출력 장치
1960: 스토리지 1970: 네트워크 인터페이스
1980: 네트워크

Claims (20)

  1. 특징 맵에 상응하는 특징 맵 정보를 획득하고, 상기 특징 맵 정보를 기반으로 상기 특징 맵을 재구성하고, 재구성된 특징 맵에 상응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 프로세서; 및
    상기 특징 맵 정보를 저장하는 메모리
    를 포함하는 것을 특징으로 하는 특징 맵 부호화 장치.
  2. 청구항 1에 있어서,
    상기 특징 맵 정보는
    신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함하는 것을 특징으로 하는 특징 맵 부호화 장치.
  3. 청구항 2에 있어서,
    상기 프로세서는
    상기 특징 맵이 복수개의 채널들로 구성된 경우, 특징 값을 기반으로 상기 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류하는 것을 특징으로 하는 특징 맵 부호화 장치.
  4. 청구항 3에 있어서,
    상기 프로세서는
    기준 채널의 특징 값과 상기 복수개의 채널들 각각의 특징 값 사이의 유사성을 판별하고, 상기 유사성이 높은 순서대로 상기 복수개의 채널들을 분류하는 것을 특징으로 하는 특징 맵 부호화 장치.
  5. 청구항 4에 있어서,
    상기 프로세서는
    분류된 복수개의 채널들을 상기 특징 맵 채널 그룹의 순서 또는 상기 유사성이 높은 순서대로 재정렬하는 것을 특징으로 하는 특징 맵 부호화 장치.
  6. 청구항 5에 있어서,
    상기 프로세서는
    재정렬된 복수개의 채널들을 한 개의 특징 맵 채널로 재구성하는 것을 특징으로 하는 특징 맵 부호화 장치.
  7. 청구항 6에 있어서,
    상기 한 개의 특징 맵 채널은 기설정된 크기의 행렬 형태에 상응하는 것을 특징으로 하는 특징 맵 부호화 장치.
  8. 청구항 7에 있어서,
    상기 프로세서는
    상기 한 개의 특징맵 채널의 행렬 값에 상기 재정렬된 복수개의 채널들을 순서대로 입력하는 것을 특징으로 하는 특징 맵 부호화 장치.
  9. 청구항 1에 있어서,
    상기 프로세서는
    상기 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 상기 특징 값을 실수에서 정수로 변환하는 것을 특징으로 하는 특징 맵 부호화 장치.
  10. 청구항 3에 있어서,
    상기 프로세서는
    군집화(CLUSTERING) 알고리즘을 이용하여 상기 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류하는 것을 특징으로 하는 특징 맵 부호화 장치.
  11. 부호화된 특징 맵에 상응하는 특징 맵 정보를 획득하고, 상기 특징 맵 정보를 기반으로 상기 부호화된 특징 맵을 역재구성하고, 역재구성된 특징 맵에 상응하는 특징 값을 정수에서 실수로 변환하여 복호화된 특징 맵을 생성하는 프로세서; 및
    상기 특징 맵 정보를 저장하는 메모리
    를 포함하는 것을 특징으로 하는 특징 맵 복호화 장치
  12. 청구항 11에 있어서,
    상기 특징 맵 정보는
    신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이, 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함하는 것을 특징으로 하는 특징 맵 복호화 장치.
  13. 청구항 12에 있어서,
    상기 프로세서는
    상기 특징 맵 가로 길이 및 상기 특징 맵 세로 길이를 기반으로 기설정된 크기의 행렬 형태에 상응하는 한 개의 특징 맵 채널을 복수개의 채널들로 분할하는 것을 특징으로 하는 특징 맵 복호화 장치.
  14. 청구항 13에 있어서,
    상기 프로세서는
    상기 복수개의 채널들을 상기 특징 맵 채널 번호에 상응하는 순서대로 역재정렬하는 것을 특징으로 하는 특징 맵 복호화 장치.
  15. 청구항 11에 있어서,
    상기 프로세서는
    상기 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 상기 특징 값을 정수에서 실수로 변환하는 것을 특징으로 하는 특징 맵 복호화 장치.
  16. 특징 맵에 상응하는 특징 맵 정보를 획득하고, 상기 특징 맵 정보를 기반으로 상기 특징 맵을 재구성하는 단계;
    재구성된 특징 맵에 상응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 단계;
    상기 특징 맵 정보를 획득하고, 상기 부호화된 특징 맵에 상응하는 특징 맵 정보를 기반으로 상기 부호화된 특징 맵을 역재구성하는 단계; 및
    역재구성된 특징 맵에 상응하는 특징 값을 정수에서 실수로 변환하여 복호화된 특징 맵을 생성하는 단계
    를 포함하는 것을 특징으로 하는 특징 맵 부호화 및 복호화 방법.
  17. 청구항 16에 있어서,
    상기 특징 맵 정보는
    신경망 계층 번호, 특징 맵 가로 길이, 특징 맵 세로 길이 및 특징 맵 채널 길이 중 적어도 하나를 포함하는 것을 특징으로 하는 특징 맵 부호화 및 복호화 방법.
  18. 청구항 17에 있어서,
    상기 재구성하는 단계는
    상기 특징 맵이 복수개의 채널들로 구성된 경우, 특징 값을 기반으로 상기 복수개의 채널들을 적어도 하나의 특징 맵 채널 그룹으로 분류하는 단계;
    분류된 복수개의 채널들을 상기 특징 맵 채널 그룹의 순서 재정렬하는 단계; 및
    재정렬된 복수개의 채널들을 한 개의 특징 맵 채널로 재구성하는 단계를 포함하는 것을 특징으로 하는 특징 맵 부호화 및 복호화 방법.
  19. 청구항 17에 있어서,
    상기 재구성하는 단계는
    상기 특징 맵이 복수개의 채널들로 구성된 경우에 기준 채널의 특징 값과 상기 복수개의 채널들 각각의 특징 값 사이의 유사성을 판별하고, 상기 유사성이 높은 순서대로 상기 복수개의 채널들을 분류하는 단계;
    분류된 복수개의 채널들을 상기 유사성이 높은 순서대로 재정렬하는 단계; 및
    재정렬된 복수개의 채널들을 한 개의 특징 맵 채널로 재구성하는 단계를 포함하는 것을 특징으로 하는 특징 맵 부호화 및 복호화 방법.
  20. 청구항 19에 있어서,
    상기 부호화된 특징 맵을 생성하는 단계는
    상기 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 상기 특징 값을 실수에서 정수로 변환하는 단계를 포함하고,
    상기 복호화된 특징 맵을 생성하는 단계는
    상기 특징 값의 평균 값, 분산 값, 변환 후 범위최소 값 및 변환 후 범위최대 값 중 적어도 하나 이용한 정규화 과정을 통해 상기 특징 값을 정수에서 실수로 변환하는 단계를 포함하는 것을 특징으로 하는 특징 맵 부호화 및 복호화 방법.
KR1020210060595A 2020-10-06 2021-05-11 특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법 KR102554709B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/459,797 US20220108127A1 (en) 2020-10-06 2021-08-27 Apparatus for encoding and decoding feature map and method using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200128656 2020-10-06
KR20200128656 2020-10-06

Publications (2)

Publication Number Publication Date
KR20220045882A true KR20220045882A (ko) 2022-04-13
KR102554709B1 KR102554709B1 (ko) 2023-07-13

Family

ID=81212918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210060595A KR102554709B1 (ko) 2020-10-06 2021-05-11 특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법

Country Status (1)

Country Link
KR (1) KR102554709B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143548A (ko) * 2015-06-04 2016-12-14 삼성전자주식회사 인공 신경 네트워크를 자동으로 조정하는 방법 및 장치
KR20180136720A (ko) * 2017-06-15 2018-12-26 삼성전자주식회사 다채널 특징맵을 이용하는 영상 처리 장치 및 방법
KR20200026026A (ko) 2018-08-31 2020-03-10 삼성전자주식회사 Cnn 활용 시스템의 특징 맵을 고속으로 압축 처리하기 위한 전자장치 및 제어방법
KR20200044668A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143548A (ko) * 2015-06-04 2016-12-14 삼성전자주식회사 인공 신경 네트워크를 자동으로 조정하는 방법 및 장치
KR20180136720A (ko) * 2017-06-15 2018-12-26 삼성전자주식회사 다채널 특징맵을 이용하는 영상 처리 장치 및 방법
KR20200026026A (ko) 2018-08-31 2020-03-10 삼성전자주식회사 Cnn 활용 시스템의 특징 맵을 고속으로 압축 처리하기 위한 전자장치 및 제어방법
KR20200044668A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법

Also Published As

Publication number Publication date
KR102554709B1 (ko) 2023-07-13

Similar Documents

Publication Publication Date Title
KR102599446B1 (ko) 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치
US20240121418A1 (en) Apparatus and method for processing point cloud data
CN107431813B (zh) 使用基于图的变换处理视频信号的方法和装置
CN112400322B (zh) 基于二次变换处理视频信号的方法和设备
CN112292855A (zh) 用于对图像进行编码/解码的方法和装置
CN103119941A (zh) 图像编码方法和装置、图像解码方法及装置、和其程序
EP3777180B1 (en) A method and apparatus for encoding/decoding a point cloud representing a 3d object
US20220303537A1 (en) Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
CN107005691A (zh) 使用从图模板导出的变换来对视频信号进行编码/解码的方法和装置
JP2018537048A (ja) データ圧縮
JP3296877B2 (ja) ハーフトーン画像を符号化するための方法
WO2017057922A1 (ko) 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
CN1201562C (zh) 具有树编码的无损图象压缩
US20220108127A1 (en) Apparatus for encoding and decoding feature map and method using the same
KR102554709B1 (ko) 특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법
KR102329228B1 (ko) 임의 파티션 변환에 기초하여 비디오 신호를 처리하는 방법
US20180220157A1 (en) Method and apparatus for performing transform using layered givens transform
JP7409320B2 (ja) 画像処理装置および方法
JP5307681B2 (ja) 画像符号化構造の自動生成方法，画像符号化構造の自動生成装置およびそのプログラム
KR102625151B1 (ko) 압축 신경망 내에서의 패딩/트리밍을 사용하는 방법, 장치 및 기록 매체
KR20220027847A (ko) 정보 처리 장치 및 방법
US11769276B2 (en) Method, apparatus, and storage medium using padding/trimming in compression neural network
CN109218729A (zh) 视频编码方法、视频解码方法、视频编码器及视频解码器
US20230070216A1 (en) Method, apparatus, and storage medium for compressing feature map
KR20220144312A (ko) 특징 맵 부호화 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right