KR20220144312A - 특징 맵 부호화 방법 및 장치 - Google Patents

특징 맵 부호화 방법 및 장치 Download PDF

Info

Publication number
KR20220144312A
KR20220144312A KR1020220033880A KR20220033880A KR20220144312A KR 20220144312 A KR20220144312 A KR 20220144312A KR 1020220033880 A KR1020220033880 A KR 1020220033880A KR 20220033880 A KR20220033880 A KR 20220033880A KR 20220144312 A KR20220144312 A KR 20220144312A
Authority
KR
South Korea
Prior art keywords
feature map
channels
column
row
channel
Prior art date
Application number
KR1020220033880A
Other languages
English (en)
Inventor
곽상운
윤정일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/722,741 priority Critical patent/US20220335713A1/en
Publication of KR20220144312A publication Critical patent/KR20220144312A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명의 일실시예에 따른 특징 맵 부호화 방법은 복수개의 채널들을 가지는 특징 맵을 상기 복수개의 채널 간 상호 유사도를 기초로 상기 복수개의 채널들을 정렬하는 단계와, 상기 정렬된 복수개의 채널들을 행렬 형태의 특징 맵 채널에 상호 인접하게 재정렬하는 단계와, 상기 특징 맵 채널에 대응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 단계를 포함할 수 있다.

Description

특징 맵 부호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING FEATURE MAP}
본 발명은 특징 맵 부호화 방법에 관한 것으로, 특히, 특징 맵을 효율적으로 부호화 및 복호화할 수 있는 특징 맵 부호화 방법 및 장치에 관한 것이다.
일반적으로, 인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
이러한 인공지능 기술 중 이미지 분석을 위해 사용되는 합성곱 신경망 (Convolutional Neural Network, CNN) 모델은 이미지나 영상으로부터 원하는 특징(Feature)를 추출하기 위한 용도로 사용된다. 이 과정에서 각 채널마다 생성되는 특징 맵(Feature Map) 영상의 저장 용량을 줄이기 위해 특징 맵 부호화 기술을 사용할 수 있다.
예를 들어, 일반적인 동영상 압축 방식을 이용하여 특징 맵을 압축할 수 있지만, 종래의 영상 압축 방식을 특징 맵에 적용할 경우, CNN 모델 내에서 효과적으로 활용되기 어렵다는 문제점이 있다.
따라서, CNN 처리 과정 중에 생성되는 특징 맵을 효과적으로 부호화 및 복호화할 수 있는 기술의 필요성이 요구된다.
본 발명의 목적은 신경망 모델을 이용한 특징 추출 과정에서 특징 맵을 효과적으로 부호화 및 복호화하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 특징 맵을 효과적으로 부호화 및 복호화하면서, 부호화 및 복호화된 특징 맵을 신경망 네트워크 내에서 효과적으로 활용할 수 있는 기술을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 특징 맵 부호화 방법은 복수개의 채널들을 가지는 특징 맵에 대해 상기 복수개의 채널들 간 유사도를 기초로 상기 복수개의 채널들을 정렬하는 단계와, 상기 정렬된 복수개의 채널들을 행렬 형태의 특징 맵 채널에 상호 인접하게 재정렬하는 단계와, 상기 특징 맵 채널에 대응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 단계를 포함할 수 있다.
상기 재정렬하는 단계는, 원점을 기준으로 i번째 행, j번째 열을 기초로 계산된 거리를 계산하는 단계와, 상기 거리가 작은 순서 기준으로 상기 정렬된 복수개의 채널들을 재정렬하는 단계를 포함할 수 있다.
상기 거리는 i번째 행과 원점의 차이값의 절대값과 j번째 열과 원점의 차이값의 절대값을 합하여 계산할 수 있다.
상기 거리는 i번째 행과 원점의 차이값의 제곱값과 j번째 열과 원점의 차이값의 제곱값을 합하여 계산할 수 있다.
상기 재정렬하는 단계 이후, 상기 특징 맵 채널의 특정 방향에 대하여 플립을 수행하는 단계를 더 포함할 수 있다.
i번째 행이 짝수이고, j번째 열이 홀수이면 수직 방향에 대하여 플립을 수행할 수 있다.
상기 수직 방향에 대하여 플립을 수행한 상태에서, i번째 행이 짝수이고, j번째 열이 짝수이면 수평 방향에 대하여 플립을 더 수행할 수 있다.
i번째 행이 홀수이고, j번째 열이 짝수이면 수평 방향에 대하여 플립을 수행할 수 있다.
i번째 행이 홀수이고, j번째 열이 홀수이면 플립을 수행하지 않을 수 있다.
상기 기준 채널의 특징 값과 상기 복수개의 채널들 각각의 특징 값 사이의 유사도를 판별하고, 상기 유사도가 높은 순서대로 상기 복수개의 채널들을 정렬할 수 있다.
또한, 실시예에 따른 특징 맵 부호화 장치는 복수개의 채널들을 가지는 특징 맵에 대해 상기 복수개의 채널들 간 유사도를 기초로 상기 복수개의 채널들을 정렬하고, 상기 정렬된 복수개의 채널들을 행렬 형태의 특징 맵 채널에 상호 인접하게 재정렬하고, 상기 특징 맵 채널에 대응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 프로세서와, 상기 특징 맵 정보를 저장하는 메모리를 포함할 수 있다.
상기 프로세서는, 원점을 기준으로 i번째 행, j번째 열을 기초로 계산된 거리를 계산하고, 상기 거리가 작은 순서 기준으로 상기 정렬된 복수개의 채널들을 재정렬할 수 있다.
상기 거리는 i번째 행과 원점의 차이값의 절대값과 j번째 열과 원점의 차이값의 절대값을 합하여 계산할 수 있다.
상기 거리는 i번째 행과 원점의 차이값의 제곱값과 j번째 열과 원점의 차이값의 제곱값을 합하여 계산할 수 있다.
상기 프로세서는, 상기 특징 맵 채널의 특정 방향에 대하여 플립을 수행할 수 있다.
상기 프로세서는, i번째 행이 짝수이고, j번째 열이 홀수이면 수직 방향에 대하여 플립을 수행할 수 있다.
상기 프로세서는, i번째 행이 짝수이고, j번째 열이 짝수이면 수평 방향에 대하여 플립을 더 수행할 수 있다.
상기 프로세서는, i번째 행이 홀수이고, j번째 열이 짝수이면 수평 방향에 대하여 플립을 수행할 수 있다.
상기 프로세서는, i번째 행이 홀수이고, j번째 열이 홀수이면 플립을 수행하지 않을 수 있다.
상기 프로세서는, 상기 기준 채널의 특징 값과 상기 복수개의 채널들 각각의 특징 값 사이의 유사도를 판별하고, 상기 유사도가 높은 순서대로 상기 복수개의 채널들을 정렬할 수 있다.
본 발명에 따르면, 신경망 모델을 이용한 특징 추출 과정에서 특징 맵을 효과적으로 부호화 및 복호화할 수 있다.
또한, 본 발명은 특징 맵을 신경망 네트워크 내에서 효과적으로 활용할 수 있는 기술을 제공할 수 있다.
또한, 본 발명은 복수의 채널들을 상호 인접하도록 특징 맵 채널에 재정렬시킴으로써, 열 방향으로 유사한 영상을 배치할 수 있다.
또한, 본 발명은 영상의 경계 영역에 플립을 수행함으로써, 영상의 경계 영역에 불연속이 발생하는 것을 방지할 수 있다.
도 1은 본 발명의 일실시예에 따른 특징 맵 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 특징 맵 부호화 방법을 나타낸 순서도이다.
도 3은 본 발명의 일실시예에 따른 특징 맵의 구조를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 특징 맵을 재정렬하여 부호화된 특징 맵을 생성하는 모습을 나타낸 도면이다.
도 5 및 도 6은 본 발명의 일실시예에 따른 특징 맵 부호화 방법이 처리된 영상을 비교예와 비교한 모습을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 특징 맵의 플립 과정을 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 일실시예에 따른 플립이 수행된 영상을 비교예와 비교한 모습을 나타낸 도면이다.
도 10은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일실시예에 따른 특징 맵 부호화 장치를 나타낸 블록도이다.
도 1을 참조하면, 실시예에 따른 특징 맵 부호화 장치(100)는 통신부(110), 프로세서(130) 및 메모리(150)를 포함할 수 있다.
통신부(110)는 네트워크와 같은 통신망을 통해 특징 맵 부호화를 위해 필요한 정보를 송수신하는 역할을 수행할 수 있다. 여기서, 네트워크는 장치들 간에 데이터를 전달하는 통로를 제공하는 것으로, 일반적으로 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포함하는 개념일 수 있다.
예를 들어, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있다.
또한, 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동 통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이 망 중에서 하나 이상을 결합하여 이루어질 수 있다.
또한, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나 또는 둘 이상의 결합으로 이루어질 수 있다.
프로세서(130)는 특징 맵에 상응하는 특징 맵 정보를 획득할 수 있다. 특징 맵은 신경망에서 입력에 대해 적어도 하나의 필터(커널)을 적용했을 때 출력되는 결과(특징) 값들로 정의될 수 있으며, 특징 맵은 1D, 2D 혹은 3D 어레이로 표현할 수 있다.
에컨대, 2차원 특징 맵은 가로, 세로 크기로 표현될 수 있고, 3차원 특징 맵은 가로, 세로, 채널 크기로 표현될 수 있다. 또한, 2차원 특징 맵의 특징(값의) 개수는 가로, 세로 크기의 곱일 수 있고, 3차원 특징 맵의 특징(값의) 개수는 가로, 세로, 채널 크기의 곱일 수 있다.
프로세서(130)는 특징맵 정보를 기반으로 특징 맵을 재구성할 수 있다. 특징 맵이 복수개의 채널들로 구성된 경우, 복수개의 채널 간 상호 유사도를 기초로 복수개의 채널들을 정렬할 수 있다.
프로세서(130)는 정렬된 복수개의 채널들을 특징 맵 채널에 상호 인접하게 재정렬할 수 있다. 여기서, 특징 맵 채널은 행렬 형태로 형성될 수 있다. 예컨대, 복수개의 채널들은 원점을 기준으로 거리를 계산하고, 계산된 거리가 작은 순서대로 복수개의 채널들을 특징 맵 채널에 재정렬할 수 있다.
프로세서(130)는 특징 맵 채널의 특정 방향에 대하여 플립을 수행할 수 있다. 여기서, 플립은 대칭 이동을 지칭할 수 있다. 예컨대, 프로세서(130)는 특징 맵 채널의 수직 방향에 대해 플립을 수행할 수 있다. 이와 다르게, 프로세서(130)는 특징 맵 채널의 수평 방향에 대해 플립을 수행할 수 있다. 이와 다르게, 프로세서(130)는 특징 맵 채널의 수직 방향과 수평 방향 모두에 대해 플립을 수행할 수 있다.
프로세서(130)는 재정렬된 특징 맵 채널에 대응하는 특징 값을 실수에서 정수로 변환할 수 있다. 예컨대, 특징 값의 평균 값, 분산 값, 변환 후 범위 최소 값 및 변환 후 범위 최대 값 중 적어도 하나를 이용한 정규화 과정을 통해 특징 값을 실수에서 정수로 변환할 수 있다.
이하에서는 특징 맵 부호화 장치에서 수행되는 특징 맵 부호화 방법에 대해 살펴본다.
도 2는 본 발명의 일실시예에 따른 특징 맵 부호화 방법을 나타낸 순서도이다.
도 2를 참조하면, 실시예에 따른 특징 맵 부호화 장치(100)는 특징 맵 정보를 획득하고, 복수개의 채널들을 가지는 특징 맵에 대해 복수개의 채널들을 상호 유사도를 기초로 정렬할 수 있다(S110).
여기서, 특징 맵은 부호화 대상으로써 신경망을 구성하는 특정 계층에서의 출력에 해당할 수 있다. 특징 맵 정보는 신경망 계층 번호, 특징 맵 가로 길이, 특징맵 세로 길이. 특징 맵 채널 길이, 특징 맵 채널 번호 및 특징 맵 채널 차이 중 적어도 하나를 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 특징 맵의 구조를 나타낸 도면이다.
도 3에 도시된 바와 같이, 특징 맵(M)은 k`개의 채널들로 구성될 수 있다. 첫번째 채널을 제1 채널(C1), 두번째 채널을 제2 채널(C2), 마지막 채널을 제k` 채널(Ck`)로 지칭할 수 있다.
특징 맵 정보에 포함된 특징 맵 채널 인덱스를 이용하여 특정 채널 및 특정 채널 번호(1,2,3,4,...,k`)를 지정할 수 있다. 예컨대, 제1 채널(C1)은 채널 인덱스(channel_idx)가 1이고, 제2 채널(C2)은 채널 인덱스가 2이므로, 특징 맵 채널 인덱스로부터 해당 채널이 특징 맵의 어느 채널인지 유추할 수 있다.
맵 부호화 장치(100)는 복수개의 채널들에 대해 상호 유사도를 기초로 정렬할 수 있다. 맵 부호화 장치(100)는 기준 채널의 특징 값과 복수개의 채널들 각각의 특징 값 사이의 유사도를 판별하고, 유사도가 높은 순서대로 복수개의 채널들을 정렬할 수 있다.
예를 들어, k`개의 채널들과 기준 채널간의 유사도를 판별하여 가장 유사한 채널, 두번째 유사한 채널, k`번째 유사한 채널 등으로 k`개의 채널들을 분류할 수 있다.
기준 채널이 첫번째 채널이라고 가정한다면, PSMR 또는 MSE 중 적어도 하나를 이용하여 기준 채널과 가장 유사한 채널, 두번째 유사한 채널, k`번째 유사한 채널 등으로 k`개의 채널들을 분류할 수 있다.
이때, 분류된 복수개의 채널들을 특징맵 그룹의 순서 또는 유사도가 높은 순서대로 정렬할 수 있다.
도 2로 돌아가서, 맵 부호화 장치(100)는 정렬된 복수개의 채널들을 특징 맵 채널에 재정렬할 수 있다(S130). 여기서, 특징 맵 채널은 행렬 형태의 특징 맵 채널을 의미할 수 있다.
도 4는 본 발명의 일실시예에 따른 특징 맵을 재정렬하여 부호화된 특징 맵을 생성하는 모습을 나타낸 도면이다.
도 4를 참조하면, 맵 부호화 장치(100)는 정렬된 복수개의 채널들(CC1, CC2,??,CCk`)을 특징 맵 채널(MM1)에 상호 인접하도록 재정렬할 수 있다. 맵 부호화 장치(100)는 복수개의 채널들을 특징 맵 채널(MM1)에 행, 열 및 대각선 방향으로 순서대로 재정렬할 수 있으나, 이에 한정되지 않는다.
실시예의 맵 부호화 장치(100)는 복수개의 채널들(CC1, CC2,...,CCk`)을 특징 맵 채널(MM!)에 상하좌우로 인접하도록 원점과의 거리를 기초로 배치하여 재정렬할 수 있다.
예컨대, 영상에 배치되는 위치를 (i,j)의 2차원 정수 좌표로 생각할 때, 수학식 1 및 2와 같이, 재정렬된 복수개의 채널들을 원점으로부터의 제1 거리(dL1) 또는 제2 거리(dL2)를 계산하고, 제1 거리(dL1) 또는 제2 거리(dL2)가 작은 순서 기준으로 배치할 수 있다.
[수학식 1]
dL1(i,j) = |i-0| + |j-0|
[수학식 2]
dL2(i,j) = (i-0)2 + (j-0)2
예컨대, 제1 거리(dL1)는 i번째 행과 원점의 차이값의 절대 값과 j번째 열과 원점의 차이값의 절대 값을 합하여 계산할 수 있다. 제2 거리(dL2)는 i번째 행과 원점의 차이값의 제공값과 j번째 열과 원점의 차이값의 제곱값을 합하여 계산할 수 있다.
따라서, 재졍렬된 제1 채널(CC1), 제2 채널(CC2) 내지 제k`채널(CCk`)은 특징 맵 채널에 대각 방향으로 순서대로 배치될 수 있다.
도 5 및 도 6은 본 발명의 일실시예에 따른 특징 맵 부호화 방법이 처리된 영상을 비교예와 비교한 모습을 나타낸 도면이다.
실시예 1 및 2는 복수개의 채널들이 제1 거리 또는 제2 거리를 기초로 특징 맵 채널에 상호 인접하게 배치된 영상을 나타내고, 비교예 1 및 2는 복수개의 채널들이 행 방향으로 특징 맵 채널에 순서대로 배치된 영상을 나타낸다.
도 5에 도시된 바와 같이, 전체 영상의 특정 지점에서의 실시예 1에 따른 영상은 비교예 1에 따른 영상에 비해 열 방향으로 유사한 영상이 배치되어 있음을 알 수 있다.
또한, 도 6에 도시된 바와 같이, 전체 영상의 다른 특정 지점에서의 실시예 2에 따른 영상은 비교예 2에 따른 영상에 비해 열 방향으로 유사한 영상이 배치되어 있음을 알 수 있다.
도 2로 돌아가서, 실시예에 따른 특징 맵 부호화 장치(100)는 특징 맵 채널의 특정 방향에 대하여 플립을 수행할 수 있다(S150).
예컨대, 특징 맵 채널은 형태에 따라 경계 영역에서 큰 불연속이 발생할 수 있다. 따라서, 실시예에서는 경계 영역에서의 불연속이 발생한 영역에 대해 인접 부분과 최대한 유사한 영상을 가지도록 플립을 수행할 수 있다.
실시예에 따른 특징 맵 부호화 장치(100)는 수평 방향, 또는 수직 방향 또는 수평 방향과 수직 방향의 모든 방향으로 플립을 수행할 수 있다.
도 7은 본 발명의 일실시예에 따른 특징 맵의 플립 과정을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 영상을 플립하는 방향은 영상이 배치되는 위치에 따라 달라질 수 있으며, 수학식 3에 따라 영상을 플립하는 기준을 정할 수 있다.
[수학식 3]
Flipv(Ii,j), if i is even and j is odd
Fliph(Ii,j), if i is odd and j is even
Fliph(Flipv(Ii,j)), if i and j are even
Ii,j`, if i and j are odd
예컨대, i번째 행이 짝수이고, j번째 열이 홀수이면 영상의 수직 방향(V)에 대하여 플립을 수행할 수 있다. 또한, 영상의 수직 방향(v)에 대하여 플립을 수행한 상태에서, i번째 행이 짝수이고, j번째 열이 짝수이면 영상의 수평 방향(H)에 대하여 플립을 수행할 수 있다.
또한, i번째 행이 홀수이고, j번째 열이 짝수이면 영상의 수평 방향(H)에 대하여 플립을 수행할 수 있다. 또한, i번째 행이 홀수이고, j번째 열이 홀수이면 플립을 수행하지 않을 수 있다.
도 8 및 도 9는 본 발명의 일실시예에 따른 플립이 수행된 영상을 비교예와 비교한 모습을 나타낸 도면이다.
실시예 3 및 4는 플립이 수행된 영상을 나타내고, 비교예 3 및 4는 플립이 수행되지 않은 영상을 나타낸다.
도 8에 도시된 바와 같이, 전체 영상의 특정 지점에서의 실시예 3에 따른 영상은 비교예 3에 따른 영상에 비해 영상 간 경계 영역에서의 불연속이 최소화된 것을 알 수 있다.
또한, 도 9에 도시된 바와 같이, 전체 영상의 다른 지점에서의 실시예 4에 따른 영상은 비교예 4에 따른 영상에 비해 영상 간 경계 영역에서의 불연속이 최소화된 것을 알 수 있다.
도 2로 돌아가서, 실시예에 따른 맵 부호화 장치(100)는 부호화된 특징맵을 생성할 수 있다(S170).
신경망 구조에서 특징 맵의 특징(값)은 소정 범위를 갖는 실수 또는 정수 중 하나로 표현될 수 있다. 예컨대, 특징맵의 채널이 1개인 경우, 특징맵의 채널은 소정 개수의 특징값으로 구성되며, 소정 개수는 n` x m` 개 일 수 있다. 이때, 실수의 범위는 2128 ~ 2-128 에 상응할 수 있고, 정수의 범위는 0~255, 0~511, 0~1023 중 어느 하나일 수 있다.
실시예에 따른 부호화 과정에서는 특징맵의 특징(값)을 실수에서 정수로 변환한 후 부호화를 수행할 수 있다.
특징 값의 평균 값, 분산 값, 변환 후 범위 최소 값 및 변환 후 범위 최대 값 중 적어도 하나를 이용한 정규화 과정을 통해 특징 값을 실수에서 정수로 변환할 수 있다.
예컨대, 수학식 2와 같이 특징 값의 평균값(cast_avg), 특징 값의 분산값(cast_var), 변환 후 범위 최소값(cast_min), 변환 후 범위최대값(cast_max) 중 적어도 하나를 이용한 정규화 과정을 통해 소정의 실수 특징 값을 0부터 255의 정수 특징 값 a에 상응하도록 변환할 수 있다.
[수학식 2]
a = 실수 특징 값 - cast_avg
a = a / cast_var
a = a * 64
a = a + 128
a = clip(a, cast_min, cast_max)
여기서, 특징 값의 평균값(cast_avg)은 특징맵 전체 또는 하나의 특징맵 채널에서의 특징 값들의 평균값에 상응할 수 있다.
특징 값의 분산값(cast_var)은 특징맵 전체 또는 특징맵 채널에서의 특징값들의 분산값에 상응할 수 있다.
따라서, 실시예에서는 특징 맵의 부호화를 위해 특징 값의 평균값, 분산값, 변환 후 범위 최소 값 및 변환 후 범위최대 값 중 적어도 하나를 시그널링할 수 있다.
실시예에서는 특징 맵을 부호화하는 장치 및 방법을 설명하였으나, 특징 맵을 복호화하는 장치 및 방법을 제공할 수 있다.
예를 들어, 특징 맵 복호화 장치는 통신부, 프로세서 및 메모리의 구성으로 이루어질 수 있으며, 특징 맵 복호화 장치는 특징 맵 복호화 방법을 수행할 수 있다. 특징 맵 복호화 장치는 부호화된 특징 맵에 상응하는 특징 맵 정보를 획득할 수 있다. 특징 맵 복호화 장치는 특징 맵 정보를 기반으로 부호화된 특징 맵을 역재구성할 수 있다. 특징 맵 복호화 장치는 역재구성된 특징 맵에 상응하는 특징 값을 정수에서 실수로 변환하여 복호화된 특징 맵을 생성할 수 있다.
도 10은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 블록도이다.
도 10을 참조하면, 실시예에 따른 컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다.
프로세서(1010)는 중앙 처리 장치 또는 메모리나 스토리지에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 프로세서(1010)는 일종의 중앙처리장치로서 특징 맵 부호화 장치(100)의 전체 동작을 제어할 수 있다.
프로세서(1010)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microporcessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 이에 한정되는 것은 아니다.
메모리(1030)는 실시예에 따른 특징 맵 부호화 방법을 수행하기 위한 제어 프로그램 등 전반적인 동작을 위한 다양한 데이터가 저장될 수 있다. 구체적으로, 메모리에는 특징 맵 부호화 장치에서 구동되는 다수의 응용 프로그램, 특징 맵 부호화 장치의 동작을 위한 데이터 및 명령어가 저장될 수 있다.
메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같은 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 특징 맵 부호화 장치
110: 통신부
130: 프로세서
150: 메모리

Claims (20)

  1. 복수개의 채널들을 가지는 특징 맵에 대해 상기 복수개의 채널들 간 유사도를 기초로 상기 복수개의 채널들을 정렬하는 단계;
    상기 정렬된 복수개의 채널들을 행렬 형태의 특징 맵 채널에 상호 인접하게 재정렬하는 단계; 및
    상기 특징 맵 채널에 대응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 단계;
    를 포함하는 특징 맵 부호화 방법.
  2. 제1항에 있어서,
    상기 재정렬하는 단계는,
    원점을 기준으로 i번째 행, j번째 열을 기초로 계산된 거리를 계산하는 단계; 및
    상기 거리가 작은 순서 기준으로 상기 정렬된 복수개의 채널들을 재정렬하는 단계;
    를 포함하는 특징 맵 부호화 방법.
  3. 제2항에 있어서,
    상기 거리는 i번째 행과 원점의 차이값의 절대값과 j번째 열과 원점의 차이값의 절대값을 합하여 계산하는 특징 맵 부호화 방법.
  4. 제2항에 있어서,
    상기 거리는 i번째 행과 원점의 차이값의 제곱값과 j번째 열과 원점의 차이값의 제곱값을 합하여 계산하는 특징 맵 부호화 방법.
  5. 제1항에 있어서,
    상기 재정렬하는 단계 이후,
    상기 특징 맵 채널의 특정 방향에 대하여 플립을 수행하는 단계를 더 포함하는 특징 맵 부호화 방법.
  6. 제5항에 있어서,
    i번째 행이 짝수이고, j번째 열이 홀수이면 수직 방향에 대하여 플립을 수행하는 특징 맵 부호화 방법.
  7. 제6항에 있어서,
    상기 수직 방향에 대하여 플립을 수행한 상태에서,
    i번째 행이 짝수이고, j번째 열이 짝수이면 수평 방향에 대하여 플립을 더 수행하는 특징 맵 부호화 방법.
  8. 제5항에 있어서,
    i번째 행이 홀수이고, j번째 열이 짝수이면 수평 방향에 대하여 플립을 수행하는 특징 맵 부호화 방법.
  9. 제5항에 있어서,
    i번째 행이 홀수이고, j번째 열이 홀수이면 플립을 수행하지 않는 특징 맵 부호화 방법.
  10. 제1항에 있어서,
    상기 기준 채널의 특징 값과 상기 복수개의 채널들 각각의 특징 값 사이의 유사도를 판별하고, 상기 유사도가 높은 순서대로 상기 복수개의 채널들을 정렬하는 특징 맵 부호화 방법.
  11. 복수개의 채널들을 가지는 특징 맵에 대해 상기 복수개의 채널들 간 유사도를 기초로 상기 복수개의 채널들을 정렬하고, 상기 정렬된 복수개의 채널들을 행렬 형태의 특징 맵 채널에 상호 인접하게 재정렬하고, 상기 특징 맵 채널에 대응하는 특징 값을 실수에서 정수로 변환하여 부호화된 특징 맵을 생성하는 프로세서; 및
    상기 특징 맵 정보를 저장하는 메모리;
    를 포함하는 특징 맵 부호화 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    원점을 기준으로 i번째 행, j번째 열을 기초로 계산된 거리를 계산하고, 상기 거리가 작은 순서 기준으로 상기 정렬된 복수개의 채널들을 재정렬하는 특징 맵 부호화 장치.
  13. 제12항에 있어서,
    상기 거리는 i번째 행과 원점의 차이값의 절대값과 j번째 열과 원점의 차이값의 절대값을 합하여 계산하는 특징 맵 부호화 장치.
  14. 제12항에 있어서,
    상기 거리는 i번째 행과 원점의 차이값의 제곱값과 j번째 열과 원점의 차이값의 제곱값을 합하여 계산하는 특징 맵 부호화 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 특징 맵 채널의 특정 방향에 대하여 플립을 수행하는 특징 맵 부호화 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    i번째 행이 짝수이고, j번째 열이 홀수이면 수직 방향에 대하여 플립을 수행하는 특징 맵 부호화 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    i번째 행이 짝수이고, j번째 열이 짝수이면 수평 방향에 대하여 플립을 더 수행하는 특징 맵 부호화 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    i번째 행이 홀수이고, j번째 열이 짝수이면 수평 방향에 대하여 플립을 수행하는 특징 맵 부호화 장치.
  19. 제15항에 있어서,
    상기 프로세서는,
    i번째 행이 홀수이고, j번째 열이 홀수이면 플립을 수행하지 않는 특징 맵 부호화 장치.
  20. 제11항에 있어서,
    상기 프로세서는,
    상기 기준 채널의 특징 값과 상기 복수개의 채널들 각각의 특징 값 사이의 유사도를 판별하고, 상기 유사도가 높은 순서대로 상기 복수개의 채널들을 정렬하는 특징 맵 부호화 장치.
KR1020220033880A 2021-04-19 2022-03-18 특징 맵 부호화 방법 및 장치 KR20220144312A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/722,741 US20220335713A1 (en) 2021-04-19 2022-04-18 Method and apparatus for encoding feature map

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210050636 2021-04-19
KR1020210050636 2021-04-19

Publications (1)

Publication Number Publication Date
KR20220144312A true KR20220144312A (ko) 2022-10-26

Family

ID=83785735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220033880A KR20220144312A (ko) 2021-04-19 2022-03-18 특징 맵 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220144312A (ko)

Similar Documents

Publication Publication Date Title
Li et al. Coding for distributed fog computing
US11734554B2 (en) Pooling processing method and system applied to convolutional neural network
US20200260117A1 (en) Methods and Apparatuses for Coding and Decoding Depth Map
US20200160565A1 (en) Methods And Apparatuses For Learned Image Compression
CN102984495A (zh) 一种视频图像的处理方法及装置
CN112449009B (zh) 一种基于svd的联邦学习推荐系统通信压缩方法及装置
WO2019128707A1 (zh) 一种速率匹配和极化码编码的方法和设备
WO2022028197A1 (zh) 一种图像处理方法及其设备
US10924758B2 (en) Method and apparatus for determining a motion vector
US20180184096A1 (en) Method and apparatus for encoding and decoding lists of pixels
CN116978011B (zh) 一种用于智能目标识别的图像语义通信方法及系统
KR20210020103A (ko) 데이터 처리 방법 및 장치, 전자 기기 및 저장 매체
CN113344794A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN117121494A (zh) 用于提供媒体流的装置和方法
KR20220144312A (ko) 특징 맵 부호화 방법 및 장치
US11403782B2 (en) Static channel filtering in frequency domain
WO2023093377A1 (zh) 编解码方法及电子设备
US20220335713A1 (en) Method and apparatus for encoding feature map
EP3722949B1 (en) Image transmission method, apparatus and storage medium
CN114501011B (zh) 图像压缩方法、图像解压缩方法及装置
CN115631330A (zh) 特征提取方法、模型训练方法、图像识别方法及应用
US20230070216A1 (en) Method, apparatus, and storage medium for compressing feature map
KR20210113057A (ko) 압축 신경망 내에서의 패딩/트리밍을 사용하는 방법, 장치 및 기록 매체
US11769276B2 (en) Method, apparatus, and storage medium using padding/trimming in compression neural network
KR102554709B1 (ko) 특징 맵 부호화 및 복호화 장치 및 이를 이용한 방법