KR102120681B1 - 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법 - Google Patents

심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법 Download PDF

Info

Publication number
KR102120681B1
KR102120681B1 KR1020190149523A KR20190149523A KR102120681B1 KR 102120681 B1 KR102120681 B1 KR 102120681B1 KR 1020190149523 A KR1020190149523 A KR 1020190149523A KR 20190149523 A KR20190149523 A KR 20190149523A KR 102120681 B1 KR102120681 B1 KR 102120681B1
Authority
KR
South Korea
Prior art keywords
channel
color information
image
luminance
neural network
Prior art date
Application number
KR1020190149523A
Other languages
English (en)
Inventor
원치선
정지수
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190149523A priority Critical patent/KR102120681B1/ko
Application granted granted Critical
Publication of KR102120681B1 publication Critical patent/KR102120681B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법에 관한 것으로, 본 발명에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법은 RGB 3채널의 영상을 휘도 채널(Y), 제1 칼라 정보 채널(Cb) 및 제2 칼라 정보채널(Cr)로 분리하는 제1 단계; 및 상기 휘도 채널(Y), 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr) 중에서 적어도 하나를 포함하는 영상을 생성하는 제2 단계;를 포함하여 구성된다.

Description

심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법{APPARATUS AND METHOD FOR REDUCING NUMBER OF CHANNELS IN INPUT IMAGES TO COMPRESS DEEP NEURAL NETWORKS}
본 발명은 입력 영상의 채널 감축 장치 및 그 방법에 관한 것으로, 보다 상세하게는 심층 신경망(Deep Neural Network)의 압축을 위한 입력 영상의 채널 감축 장치 및 방법에 관한 것이다.
최근에 CNN(Convolutional Neural Networks)과 같이 깊은 층을 갖는 심층 신경망 (Deep Neural Networks) 구조가 사용되면서 영상 데이터의 분류 및 인식의 성능이 급격히 향상되고 있다.
이는 소셜 미디어에서 얻을 수 있는 수 없이 많은 영상 데이터들을 깊은 층을 갖는 CNN 구조의 훈련에 활용할 수 있었기 때문이다.
특히, 수백만 장의 정지 영상을 사용하여 기 훈련된 AlexNet, VGG, 그리고 DenseNet 등 많은 CNN 구조가 발표되고 있으며 성능 향상을 위해 신경망의 층이 증가하고 더욱 깊어진 CNN 구조가 발표되고 있다.
그러나, 신경망의 층이 증가하여 깊어질수록 훈련시켜야 할 계수가 많아지고 훈련된 CNN 계수를 저장해야 할 메모리도 더 필요하며 실제 주어진 영상을 가했을 때 결과를 얻기까지 시간이 더 걸리고 전력 소모도 많아진다.
이와 같은 문제를 해결하기 위해 심층 신경망의 구조를 유지하면서 신경망 계수를 줄이는 압축 방법(Han, S., Mao, H., & Dally, W. J. (2015). Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149.) 등이 제안되어, 중요하지 않은 신경망 연결을 잘라 내거나 신경망 계수를 양자화 함으로써 신경망의 압축효과를 얻는 방식을 사용하였다.
그러나, 종래 기술에 따르면 중요하지 않은 신경망 연결을 잘라 내거나 신경망 계수를 양자화 함으로써 얻는 심층 신경망의 압축 효과가 아직 사물인터넷 (IoT (Internet of Things))이나 휴대전화 등 무선망에 응용하기에는 충분하지 않은 문제를 가지고 있었다.
본 발명의 실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법은 심층 신경망에 사용되는 컨볼루션 층(Convolution Layer) 필터의 개수를 줄여 사용할 수 있도록 하는 입력 영상의 채널 감축 장치 및 방법을 제공하고자 한다.
또한, 본 발명의 실시예에 따르면, 3 개의 채널을 갖는 입력 영상을 상관성(correlation)이 크고 정보량이 적은 칼라 성분의 차원을 2 개나 1 개로 감소시키거나 모두 삭제하여, 신경망의 성능을 크게 저하시키지 않으면서 신경망에 적용되는 필터의 차원이나 개수를 감축할 수 있는 효과를 제공하고자 한다.
본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법은 RGB 3채널의 영상을 휘도 채널(Y), 제1 칼라 정보 채널(Cb) 및 제2 칼라 정보채널(Cr)로 분리하는 제1 단계; 및 상기 휘도 채널(Y), 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr) 중에서 적어도 하나를 포함하는 영상을 생성하는 제2 단계;를 포함한다.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 또는 상기 제2 칼라 정보채널(Cr)을 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널을 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널을 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 상기 휘도 채널(Y)만을 포함하는 영상을 생성하거나, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널만을 더 포함하는 영상을 생성하거나, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널만을 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 상기 영상이 동영상인 경우, 해당 프레임의 휘도 채널(Y)을 인접한 프레임의 휘도 채널과 통합하여 구성하는 단계;를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 생성된 영상을 이용해 심층 신경망을 학습 또는 테스트하는 단계;를 더 포함할 수 있다.
본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치는 RGB 3채널의 영상을 휘도 채널(Y), 제1 칼라 정보 채널(Cb) 및 제2 칼라 정보채널(Cr)로 분리하는 휘도/칼라 분리부; 및 상기 휘도 채널(Y), 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr) 중에서 적어도 하나를 포함하는 영상을 생성하는 칼라채널 통합부;를 포함한다.
본 발명의 다른 일실시예에 따르면, 상기 칼라채널 통합부는 상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 또는 상기 제2 칼라 정보채널(Cr)을 더 포함하는 영상을 생성할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 칼라채널 통합부는 상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널을 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 칼라채널 통합부는 상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널을 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 칼라채널 통합부는 상기 휘도 채널(Y)만을 포함하는 영상을 생성하거나, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널만을 더 포함하는 영상을 생성하거나, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널만을 포함하는 영상을 생성할 수 있다.
본 발명의 실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법은 심층 신경망에 사용되는 컨볼루션 층(Convolution Layer) 필터의 개수를 줄여 사용할 수 있도록 하는 입력 영상의 채널 감축 장치 및 방법을 제공할 수 있다.
보다 구체적으로, 본 발명의 실시예에 따르면, 3 개의 채널을 갖는 입력 영상을 상관성(correlation)이 크고 정보량이 적은 칼라 성분의 차원을 2 개나 1 개로 감소시키거나 모두 삭제하여, 신경망의 성능을 크게 저하시키지 않으면서 신경망에 적용되는 필터의 차원이나 개수를 감축할 수 있는 효과를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 신경망의 압축 방법 및 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치를 설명하기 위한 도면
도 3 내지 도 9는 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치의 보다 구체적인 실시예를 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치를 동영상의 심층 신경망에 확대 적용한 실시예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치의 CNN 구조 압축 결과를 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 신경망의 압축 방법 및 장치를 설명하기 위한 도면이고, 도 2는 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치를 설명하기 위한 도면으로서, 보다 상세하게는 압축된 CNN을 채널 감축 방법에 따라 줄어든 채널의 영상으로 훈련 및 테스팅 하는 과정을 설명하기 위한 도면이다.
또한, 도 3 내지 도 9는 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치의 보다 구체적인 실시예를 설명하기 위한 도면이다.
이후부터는 도 1 내지 도 9를 참조하여 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치를 설명하기로 한다.
도 1을 참조하면, 입력영상의 채널정보(10)에 따라 기존 CNN 구조(30)로부터 CNN 구조에 대한 압축(20)을 실행하여 압축된 CNN(40)을 얻을 수 있다.
도 2를 참조하면, 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치는 휘도/칼라 분리부(50) 및 칼라채널 통합부(60)를 포함하여 구성될 수 있다.
먼저, 휘도/칼라 분리부(50)가 RGB 3채널의 영상을 휘도 채널(Y), 제1 칼라 정보 채널(Cb) 및 제2 칼라 정보채널(Cr)로 분리한다.
또한, 칼라채널 통합부(60)는 상기 휘도 채널(Y), 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr) 중에서 적어도 하나를 포함하는 영상을 생성한다.
즉, 휘도/칼라 분리부(50)가 높이
Figure 112019119304709-pat00001
폭
Figure 112019119304709-pat00002
채널이
Figure 112019119304709-pat00003
의 차원을 갖는 이미지에 대해 RGB의 칼라 공간을 YCbCr과 같이 회색조 (gray scale)와 칼라가 분리된 형태로 변환한 뒤, 칼라채널 통합장치(60)가
Figure 112019119304709-pat00004
의 차원을 갖는 이미지를 생성한다.
이때, 2채널 통합 방식으로는 도 3에서와 같이 분리한 Y(채널)와 Cb(채널)를 통합하거나, 도 4에서와 같이 Y와 Cr을 통합하거나, 도 5에서와 같이 Y채널과 Cb, Cr을 교대로 취합한 채널을 통합하거나, 도 6에서와 같이 Y채널과 Cb, Cr의 평균을 낸 채널과 통합하는 방법이 있다.
또한, 1채널 통합 방식으로는 도 7에서와 같이 Y채널만으로 구성하거나, 도 8에서와 같이 픽셀을 건너뛰며 Cb, Cr을 취합하거나, 도 9에서와 같이 Cb, Cr의 평균으로 구성하는 방법이 있다. 이때, 이해를 돕기 위해 예시 영상의 각 픽셀에 그려 넣은 Y, Cb, Cr, (Cb+Cr)/2는 각각 원(○), 세모(△), 네모(□), 별(☆)모양으로 도시되어 있다.
보다 구체적으로, 도 3에 도시된 바와 같이 칼라채널 통합부(60)가 상기 휘도 채널(Y), 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr) 중에서, 휘도 채널(Y)과 제1 칼라 정보 채널(Cb)를 포함하도록 영상을 생성하거나, 도 4에 도시된 바와 같이 휘도 채널(Y)과 제2 칼라 정보채널(Cr)를 포함하도록 영상을 생성할 수 있다.
또한, 도 5에 도시된 바와 같이 칼라채널 통합부(60)가 상기 휘도 채널(Y), 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr) 중에서, 상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널을 더 포함하도록 영상을 생성할 수 있으며, 도 6에 도시된 바와 같이 상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널을 더 포함하도록 영상을 생성할 수 있다.
또 다른 실시예에서는, 도 7에 도시된 바와 같이 칼라채널 통합부(60)가 상기 휘도 채널(Y), 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr) 중에서, 상기 휘도 채널(Y)만을 포함하는 영상을 생성하거나, 도 8에 도시된 바와 같이 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널만을 더 포함하는 영상을 생성하거나, 도 9에 도시된 바와 같이 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널만을 포함하는 영상을 생성할 수 있다. 이때, 또 다른 실시예에서는 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀 중에 어느 하나를 선택하여 구성한 채널만을 포함하도록 영상을 생성할 수 있다.
이후에는 이와 같이 생성된 영상을 이용해 압축된 CNN(Convolutional Neural Networks: 40)과 같은 심층 신경망을 학습 또는 테스트할 수 있다.
도 10은 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치를, 많은 수의 프레임을 갖는 동영상의 심층 신경망에 확대 적용한 실시예를 도시한 도면으로서, 3 개의 칼라 채널을 갖는 원래의 비디오의 각 프레임을 정지 영상의 처리 방법에 따라 한 개의 채널로 압축한 후, 비디오를 위해 제안된 3D 신경망(3D CNN) 구조를 압축하여 사용하는 실시예를 도시하고 있다.
도 10의 실시예에 따르면, 높이
Figure 112019119304709-pat00005
폭
Figure 112019119304709-pat00006
채널
Figure 112019119304709-pat00007
프레임이
Figure 112019119304709-pat00008
의 차원을 갖는 동영상을 휘도/칼라분리부(50)를 이용해 회색조와 칼라가 분리된 형태로 변환한 뒤 칼라채널 통합부(60)를 이용해 1채널 동영상으로 변환하여 T개의 채널을 갖는 이미지로 변환시킨다.
T개의 회색조 프레임을 T개의 이미지 영상 채널에 재배치한 영상은 마치 정지영상과 같은 구조를 가지므로 입력 채널만을 변경한 2차원 심층 신경망 구조(CNN)의 입력으로 사용될 수 있다. 또는, T개의 영상 프레임을 입력으로 받는 동영상 CNN의 입력으로 사용할 수 있다.
도 11은 본 발명의 일실시예에 따른 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법 및 장치의 CNN 구조 압축 결과를 설명하기 위한 도면이다.
변환되기 전 이미지가 가지는 3채널에서 2채널로 줄어들게 되면 신경망의 입력 영상 데이터 량이 약 1/3만큼 줄게 되므로, 이에 비례하게 기존 심층 신경망의 컨볼루션(Convolution)층의 필터 개수를 1/3 감축하는 근거가 된다.
또한, 3채널에서 1채널로 줄어들게 되면 입력 영상 데이터량이 약 2/3만큼 줄게 되므로 기존 심층 신경망의 컨볼루션층의 필터 개수를 2/3 감축하는 근거가 된다.
기존 심층 CNN 구조(30)의 예로, 대표적인 심층 신경망인 AlexNet(Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, Advances in neural information processing systems. 2012.)을 예로 든다면 기존의 3채널 영상(80)을 위해 제안된 AlexNet의 입력에 대해, 본 발명을 이용해 2개의 채널 입력 영상 (90)으로 감축시키면, 연속되는 필터의 개수도 96개에서 64개로 줄일 수 있고, 이어서 256개를 171개로 줄일 수 있으며, 이어서 384개를 256개로 줄일 수 있으며, 이어서 384개를 256개로 줄일 수 있고, 이어서 256개를 171개로 줄일 수 있다.
이때, 기존의 총 파라미터 개수인 62,378,344개를 2채널로 변경시 47,765,182개로 약 23.43% 감소시킬 수 있다.
또한, 기존의 3채널 영상(80)을 위해 제안된 AlexNet의 입력을 본 발명을 이용해 1개의 채널 입력 영상(100)으로 감축시키면, 연속되는 필터의 개수도 96개에서 32개로 줄일 수 있으며, 이어서 256개를 85개로 줄일 수 있고, 이어서 384개를 128개로 줄일 수 있고, 이어서 384개를 128개로 줄일 수 있으며, 이어서 256개를 85개로 줄일 수 있다.
이때, 기존의 총 파라미터 개수인 62,378,344개를 1채널로 변경시 33,831,794개로 약 45.76% 감소시킬 수 있다.
한편, 기존의 AlexNet 심층 신경망 구조를 통해 RAF(Real-world Affective Faces) 감정 데이터를 훈련 시 82.4%의 정확성을 가졌고, 동일한 데이터를 2채널(Y, Cb)로 채널 감축 및 통합 후 압축시킨 AlexNet을 적용하여 훈련 시 81.52%의 정확성을 가지는 신경망을 얻을 수 있으며, 0.88%의 정확성 손해를 통해 23.43%의 파라미터 감축 효과를 얻을 수 있다.
또한, 1채널(Y)로 채널 감축 및 통합 후 압축시킨 AlexNet을 적용하여 훈련 시 80.83%의 정확성을 가지는 신경망을 얻을 수 있으며, 1.57%의 정확성 손해를 통해 45.76%의 파라미터 감축 효과를 얻을 수 있다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (12)

  1. RGB 3채널의 영상을 휘도 채널(Y), 제1 칼라 정보 채널(Cb) 및 제2 칼라 정보채널(Cr)로 분리하는 제1 단계; 및
    상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 또는 상기 제2 칼라 정보채널(Cr)을 더 포함하는 영상을 생성하는 제2 단계;
    를 포함하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 제2 단계는,
    상기 휘도 채널(Y)을 포함하고,
    상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널을 더 포함하는 영상을 생성하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법.
  4. 청구항 1에 있어서,
    상기 제2 단계는,
    상기 휘도 채널(Y)을 포함하고,
    상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널을 더 포함하는 영상을 생성하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법.
  5. RGB 3채널의 영상을 휘도 채널(Y), 제1 칼라 정보 채널(Cb) 및 제2 칼라 정보채널(Cr)로 분리하는 제1 단계; 및
    상기 휘도 채널(Y)만을 포함하는 영상을 생성하거나, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널만을 더 포함하는 영상을 생성하거나, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널만을 포함하는 영상을 생성하는 제2 단계;
    를 포함하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법.
  6. 청구항 1에 있어서,
    상기 제2 단계는,
    상기 영상이 동영상인 경우, 해당 프레임의 휘도 채널(Y)을 인접한 프레임의 휘도 채널과 통합하여 구성하는 단계;
    를 더 포함하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법.
  7. 청구항 1에 있어서,
    상기 생성된 영상을 이용해 심층 신경망을 학습 또는 테스트하는 단계;
    를 더 포함하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 방법.
  8. RGB 3채널의 영상을 휘도 채널(Y), 제1 칼라 정보 채널(Cb) 및 제2 칼라 정보채널(Cr)로 분리하는 휘도/칼라 분리부; 및
    상기 휘도 채널(Y)을 포함하고, 상기 제1 칼라 정보 채널(Cb) 또는 상기 제2 칼라 정보채널(Cr)을 더 포함하는 영상을 생성하는 칼라채널 통합부;
    를 포함하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치.
  9. 삭제
  10. 청구항 8에 있어서,
    상기 칼라채널 통합부는,
    상기 휘도 채널(Y)을 포함하고,
    상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널을 더 포함하는 영상을 생성하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치.
  11. 청구항 8에 있어서,
    상기 칼라채널 통합부는,
    상기 휘도 채널(Y)을 포함하고,
    상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널을 더 포함하는 영상을 생성하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치.
  12. RGB 3채널의 영상을 휘도 채널(Y), 제1 칼라 정보 채널(Cb) 및 제2 칼라 정보채널(Cr)로 분리하는 휘도/칼라 분리부; 및
    상기 휘도 채널(Y)만을 포함하는 영상을 생성하거나, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 교차하여 구성한 채널만을 더 포함하는 영상을 생성하거나, 상기 제1 칼라 정보 채널(Cb) 및 상기 제2 칼라 정보채널(Cr)의 픽셀을 평균내어 구성한 채널만을 포함하는 영상을 생성하는 칼라채널 통합부;
    를 포함하는 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치.
KR1020190149523A 2019-11-20 2019-11-20 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법 KR102120681B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190149523A KR102120681B1 (ko) 2019-11-20 2019-11-20 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190149523A KR102120681B1 (ko) 2019-11-20 2019-11-20 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102120681B1 true KR102120681B1 (ko) 2020-06-10

Family

ID=71087134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190149523A KR102120681B1 (ko) 2019-11-20 2019-11-20 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102120681B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104818A (zh) * 2020-08-28 2020-12-18 稿定（厦门）科技有限公司 Rgb通道分离方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shreyank N Gowda and Chun Yuan, "ColorNet: Investigating the importance of colorspaces for image classification", ACCV2018, 01, FEB, 2019.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104818A (zh) * 2020-08-28 2020-12-18 稿定（厦门）科技有限公司 Rgb通道分离方法及系统
CN112104818B (zh) * 2020-08-28 2022-07-01 稿定（厦门）科技有限公司 Rgb通道分离方法及系统

Similar Documents

Publication Publication Date Title
US11025907B2 (en) Receptive-field-conforming convolution models for video coding
US9438930B2 (en) Systems and methods for wavelet and channel-based high definition video encoding
JP4559622B2 (ja) 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮
Narayanaperumal et al. VLSI Implementations of Compressive Image Acquisition using Block Based Compression Algorithm.
US8780996B2 (en) System and method for encoding and decoding video data
US10237559B2 (en) Layer-based video decoding
CN110971901B (zh) 卷积神经网络的处理方法、装置、设备及存储介质
US20130251261A1 (en) Method And Apparatus For Image Data Compression
KR20200095589A (ko) 개선된 영상 압축 시스템 및 방법
US11928843B2 (en) Signal processing apparatus and signal processing method
US20160150235A1 (en) Layer-based video encoding
KR20210018668A (ko) 딥러닝 신경 네트워크를 사용하여 다운샘플링을 수행하는 이미지 처리 시스템 및 방법, 영상 스트리밍 서버 시스템
CN116547969A (zh) 基于机器学习的图像译码中色度子采样格式的处理方法
US10841586B2 (en) Processing partially masked video content
KR102120681B1 (ko) 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법
AU2022286517A1 (en) Feature data encoding method and apparatus and feature data decoding method and apparatus
Miyata et al. Novel inverse colorization for image compression
CN116508320A (zh) 基于机器学习的图像译码中的色度子采样格式处理方法
CN116847087A (zh) 视频处理方法、装置、存储介质及电子设备
JP2018019239A (ja) 撮像装置及びその制御方法及びプログラム
Fouad A lossless image compression using integer wavelet transform with a simplified median-edge detector algorithm
CN115294429A (zh) 一种基于特征域网络训练方法和装置
US11350134B2 (en) Encoding apparatus, image interpolating apparatus and encoding program
CN114979711A (zh) 音视频或图像分层压缩方法和装置
CN117321989A (zh) 基于神经网络的图像处理中的辅助信息的独立定位

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant