KR20200080913A - 자기상관계수를 이용한 심층신경망 기반 신호처리 방법 및 장치 - Google Patents

Abstract

신경망의 입력으로 시간 영역의 신호를 사용하는 경우 위상에 매우 민감하게 되어 신호처리의 성능 및 신호품질의 개선은 불가능하다. 특히, 다수의 송신기와 다수의 수신기가 있는 N:N 통신시스템에서의 심층신경망 기반 신호처리에 있어서의 신호 품질을 개선하기 위하여, 심층신경망에 입력하는 특징벡터로 자기상관계수를 사용하고자 한다. 본 발명의 한 측면에 따르면, 신호원으로부터 시계열 신호를 수신하여 이 시계열 신호로부터 자기상관 특징을 추출하는 단계; 상기 자기상관 특징을 심층신경망에 입력하는 단계; 심층신경망에서 상기 입력된 자기상관계수 신호를 분석하여 라벨들에 따른 분류를 수행하는 단계를 포함하는 심층신경망 기반 신호처리 방법이 제공된다. 여기에는 상기 심층신경망이 입력받은 자기상관 특징을 분석하여 상기 분류된 라벨 중 하나를 1로 출력하고 나머지 라벨은 0으로 출력하는 단계가 추가로 포함될 수 있다.

Description

자기상관계수를 이용한 심층신경망 기반 신호처리 방법 및 장치 {Method and apparatus for signal processing using deep neural network with autocorrelation coefficient}

본 발명은 심층신경망 기반 신호처리에 관한 것으로, 구체적으로, 심층신경망에 입력하는 특징벡터로 자기상관계수를 사용하여 신호 품질을 개선하는 심층신경망 기반 신호처리 방법 및 장치에 관한 것이다.

IoT 통신시스템 등에 적용가능한 심층신경망 기반 신호처리의 경우에, 신경망 입력으로 주로 단구간 스펙트럼의 크기(short-time magnitude spectrum)를 사용한다. 시간영역의 신호(time-domain raw signal)를 입력으로 사용할 수 있지만, 이 경우 신호의 위상에 매우 민감하여 신호처리 품질이 저하될 수 있다.

도 1은 일반적인 심층신경망 기반 신호처리의 개념을 나타낸다. 시간영역의 신호(10)에 다양한 노이즈(12)가 입혀져 있는 특징을 심층신경망(20)에 입력하고 분석하여 노이즈가 제거된 신호(10')를 얻는 개념이다.

본 발명의 심층신경망 기반 신호처리의 배경기술에 대한 설명은 아래 제시된 선행기술문헌으로 갈음한다.

한국등록특허 10-1266894 (2013. 5. 24. 공고) 미국등록특허 9,922,664 (2018. 3 20.공고)

신경망의 입력으로 시간 영역의 신호를 사용하는 경우 위상에 매우 민감하게 되어 신호처리의 성능 및 신호품질의 개선은 불가능하다. 특히, 다수의 송신기와 다수의 수신기가 있는 N:N 통신시스템에서의 심층신경망 기반 신호처리에 있어서의 신호 품질을 개선하기 위하여, 심층신경망에 입력하는 특징벡터로 자기상관계수를 사용하고자 하는 것이 본 발명의 목적이다.

상기 과제를 해결하기 위하여 본 발명의 한 측면에 따르면, 신호원으로부터 시계열 신호를 수신하여 이 시계열 신호로부터 자기상관 특징을 추출하는 단계; 상기 자기상관 특징을 심층신경망에 입력하는 단계; 심층신경망에서 상기 입력된 자기상관계수 신호를 분석하여 라벨들에 따른 분류를 수행하는 단계를 포함하는 심층신경망 기반 신호처리 방법이 제공된다. 여기에는 상기 심층신경망이 입력받은 자기상관 특징을 분석하여 상기 분류된 라벨 중 하나를 1로 출력하고 나머지 라벨은 0으로 출력하는 단계가 추가로 포함될 수 있다.

여기서, 상기 신호원은 다채널 IoT 통신시스템의 송신기이고, 상기 라벨들은 입력신호의 종류, 채널 환경, 신호품질 개선을 위한 최적의 수신기/송신기 정보 중 적어도 하나일 수 있다.

또한, 상기 자기상관 특징은

(단, μ와 σ²은 각각 수신 신호의 평균과 분산, E는 기대치, x는 입력값, τ는 시간 차이)의 수학식으로 추출될 수 있다.

또한 상기 과제를 해결하기 위하여 본 발명의 다른 측면에 따르면, 신호원으로부터 시계열 신호를 수신하여 이 시계열 신호로부터 자기상관 특징을 추출하는 수단; 상기 자기상관 특징을 입력받아, 상기 입력된 자기상관계수 신호를 분석하여 라벨들에 따른 분류를 수행하는 심층신경망을 포함하는 심층신경망 기반 신호처리 장치가 제공된다.

이상에서 소개한 본 발명의 구성 및 작용은 이후에 도면과 함께 설명하는 구체적인 실시예를 통하여 더욱 명확해질 것이다.

종래기술에서는 IoT 통신시스템에서 심층신경망의 입력 특징 벡터로 단구간 스펙트럼의 크기를 사용하거나 시간영역 신호를 사용하였으나, 본 발명에서는 자기상관계수를 이용하여 IoT 통신시템 등의 성능이 개선된다. 자기상관계수를 신경망의 입력으로 사용하여 신호처리의 성능을 향상시킬 수 있고 이를 통해 잡음제거, 신호분류 등의 성능 개선을 할 수 있다.

본 발명은 특히 다채널 IoT 통신시스템에 적용될 경우, 심층신경망 기반 신호처리를 할 경우, 여러 개의 수신기로부터 신호를 수신함에 있어서 자기상관계수를 특징벡터로 사용함으로써 신호품질을 개선하고 SNR을 높일 수 있다. 예컨대, 통신에서 심층신경망을 이용하여 잡음을 제거하여 SNR을 높이고자 할 때 단구간 스펙트럼 크기를 사용하거나 시간 영역 신호를 사용하는 경우에 비해 처리되는 신호의 품질을 높일 수 있다. 또한 주어진 통신 환경에서 심층신경망을 통해 학습된 데이터를 바탕으로 통신 신호의 품질을 개선할 수 있다. 또한 신호 분류 등의 성능향상이 이루어질 수 있다.

도 1은 일반적인 심층신경망 기반 신호처리의 개념도
도 2는 본 발명에 따른 자기상관계수를 입력으로 하는 심층신경망 기반 신호처리 방법 및 장치의 개념도
도 3은 시간 영역의 시계열 신호의 예시도
도 4의 (a)는 시계열 신호인 백색 잡음을 나타내고 (b)는 이 백색 잡음의 자기상관계수(ACF)를 나타냄
도 5는 본 발명에 따른, 다채널 IoT 통신시스템에서의 심층신경망 기반 신호처리 방법 및 장치의 한 실시예 구성도
도 6은 본 발명의 개념을 이용하여 노이즈 제거를 하는 시스템의 예시도

본 발명의 이점 및 특징, 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 기술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명을 생략한다.

도 2는 본 발명에 따른 자기상관계수(자기상관 특징벡터)를 입력으로 하는 심층신경망 기반 신호처리 방법 및 장치의 개념도이다.

예컨대 통신시스템의 경우의 수신기, 의료/진단 시스템에의 경우의 각종 센서, 기타 신호원으로부터 신호를 수신하고, 수신 신호의 자기상관 특징을 추출하여 이로부터 자기상관 특징벡터를 생성하여 심층신경망(DNN)에 입력한다. 심층신경망은 입력층, 출력층, 및 다중은닉층을 포함하여 비선형적 관계 학습을 위한 인공신경망이다. 심층신경망에서는 입력된 자기상관계수 신호를 분석하여 소정 라벨에 따른 분류를 수행한다. 여기서 라벨로는 입력신호의 종류, 채널 환경, 신호품질 개선을 위한 최적의 수신기/송신기 정보, 센서 정보 등을 사용할 수 있다. 물론, 심층신경망에서는 이들 라벨별 자기상관 특징들에 대해 학습을 수행하였으며 계속해서 입력되는 자기상관 특징들에 의해 그 성능이 진화된다.

다채널 IoT 통신시스템에 본 발명을 적용하는 경우에는, 이 통신시스템에서 최적의 송신기를 선택하기 위하여, 주어진 신호에서 추출한 자기상관 특징에 따라 각 수신기로부터 입력된 신호에 적합한 송신기를 분류한다. 따라서 이 경우의 심층신경망의 학습은, 특정 송신기가 최적의 SNR을 포함한다면 이 특정 송신기에 해당하는 출력 노드값이 1이 되고 나머지 송신기들에 해당되는 출력 노드값은 0이 되도록 진행된다.

여기서, 심층신경망의 입력으로 시간영역의 시계열 신호 대신에 자기상관계수를 특징벡터로 사용하는 것에 관하여 좀 더 구체적으로 설명한다.

예를 들어 IoT 통신시스템에서의 음성신호 처리에서, 실제 통신 환경에서 음성신호에 입혀져 있는 노이즈 신호를 분석하기 위해 심층신경망을 사용하는 신호처리 구성을 가정하여 설명한다. 만일 시간 영역의 시계열 신호를 사용하는 경우라면 도 3과 같은 시계열 신호를 심층신경망에 입력한다(실제로는, 시계열 신호에서 묵음 성분은 심층신경망에 입력할 필요가 없으므로 이를 제거한 후에 사용하게 될 것이다). 하지만 이 경우에는 신호처리 성능이 입력 신호의 위상에 매우 민감하여 통신의 품질이 저하될 수 있고, 따라서 음성신호의 다양하고 동적인 특징을 잘 반영하지 못한다.

따라서 도 3과 같은 음성신호를 아래의 수학식을 이용해 자기상관계수를 구하여 이를 심층신경망의 입력 특징벡터로 사용한다. 이에 신호의 특징을 더 잘 반영하게 되며 따라서 심층신경망의 성능이 향상된다. 자기상관계수는 아래의 수학식으로 구할 수 있다. 아래 식에서 μ와 σ²은 각각 신호의 평균과 분산이며, E는 기대치(expectation)이고 x는 입력값을 의미한다. 아래 식에서 자기상관계수 R은 시간 차이(시간축에서 이동한 정도) τ만에 종속적이다.

도 4의 (a)는 시계열 신호인 백색 잡음을 나타내고 (b)는 이 백색 잡음의 자기상관계수(ACF: autocorrelation function)를 나타낸다. 백색 잡음은 난수에 가까우므로 자기상관계수를 추출하면 0에서 가장 큰 자기상관계수를 가지게 된다.

이와 같이 자기상관계수는 신호의 특징을 더 잘 표현할 수 있으므로 이를 심층신경망의 입력으로 이용하고자 하는 것이다. 또한, 심층신경망의 입력 노드가 여러 개로 구성되고 입력되는 값들이 여러 개이며 자기상관계수는 여러 개의 값을 가지므로 이를 벡터로 나타낸 특징벡터로써 심층신경망에 입력한다.

도 5는 본 발명에 따른, 다채널 IoT 통신시스템에서의 심층신경망 기반 신호처리 방법 및 장치의 한 실시예의 구성도이다.

시간 영역의 시계열 신호인 음성신호가 수신 또는 입력되면(110), 이로부터 자기상관계수를 추출하여 자기상관 특징벡터를 생성한다(120). 자기상관계수의 추출은 파이썬의 Correlation 함수를 사용할 수 있다. 상관분석을 할 때 Correlation 함수에 서로 다른 두 신호를 입력하게 되며, 본 발명에서와 같이 자기상관 특징을 추출할 때는 같은 신호를 입력하여 자기상관을 구하게 된다.

자기상관 특징벡터를 심층신경망에 입력하여(130) 사전 설정한 라벨 - 예를 들어 백색 잡음, 자동차 경적, 모터 소리, 음악 - 로 분류해 수신된 음성신호에 어떤 노이즈가 존재하는지 분석한다(140). 가령, 도 4의 (a)와 같은 백색 잡음이 입혀진 음성신호가 들어오면 도 4의 (b)와 같은 자기상관 특징을 추출하고 이 자기상관 특징을 심층신경망에 입력하는 것이다. 심층신경망은 입력받은 자기상관 특징을 분석하여 여러 가지 라벨 중에서 백색 잡음 라벨을 1로 출력하고 나머지 노이즈에 해당하는 라벨은 0으로 출력한다(150).

이와 같이 도 5의 시스템으로 구성할 경우에 IoT 음성신호 기반 통신시스템에서 수신한 또는 입력 받은 음성신호의 노이즈를 심층신경망 분석을 통해 파악(즉, 잡음환경을 파악)하고 해당 노이즈를 적의 처리함으로써 SNR을 더 높일 수 있다.

도 2 및 도 5를 참조하여 본 발명의 사상을 IoT 통신시스템을 예로 들어 좀더 구체적으로 설명하면 다음과 같다. 수신기에서 노이즈가 있는 신호를 수신하면 심층신경망을 통해 수신한 신호에 있는 노이즈의 종류를 특정한다. IoT 시스템에서 많이 쓰이는 음성 신호를 예로 들면, 음성 신호에 간섭할 수 있는 잡음으로 백색 잡음, 자동차 경적, 모터 소리, 음악 등이 있다. 노이즈가 있는 신호에서 자기상관 특징을 추출하여 심층신경망의 입력으로 쓰게 된다. 심층신경망을 학습하기 위해 다양한 노이즈 환경에서 수신한 신호를 수집하여 이를 심층신경망으로 분류하는 학습을 진행한다. 예를 들어, 도 2와 같이 백색 잡음, 자동차 경적, 모터 소리, 음악을 노이즈 종류라 가정하고 학습을 진행하면 주어진 신호에서 추출한 자기상관 특징에 따라 입력된 신호의 노이즈 환경을 분류한다. 이 경우 심층신경망 출력 노드의 개수는 4개이고 출력 값은 0이나 1로 나오게 된다. 따라서, 백색 잡음이 노이즈인 신호가 입력되면 백색 잡음에 해당하는 노드 값이 1이 되고 나머지 자동차 경적, 모터 소리, 음악에 해당하는 출력 노드 값이 0이 되도록 학습이 진행된다.

주어진 통신 환경에 따른 노이즈를 고려하여 수신되는 신호에서 심층신경망을 통해 특정되는 노이즈를 제거함으로써 신호 품질을 개선하고 SNR을 높일 수 있다. 노이즈 제거를 위한 시스템도 역시 도 6과 같이 심층신경망을 사용할 수 있다. 도 6에서 ①번의 심층신경망은 노이즈 환경 분류를 위한 심층신경망이며, ②번의 심층신경망은 노이즈 제거를 위한 심층신경망이다. 종래의 기술처럼 통신 환경을 고려하지 않고 하나의 노이즈 제거 심층신경망을 사용하는 것보다 각 환경에 맞게 학습된 노이즈 제거 심층신경망을 사용하면 신호 품질을 개선하고 SNR을 높일 수 있다. 따라서 노이즈 제거 성능을 높이기 위해서는 우선 노이즈가 있는 신호에서 노이즈를 잘 특정하는 것이 중요하며 종래에는 사용하지 않은 새로운 특징 벡터인 자기상관 특징을 사용함으로써 성능을 더 높일 수 있다.

이상에서 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 위에서 실시예를 IoT 통신시스템의 경우의 음성신호를 설명하였으나, 동 통신시스템에서의 음성이 아닌 다른 임의의 데이터 또는 통신신호, 통신시스템이 아닌 분야에서의 다른 데이터 또는 신호(예를 들어, 의료/진단 시스템에서의 바이오신호 등)의 처리에 대해서도 본 발명의 사상을 적용할 수 있다. 이와 같이 본 발명의 보호범위는 상기 상세한 설명보다는 후술한 특허청구범위에 의하여 정해지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 기술적 범위에 포함되는 것으로 해석되어야 한다.

Claims (5)

1. 신호원으로부터 시계열 신호를 수신하여 이 시계열 신호로부터 자기상관 특징을 추출하는 단계;
   상기 자기상관 특징을 심층신경망에 입력하는 단계;
   심층신경망에서 상기 입력된 자기상관계수 신호를 분석하여 라벨들에 따른 분류를 수행하는 단계를 포함하는 심층신경망 기반 신호처리 방법.
2. 제1항에서, 상기 신호원은 다채널 IoT 통신시스템의 송신기이고
   상기 라벨들은 입력신호의 종류, 채널 환경, 신호품질 개선을 위한 최적의 수신기/송신기 정보 중 적어도 하나인 심층신경망 기반 신호처리 방법.
3. 제1항에서, 상기 자기상관 특징은

   

   (단, μ와 σ²은 각각 수신 신호의 평균과 분산, E는 기대치, x는 입력값, τ는 시간 차이)의 수학식으로 추출되는 것을 특징으로 하는 심층신경망 기반 신호처리 방법.
4. 제1항에서, 상기 심층신경망은 입력받은 자기상관 특징을 분석하여 상기 분류된 라벨 중 하나를 1로 출력하고 나머지 라벨은 0으로 출력하는 단계를 추가로 포함하는 심층신경망 기반 신호처리 방법.
5. 신호원으로부터 시계열 신호를 수신하여 이 시계열 신호로부터 자기상관 특징을 추출하는 수단;
   상기 자기상관 특징을 입력받아, 상기 입력된 자기상관계수 신호를 분석하여 라벨들에 따른 분류를 수행하는 심층신경망을 포함하는 심층신경망 기반 신호처리 장치.
   
   

Images