KR102098886B1 - 다채널 오디오 믹서를 포함하는 인공지능 음향 조율 시스템의 제어 방법, 장치 및 시스템 - Google Patents

Abstract

다채널 오디오 믹서를 포함하는 인공지능 음향 조율 시스템의 제어 방법이 개시된다. 본 발명에 따른 제어 방법은 복수의 오디오 장치 중 제1 오디오 장치가, 상기 제1 오디오 장치를 이퀄라이징하기 위한 제1 테스트 오디오 신호를 출력하는 단계(S100); 전자 장치가, 상기 제1 테스트 오디오 신호를 수신하여, 제1 테스트 오디오 신호에 대한 제1 주파수 응답 특성 데이터 및 제1 잔향시간 데이터를 획득하는 단계(S200); 상기 전자 장치가, 상기 획득된 제1 주파수 응답 특성 데이터 및 제1 잔향시간 데이터를 서버로 전송하는 단계(S300); 상기 서버가, 상기 획득된 제1 주파수 응답 특성 데이터 및 상기 제1 잔향시간 데이터를 바탕으로 상기 제1 오디오 장치의 출력을 제어하기 위한 제1 이퀄라이징 파라미터를 획득하여 상기 다채널 오디오 믹서로 전송하는 단계(S400); 및 상기 다채널 오디오 믹서가, 상기 획득된 제1 이퀄라이징 파라미터를 바탕으로 상기 제1 오디오 장치를 보정하여 제1 출력 오디오 신호를 출력하는 단계(S500); 를 포함한다.

Description

다채널 오디오 믹서를 포함하는 인공지능 음향 조율 시스템의 제어 방법, 장치 및 시스템{CONTROL METHOD, APPARATUS AND SYSTEM FOR ARTIFICIAL INTELLIGENCE SOUND TUNING SYSTEM INCLUDING MULTICHANNEL AUDIO MIXER}

본 발명은 다채널 오디오 믹서를 포함하는 인공지능 음향 조율 시스템의 제어 방법, 장치 및 시스템에 관한 것이다.

4차 산업 혁명에 따른 신기술의 등장으로, 다양한 분야에 새로운 기술이 접목되고 있다. 구체적으로, 가상 현실 기술, 인공 지능 기술 등의 새로운 기술들이 다양한 산업 분야에 적용되고 있다.

이러한 다양한 기술들 중, 인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.

인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.

기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.

인공지능 기술은 다양한 분야에서 응용되며, 특히 정보를 수집하고 수집된 정보에 기초하여 결론을 추론하거나, 빅데이터에 포함된 데이터 간의 연관성을 파악하여 새로운 정보를 도출해내는 것도 가능하다.

한편, 종래에는 오디오 음향을 최적화 하기 위해서는 오디오 장비가 설치된 공간에서 엔지니어가 음향 상태를 측정하여 오디오 이퀄라이저를 조절하여 최적화 하는 것이 일반적인 방법이었다. 구체적으로, 오디오 음향의 최적화를 위해서는, 오디오 장치가 설치된 공간의 규모, 형태, 바닥-벽체-천정 재질 등의 설치 환경 정보를 파악하고, 파악된 환경정보에 대한 오디오 음향 최적화 과정이 필요하였다.

그러나 건물마다 모두 다른 수없이 많은 형태의 규모, 형태, 바닥-벽체-천정 재질 등 모든 공간의 설치환경 정보가 각각 다르기 때문에 이러한 정보를 모두 수집하여 오디오 음향을 최적화 하는 것은 매우 어려운 작업이었다.

따라서, 종래 오디오 음향의 최적화는 다년간 음향 장비를 설치하거나 운영한 경험이나 노하우가 풍부한 전문가의 주관적 판단에 의해 이뤄지는 경우가 많았으며, 이에 따라 전문가가 아니더라도 손쉽게 오디오 음향을 최적화 할 수 있는 방법에 대한 기술의 필요성이 존재하게 되었다.

나아가, 오디오 기술의 발전에 따라, 음향 공간에 설치되는 오디오 장비의 수가 점점 늘고 있는 추세이다. 복수의 오디오 장비에서 출력되는 복수의 오디오 신호를 조율하기 위해서는 다채널 오디오 믹서가 필요하며, 종래의 음향 조율 전문가는 다채널 오디오 믹서를 통해 출력된 오디오 신호를 바탕으로 최종 오디오 신호를 보정하게 된다. 이 경우, 오디오 장비의 수가 많아질수록, 음향 조율 전문가가 음향을 조율하는 것이 더욱 어려워진다. 따라서, 복잡한 공간 오디오 음향 조율을 위한 최적화된 방법의 필요성이 존재한다.

등록특허공보 제10-1764274호, 2017.07.27 등록

본 발명이 해결하고자 하는 과제는 본 발명은 다채널 오디오 믹서를 포함하는 인공지능 음향 조율 시스템의 제어 방법, 장치 및 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 다채널 오디오 믹서를 포함하는 인공지능 음향 조율 시스템의 제어 방법은, 복수의 오디오 장치 중 제1 오디오 장치가, 상기 제1 오디오 장치를 이퀄라이징하기 위한 제1 테스트 오디오 신호를 출력하는 단계(S100); 전자 장치가, 상기 제1 테스트 오디오 신호를 수신하여, 제1 테스트 오디오 신호에 대한 제1 주파수 응답 특성 데이터 및 제1 잔향시간 데이터를 획득하는 단계(S200); 상기 전자 장치가, 상기 획득된 제1 주파수 응답 특성 데이터 및 제1 잔향시간 데이터를 서버로 전송하는 단계(S300); 상기 서버가, 상기 획득된 제1 주파수 응답 특성 데이터 및 상기 제1 잔향시간 데이터를 바탕으로 상기 제1 오디오 장치의 출력을 제어하기 위한 제1 이퀄라이징 파라미터를 획득하여 상기 다채널 오디오 믹서로 전송하는 단계(S400); 및 상기 다채널 오디오 믹서가, 상기 획득된 제1 이퀄라이징 파라미터를 바탕으로 상기 제1 오디오 장치를 보정하여 제1 출력 오디오 신호를 출력하는 단계(S500); 를 포함한다.

이때, 상기 제1 테스트 오디오 신호의 출력이 중단된 경우, 상기 제어 방법은, 복수의 오디오 장치 중 제2 오디오 장치가, 상기 제2 오디오 장치를 이퀄라이징 하기 위한 제2 테스트 오디오 신호를 출력하는 단계(S610); 전자 장치가, 상기 제2 테스트 오디오 신호를 수신하여, 제2 테스트 오디오 신호에 대한 제2 주파수 응답 특성 데이터 및 제2 잔향시간 데이터를 획득하는 단계(S620); 상기 전자 장치가, 상기 획득된 제2 주파수 응답 특성 데이터 및 제2 잔향시간 데이터를 서버로 전송하는 단계(S630); 상기 서버가, 상기 획득된 제2 주파수 응답 특성 데이터 및 상기 제2 잔향시간 데이터를 바탕으로 상기 제2 오디오 장치의 출력을 제어하기 위한 제2 이퀄라이징 파라미터를 획득하여 상기 다채널 오디오 믹서로 전송하는 단계(S640); 및 상기 다채널 오디오 믹서가, 상기 획득된 제2 이퀄라이징 파라미터를 바탕으로 상기 제2 오디오 장치를 보정하여 제2 출력 오디오 신호를 출력하는 단계(S650); 를 포함하고, 상기 제어 방법은, 상기 제1 오디오 장치 및 상기 제2 오디오 장치가, 상기 제1 출력 오디오 신호 및 상기 제2 출력 오디오 신호를 동시에 출력하는 단계(S660); 상기 전자 장치가, 상기 제1 출력 오디오 신호 및 상기 제2 출력 오디오 신호를 포함하는 제3 출력 오디오 신호를 수신하여 상기 서버로 전송하는 단계(S670); 및 상기 서버가, 상기 제3 출력 오디오 신호, 상기 제1 오디오 장치 및 상기 제2 오디오 장치의 스펙 정보를 바탕으로 상기 제1 이퀄라이징 파라미터 및 상기 제2 이퀄라이징 파라미터를 변경하여 상기 다채널 오디오 믹서로 전송하는 단계(S680);를 포함할 수 있다.

이때, 상기 단계(S400)는, 상기 서버가, 음향 조율을 위한 인공지능 모델을 학습시키기 위한 학습 데이터를 수집하는 단계(S410); 상기 서버가, 상기 학습 데이터를 바탕으로 상기 인공지능 모델을 학습시키는 단계(S420); 및 상기 서버가, 상기 학습된 인공지능 모델에 상기 제1 주파수 응답 특성 데이터 및 상기 제1 잔향시간 데이터를 상기 인공지능 모델에 입력 데이터로 입력하여 상기 제1 이퀄라이징 파라미터를 획득하는 단계(S430); 를 포함할 수 있다.

이때, 상기 학습 데이터를 수집하는 단계(S410)는, 상기 제1 테스트 오디오 신호의 음압을 획득하는 단계(S411); 제1 잔향시간, 제2 잔향시간, 제3 잔향시간, 제4 잔향시간 및 제5 잔향시간 중 적어도 하나의 잔향시간을 포함하는 잔향시간 데이터를 획득하는 단계(S412); 제1 학습용 오디오 신호를 획득하는 단계(S413); 상기 제1 학습용 오디오 신호로부터 제1 학습용 오디오 데이터를 획득하는 단계(S414); 및 상기 제1 학습용 오디오 데이터를 복수의 주파수 밴드로 분류하고, 상기 제1 학습용 오디오 데이터에 상기 복수의 주파수 밴드 각각에 대한 학습용 이퀄라이징 파라미터를 적용하여 측정된 상기 복수의 주파수 밴드 각각에 대한 음압을 획득하는 단계(S415);를 포함하고, 상기 인공지능 모델을 학습시키는 단계(S420)는, 상기 인공지능 모델에 상기 제1 잔향시간 데이터 및 상기 제1 학습용 오디오 데이터를 인공지능 모델에 입력하여 입력하여 상기 제1 출력 오디오 신호에 대한 목표 음압이 출력되도록 상기 인공지능 모델의 가중치를 변경하는 단계(S421); 및 상기 제1 출력 오디오 신호에 대응되는 상기 제1 이퀄라이징 파라미터를 획득하는 단계(S422); 를 포함할 수 있다.

이때, 상기 단계(S680)는, 상기 제3 출력 오디오 신호의 음압과 목표 음압을 비교하는 단계(S681); 및 상기 제3 출력 오디오 신호의 음압과 상기 목표 음압의 차이값이 기 설정된 값 이상인 경우, 상기 보정된 출력 오디오 신호를 폐루프 제어 시스템의 입력값으로 입력하여 2차 보정하는 단계(S682); 를 포함할 수 있다.

이때, 상기 제1 오디오 장치 및 상기 제2 오디오 장치의 스펙 정보는, 상기 제1 오디오 장치 및 상기 제2 오디오 장치가 출력할 수 있는 주파수 대역에 대한 스펙 정보 및 상기 제1 오디오 장치 및 상기 제2 오디오 장치의 최대 출력에 대한 스펙 정보를 포함하고, 상기 단계(S680)는, 상기 제2 이퀄라이징 파라미터를 유지한 상태에서 상기 목표 음압 및 상기 제3 출력 오디오 신호를 상기 인공지능 모델에 입력하여 상기 제1 오디오 장치에 대한 제3 이퀄라이징 파라미터를 획득하는 단계(S683); 상기 제1 이퀄라이징 파라미터를 유지한 상태에서 상기 목표 음압 및 상기 제3 출력 오디오 신호를 상기 인공지능 모델에 입력하여 상기 제2 오디오 장치에 대한 제4 이퀄라이징 파라미터를 획득하는 단계(S684); 상기 제3 이퀄라이징 파라미터 및 상기 제1 오디오 장치에 대한 제1 가중치를 바탕으로 상기 제1 오디오 장치의 출력 오디오 신호를 보정하여 제4 출력 오디오 신호를 획득하고, 상기 제4 이퀄라이징 파라미터 및 상기 제2 오디오 장치에 대한 제2 가중치를 바탕으로 상기 제2 오디오 장치의 출력 오디오 신호를 보정하여 제5 출력 오디오 신호를 획득하는 단계(S685); 를 포함하고, 상기 제1 가중치는 상기 제2 오디오 장치의 최대 출력 또는 주파수특성에 대한 상기 제1 오디오 장치의 최대 출력 또는 주파수특성을 바탕으로 획득되고, 상기 제2 가중치는 상기 제1 오디오 장치의 최대 출력 또는 주파수특성에 대한 상기 제2 오디오 장치의 최대 출력 또는 주파수특성을 바탕으로 획득될 수 있다.

이때, 상기 제1 학습용 오디오 신호는, 동일한 음압을 가지는 테스트 음원 및 옥타브마다 -3db씩 감쇄되는 크기의 테스트 음원 중 적어도 하나를 포함하고, 상기 제1 잔향시간은, 테스트 오디오 신호의 음압이 상기 테스트 오디오 신호의 정상상태 음압으로부터 -10db 감쇠되는 시점까지의 시간이고, 상기 제2 잔향시간은, 상기 테스트 오디오 신호의 음압이 상기 테스트 오디오 신호의 정상상태 음압으로부터 -30db 감쇠되는 시점까지의 시간이고, 상기 제3 잔향시간은, 상기 테스트 오디오 신호의 음압이 상기 테스트 오디오 신호의 정상상태 음압으로부터 -60db 감쇠되는 시점까지의 시간이고, 상기 제4 잔향시간은, 상기 테스트 오디오 신호를 복수의 주파수 밴드로 분류하고, 상기 복수의 주파수 밴드 각각에 대한 복수의 잔향시간이고, 상기 제1 학습용 오디오 데이터는, 상기 복수의 주파수 밴드 각각에 대한 복수의 학습용 이퀄라이징 파라미터 및 상기 학습용 오디오 신호에 상기 복수의 주파수 밴드 각각에 대한 복수의 학습용 이퀄라이징 파라미터가 적용되어 출력된 상기 복수의 주파수 밴드 각각에 대한 복수의 음압 데이터를 포함할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상술한 본 발명의 다양한 실시예에 따라, 본 발명은 규모, 형태, 바닥, 벽체, 천정의 재질등 많은 요소들을 고려하여 음향을 조율하는 대신, 잔향시간에 대한 정보만을 바탕으로 음향을 조율할 수 있는 효과가 있다.

나아가, 본 발명은 하나의 오디오 장치가 아닌 복수개의 오디오 장치에 대한 음향 조율을 손쉽게 수행할 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 음향 조율 시스템을 설명하기 위한 시스템도이다.
도 2는 본 발명의 일 실시예에 따른 제1 오디오 장치에 대한 음향 조율 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 또 다른 실시예에 따른 제2 오디오 장치에 대한 음향 조율을 수행하고, 제1 오디오 장치 및 제2 오디오 장치를 포함하는 오디오 시스템의 음향 조율을 수행하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 학습 데이터를 획득하는 방법을 설명하기 위한 흐름도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 학습 데이터를 수집하는 방법을 설명하기 위한 흐름도이다.
도 6a 내지 도 6c는 본 발명의 일 실시예에 따른 기존 음압 및 목표 음압에 대한 그래프를 도시한 예시도 및 음향 조율 방법을 설명하기 위한 흐름도이다.
도 7는 본 발명의 일 실시예에 따른 폐루프 제어 시스템을 이용하여 음향을 조율하는 방법을 설명하기 위한 흐름도이다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 폐루프 제어 시스템을 설명하기 위한 예시도이다.
도 9은 본 발명의 일 실시예에 따른 복수의 오디오 장치의 음향을 조율하는 방법을 구체적으로 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 장치의 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 음향 조율 시스템을 설명하기 위한 시스템도이다.

도 1a에 도시된 바와 같이, 음향 조율 시스템은 서버(100), 전자 장치(200) 복수의 오디오 장치(300), 다채널 오디오 믹서(400) 및 오디오 소스 출력 장치(500)으로 구현될 수 있다.

서버(100)는 음향 조율을 위한 이퀄라이징 파라미터를 획득하기 위한 구성이다. 서버(100)는 전자 장치(200)로부터 음향 조율을 위한 데이터를 수신하고, 수신된 데이터를 바탕으로 이퀄라이징 파라미터를 획득하여 복수의 오디오 장치(300)로 전송할 수 있다.

본 발명의 실시예에 따른 서버(100)는 단일 서버로 구성될 수 있을 뿐만 아니라 필요에 따라, 복수의 서버로 구성될 수 있으며, 클라우드 서버를 포함하는 개념일 수 있다.

전자 장치(200)는, 복수의 오디오 장치(300)로부터 오디오 신호를 수신하고, 수신한 오디오 신호를 서버(100)로 전송하기 위한 구성이다. 본 발명의 실시예에 따른 전자 장치(200)는 오디오 신호를 수신할 수 있는 마이크를 포함하는 구성이면 어떠한 전자 장치로든 구현될 수 있다.

일 실시예로, 전자 장치(200)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다.

또 다른 실시 예로, 전자 장치(200)는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD 플레이어(Digital Video Disk player), 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync?, 애플TV?, 또는 구글 TV?), 게임 콘솔(예: Xbox?, PlayStation?), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

복수의 오디오 장치(300)는, 음향 조율을 위한 다양한 오디오 신호를 출력할 수 있다. 일 실시예로, 복수의 오디오 장치(300)는 잔향시간에 대한 데이터를 획득하기 위한 테스트 오디오 신호 및 이퀄라이징 파라미터를 획득하기 위한 학습용 오디오 신호를 생성하여 출력할 수 있다.

복수의 오디오 장치(300)는, 제1 오디오 장치(301) 및 제2 오디오 장치(302)를 포함할 수 있다. 제1 오디오 장치(301) 및 제2 오디오 장치(302)는 앰프(Amplifier)의 형태로 구현될 수 있으나, 이에 한정되는 것은 아니다. 제1 오디오 장치(301) 및 제2 오디오 장치(302)는 다채널 오디오 믹서(400)의 제어 하에 오디오 신호를 출력하기 위한 구성이다.

한편, 설명의 편의를 위해, 본 발명의 다양한 실시예에서는 제1 오디오 장치(301) 및 제2 오디오 장치(302)를 이용한 음향 조율 방법이 설명되나, 3개 이상의 복수의 오디오 장치에 대하여도 동일한 방법을 통한 음향 조율 방법이 적용될 수 있음은 물론이다.

다채널 오디오 믹서(400)는, 오디오 소스 출력 장치(500)로부터 오디오 신호를 입력 받고, 서버(100)의 제어 하에 복수의 오디오 장치(300)로 출력되는 오디오 신호를 보정하기 위한 구성이다.

본 발명에 따른 다채널 오디오 믹서(400)는 마이크/라인 입력부, 적어도 하나의 필터, 이퀄라이저, 출력부, 통신부, 구동부 및 전원부를 포함할 수 있다. 마이크/라인 입력부는 오디오 소스 출력 장치(500)으로부터 음향신호를 수신하기 위한 구성일 수 있다. 적어도 하나의 필터는 음향 신호로부터 주변 잡음 등을 필터링하기 위한 구성일 수 있다. 적어도 하나의 필터는 하이패스 필터, 로우패스 필터, 밴드 패스 필터 등 다양한 종류의 필터로 구현될 수 있다. 이퀄라이저는 적어도 하나의 필터로부터 주변 잡음 등이 필터링된 음향 신호의 음압, 음색 등을 조절하기 위한 구성일 수 있다. 출력부는 출력단자들로 이루어져, 이퀄라이저로부터 출력되는 신호를 복수의 오디오 장치(300)로 전달하기 위한 구성일 수 있다. 전원부는 다채널 오디오 믹서(400)에 전력을 공급하기 위한 구성 일수 있다. 구동부는 수신된 제어신호들에 따라 마이크/라인 입력부, 출력부 등을 구동하게 하는 구성이며, 통신부는 서버(100)와 통신하기 위한 구성일 수 있다.

오디오 소스 출력 장치(500)는 다채널 오디오 믹서(400)로 오디오 신호를 전달하기 위한 구성으로, 마이크, VCR, CD플레이어, LD플레이어등 다양한 오디오 공급장치로 구현될 수 있다.

도 2는 본 발명의 일 실시예에 따른 제1 오디오 장치에 대한 음향 조율 방법을 설명하기 위한 흐름도이다.

단계 S100에서, 복수의 오디오 장치(300) 중 제1 오디오 장치(301)는, 제1 오디오 장치(301)를 이퀄라이징 하기 위한 제1 테스트 오디오 신호를 출력할 수 있다. 구체적으로, 제1 오디오 장치(301)는, 잔향시간 측정 및 주파수 응답 특성을 측정하기 위한 테스트 오디오 신호의 음압의 세기를 설정하고, 설정된 음압의 세기에 대응되는 테스트 오디오 신호를 출력할 수 있다.

잔향시간이란, 실내에서 오디오 신호를 발생시키고 발생시킨 오디오 신호가 정상상태에 도달한 후 오디오 신호의 발생을 중단한 뒤, 오디오 신호의 음향 에너지 밀도가 특정 기준만큼 감쇄되는데 걸리는 시간을 의미하며, 여운시간 또는 여음시간의 용어와 동일하게 사용될 수 있다. 일반적으로 잔향시간은 오디오 신호의 음향 에너지가 -60db만큼 감쇄되는데 걸리는 시간을 의미하나, 본 개시에 따른 잔향시간은 이에 한정되지 않는다. 예를 들어, 본 발명에서 측정되는 잔향시간은 음향 에너지가 -5db, -10db, -20 db, -30 db 및 -60 db 만큼 감쇠되는데 걸리는 시간을 의미할 수 있다. 즉, 본 발명에 따른 잔향시간은 공간에서 음압이 감쇠되는 시간을 파악하여 -5db, -10dB, -20dB, -30dB 등으로 감쇠되는 시간을 측정하며, 측정 다이나믹 레인지가 부족할 경우는 측정된 수치를 계산하여 -60dB의 값으로 표시하여 사용할 수 있다.

한편, 잔향시간은 복수의 오디오 장치(300)가 위치하는 실내의 실내 표면적, 실내 용적 및 흡음율에 따라 상이하다. 따라서, 본 발명은 잔향시간 정보를 이용하여 실내 공간의 특성을 파악할 수 있다.

잔향시간을 측정하기 위하여, 제1 오디오 장치(301)는 제1 테스트 오디오 신호를 출력할 수 있다. 제1 테스트 오디오 신호는 임펄스 신호 또는 오디오 신호일 수 있다.

한편, 설정되는 제1 테스트 오디오 신호의 음압의 세기는 다양한 방법을 통해 결정될 수 있다. 일 실시예로, 음압의 세기는, 공간의 크기를 바탕으로 설정될 수 있다. 또 다른 실시예로, 음압의 세기는, 제1 테스트 오디오 신호로부터 획득된 잔향시간 데이터를 바탕으로 결정될 수 있다. 즉, 제1 음압을 가지는 테스트 오디오 신호로부터 획득된 잔향시간 데이터가 제1 이퀄라이징 파라미터를 획득하기에 부적절한 경우, 서버(100)는 제1 음압보다 큰 제2 음압을 제1 테스트 오디오 신호의 음압의 세기로 결정할 수 있다.

한편, 본 발명에서는 테스트 오디오 신호로부터 주파수 응답 특성 데이터와 잔향시간 데이터를 획득하는 것으로 설명하나, 이에 한정되는 것은 아니다. 즉, 일 실시예에 따라, 잔향시간 데이터는 별도의 잔향시간 테스트 오디오 신호로부터 획득되고, 주파수 응답 특성 데이터는 별도의 다른 테스트 오디오 신호로부터 획득될 수 있음은 물론이다.

단계 S200에서, 전자 장치(200)는 제1 테스트 오디오 신호를 수신하여 제1 주파수 응답 특성 및 제1 잔향시간 데이터를 획득할 수 있다. 구체적으로, 전자 장치(200)는 수신한 오디오 신호를 분석하여 잔향시간에 대한 데이터를 획득할 수 있다.

다만, 본 발명의 일 실시예에 따라, 전자 장치(200)가 수신한 오디오 신호를 서버(100)로 전송하고, 서버(100)가 오디오 신호를 분석하여 잔향시간에 대한 데이터를 획득할 수 있음은 물론이다.

일 실시예로, 제1 주파수 응답 특성 데이터는 도 5a 내지 도 5c에서 후술하는 바와 같이, 복수의 주파수 대역별로 독립적으로 획득될 수 있음은 물론이다.

단계 S300에서, 전자 장치(200)는 획득된 제1 주파수 응답 특성 데이터 및 제1 잔향 시간 데이터를 서버(100)로 전송할 수 있다.

단계 S400에서, 서버(100)는 전자 장치(200)로부터 수신한 제1 테스트 오디오 신호 및 제1 잔향 시간 데이터를 바탕으로 제1 오디오 장치(301)의 출력을 제어하기 위한 제1 이퀄라이징 파라미터를 획득할 수 있다.

즉, 서버(100)는 전자 장치(200)로부터 수신한 제1 테스트 오디오 신호로부터 잔향시간에 대한 데이터를 획득하고, 획득된 데이터를 바탕으로 실내 공간에 대한 정보를 획득할 수 있다. 서버(100)는 제1 학습용 오디오 신호를 실내 공간에 대응되도록 보정하기 위한 이퀄라이징 파라미터를 획득할 수 있다.

이때 제1 학습용 오디오 데이터는 제1 오디오 장치(301)를 자동으로 음향 조절을 하기 위한 인공지능을 학습시키기 위해 수집하는 데이터일 수 있다. 구체적으로, 제1 학습용 오디오 데이터는 모든 주파수 대역이 같은 크기의 신호의 세기를 가진 오디오 신호이거나 주파수 대역에서 옥타브마다 -3dB씩 감쇄되어지는 크기의 오디오 신호를 신호일 수 있다.

일 실시예로, 제1 학습용 오디오 신호는 제1 오디오 장치(301) 내부의 음향조절부에서 설정된 이퀄라이징 파라미터를 바탕으로 보정되어 출력될 수 있다. 이때, 이퀄라이징 파라미터는 주파수대역(band)별로 다르게 설정될 수 있다. 서버(100)는 제1 오디오 장치(301)로부터 송출된 오디오 신호를 수신할 수 있다. 수신되는 오디오 신호는 제1 오디오 장치(301)에서 송출되는 오디오 신호를 측정하여 FFT 변환 후 1/1옥타브 혹은 1/3옥타브 등의 주파수 대역별(band)로 값을 계산하여 수신될 수 있다.

단계 S500에서, 제1 오디오 장치(301)는 제1 이퀄라이징 파라미터를 바탕으로 출력 오디오 신호를 보정할 수 있다.

구체적으로, 도 6a의 좌측에 도시된 바와 같이, 실내 공간에 대한 고려 없이 제1 오디오 장치(301)가 오디오 신호를 출력하면, 오디오 신호에 대한 음압이 일정하지 않은 문제점이 존재한다. 따라서, 제1 오디오 장치(301)는 오디오 신호의 음압을 일정하게 유지하기 위한 제1 이퀄라이징 파라미터를 서버(100)로부터 수신하여, 도 6a의 우측에 도시된 바와 같이 오디오 신호를 보정할 수 있다. 이때, 도 6a에 도시된 그래프는 스피커에서 출력된 오디오 신호를 전자 장치(200)가 수신하고, 전자 장치(200)가 수신한 오디오 신호를 FFT 변환하여 주파수를 분석하고, 주파수 대역(밴드)별로 데이터를 생성한 것을 나타낸 그래프이다. 구체적으로, 도 6a에 도시된 그래프의 가로축은 주파수 대역을 나타내고 세로축은 음압을 나타낼 수 있다.

한편, 본 발명의 다양한 실시예에 따라, 전자 장치(200)는 단계 S200에서 획득된 제1 주파수 응답 특성 데이터 및 제1 잔향시간 데이터를 바탕으로 음향 조율을 위한 목표 음압을 설정할 수 있다. 후술하는 바와 같이, 설정된 목표 음압은, 인공지능 모델에 입력되어 제1 이퀄라이징 파라미터를 획득하기 위해 사용될 수 있다.

도 3은 본 발명의 또 다른 실시예에 따른 제2 오디오 장치에 대한 음향 조율을 수행하고, 제1 오디오 장치 및 제2 오디오 장치를 포함하는 오디오 시스템의 음향 조율을 수행하는 방법을 설명하기 위한 흐름도이다.

단계 S610 내지, S650에서, 복수의 오디오 장치(300) 중 제2 오디오 장치(302)는, 제1 테스트 오디오 신호의 출력이 중단된 경우, 상술한 단계 S100 내지 S500과 동일한 방법을 통해 제2 테스트 오디오 신호를 출력하고, 제2 주파수 응답 특성 데이터 및 제2 잔향시간 데이터를 획득하고, 제2 이퀄라이징 파라미터를 획득하여, 제2 출력 오디오 신호를 출력할 수 있다. 즉, 서버(100)는 제1 오디오 장치(301) 및 제2 오디오 장치(302)에 대한 제1 이퀄라이징 파라미터 및 제2 이퀄라이징 파라미터를 독립적으로 획득하기 위하여, 제1 테스트 오디오 신호와 제2 테스트 오디오 신호를 독립적으로 출력할 수 있다.

단계 S660에서, 복수의 오디오 장치(300)는 제3 출력 오디오 신호를 출력할 수 있다. 이때, 제3 출력 오디오 신호는, 제1 이퀄라이징 파라미터에 의해 보정된 제1 출력 오디오 신호 및 제2 이퀄라이징 파라미터에 의해 보정된 제2 출력 오디오 신호를 동시에 출력하는 경우의 오디오 신호일 수 있다.

단계 S670에서, 복수의 오디오 장치(300)는 제3 출력 오디오 신호를 서버(200)로 전송할 수 있다. 구체적으로, 전자 장치(200)는 복수의 오디오 장치(300)에 의해 출력되는 제3 출력 오디오 신호를 수신하고, 수신된 제3 출력 오디오 신호를 서버(100)로 전송할 수 있다.

서버(100)는 전자 장치(200)로부터 수신한 제3 출력 오디오 신호를 바탕으로 제1 이퀄라이징 파라미터 및 제2 이퀄라이징 파라미터를 변경하여 다채널 오디오 믹서(400)로 전송할 수 있다.

구체적으로, 오디오 장치가 복수개인 경우, 복수의 오디오 장치를 모두 고려하여 복수의 오디오 장치 각각의 이퀄라이징 파라미터를 획득하는 것은 매우 많은 계산량을 필요로 한다. 따라서, 계산량을 줄이기 위해, 서버(100)는 단계 S660 내지 단계 S680의 방법을 통해 복수의 오디오 장치 각각의 이퀄라이징 파라미터를 획득할 수 있다.

즉, 서버(100)는 제1 이퀄라이징 파라미터를 바탕으로 제1 오디오 장치(301)의 제1 출력 오디오 신호를 보정하고, 제2 이퀄라이징 파라미터를 바탕으로 제2 오디오 장치(302)의 제2 출력 오디오 신호를 보정한 후, 보정된 제1 출력 오디오 신호와 보정된 제2 출력 오디오 신호를 포함하는 제3 출력 오디오 신호를 획득할 수 있다.

이후, 서버(100)는 제3 출력 오디오 신호와 목표 음압의 차이값이 기 설정된 값 이상인 경우, 제1 오디오 장치(301) 및 제2 오디오 장치(302)의 스펙 정보를 바탕으로 제1 이퀄라이징 파라미터 및 제2 이퀄라이징 파라미터를 변경할 수 있다.

즉, 사용자의 목표는 실내 공간에서 제1 오디오 및 제2 오디오를 함께 출력하는 것이므로, 서버(100)는 제3 출력 오디오 신호가 목표 음압과 동일해지도록 제1 오디오 장치(301) 및 제2 오디오 장치(302)를 보정할 필요가 있으며, 상술한 방법을 통해 제3 오디오 신호를 보정할 수 있다.

도 4는 본 발명의 일 실시예에 따른 학습 데이터를 획득하는 방법을 설명하기 위한 흐름도이다.

단계 S410에서, 서버(100)는 음향 조율을 위한 인공지능 모델을 학습시키기 위한 학습 데이터를 수집할 수 있다. 수집되는 학습 데이터의 구성에 대하여는 도 5a 내지 도 5c에서 구체적으로 살펴본다.

단계 S420에서, 서버(100)는 학습 데이터를 바탕으로 인공지능 모델을 학습시킬 수 있다.

일 실시예로, 인공지능 모델이 데이터 학습부 및 데이터 인식부를 포함할 수 있다. 데이터 학습부는 인공지능 모델이 특정 목적에 따른 기준을 갖도록 인공지능 모델을 학습시킬 수 있다. 이때, 특정 목적이한 잔향시간 데이터를 바탕으로 학습용 오디오 데이터의 이퀄라이징 파라미터를 결정하기 위한 목적일 수 있다. 데이터 학습부는 상술한 목적에 따른 동작을 결정하기 위하여 학습 데이터를 데이터 인공지능 모델에 적용하여, 판단 기준을 갖는 인공지능 모델을 생성할 수 있다. 데이터 인식부는 입력 데이터에 기초하여 특정 목적에 대한 상황을 판단할 수 있다. 데이터 인식부는 학습된 인공지능 모델을 이용하여, 소정의 입력 데이터로부터 상황을 판단할 수 있다. 데이터 인식부는 기 설정된 기준에 따라 소정의 입력 데이터를 획득하고, 획득된 입력 데이터를 입력 데이터로 하여 인공지능 모델에 적용함으로써, 소정의 입력 데이터에 기초한 소정의 상황을 판단할 수 있다(또는, 추정(estimate)할 수 있다). 또한, 획득된 입력 데이터를 입력 데이터로 인공지능 모델에 적용하여 출력된 결과 값은, 인공지능 모델을 갱신하는데 이용될 수 있다.

한편, 데이터 학습부의 적어도 일부 및 데이터 인식부의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부 및 데이터 인식부 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다. 이 때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 데이터 학습부 및 데이터 인식부가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.

한편, 데이터 학습부는 데이터 획득부, 전처리부, 학습 데이터 선택부, 모델 학습부 및 모델 평가부를 더 포함할 수 있다. 데이터 획득부는 특정 목적에 따른 학습 데이터를 획득하기 위한 구성이다. 전처리부는 획득부에서 획득된 데이터를 기 정의된 포맷으로 전처리하기 위한 구성이다. 학습 데이터 선택부는, 학습 데이터 획득부에서 획득된 데이터 또는 학습 데이터 전처리부에서 전처리된 데이터 중에서 학습에 필요한 데이터를 선택하기 위한 구성이다. 선택된 학습 데이터는 모델 학습부에 제공될 수 있다. 모델 학습부는 학습 데이터를 이용하여 인공지능 모델을 학습시키기 위한 구성이다. 모델 평가부는 인공지능 모델의 결과를 향상 시키기 위한 구성이다.

또한, 데이터 인식부는 데이터 획득부, 전처리부, 입력 데이터 선택부, 인식 결과 제공부 및 모델 갱신부를 더 포함할 수 있다. 데이터 획득부는 입력 데이터를 획득하기 위한 구성이다. 전처리부는 획득부에서 획득된 데이터를 기 정의된 포맷으로 전처리하기 위한 구성이다. 입력 데이터 선택부는 전처리된 데이터 중 인식에 필요한 데이터를 선별하기 위한 구성이다. 인식 결과 제공부는 입력 데이터로부터 선택된 데이터를 수신할 수 있는 구성이다. 모델 갱신부는 인식 결과 제공부로부터 제공된 인식 결과에 대한 평가에 기초하여 인공지능 모델을 갱신하기 위한 구성이다.

또한, 인공지능 모델은 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 인공지능 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 인공지능 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 인공지능 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 인공지능 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다.

예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 인공지능 모델로서 사용될 수 있으나, 이에 한정되지 않는다.

단계 S430에서, 서버(100)는 학습된 인공지능 모델에 목표 음압, 주파수 응답 특성 데이터 및 잔향시간 데이터를 인공지능 모델에 입력 데이터로 입력하여 이퀄라이징 파라미터를 획득할 수 있다.

도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 학습 데이터를 수집하는 방법을 설명하기 위한 흐름도이다.

단계 S411에서, 서버(100)는 제1 테스트 오디오 신호의 음압을 획득할 수 있다.

단계 S412에서, 서버(100)는 제1 잔향시간, 제2 잔향시간, 제3 잔향시간 및 제4 잔향시간 및 제5 잔향시간 중 적어도 하나의 잔향시간을 포함하는 제1 잔향시간 데이터를 획득할 수 있다.

즉, 도 5b에 도시된 바와 같이, 서버(100)는 잔향 측정 용 음압을 설정하고, 설정된 음압을 가지는 측정용 오디오 신호를 재생하여 실내 공간의 잔향을 측정할 수 있다. 구체적으로, 서버(100)는 전체 대역 및 밴드별 감쇠 시간을 측정 및 계산하고, 측정 및 계산된 잔향시간을 파라미터로 저장할 수 있다.

구체적으로, 제1 잔향시간은, 테스트 오디오 신호의 음압이 테스트 오디오 신호의 정상상태 음압으로부터 -10db 감쇠되는 시점까지의 시간이고, 제2 잔향시간은, 테스트 오디오 신호의 음압이 테스트 오디오 신호의 정상상태 음압으로부터 -30db 감쇠되는 시점까지의 시간이고, 제3 잔향시간은, 테스트 오디오 신호의 음압이 테스트 오디오 신호의 정상상태 음압으로부터 -60db 감쇠되는 시점까지의 시간이고, 제4 잔향시간 및 제5 잔향시간은, 테스트 오디오 신호를 복수의 주파수 밴드로 분류하고, 복수의 주파수 밴드 각각에 대한 복수의 잔향시간일 수 있다.

이때, 본 발명의 다양한 실시예에 따라, -60db가 감쇠되는데 걸리는 잔향 시간은 노이즈 레벨로 인하여 측정이 어려운 경우가 존재할 수 있다. 이 경우, 서버(100)는 -60db가 감쇠되는데 걸리는 잔향 시간 대신 -30db가 감쇠되는데 걸리는 잔향 시간을 사용할 수 있음은 물론이다.

단계 S413에서, 서버(100)는 제1 학습용 오디오 신호를 획득할 수 있다.

단계 S414에서, 서버(100)는 제1 학습용 오디오 신호로부터 제1 학습용 오디오 데이터를 획득할 수 있다.

즉, 도 5c에 도시된 바와 같이, 서버(100)는 이퀄라이징 파라미터를 설정하여 테스트 오디오 신호를 재생하고, 재생된 테스트 오디오 신호를 바탕으로 각 대역별 오디오 신호를 측정할 수 있다. 서버(100)는 측정된 대역별 신호 및 측정된 대역별 신호에 대응되는 이퀄라이징 파라미터의 설정 상태를 수집할 수 있다. 서버(100)는 상술한 방법을 통해 잔향시간 파라미터, 수집된 대역별 신호 및 이퀄라이징 파라미터를 포함하는 복수의 데이터를 수집할 수 있다.

구체적으로, 제1 학습용 오디오 데이터는, 복수의 주파수 밴드 각각에 대한 복수의 학습용 이퀄라이징 파라미터 및 학습용 오디오 신호에 복수의 주파수 밴드 각각에 대한 복수의 학습용 이퀄라이징 파라미터가 적용되어 출력된 복수의 주파수 밴드 각각에 대한 복수의 음압 데이터를 포함할 수 있다.

이때, 주파수 밴드는 밴드의 중심 주파수를 기초로 결정되는 주파수 대역일 수 있다. 예를 들어, BAND 1의 주파수 대역은 중심 주파수는 31.5hz를 바탕으로 0hz~60hz로 결정되고, BAND 2의 주파수 대역은 중심 주파수는 64hz를 바탕으로 40hz~120hz로 결정되고, BAND 3의 주파수 대역은 중심 주파수는 125hz를 바탕으로 100hz~200hz로 결정되고, BAND 4의 주파수 대역은 중심 주파수는 250hz를 바탕으로 150hz~400hz로 결정되고, BAND 5의 주파수 대역은 중심 주파수는 500hz를 바탕으로 350hz~900hz로 결정되고, BAND 6의 주파수 대역은 중심 주파수는 1000hz를 바탕으로 800hz~1700hz로 결정되고, BAND 7의 주파수 대역은 중심 주파수는 2000hz를 바탕으로 15000hz~3500hz로 결정되고, BAND 8의 주파수 대역은 중심 주파수는 4000hz를 바탕으로 3000hz~7000hz로 결정되고, BAND 9의 주파수 대역은 중심 주파수는 8000hz를 바탕으로 6000hz~14000hz로 결정되고, BAND 10의 주파수 대역은 중심 주파수는 16000hz를 바탕으로 12000hz~20000hz로 결정될 수 있다. 각각의 주파수 밴드의 주파수 대역은 위의 실시예에 한정되는 것은 아니고, 필요에 따라 10개의 밴드가 아닌 31개의 밴드 등으로 다양하게 변경될 수 있다.

이때, 주파수 밴드는 기 설정된 중심 주파수 정보에 따라 결정될 수도 있으나, 제1 오디오 장치(301)가 출력하는 스피커의 정보에 따라 결정될 수도 있다. 예를 들어, 제1 오디오 장치(301)는 서브 우퍼, 우퍼, 미드 우퍼, 스코커(미드레인지 스피커) 트위터, 슈퍼 트위터등 다양한 형태의 스피커를 포함할 수 있으며, 각각의 스피커가 출력하는 주파수 대역은 상이할 수 있다. 따라서, 서버(100)는 제1 오디오 장치(301)에 포함된 스피커가 출력하는 오디오 신호의 중심 주파수를 바탕으로 주파수 밴드를 결정하고, 결정된 주파수 밴드를 기초로 학습용 오디오 데이터를 생성할 수 있다.

일 실시예로, 서버(100)는 제1 오디오 장치(301)의 스피커 정보를 획득할 수 있다. 제1 오디오 장치(301)의 스피커 정보란, 제1 오디오 장치(301)의 스피커 각각이 출력하는 오디오 신호에 대한 주파수 정보일 수 있으며, 주파수 정보는 스피커의 최소 출력 주파수, 최대 출력 주파수 및 중심 주파수 정보를 포함할 수 있다.

서버(100)는 수신한 스피커 정보를 바탕으로 학습용 오디오 데이터를 획득할 주패수 밴드를 결정할 수 있다. 일 실시예로, 서버(100)는 제1 오디오 장치(301)에 포함된 스피커 각각의 중심 주파수를 바탕으로 주파수 밴드를 결정할 수 있다. 또 다른 실시예로, 서버(100)는 제1 오디오 장치(301)에 포함된 스피커 각각의 최소 출력 주파수를 바탕으로 주파수 밴드를 결정할 수 있다. 또 다른 실시예로, 서버(100)는 서버(100)는 제1 오디오 장치(301)에 포함된 스피커 각각의 최대 출력 주파수를 바탕으로 주파수 밴드를 결정할 수 있다. 또 다른 실시예로, 서버(100)는 제1 오디오 장치(301)에 포함된 스피커 각각의 중심 주파수를 바탕으로 주파수 밴드를 결정하되, 중심 주파수로부터 결정되는 주파수 대역의 범위가 최소 출력 주파수 이하 최대 출력 주파수 이상이 되도록 결정할 수 있다. 또 다른 실시예로, 서버(100)는 제1 오디오 장치(301)에 포함된 스피커 각각의 중심 주파수를 바탕으로 주파수 밴드를 결정하되, 중심 주파수로부터 결정되는 주파수 대역의 범위가 최소 출력 주파수 이상 최대 출력 주파수 이하가 되도록 결정할 수 있다.

단계 S415에서, 서버(100)는 제1 학습용 오디오 데이터를 복수의 주파수 밴드로 분류하고, 제1 학습용 오디오 데이터에 복수의 주파수 밴드 각각에 대한 학습용 이퀄라이징 파라미터를 적용하여 측정된 복수의 주파수 밴드 각각에 대한 음압을 획득할 수 있다.

서버(100)는 획득된 제1 잔향시간 데이터, 제1 학습용 오디오 데이터 및 제1 학습용 오디오 데이터에 복수의 주파수 밴드 각각에 대한 학습용 이퀄라이징 파라미터를 적용하여 측정된 복수의 주파수 밴드 각각에 대한 음압에 대한 데이터를 하나의 학습 데이터로 저장할 수 있다.

단계 S421에서, 서버(100)는 인공지능 모델에 제1 잔향시간 데이터 및 제1 학습용 오디오 데이터를 인공지능 모델에 입력하여 입력하여 제1 출력 오디오 신호에 대한 목표 음압이 출력되도록 인공지능 모델의 가중치를 변경할 수 있다.

단계 S422에서, 서버(100)는 제1 출력 오디오 신호에 대응되는 제1 이퀄라이징 파라미터를 획득할 수 있다.

한편, 서버(100)는 도 5a 내지 도 5c의 방법을 통해 수집된 학습 데이터로 인공지능 모델을 학습시키고, 학습된 인공지능 모델을 바탕으로 실내 공간의 음향을 조율할 수 있다.

구체적으로, 도 6b에 도시된 바와 같이, 서버(100)는 음향 조율을 수행하고자 하는 실내 공간의 잔향 측정용 음압을 설정하고, 잔향 측정용 오디오 신호를 재생할 수 있다. 서버(100)는 실내 공간의 잔향을 측정하고, 전체 대역 및 밴드별 감쇠 시간을 측정 및 계산하고, 측정 및 계산된 잔향시간을 파라미터로 저장할 수 있다.

나아가, 서버(100)는 조율시의 기준 음압을 설정하고, 현재 상태의 측정을 위해 이퀄라이징 파라미터를 초기화 할 수 있다. 서버(100)는 테스트 오디오 신호를 재생하여 현재 상태를 측정하고, 측정된 상태값을 저장할 수 있다. 측정된 상태값은 음향 조율이 이뤄지지 않았으므로, 도 6a의 좌측 그래프의 형태로 나타날 수 있을 것이다.

도 6c에 도시된 바와 같이, 서버(100)는 실내 공간에서 목표로 하는 음향 조율 목표값을 입력 받을 수 있다. 서버(100)는 도 6b에서 측정된 실내공간의 잔향시간, 측정된 상태값 및 음향 조율 목표값을 입력 데이터로 인공지능 모델에 입력하여 출력값을 획득할 수 있다. 이때, 출력값은 실내 공간에 최적화된 이퀄라이징 파라미터일 수 있다.

서버(100)는 획득된 이퀄라이징 파라미터를 바탕으로 오디오 신호를 보정하여 보정테스트 신호를 획득하고, 획득된 보정테스트 신호를 재생할 수 있다. 서버(100)는 보정테스트 오디오 신호를 바탕으로 출력된 상태값을 측정하고, 설정된 음향 조율 목표값과의 차이값을 획득할 수 있다.

서버(100)는 차이값이 기 설정된 범위 이내이면, 음향 조율을 완료하고, 차이값이 기 설정된 범위 밖이면, 차이값을 보정할 수 있다. 본 발명의 일 실시예에 따라, 서버(100)는 차이값을 보정하기 위하여 도 5c에 도시된 바와 같은 폐루프 시스템을 이용하여, 차이값을 보정할 수 있다. 이때, 서버(100)는, 음향 조율 목표값과 보정테스트 오디오 신호를 바탕으로 출력된 상태값의 차이에 따른 오차를 보정하기 위한 데이터를 생성하고, 생성된 데이터를 폐루프 시스템을 통해 보정할 수 있다. 이때 생성되는 데이터는 생성된 복수의 학습용 오디오 데이터 중 무작위로 추출된 데이터일 수 있다. 일 실시예로, 생성되는 데이터는 수십만개 정도임이 바람직하나, 이에 한정되는 것은 아니다.

한편, 상술한 다양한 실시예에서는 제1 오디오 장치(301)에 대한 음향 조율을 수행하는 방법에 대하여 설명하였으나, 제2 오디오 장치(302) 또한 동일한 방법으로 음향 조율이 수행될 수 있음은 물론이다.

한편, 본 발명의 다양한 실시예에 따라, 서버(100)는 다양한 방법을 통해 인공 지능 모델을 적용하여 이퀄라이징 파라미터를 획득할 수 있다. 일 실시예로, 서버(100)는 테스트 오디오 신호 및 테스트 오디오 신호의 음압에 대한 정보를 제1 인공지능 모델에 입력하여 적어도 하나의 오디오 장치가 설치되는 공간의 실내 면적 및 실용적을 획득하고, 테스트 오디오 신호 및 테스트 오디오 신호의 음압에 대한 정보를 제2 인공지능 모델에 입력하여 적어도 하나의 오디오 장치가 설치되는 공간의 흡음률을 획득하고, 서버(100)는 실내 면적, 실용적, 흡음률 및 테스트 오디오 신호를 제3 인공지능 모델에 입력하여 이퀄라이징 파라미터를 획득할 수 있음은 물론이다.

즉, 일 실시예에 따라, 인공지능 모델은 잔향 시간 정보로부터 실내 공간의 면적 및 용적을 획득하기 위한 제1 인공지능 모델 및 흡음률을 획득하기 위한 제2 인공지능 모델이 독립적으로 구현될 수 있으며, 독립적인 제1 인공지능 모델 및 제2 인공지능 모델로부터 획득한 정보를 바탕으로 이퀄라이징 파라미터를 획득할 수 있다.

도 7는 본 발명의 일 실시예에 따른 폐루프 제어 시스템을 이용하여 음향을 조율하는 방법을 설명하기 위한 흐름도이다.

단계 S681에서, 서버(100)는 보정된 출력 오디오 신호의 음압과 목표 음압을 비교할 수 있다.

단계 S682에서, 서버(100)는 보정된 출력 오디오 신호의 음압과 목표 음압의 차이값이 기 설정된 값 이상인 경우, 보정된 출력 오디오 신호를 폐루프 제어 시스템의 입력값으로 입력하여 2차 보정할 수 있다.

즉, 잔향 시간을 바탕으로 오디오 신호를 보정하더라도, 목표 음압과 차이점이 발생할 수 있다. 따라서, 서버(100)는 높은 정확도를 확보하기 위하여 폐루프 제어 시스템을 구축할 수 있다. 즉, 도 8a에 도시된 바와 같이, 입력값인 오디오 신호가 입력되면, 오디오 신호는 기 설정된 이득값 K, 목표 음압의 출력값을 획득하기 위한 플랜트 P 및 인공지능 모델을 통과한 후 출력값인 목표 음압을 출력할 수 있다. 이때, 플랜트 P는 PI 제어기, PD 제어기 및 PID 제어기 중 적어도 하나의 제어기로 구현될 수 있다. 한편, 도 8a에서는 K, P, 인공지능 모델의 순서로 폐루프 시스템이 구현되나, 이에 한정되는 것은 아니며, 인공지능 모델, K, P의 순으로 폐루프 시스템이 구현될 수 있음은 물론이다.

한편, 도 8a는 인공지능 모델이 폐루프 시스템 안에 포함되어 있으나, 이에 한정되는 것은 아니다. 즉, 도 8b에 도시된 바와 같이, 인공지능 모델은 폐루프 시스템에 포함되지 않으며, 폐루프 시스템의 입력값은 인공지능 모델을 통해 출력된 오디오 신호일 수 있음은 물론이다. 또 다른 실시예로, 인공지능 모델은 플랜트 P의 제어 파라미터를 변경하기 위하여, 폐루프 제어 시스템 외부에 위치할 수 있음은 물론이다.

도 9은 본 발명의 일 실시예에 따른 복수의 오디오 장치의 음향을 조율하는 방법을 구체적으로 설명하기 위한 흐름도이다.

단계 S683에서, 서버(100)는 제2 이퀄라이징 파라미터를 유지한 상태에서 테스트 오디오 신호, 출력 오디오 신호에 대한 목표 음압 및 제3 출력 오디오 신호를 인공지능 모델에 입력하여 제1 오디오 장치(301)에 대한 제3 이퀄라이징 파라미터를 획득할 수 있다.

단계 S684에서, 서버(100)는 제1 이퀄라이징 파라미터를 유지한 상태에서 테스트 오디오 신호, 출력 오디오 신호에 대한 목표 음압 및 제3 출력 오디오 신호를 인공지능 모델에 입력하여 제2 오디오 장치(302)에 대한 제4 이퀄라이징 파라미터를 획득할 수 있다.

즉, 서버(100)는 제1 오디오 장치(301) 및 제2 오디오 장치(302)가 모두 오디오 신호를 출력하는 상태에서 제3 출력 오디오 신호를 인공지능 모델에 입력하여 제3 이퀄라이징 파라미터를 획득하고, 제1 오디오 장치(301) 및 제2 오디오 장치(302)가 모두 오디오 신호를 출력하는 상태에서 제3 출력 오디오 신호를 인공지능 모델에 입력하여 제4 이퀄라이징 파라미터를 획득할 수 있다.

단계 S685에서, 서버(100)는 제3 이퀄라이징 파라미터 및 제1 오디오 장치(301)에 대한 제1 가중치를 바탕으로 제1 오디오 장치(301)의 제1 출력 오디오 신호를 보정하여 제4 출력 오디오 신호를 획득하고, 제4 이퀄라이징 파라미터 및 제2 오디오 장치(302)에 대한 제2 가중치를 바탕으로 제2 오디오 장치(302)의 제2 출력 오디오 신호를 보정하여 제5 출력 오디오 신호를 획득할 수 있다.

이때, 제1 가중치는 제2 오디오 장치(302)의 최대 출력 또는 주파수 특성에 대한 제1 오디오 장치(301)의 최대 출력 또는 주파수 특성을 바탕으로 획득되고, 제2 가중치는 제1 오디오 장치(301)의 최대 출력 또는 주파수 특성에 대한 제2 오디오 장치(302)의 최대 출력 또는 주파수 특성을 바탕으로 획득될 수 있다. 예를 들어, 제1 오디오 장치(301)의 최대 출력이 6, 제2 오디오 장치(302)의 최대 출력이 4인 경우, 제1 가중치는 0.6, 제2 가중치는 0.4와 같이 획득될 수 있다. 또는 반대로, 제1 오디오 장치(301)의 최대 출력이 6, 제2 오디오 장치(302)의 최대 출력이 4인 경우, 제1 가중치는 0.4, 제2 가중치는 0.6과 같이 획득될 수 있음은 물론이다.

한편, 제3 이퀄라이징 파라미터 및 제4 이퀄라이징 파라미터를 각각 제1 오디오 장치(301) 및 제2 오디오 장치(302)에 적용하여 오디오 신호를 보정하는 경우, 최초 목표했던 오디오 신호가 출력되지 않을 것이다. 구체적으로, 목표했던 오디오 신호는 제1 이퀄라이징 파라미터 및 제4 이퀄라이징 파라미터를 각각 제1 오디오 장치(301) 및 제2 오디오 장치(302)에 적용하여 오디오 신호를 보정하여 출력된 오디오 신호 또는 제3 이퀄라이징 파라미터 및 제2 이퀄라이징 파라미터를 각각 제1 오디오 장치(301) 및 제2 오디오 장치(302)에 적용하여 오디오 신호를 보정하여 출력된 오디오 신호와 유사할 것이다.

따라서, 서버(100)는 상기 단계 S683을 통해 제3 출력 오디오 신호를 보정할 수 있다. 나아가 제1 오디오 장치(301) 및 제2 오디오 장치(302)의 최대 출력을 바탕으로 제1 가중치 및 제2 가중치가 적용되므로, 복수의 오디오 장치들 간의 출력 조절을 통해 안정감 있는 음향을 출력할 수 있다.

한편, 본 발명의 다양한 실시예에 따라, 본 발명에서 적용되는 음향 조율 시스템은 다양한 오디오 믹서 뿐만 아니라, 음성인식장치, 중앙제어장치, 볼륨조절장치, CD플레이어, 스피커선택장치, 오디오 앰프, 순차전원공급 장치 등 다양한 장치를 포함할 수 있음은 물론이다. 본 발명에 따른 음향 조율 시스템은 상술한 다양한 장치들과 연동되어 음향을 조율할 수 있다.

한편, 상술한 다양한 실시예에서는, 서버(100)가 인공 지능 모델을 이용하여 음향을 조율하는 방법을 설명하였으나, 상술한 동작은 전자 장치(200)에서 수행될 수 있음은 물론이다. 다만, 일반적으로 인공 지능 모델이 원활히 동작하기 위해서는 큰 저장 공간과 고성능의 GPU가 필요하다는 단점이 존재한다.

따라서, 본 개시의 또 다른 실시예에 의해 동작하는 인공 지능 모델을 전자 장치(200)가 사용하기 위하여, 필요에 따라 인공지능 모델을 압축하여 사용할 수 있다. 예를 들어, 인공 지능 모델은 Pruning, Quantization, Decomposition 및 Knowledge Distillation 중 적어도 하나를 이용하여 압축될 수 있다. Pruning은 인공 지능 모델의 가중치 중 의미 없는 가중치 또는 출력값에 큰 영향을 주지 않는 가중치를 삭제하는 압축 기법 중 하나이다. Quantization은 각각의 가중치를 기 설정된 비트로 양자화 하는 압축 기법 중 하나이다. Decomposition은 가중치의 집합인 가중치 행렬 또는 텐서(tensor)를 선형 분해(approximated decomposition)하여 가중치의 크기를 줄이는 압축 기법 중 하나이다. Knowledge Distillation은 원본 모델을 Teacher 모델로 하여 원본 모델보다 작은 Student 모델을 생성하고 학습시키는 압축 기법 중 하나이다. 이때, Student 모델은 상술한 Pruning, Decomposition 또는 Quantization을 통해 생성될 수 있다.

상술한 방법에 따라, 서버(100)는 다양한 학습 데이터를 바탕으로 음향 조율을 위한 인공지능 모델을 학습시키고, 전자 장치(200)는 서버(100)에 의해 학습된 모델을 압축하여 저장할 수 있다. 전자 장치(200)는 압축된 인공지능 모델을 이용하여 특정 장소에서의 음향 조율을 위한 이퀄라이징 파라미터를 획득할 수 있다.

도 10은 본 발명의 일 실시예에 따른 장치의 구성도이다.

프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.

일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 8과 관련하여 설명된 방법을 수행한다.

예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다.

한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 서버
200 : 전자 장치
300 : 복수의 오디오 장치
400 : 다채널 오디오 믹서
500 : 오디오 소스 출력 장치

Claims (9)

1. 다채널 오디오 믹서를 포함하는 인공지능 음향 조율 시스템의 제어 방법에 있어서,
   복수의 오디오 장치 중 제1 오디오 장치가, 상기 제1 오디오 장치를 이퀄라이징하기 위한 제1 테스트 오디오 신호를 출력하는 단계(S100);
   전자 장치가, 상기 제1 테스트 오디오 신호를 수신하여, 제1 테스트 오디오 신호에 대한 제1 주파수 응답 특성 데이터 및 제1 잔향시간 데이터를 획득하는 단계(S200);
   상기 전자 장치가, 상기 획득된 제1 주파수 응답 특성 데이터 및 제1 잔향시간 데이터를 서버로 전송하는 단계(S300);
   상기 서버가, 상기 획득된 제1 주파수 응답 특성 데이터 및 상기 제1 잔향시간 데이터를 바탕으로 상기 제1 오디오 장치의 출력을 제어하기 위한 제1 이퀄라이징 파라미터를 획득하여 상기 다채널 오디오 믹서로 전송하는 단계(S400); 및
   상기 다채널 오디오 믹서가, 상기 획득된 제1 이퀄라이징 파라미터를 바탕으로 상기 제1 오디오 장치를 보정하여 제1 출력 오디오 신호를 출력하는 단계(S500); 를 포함하고,
   상기 제1 테스트 오디오 신호의 출력이 중단된 경우, 상기 제어 방법은,
   복수의 오디오 장치 중 제2 오디오 장치가, 상기 제2 오디오 장치를 이퀄라이징 하기 위한 제2 테스트 오디오 신호를 출력하는 단계(S610);
   전자 장치가, 상기 제2 테스트 오디오 신호를 수신하여, 제2 테스트 오디오 신호에 대한 제2 주파수 응답 특성 데이터 및 제2 잔향시간 데이터를 획득하는 단계(S620);
   상기 전자 장치가, 상기 획득된 제2 주파수 응답 특성 데이터 및 제2 잔향시간 데이터를 서버로 전송하는 단계(S630);
   상기 서버가, 상기 획득된 제2 주파수 응답 특성 데이터 및 상기 제2 잔향시간 데이터를 바탕으로 상기 제2 오디오 장치의 출력을 제어하기 위한 제2 이퀄라이징 파라미터를 획득하여 상기 다채널 오디오 믹서로 전송하는 단계(S640); 및
   상기 다채널 오디오 믹서가, 상기 획득된 제2 이퀄라이징 파라미터를 바탕으로 상기 제2 오디오 장치를 보정하여 제2 출력 오디오 신호를 출력하는 단계(S650); 를 포함하고,
   상기 제어 방법은,
   상기 제1 오디오 장치 및 상기 제2 오디오 장치가, 상기 제1 출력 오디오 신호 및 상기 제2 출력 오디오 신호를 동시에 출력하는 단계(S660);
   상기 전자 장치가, 상기 제1 출력 오디오 신호 및 상기 제2 출력 오디오 신호를 포함하는 제3 출력 오디오 신호를 수신하여 상기 서버로 전송하는 단계(S670); 및
   상기 서버가, 상기 제3 출력 오디오 신호, 상기 제1 오디오 장치 및 상기 제2 오디오 장치의 스펙 정보를 바탕으로 상기 제1 이퀄라이징 파라미터 및 상기 제2 이퀄라이징 파라미터를 변경하여 상기 다채널 오디오 믹서로 전송하는 단계(S680);를 포함하는 제어 방법.
2. 삭제
3. 제1항에 있어서,
   상기 단계(S400)는,
   상기 서버가, 음향 조율을 위한 인공지능 모델을 학습시키기 위한 학습 데이터를 수집하는 단계(S410);
   상기 서버가, 상기 학습 데이터를 바탕으로 상기 인공지능 모델을 학습시키는 단계(S420); 및
   상기 서버가, 상기 학습된 인공지능 모델에 상기 제1 주파수 응답 특성 데이터 및 상기 제1 잔향시간 데이터를 상기 인공지능 모델에 입력 데이터로 입력하여 상기 제1 이퀄라이징 파라미터를 획득하는 단계(S430); 를 포함하는 제어 방법.
4. 제3항에 있어서,
   상기 학습 데이터를 수집하는 단계(S410)는,
   상기 제1 테스트 오디오 신호의 음압을 획득하는 단계(S411);
   제1 잔향시간, 제2 잔향시간, 제3 잔향시간, 제4 잔향시간 및 제5 잔향시간 중 적어도 하나의 잔향시간을 포함하는 잔향시간 데이터를 획득하는 단계(S412);
   제1 학습용 오디오 신호를 획득하는 단계(S413);
   상기 제1 학습용 오디오 신호로부터 제1 학습용 오디오 데이터를 획득하는 단계(S414); 및
   상기 제1 학습용 오디오 데이터를 복수의 주파수 밴드로 분류하고, 상기 제1 학습용 오디오 데이터에 상기 복수의 주파수 밴드 각각에 대한 학습용 이퀄라이징 파라미터를 적용하여 측정된 상기 복수의 주파수 밴드 각각에 대한 음압을 획득하는 단계(S415);를 포함하고,
   상기 인공지능 모델을 학습시키는 단계(S420)는,
   상기 인공지능 모델에 상기 제1 잔향시간 데이터 및 상기 제1 학습용 오디오 데이터를 인공지능 모델에 입력하여 입력하여 상기 제1 출력 오디오 신호에 대한 목표 음압이 출력되도록 상기 인공지능 모델의 가중치를 변경하는 단계(S421); 및
   상기 제1 출력 오디오 신호에 대응되는 상기 제1 이퀄라이징 파라미터를 획득하는 단계(S422); 를 포함하는 것을 특징으로 하는 제어 방법.
5. 제1항에 있어서,
   상기 단계(S680)는,
   상기 제3 출력 오디오 신호의 음압과 목표 음압을 비교하는 단계(S681); 및
   상기 제3 출력 오디오 신호의 음압과 상기 목표 음압의 차이값이 기 설정된 값 이상인 경우, 상기 보정된 출력 오디오 신호를 폐루프 제어 시스템의 입력값으로 입력하여 2차 보정하는 단계(S682); 를 포함하는 제어 방법
6. 제4항에 있어서,
   상기 제1 오디오 장치 및 상기 제2 오디오 장치의 스펙 정보는,
   상기 제1 오디오 장치 및 상기 제2 오디오 장치가 출력할 수 있는 주파수 대역에 대한 스펙 정보 및 상기 제1 오디오 장치 및 상기 제2 오디오 장치의 최대 출력에 대한 스펙 정보를 포함하고,
   상기 단계(S680)는,
   상기 제2 이퀄라이징 파라미터를 유지한 상태에서 상기 목표 음압 및 상기 제3 출력 오디오 신호를 상기 인공지능 모델에 입력하여 상기 제1 오디오 장치에 대한 제3 이퀄라이징 파라미터를 획득하는 단계(S683);
   상기 제1 이퀄라이징 파라미터를 유지한 상태에서 상기 목표 음압 및 상기 제3 출력 오디오 신호를 상기 인공지능 모델에 입력하여 상기 제2 오디오 장치에 대한 제4 이퀄라이징 파라미터를 획득하는 단계(S684);
   상기 제3 이퀄라이징 파라미터 및 상기 제1 오디오 장치에 대한 제1 가중치를 바탕으로 상기 제1 오디오 장치의 출력 오디오 신호를 보정하여 제4 출력 오디오 신호를 획득하고, 상기 제4 이퀄라이징 파라미터 및 상기 제2 오디오 장치에 대한 제2 가중치를 바탕으로 상기 제2 오디오 장치의 출력 오디오 신호를 보정하여 제5 출력 오디오 신호를 획득하는 단계(S685); 를 포함하고,
   상기 제1 가중치는 상기 제2 오디오 장치의 최대 출력 또는 주파수특성에 대한 상기 제1 오디오 장치의 최대 출력 또는 주파수특성을 바탕으로 획득되고, 상기 제2 가중치는 상기 제1 오디오 장치의 최대 출력 또는 주파수특성에 대한 상기 제2 오디오 장치의 최대 출력 또는 주파수특성을 바탕으로 획득되는 것을 특징으로 하는 제어 방법.
7. 제4항에 있어서,
   상기 제1 학습용 오디오 신호는,
   동일한 음압을 가지는 테스트 음원 및 옥타브마다 -3db씩 감쇄되는 크기의 테스트 음원 중 적어도 하나를 포함하고,
   상기 제1 잔향시간은, 테스트 오디오 신호의 음압이 상기 테스트 오디오 신호의 정상상태 음압으로부터 -10db 감쇠되는 시점까지의 시간이고, 상기 제2 잔향시간은, 상기 테스트 오디오 신호의 음압이 상기 테스트 오디오 신호의 정상상태 음압으로부터 -30db 감쇠되는 시점까지의 시간이고, 상기 제3 잔향시간은, 상기 테스트 오디오 신호의 음압이 상기 테스트 오디오 신호의 정상상태 음압으로부터 -60db 감쇠되는 시점까지의 시간이고, 상기 제4 잔향시간은, 상기 테스트 오디오 신호를 복수의 주파수 밴드로 분류하고, 상기 복수의 주파수 밴드 각각에 대한 복수의 잔향시간이고,
   상기 제1 학습용 오디오 데이터는, 상기 복수의 주파수 밴드 각각에 대한 복수의 학습용 이퀄라이징 파라미터 및 상기 학습용 오디오 신호에 상기 복수의 주파수 밴드 각각에 대한 복수의 학습용 이퀄라이징 파라미터가 적용되어 출력된 상기 복수의 주파수 밴드 각각에 대한 복수의 음압 데이터를 포함하는 것을 특징으로 하는 제어 방법.
8. 하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   제1 항의 방법을 수행하는, 장치.
9. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
   

Images