KR102265583B1 - 음원의 음량 표준화 방법, 장치 및 이의 작동 및 표시방법 - Google Patents

Abstract

음원의 음량 표준화 방법이 제공된다. 상기 음원의 음량 표준화 방법은 디스플레이에 표시된 UI를 통해 음원의 음량 표준화를 수행하기 위한 사용자 명령을 입력 받는 단계; 상기 사용자 명령에 대응되는 상기 음원을 듣는 사람의 긴장도를 추정하고, 상기 긴장도를 이용하여 긴장도 함수를 생성하는 단계; 상기 긴장도 함수와 동일한 평균을 유지하면서 상기 긴장도 함수보다 감소되거나 증가된 분산을 갖는 표준화 함수를 생성하는 단계; 및 상기 표준화 함수 형태의 포락선을 갖는 출력 음원신호를 생성하는 단계; 를 포함한다.

Description

음원의 음량 표준화 방법, 장치 및 이의 작동 및 표시방법{Method for standardizing volume of sound source, device, and method of display and operation}

본 발명은 음원의 음량 표준화 방법, 장치 및 이의 표시방법에 관한 것이다.

전 세계적으로 음반수익은 조금씩 감소하는 추세이나 디지털 음원의 비중과 수익은 지속적으로 증가하는 추세이며, 향후에도 점차 증가할 것으로 예상된다. 최근에는 스마트폰과 같은 모바일 기기의 사용이 늘어나고 LTE, 5G와 같은 네트워크망이 확대되면서 디지털 음원시장이 스트리밍 서비스 중심으로 재편되고 있다.

나아가, 감상 목적의 음악 소비뿐 아니라, 공간의 분위기를 형성시키는 인테리어 효과를 꾀하거나, 집중력을 유지시키기 위한 음악을 소비하는 청취자들의 니즈 또한 증가하고 있으며, 이러한 경우, 음악이 청취자의 집중도를 떨어트리지 않도록 출력될 필요성이 존재한다.

그러나, 녹음환경과 편집환경에 따라 음원의 음량은 크게 달라질 수 있는데, 음원마다 평균 음량이 다른 경우, 여러 음원을 청취하는 사용자 입장에서는 매 음원마다 음량을 조정해줘야 하는 불편함이 발생한다. 예를 들어, A사에서 발매한 음원의 평균 음량이 B사에서 발매한 음원의 평균 음량보다 항상 큰 경우, A사의 음원을 적절한 음량으로 듣던 사람이 B사의 음원을 들을 때는 B사 음원의 음량을 높게 조정해주어야 한다.

이러한 문제를 해결하기 위해 기존 오디오 신호 처리(Audio Signal Processing) 분야에서는 여러 음원의 음량을 균일하게 조정하는 표준화 알고리즘(Z-scoring, RMS normalization, EBU R128 등)을 사용해 왔다. 이러한 표준화 알고리즘을 사용하면, 한 음원 내의 음량 변화폭은 그대로 유지되면서 여러 음원들 사이의 평균 음량은 동일하게 조정되므로 매 음원마다 음량을 조정해줘야 하는 불편함은 해소될 수 있다.

하지만 카페나 음식점에서와 같이 공간의 분위기를 위해 능동적인 조작 없이 음원을 틀어만 놓는 경우, 한 곡 내의 풍부한 음량 변화가 해당 공간에서 일어나는 직무나 대화를 방해하게 되는 경우가 자주 발생한다. 예를 들어, 한 음원 내 너무 조용한 구간에서는 소리가 들리지 않아 음량을 키웠다가, 곡의 클라이맥스 부분에서는 소리가 너무 커 음량을 다시 줄이는 경우가 있을 수 있다.

이러한 문제를 해결하기 위해서는 하나의 음원 내의 각 구간들의 음량을 균질하게 조정하는 방법에 대한 연구가 필요한데, 지금까지는 이러한 목적의 연구는 진행되지 않았다.

따라서, 공간 내 작업자 또는 휴식을 취하는 사람이 그들의 주의집중이나 대화에 방해를 주지 않으면서 동시에 해당 공간의 분위기는 일관되게 유지시켜줄 수 있는 공간음악의 용도에 부합하도록, 하나의 음원 내에서 여러 부분들의 음량을 균질하게 조정하는 방법을 새롭게 발명하였다.

나아가, 음원을 듣는 사용자는 때와 장소에 따라, 다른 방식의 음량 균질화를 수행할 필요성이 있다. 기존에는 개인별 청각 지각수준과 상황, 또는 외부 노이즈 환경에 따라 청취환경을 최적화 하는 경우가 드물었으나, 이러한 수요가 증가함에 따라 사용자가 자신의 상황에 적합하게 음질을 변경하기 위한 보다 간편하고 직관적인 UX/UI 환경을 제공할 필요성 또한 존재한다.

따라서 본 발명에서는 음량을 균질하게 조정하는 방법과 함께, 그 기술을 사용자의 목적과 지각수준에 최적화하여 작동/조절할 수 있게 하는 직관적인 UX/UI를 새롭게 발명하였다. 이 작동 방식은 음악 스트리밍 앱 뿐 아니라, 영화, 드라마와 같은 동영상의 스트리밍, 또는 차량의 오디오 시스템에서도 효과적으로 적용될 수 있다.

공개특허공보 제10-2011-0088721호

본 발명이 해결하고자 하는 과제는 음원의 음량 표준화 방법, 장치 및 이의 작동 및 표시방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전자 장치에 의해 수행되는 음원의 음량 표준화 방법은 사용자가 편안하다고 지각하는 음량의 범위(comfort volume range)를 측정하는 단계; 디스플레이에 표시된 UI와 장치(e.g. 스마트폰, 노트북 등)에 내장된 다양한 센서를 통해 음원의 음량 표준화를 수행하기 위한 사용자 명령을 입력 받는 단계; 상기 사용자 명령에 대응되는 상기 음원을 듣는 사람의 긴장도를 추정하고, 상기 긴장도를 이용하여 긴장도 함수를 생성하는 단계; 상기 긴장도 함수와 동일한 평균을 유지하면서 상기 긴장도 함수보다 감소되거나 증가된 분산을 갖는 표준화 함수를 생성하는 단계; 상기 표준화 함수 형태의 포락선을 갖는 출력 음원신호를 생성하는 단계; 및 수신된 음원신호에 어떠한 수정이나 변형 조치를 가하지 않고서도 사용자는 결과적으로 음량이 균질한 음원을 지각할 수 있도록, 음량 조절 장치만을 자동으로 조절하는 단계; 를 포함한다.

이때, 상기 사용자가 편안하다고 지각하는 음량의 범위(comfort volume range)를 측정하는 단계는, 음량이 큰 구간(예. 발라드의 절정 파트, 영화의 액션장면)과 음량이 작은 구간(예. 노래의 시작 부분, 조용한 목소리의 대화)을 짧게 발췌하여 사용자에게 들려주고, 음량을 스스로 적절하다고 느끼는 수준으로 조정하는 단계를 포함할 수 있으며, 음량이 크고 작은 구간의 예시는 해당 음원에서 발췌하지 않더라도 다른 음원이나 합성된 신호를 사용하여 제시할 수 있다.

이때, 상기 사용자 명령을 입력 받는 단계는, 상기 음원의 음량 표준화를 위한 제1 UI(310)를 통한 사용자 명령을 입력 받는 단계; 상기 제1 UI(310)를 통한 사용자 명령이 입력되면, 상기 디스플레이에 상기 음원에 대한 복수의 음량 표준화 모드를 지원하는 복수의 모드 UI를 표시하는 단계를 포함하고, 상기 복수의 모드 UI는, BGM 모드에 대응되는 음량 표준화를 지원하는 제2 UI, 공부 모드에 대응되는 음량 표준화를 지원하는 제3 UI 및 집중 모드에 대응되는 음량 표준화를 지원하는 제4 UI 중 하나의 모드 UI일 수 있다.

이때, 상기 긴장도 함수를 생성하는 단계는, 상기 복수의 모드 UI 중 어느 하나의 UI에 사용자 명령이 입력되면, 상기 UI의 모드에 대응되는 긴장도를 추정하고, 상기 긴장도를 이용하여 긴장도 함수를 생성하는 단계를 포함할 수 있다.

이때, 상기 복수의 모드 UI를 표시하는 단계는, 상기 제2 UI 내지 상기 제4 UI 각각의 우선순위를 판단하는 단계; 및 상기 우선순위에 따라 상기 복수의 UI를 배열하여 표시하는 단계를 포함하고, 상기 우선순위를 판단하는 단계는, 상기 음원을 듣는 사용자의 음량 표준화 히스토리를 바탕으로 결정되고, 상기 사용자 명령을 입력 받는 단계는, 상기 복수의 UI를 통한 사용자 명령이 입력되지 않은 경우, 상기 복수의 UI 중, 최선순위 UI에 대응되는 음량 표준화를 수행하는 단계; 를 포함할 수 있다.

이때, 상기 음량 표준화 방법은, 재생되는 복수의 음원에 대한 동일한 제1 음량 표준화 모드를 설정하는 단계; 재생되는 복수의 음원 중 적어도 일부에 대한 단일 음원에 대응되는 제2 음량 표준화 모드를 설정하는 단계; 상기 전자 장치가 제1 음량 표준화 모드에 대응되게 음원을 재생하던 중, 제2 음량 표준화 모드가 적용된 단일 음원의 재생이 시작되는 경우, 상기 단일 음원을 제2 음량 표준화 모드를 적용하는 단계; 를 포함할 수 있다.

이때, 상기 표준화 함수를 생성하는 단계는, 상기 긴장도 함수의 평균을 0으로 조정하여 1차 표준화 함수를 생성하는 단계; 상기 1차 표준화 함수에, 0보다 크고 1보다 작은 상수 또는 1보다 큰 상수를 곱하여 2차 표준화 함수를 생성하는 단계; 상기 2차 표준화 함수에 상기 긴장도 함수의 평균을 더하여 3차 표준화 함수를 생성하는 단계; 및 상기 3차 표준화 함수를 상기 긴장도 함수로 나누어 상기 표준화 함수를 생성하는 단계를 포함하고, 상기 2차 표준화 함수를 생성하는 단계는, 상기 1차 표준화 함수의 분산값을 감소시키기 위한 경우, 상기 1차 표준화 함수에 0보다 크고 1보다 작은 상수를 곱하고, 상기 1차 표준화 함수의 분산값을 증가시키기 위한 경우, 상기 1차 표준화 함수에 1보다 큰 상수를 곱하는 것을 특징으로 할 수 있다.

이때, 적절한 상수는 "사용자가 편안하다고 지각하는 음량의 범위(comfort volume range)를 측정하는 단계"에서 수집된 사용자의 응답을 기반으로 적절한 값을 도출할 수 있다.

이때, 상기 긴장도 함수는 상기 음원에 대한 음원신호의 포락선 함수이고, 상기 표준화 함수는 상기 긴장도 함수의 평균을 상기 긴장도 함수로 나눔으로써 생성되고, 상기 출력 음원신호는 상기 음원에 대한 음원신호에 상기 표준화 함수를 곱함으로써 생성되고, 상기 긴장도는 상기 음원을 듣는 사람의 땀 분비 정도 또는 동공 크기의 변화 정도를 기초로 추정되고, 추정된 긴장도와 상기 음원을 듣는 사람의 땀 분비 정도 또는 동공 크기의 변화 정도 사이의 상관관계는 인공지능을 통해 학습되어 긴장도 추정을 위해 활용되는 것을 특징으로 할 수 있다.

이때, 상기 음원에 대한 음원신호가 온라인 스트리밍 방식으로 수신되는 경우, 상기 음원의 음량 표준화 방법은, 상기 긴장도 함수를 생성하는 단계 이전에, 상기 긴장도 함수를 생성하는 단계에서 생성될 긴장도 함수의 평균과 분산을 설정하는 단계를 더 포함하고, 일정 길이의 음원신호가 수신될 때마다, 상기 긴장도 함수를 생성하는 단계, 상기 표준화 함수를 생성하는 단계 및 상기 출력 음원신호를 생성하는 단계를 순차적으로 수행함으로써 실시간으로 상기 음원의 음량을 보정하는 것을 특징으로 할 수 있다.

이때, 상기 사용자 명령은, 음원의 음량 표준화를 수행하기 위한 모션 명령, 음원의 음량 표준화를 수행하기 위한 음성 명령, 음원의 음량 표준화를 수행하기 위한 물리 버튼 입력 명령 및 음원의 음량 표준화를 수행하기 위한 음량 조절 버튼의 매크로 명령 중 적어도 하나의 명령일 수 있다.

이때, 상기 음원에 대한 음원신호가 온라인 스트리밍 방식으로 수신되는 경우, 긴장도 함수를 사전에 미리 계산해두어 스트리밍 시 이미 계산된 긴장도 함수를 함께 수신하도록 하여 개별 수신장치(e.g. 스마트폰)가 추가적인 연산 없이도 상기 음원의 음량을 보정하는 것을 특징으로 할 수 있다.”

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상술한 본 발명의 다양한 실시예에 따라, 음원을 듣는 사용자는 균질한 음질을 제공받으며 음원을 청취할 수 있다.

나아가, 본 발명의 다양한 실시예에 따라, 음원을 듣는 사용자는 직관적인 방식을 통해 원하는 방향으로 음원의 음질을 보정할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음원의 음량 표준화 방법 및 표시 방법을 설명하기 위한 흐름도이다.
도 3a 내지 도 3e는 본 발명의 일 실시예에 따른 전자 장치의 표시 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 표준화 함수의 생성 과정 중에 도출되는 함수들의 시간에 따른 그래프를 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따라 음량이 조정된 출력 음원신호의 시간의 추이에 따른 그래프를 나타낸 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 본 발명의 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.

본 발명에 따른 전자 장치(100)는 카메라(110), 프로세서(120), 디스플레이(130), 입력부(140), 마이크(150), 스피커(160), 메모리(170) 및 통신부(180)를 포함할 수 있다

카메라(110)는 배경 영상을 촬영할 수 있다. 구체적으로 카메라(110)는 배경 영상에 포함된 QR 코드를 촬영하여 배경 영상과 오브젝트를 중첩하여 표시할 수 있다.

카메라(110)는 상술한 바와 같이 이미지를 촬영할 수 있는 구성이다. 카메라(110)는 렌즈, 셔터, 조리개, 이미지 센서, AFE(Analog Front End), TG(Timing Generator)를 포함할 수 있다.

구체적으로, 렌즈(미도시)는, 피사체에 반사된 광이 입사하는 구성으로, 줌 렌즈 및 포커스 렌즈 중 적어도 하나의 렌즈를 포함할 수 있다. 셔터(미도시)는 빛이 이미지 촬영 장치(100)로 들어오는 시간을 조절한다. 셔터 스피드에 따라 이미지 센서의 노광된 픽셀에 축적되는 광량이 결정된다. 조리개(미도시)는 렌즈를 통과하여 이미지 촬영 장치(100) 내부로 입사되는 광의 양을 조절하는 구성이다. 이미지 센서(미도시)는 렌즈를 통과한 피사체의 상이 결상되는 구성이다.

이미지 처리부(170)는 카메라(110)에 의해 촬영된 로우 이미지 데이터를 처리하여 YCbCr 데이터로 만들 수 있다. 또한, 이미지 블랙 레벨을 결정하며, 색상별 감도비를 조정할 수 있다. 그 외에도 이미지 처리부(170)는 화이트 밸런스를 조정하고, 감마 보정, 색 보간, 색 보정, 해상도 변환을 수행할 수 있다.

프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다.

프로세서(120)는 RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스, 버스를 포함할 수 있다. 이때, RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리(170)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리(170)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

메인 CPU는 메모리(170)에 액세스하여, 메모리(170)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메인 CPU는 메모리(170)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

디스플레이(130)는 다양한 형태의 디스플레이 패널로 구현될 수 있다. 예를 들어, 디스플레이 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다. 또한, 디스플레이(130)는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(100)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다.

입력부(140)는 사용자 명령을 입력 받을 수 있다. 입력부(140)는 다양한 형태로 구성될 수 있다. 예를 들어 입력부(140)는 디스플레이(130) 및 터치 감지부(미도시)와 결합하여 터치 스크린으로 구현될 수 있다. 그러나 이러한 구성에 한정되는 것은 아니며, 입력부(140)는 버튼을 포함하거나, 외부 리모컨으로 구성될 수 있으며, 음성 입력을 위한 마이크(150)로 구성될 수도 있으며, 카메라(110)와 결합하여 모션 입력을 수행할 수도 있다.

특히, 입력부(140)는 제품 이미지를 편집하기 위한 사용자 명령을 입력받을 수 있다. 이때, 입력된 사용자 명령은 롱프레스 명령, 더블 탭 명령, 스와이프 명령 등 일 수 있다.

메모리(170)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(170)는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 어플리케이션이 저장될 수도 있다. 메모리(170)는 프로그램 또는 어플리케이션의 실행 중에 입력되거나 설정 또는 생성되는 각종 데이터 등과 같은 다양한 정보가 저장될 수 있다.

또한, 메모리(170)는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈을 포함할 수 있으며, 프로세서(120)는 메모리(170)에 저장된 각종 소프트웨어 모듈을 실행하여 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 동작을 수행할 수 있다.

또한, 메모리(170)는 카메라(110)에 의해 촬영된 공간 이미지 및 외부로부터 수신한 다양한 이미지를 저장할 수 있다. 이를 위해, 메모리(150)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.

통신부(180)는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부(180)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 특히, 통신부(180)는 외부 장치(예를 들어, 제품 이미지를 제공하는 컨텐츠 서버 등)로부터 다양한 정보를 수신할 수 있다. 예를 들어, 통신부(180)는 외부 장치로부터 다양한 실내 이미지 및 제품 정보, 제품 이미지를 수신하고 수신된 정보를 메모리(170)에 저장할 수 있다.

도 2는 본 발명의 일 실시예에 따른 전자 장치의 음량 표준화 방법을 설명하기 위한 흐름도이다.

단계 S110에서, 프로세서(120)는 디스플레이(130)에 표시된 UI를 통해 음원의 음량 표준화를 수행하기 위한 사용자 명령을 입력 받을 수 있다.

단계 S120에서, 프로세서(120)는, 입력된 사용자 명령에 대응되는 음원을 듣는 사람의 긴장도를 추정하고, 추정된 긴장도를 이용하여 긴장도 함수를 생성할 수 있다.

이때, 긴장도는 음원을 듣는 사람(청취자)이 긴장한 정도를 나타내는데 구체적으로는 청취자가 지각하는 긴장도를 의미한다. 그리고 이러한 긴장도는 음원의 음량, 청취자의 땀 분비 정도 및/또는 동공 크기의 변화 정도를 기초로 추정된다. 그리고, 전자 장치(100)는 추정된 긴장도를 시간의 추이에 따라 표현하여 긴장도 함수를 생성한다. 이때, 긴장도 함수는 해당 음원에 대한 각 시간 구간의 평균 음량을 나타낸다고 볼 수 있다.

일 실시예로, 땀분비 측정은 바이오 센서가 구현된 웨어러블 장치로부터 획득될 수 있다. 또한, 동공의 크기 변화는 전자 장치(100)에 포함된 전면 카메라를 통해 획득될 수 있다. 구체적으로, 동공의 크기 변화는, 전자 장치(100)의 잠금 해제를 위해 홍채 인식이 필요한 경우, 전자 장치(100)가 홍채 인식을 통해 전자 장치(100)의 잠금을 해제하는 단계 및 홍채 인식을 통해 전자 장치(100)가 잠금해제된 경우, 잠금해제에 사용된 홍채 데이터를 바탕으로 동공의 크기 변화를 측정할 수 있다.

전자 장치(100)는 음원을 듣는 사람의 땀 분비 정도, 동공 크기의 변화 정도 등 주관적인 척도 및 음악적 컨텍스트(context)와, 긴장도 사이의 상관관계를 분석하고 인공지능을 통해 학습시킬 수 있고, 학습된 결과를 이용하여 청취자의 긴장도를 추정해 낼 수 있다. 보다 구체적으로, 전자 장치(100)는 어떤 소리(음원)을 들려줬을 때 듣는 사람의 긴장도가 어떻게 변화하는지를 측정한 뒤 분석결과에 대한 데이터를 학습시켜 긴장도 함수를 추정하는 머신러닝 모델을 생성하고 생성된 모델을 동작시킬 수 있다. 본 실시예에 따르면, 음원을 입력하면 기 구축된 머신러닝 모델에 의해 긴장도 함수가 생성되어 출력된다. 다른 말로 하면, 음원을 입력하면 해당 음원을 듣는 사람이 인지할 긴장도를 출력으로 도출하는 인지모델(머신러닝 모델)을 통해 긴장도 함수가 계산될 수 있고, 이때 인지모델은 인공지능 분야에서 논의되고 있거나 활용되고 있는 모든 모델링 방법론에 의해 생성될 수 있다.

다만, 본 발명에 따른 긴장도 추정은 상술한 땀 분비 정도, 동공 크기의 변화이외에도 다양한 방법을 통해 측정될 수 있다. 예를 들어, 전자 장치(100)는 바이오 센서를 포함할 수 있으며, 바이오 센서를 통한 심박수 정보, 산소 포화도 정보 및 스트레스 정보 중 적어도 하나의 정보를 획득하여 긴장도를 추정할 수 있다.

다양한 실시예에 따라, 긴장도 추정을 위한 다양한 정보는 전자 장치(100)와 통신을 수행하는 웨어러블 장치에서 수집되어 전자 장치(100)로 전달될 수 있음은 물론이다.

본 발명의 다른 일 실시예에 따르면, 이러한 긴장도 함수는 음원에 대한 음원신호의 포락선 함수를 나타낼 수 있다. 다른 말로 하면, 시간에 따른 음원신호의 포락선(envelope)은 해당 음원에 대한 청취자의 긴장도를 반영한다. 따라서, 음원에 대한 음원신호의 포락선 함수를 본 발명의 긴장도 함수로서 사용할 수 있다. 이때, 음원신호는 시간에 따른 전압의 변화를 나타낸 신호를 말하는데 전압의 크기는 음량의 크기를 나타낸다. 따라서 음원신호의 포락선은 음량의 포락선을 의미한다.

긴장도 함수로서 음원신호의 포락선 함수를 사용하는 경우, 전자 장치(100)는 단계 S120 대신, 음원에 대한 초기 음원신호(최초 음원신호, 입력 음원신호 또는 원본 음원신호)로부터 포락선을 추출하여 해당 음원에 대한 포락선 함수를 생성한다. 전자 장치(100)는 초기 음원신호로부터 포락선을 추출하기 위하여 Hilbert transform 또는 FFT(Fast　Fourier　Transform)를 이용해 해석신호(Analytic signal)를 추출한 뒤 이 신호를 이용하거나, Gamma-Filter Bank를 이용할 수 있다. 이러한 포락선 추출방법은 공지의 기술이기 때문에 이에 대한 상세한 설명은 생략한다.

단계 S130에서, 프로세서(120)는, 긴장도 함수와 동일한 평균을 유지하면서 긴장도 함수보다 감소되거나 증가된 분산을 갖는 표준화 함수를 생성할 수 있다.

단계 S140에서, 프로세서(120)는, 표준화 함수 형태의 포락선을 갖는 출력 음원신호를 생성할 수 있다.

단계 S140에서, 전자 장치(100)는 단계 S130에서 산출된 표준화 함수의 형태를 포락선으로 갖는 출력 음원신호를 생성한다. 즉, 본 단계에서 생성된 출력 음원신호(최종 음원신호 또는 표준화 음원신호)의 포락선은 표준화 함수와 동일한 형태를 갖는다. 이때, 출력 음원신호는 음원에 대한 음원신호(초기 음원신호)에 표준화 함수를 곱함으로써 생성된다. 이렇게 생성된 출력 음원신호의 포락선은 초기 음원신호의 포락선과 동일한 평균을 갖지만 조정된 분산을 갖게되고 이에 따라, 초기 음원신호의 각 구간의 음량이 균질하게 조정된 출력 음원신호가 생성되는 것이다. 한편, 출력 음원신호는 아래의 수식을 통해 산출된다.

[수학식 1]

도 5은 본 발명의 일 실시예에 따라 음량이 조정된 출력 음원신호의 시간의 추이에 따른 그래프를 나타낸 도면이다.

도 5을 참조하면, 도 5의 위로부터 첫 번째 그래프는 0<k<1의 경우(k=k1)의 출력 음원신호(Xfinal(t))와 출력 음원신호(Xfinal(t))의 포락선 신호(NF3a)를 시간의 추이에 따라 나타낸 그래프이고, 두 번째 그래프는 k>1의 경우(k=k2)의 출력 음원신호(Xfinal(t))와 출력 음원신호(Xfinal(t))의 포락선 신호(NF3b)를 시간의 추이에 따라 나타낸 그래프이다. 이 도면의 그래프에서 X축은 시간(분)이고, Y축은 음원의 음량을 나타내는 진폭(옹스트롬)이다.

한편, 도 3a에 도시된 바와 같이, 단계 S110에서, 프로세서(120)는, 음원의 음량 표준화를 위한 AVC UI(210)를 통한 사용자 명령을 입력 받을 수 있다. AVC UI(210)는 자동 음량 조정(Auto Volume Control) UI를 의미할 수 있으나, UI의 이름에 그 기능이 한정되는 것은 아니다.

AVC UI(210)는 음량 표준화를 활성화시키기 위한 UI이다. 도 3a에 도시된 AVC UI(210)에 터치가 입력되면, 프로세서(120)는 음량 표준화 모드를 동작시킬 수 있다.

한편, 음량 표준화 모드를 동작시키기 위한 방법은 다양할 수 있다. 일 실시예로, 프로세서(120)는 전자 장치(100)의 모션을 감지하여 음량 표준화 모드를 활성화시킬 수 있다. 예를 들어, 프로세서(120)는 전자 장치(100)를 기 설정된 횟수(예를 들어, 세번) 흔드는 모션이 감지되면, 음량 표준화 모드를 활성화할 수 있다. 이 경우, 프로세서(120)는 감지된 전자 장치(100)를 세번 흔드는 모션 이전/이후의 전자 장치(100)의 흔들림 정도를 추가로 판단할 수 있다. 전자 장치(100)를 세번 흔드는 모션 이전/이후의 흔들림 정도가 기 설정된 값 이상인 경우, 프로세서(120)는 해당 모션이 사용자의 의도와 관련이 없는 것으로 판단하고, 음량 표준화 모드를 활성화하지 않을 수 있다. 즉, 액티비티 환경에서 전자 장치(100)가 지속적으로 흔들리는 경우 음량 표준화 모드가 자동으로 활성화되는 것을 방지하기 위하여, 프로세서(120)는 감지된 모션 이전 및 이후의 모션(흔들림)을 판단하여 음량 표준화 모드 활성화 여부를 결정할 수 있다.

또 다른 실시예로, 프로세서(120)는 전자 장치(100)와 통신 연결된 오디오 출력 장치에 입력된 사용자 명령을 바탕으로 음량 표준화 모드를 활성화 할 수 있다. 예를 들어, 프로세서(120)는 오디오 출력 장치를 세번 터치하는 모션 신호를 바탕으로 음량 표준화 모드를 활성화 할 수 있다. 또 다른 예로, 프로세서(120)는 오디오 출력 장치를 드래그하는 모션 신호를 바탕으로 음량 표준화 모드를 활성화 할 수 있다. 이 경우, 프로세서(120)는 드래그 방향에 따라 다른 음량 표준화 모드를 적용할 수 있다. 즉, 드래그 방향이 위에서 아래로 향하는 방향이면 제1 음량 표준화 모드를, 좌측에서 우측으로 방향이면 제2 음량 표준화 모드를 활성화 할 수 있다. 나아가, 프로세서(120)는 음량 표준화 모드 활성화 방향과 반대 방향의 드래그 입력을 수신하면, 음량 표준화 모드를 비활성화 할 수 있다. 즉, 드래그 방향이 아래에서 위로 향하는 방향이면 제1 음량 표준화 모드를, 우측에서 좌측으로 향하는 방향이면 제2 음량 표준화 모드를 비활성화 할 수 있다. 본 실시예에서 언급된 드래그의 패턴에 그 범위가 한정되지 않으며, 언급된 직선 패턴 뿐만 아니라 원, 지그재그, V자, 등의 패턴으로도 본 기능을 컨트롤 할 수 있다. 또 다른 실시예로, 두개 또는 세개 이상의 손가락을 이용하여 음량 표준화 모드를 조절하는 것 또한 가능하다.

또 다른 실시예로, 프로세서(120)는 전자 장치(100)에 구비된 음략 조절부에 입력된 사용자 명령에 따라 음량 표준화 모드를 변경할 수 있다. 예를 들어, 프로세서(120)는 음량 조절 버튼을 연속해서 기 설정된 횟수(예를 들어, 세번) 클릭하는 사용자 입력, 음량 조절 버튼을 기 설정된 패턴으로 입력하는 모션신호를 바탕으로 음량 표준화 모드를 활성화할 수 있다. 또 예로 프로세서(120)는 음량 감소 버튼(또는 증가 버튼)을 기 설정된 횟수(예를 들어, 세번)만큼 연속해서 누르거나, 모스 부호(장-단-단)와 같이, 음량 감소 버튼을 기 설정된 횟수에 기 설정된 리듬을 적용해서 누르는 방식으로도 음량 표준화 모드를 활성화 할 수 있다.

또 다른 실시예로, 프로세서(120)는, 카메라(110)를 통해 획득된 이미지를 바탕으로 사용자 모션을 판단하여 음량 표준화 모드를 활성화시킬 수 있다. 예를 들어, 프로세서(120)는 사용자의 얼굴 이미지를 판단하는 단계, 판단된 얼굴 이미지 중 입술을 판단하는 단계, 판단된 입술에 손가락이 기 설정된 방향으로 위치하는지 판단하는 단계를 바탕으로 사용자의 손가락이 입술위에 존재합을 판단하면 음량 표준화 모드를 활성화시킬 수 있다. 또 다른 예로, 프로세서(120)는 사용자의 눈이 깜빡이는 것을 분석하여 음량 표준화 모드를 활성화시킬 수 있다. 이때, 생리적인 눈 깜빡임과, 음량 표준화를 위한 눈 깜빡임을 구별하기 위하여 프로세서(120)는 기 설정된 횟수(예를 들어 4번) 및 기 설정된 주기(예를 들어 0.5초 이상 눈을 감고 있음)만큼 눈이 깜빡인 경우에 한하여 음량 표준화 모드를 활성화시킬 수 있다.

또 다른 실시예로, 프로세서(120)는 음성 명령을 바탕으로 음량 표준화 모드를 제어할 수 있다. 예를 들어, 프로세서(120)는 "BGM모드(배경음악모드) 켜줘/꺼줘" 와 같은 발화를 수신한 경우, 음량 표준화 모드를 활성화/비활성화 할 수 있다.

앞서 상술된 실시예들은 스마트폰 같은 전자 장치(100)에서 소리신호를 스트리밍하는 장치에 내장된 다양한 센서들을 이용해 음량 표준화 모드(음량 자동 조절 모드)를 활성 또는 비활성화 시키거나 해당 모드의 세부 파라미터를 조절하는 방법들을 제시한 것으로, 사용자가 이미 일반적으로 사용하던 작동 패턴과 독특하게 구별되는 동시에 쉽게 기억할 수 있는 패턴을 설정하여 혼란 없이 본 기능을 운용하는 방법들을 기술하였을 뿐, 이 실시예들에 그 작동 패턴이나 구동 방식이 한정되는 것은 아니다. 따라서, 스마트폰 뿐 아니라 스마트워치, 스마트글래스, 자동차, 인공지능스피커와 같은 장치의 새로운 센서와 시스템을 응용하여 작동 매크로는 다양하게 정의될 수 있으며, 특정 소프트웨어 (e.g. 음악 스트리밍 앱)의 시스템과 UI, UX를 고려하여 적합한 매크로 패턴을 정의할 수 있고, 나아가 사용자가 직접 자신만의 매크로 패턴을 설정하는 방법 또한 가능하다.

한편, 음량 표준화 모드가 활성화된 경우, 도 3b에 도시된 바와 같이, 음량 조절 UI 상에 인디케이터(220)가 표시될 수 있다. 인디케이터(220)는 활성화된 음량 표준화 모드에 대응되도록 음원의 음량을 조절하기 위한 역할을 한다. 구체적으로 도 3b에 도시된 바와 같이, 인디케이터(220)는 음량 표준화 모드에 따라 음원의 음량을 증가(221)시키거나 감소(222)시킬 수 있다. 도 3b는 인디케이터(200)가 이동하며 음원의 음량 조절을 표시하는 것으로 설명하였으나, 인디케이터(220) 대신 음량 조절 버튼이 이동하며 음원의 음량을 조절할 수 있음은 물론이다.

상술한 본 발명의 실시예에 따르면, 본 발명은 오리지널 음원을 처리하여 새로운 표준화 음원을 생성하는 방법으로 음원의 음량 표준화 과정을 수행하는 것 뿐만 아니라, 음악 어플리케이션에서 오리지날 음원의 볼륨 조절을 통해 음원을 출력하는 것을 기술적 특징으로 한다. 즉, 본 발명은 오리지널 음원을 가공하지 않고 음원의 음량만을 변경시키기 때문에 오리지널 음원에 대한 일체의 변형 조치가 발생하지 않으며, 이는 사용자가 일정한 음량을 위해 임의로 음량을 키웠다가 줄이던 행위를 자동화한 것과 다름없기에, 저작권법이 보호하는 저작물의 임의적 수정이나 변경 없이도 서비스를 제공할 수 있게된다. 즉, 서비스 제공자가 저작권법 위반과 같은 법적 책임 또한 회피할 수 있는 효과가 존재한다.

한편, 본 발명의 다양한 실시예에 따라, 사용자는 디스플레이(130)에 표시된 인디케이터(220)를 조절하여 타겟 볼륨을 변경시킬 수 있다. 즉, 인디케이터(220)의 위치를 변경하기 위한 사용자 명령이 입력되면, 프로세서(120)는 변경된 인디케이터(220)의 위치에 대응되는 볼륨 값을 기준으로 음량 표준화를 수행할 수 있다.

또 다른 실시예로, 도 3c에 도시된 바와 같이, 단계 S110에서, 프로세서(120)는, 음원의 음량 표준화를 위한 제1 UI(310)를 통한 사용자 명령을 입력 받고, 제1 UI(310)를 통한 사용자 명령이 입력되면, 도 3d에 도시된 바와 같이, 디스플레이(120)에 음원에 대한 복수의 음량 표준화 모드를 지원하는 복수의 모드 UI(311 내지 313)를 표시할 수 있다.

이때, 복수의 모드 UI는, BGM 모드에 대응되는 음량 표준화를 지원하는 제2 UI(311), 공부 모드에 대응되는 음량 표준화를 지원하는 제3 UI(312) 및 집중 모드에 대응되는 음량 표준화를 지원하는 제4 UI(313) 중 하나의 모드일 수 있다. 각각의 모드는 본 발명의 세부 파라미터 값에 따라 특징을 가질 수 있고, 사용자의 수요에 따라 얼마든지 새로운 모드로 명명할 수 있다.

전자 장치(100)는 제2 UI 내지 제 4UI(311 내지 313) 중 어느 하나의 UI에 대한 사용자 명령이 입력되면, 입력된 모드에 따라 긴장도를 추정하고 추정된 긴장도에 대한 긴장도 함수를 생성할 수 있다. 즉, 음원을 듣는 사용자에 대한 긴장도가 동일하게 추정되더라도, 전자 장치(100)는 음량 표준화 모드에 따라 서로 다른 긴장도 함수를 생성할 수 있다.

또 다른 실시예로, 전자 장치(100)는 제2 UI 내지 제 4UI(311 내지 313) 중 어느 하나의 UI에 대한 사용자 명령이 입력되면, 사용자의 긴장도를 추정하고, 추정된 긴장도를 바탕으로 동일한 긴장도 함수를 생성할 수 있다. 이후, 전자 장치(100)는 입력된 모드에 따라 서로 다른 표준화 함수를 생성할 수 있다. 즉, 전자 장치(100)는 음원을 듣는 사용자의 긴장도에 따라 동일한 긴장도를 생성하되, 모드에 따라 서로 다른 표준화 함수를 생성할 수 있다. 구체적으로, 전자 장치(100)는 분산값을 조정하는 과정을 통해 동일한 긴장도 함수로부터 서로 다른 표준화 함수를 생성할 수 있다.

한편, 본 발명의 또 다른 실시예에 따라, 프로세서(120)는 제2 UI 내지 제4 UI 각각의 우선순위를 판단하고, 우선순위에 따라 복수의 UI를 배열하여 표시할 수 있다.

구체적으로, 우선순위가 제3 UI(312), 제2 UI(311), 제4 UI(313) 순으로 결정된 경우, 프로세서(120)는 도 3e에 도시된 바와 같이, 제3 UI(312), 제2 UI(311), 제4 UI(313)의 순서로 UI를 표시할 수 있다.

이때, 프로세서(120)는, 음원을 듣는 사용자의 음량 표준화 히스토리를 바탕으로 우선순위를 판단할 수 있다. 예를 들어, 프로세서(120)는 음원을 듣는 사용자가 가장 많이 사용한 음량 표준화 모드의 순서대로 우선순위를 설정할 수 있다.

다만, 이에 한정되는 것은 아니고, 프로세서(120)는 주변 환경 정보를 분석하여 우선순위를 설정할 수도 있음은 물론이다. 예를 들어, 프로세서(120)는 마이크(150)를 통해 입력된 주변 소음 정보를 바탕으로 복수의 UI간의 우선순위를 설정할 수 있다. 즉, 프로세서(120)는 주변 소음 정보를 데시벨 값으로 획득하고, 데시벨 값이 기 설정된 제1 값 이하인 경우, 제3 UI(312), 제2 UI(311), 제4 UI(313) 순으로 설정하고, 데시벨 값이 기 설정된 제2 값 이상인 경우, 제4 UI(313), 제2 UI(311). 제3 UI(312) 순으로 설정할 수 있다.

또는 데시벨 값이 기 설정된 제1 값 초과, 기 설정된 제2 값 미만인 경우, 제2 UI(311)의 우선순위를 가장 높게 설정할 수 있다. 이때, 제3 UI(312) 및 제4 UI(313)간의 우선순위는 상술한 음원을 듣는 사용자의 음량 표준화 히스토리를 바탕으로 결정될 수 있음은 물론이다.

상술한 다양한 실시예에 따라 결정된 우선순위는, 복수의 UI를 통한 사용자 명령이 입력되지 않은 경우, 복수의 UI 중, 최선순위 UI에 대응되는 음량 표준화를 수행하기 위해 사용될 수 있다.

즉, 음원을 듣는 사용자가 음량 표준화 모드에 대한 사용자 명령을 입력하지 않는 경우라도, 프로세서(120)는 우선순위를 바탕으로 적합한 음량 표준화를 자동으로 수행할 수 있다.

한편, 본 발명의 또 다른 실시예에 따라, 음원 표준화 모드는 재생되는 복수의 음원에 대해 설정될 수 있으나, 특정 음원에 대해 설정될 수도 있다.

구체적으로, 프로세서(120)는, 재생되는 복수의 음원에 대한 동일한 제1 음량 표준화 모드를 설정할 수 있다. 즉, 음원 표준화 모드를 선택하기 위한 사용자 명령이 입력되면, 프로세서(120)는 음원이 포함된 리스트 전체에 대해 동일한 제1 음량 표준화 모드를 설정할 수 있다.

그러나 특정 음원이나 특정 장르의 음원에 대하여는 사용자가 음량 표준화 모드를 다르게 설정하고 싶은 경우가 있을 수 있다. 따라서, 프로세서(120)는 재생되는 복수의 음원 중 적어도 일부에 대한 단일 음원에 대응되는 제2 음량 표준화 모드를 설정할 수 있다. 즉, 사용자가 특정 곡을 선택하여 제2 음량 표준화 모드를 설정한 경우, 프로세서(120)는 특정 곡에 대하여는 제2 음량 표준화 모드를 적용할 수 있다.

결론적으로, 전자 장치(100)가 제1 음량 표준화 모드에 대응되게 음원을 재생하던 중, 제2 음량 표준화 모드가 적용된 단일 음원 또는 특정 장르의 음원의 재생이 시작되는 경우, 프로세서(120)는 단일 음원에 대하여 제2 음량 표준화 모드를 적용할 수 있다.

한편, 도 3f 내지 도 3i에 도시된 바와 같이, 프로세서(120)는 음원의 음량 균일화를 변경시키기 위한 UI를 바탕으로 사용자 명령이 입력되면, 사용자 명령에 대응되게 음원의 음량을 균일화할 수 있다.

구체적으로, 도 3f에 도시된 바와 같이, 디스플레이(130)는 제2 UI(311) 내지 제4 UI(313)과 함께, 제5 UI(314)를 표시할 수 있다. 제5 UI(314)를 통한 사용자 명령이 입력되면, 프로세서(120)는 도 3g 또는 도 3h에 도시된 바와 같이 음량 균일화를 위한 설정창을 표시할 수 있다.

구체적으로, 도 3g에 도시된 제 6 UI(410) 또는 도 3h에 도시된 제7 UI(420)을 이동시키기 위한 사용자 명령이 입력되면, 프로세서(120)는 이동된 제6 UI(410) 또는 제7 UI(420)의 위치에 대응되도록 음량 균일화를 수행할 수 있다. 본 발명의 실시예에서는, 제6 UI(410) 또는 제7 UI(420)가 우측으로 이동할수록 음량이 균일하게 보정되는 것으로 설명하나, 균일화를 위한 UI의 이동방향은 상하좌우 어떤 방향으로도 적용될 수 있음은 물론이며, 제 6 UI(410), 제 7 UI(420)를 사용하지 않더라도, 소리 신호와 그 포락선 신호(envelope)를 직접 위 아래로 드래그하는 방식이나, 두 손가락을 이용해 소리 신호와 포락선 신호(envelope)의 고점과 저점 간격을 좁히거나 넓히는 방식(pinch in/out)을 통해서도 음량의 균일성을 조절할 수 있다.

한편, 도 3g에 도시된 제 6 UI(410)의 이동에 따라 음량 균일화 정도가 설정된 경우, 프로세서(120)는 도 3i의 좌측에 도시된 바와 같이, 음량 균일화 정도에 대응되는 범위(411) 내에서 음량 표준화를 수행하고, 도 3h에 도시된 제 7 UI(420)의 이동에 따라 음량 균일화 정도가 설정된 경우, 프로세서(120)는 도 3i의 우측에 도시된 바와 같이, 음량 균일화 정도에 대응되는 범위(412) 내에서 음량 표준화를 수행할 수 있다. 음량이 균일화 정도가 클수록 볼륨의 변화 정도가 커짐은

도 3i에 도시된 바와 같다.

한편, 프로세서(120)는 제6 UI(410) 또는 제7 UI(420)의 이동에 따라, 후술하는 2차 표준화 함수의 분산값(Var[NF₂(t)])을 변경하여 음량의 균일화 과정을 수행할 수 있다. 이 경우, 분산값이 0에 가까워 질수록 음량이 균일화 정도가 커지며, 1보다 커지는 경우, 음량 변화 정도가 본래의 음원 신호보다 커지게 된다. . 따라서, 바람직하게는, 분산값은 0에서 1사이가 적정하나, 음량 표준화 모드의 종류에 따라 1보다 큰 분산값을 적용하여 본래의 음원 신호를 재해석하여 출력할 수 있음은 물론이다.

한편, 상술한 단계 S130에서, (S131) 상기 긴장도 함수의 평균을 0으로 조정하여 1차 표준화 함수를 생성하는 단계, (S132) 상기 1차 표준화 함수에, 0보다 크고 1보다 작은 상수 또는 1보다 큰 상수를 곱하여 2차 표준화 함수를 생성하는 단계, (S133) 상기 2차 표준화 함수에 상기 긴장도 함수의 평균을 더하여 3차 표준화 함수를 생성하는 단계 및/또는 (S134) 상기 3차 표준화 함수를 상기 긴장도 함수로 나누어 상기 표준화 함수를 생성하는 단계를 포함한다. 즉, 전자 장치(100)는 상술한 (S131) 내지 (S134) 단계를 통해 단계 S120에서 추정된 긴장도 함수와 동일한 평균을 유지하면서 상기 긴장도 함수보다 감소되거나 증가된 분산을 갖는 표준화 함수를 생성한다.

(S131) 단계에서, 전자 장치(100)는 긴장도 함수(실시예에 따라 포락선 함수일 수 있음)의 평균을 0으로 조정하여 새로운 함수인 1차 표준화 함수를 생성한다. 이때, 1차 표준화 함수는 아래의 수식을 통해 산출될 수 있다.

[수학식 2]

(S132) 단계에서, 전자 장치(100)는 (S131) 단계에서 산출된 1차 표준화 함수에, 0보다 크고 1보다 작은 상수 또는 1보다 큰 상수를 곱하여 2차 표준화 함수를 생성한다. 이는 1차 표준화 함수의 분산을 작거나 크게하기 위함이다. 즉, 전자 장치(100)는 1차 표준화 함수의 분산을 좁히고자 하는 경우 0과 1 사이의 임의의 상수를 곱하여 2차 표준화 함수를 생성하고, 또는 1차 표준화 함수의 분산을 넓히고자 하는 경우 1과 무한대 사이의 임의의 상수를 곱하여 2차 표준화 함수를 생성한다. 이때, 2차 표준화 함수는 아래의 수식을 통해 산출될 수 있다.

[수학식 3]

(S133) 단계에서, 전자 장치(100)는 (S132) 단계에서 산출된 2차 표준화 함수에 긴장도 함수의 평균을 더하여 3차 표준화 함수를 생성한다. 이때, 3차 표준화 함수는 아래의 수식을 통해 산출될 수 있다.

[수학식 4]

(S134) 단계에서, 전자 장치(100)는 (S133) 단계에서 산출된 3차 표준화 함수를 긴장도 함수로 나누어 최종적으로 표준화 함수를 생성한다. 본 단계에서 생성되는 표준화 함수는 본 발명에서 제시하는 표준화 과정을 거친 뒤 출력되는 최종 음원신호의 음량 포락선(또는, 긴장도 함수)와 같다. 이때, 표준화 함수는 아래의 수식을 통해 산출될 수 있다.

[수학식 5]

도 4는 본 발명의 일 실시예에 따른 표준화 함수의 생성 과정 중에 도출되는 함수들의 시간에 따른 그래프를 나타낸 도면이다.

도 4를 참조하면, 도 4의 위로부터 첫 번째 그래프는 초기 음원신호(Initial signal)와 초기 음원신호의 포락선 신호(포락선 함수의 신호, Envelope)를 시간의 추이에 따라 나타낸 그래프이고, 두 번째 그래프는 초기 음원신호의 포락선 신호(env(t))와 1차 표준화 함수의 신호(NF1)를 시간의 추이에 따라 나타낸 그래프이며, 세 번째 그래프는 0<k<1의 경우(k=k1)의 2차 표준화 함수(NF2a)와 k>1의 경우(k=k2)의 2차 표준화 함수(NF2b)를 시간의 추이에 따라 나타낸 그래프이고, 네 번째 그래프는 0<k<1의 경우(k=k1)의 3차 표준화 함수(NF3a)와 k>1의 경우(k=k2)의 3차 표준화 함수(NF3b)를 시간의 추이에 따라 나타낸 그래프이며, 다섯 번째 그래프는 0<k<1의 경우(k=k1)의 표준화 함수(NFa)를 시간의 추이에 따라 나타낸 그래프이다. 이 도면의 그래프에서 X축은 시간(분)이고, Y축은 음원의 음량을 나타내는 진폭(옹스트롬)이다.

본 발명의 다른 일 실시예에 따르면, 단계 S130에서 생성되는 표준화 함수는 긴장도 함수(실시예에 따라 포락선 함수일 수 있음)의 평균을 긴장도 함수로 나눔으로써 생성될 수 있다. 본 실시예의 방법에 따르면, 계산상 매우 간편하다는 장점과 함께 표준화 함수의 분산은 0이 되므로, 본 방법에 의해서는 0이 아닌 값으로 표준화 함수의 분산이 조정될 수 없다는 한계가 있다. 본 실시예에 따르면 표준화 함수는 아래의 수식을 통해 산출될 수 있다.

[수학식 6]

한편, 본 발명의 또 다른 실시예에 따라, 음원에 대한 음원신호가 온라인 스트리밍 방식으로 수신되는 경우, 프로세서(120)는, 상술한 단계 S120 이전에, 긴장도 함수를 생성하는 단계에서 생성될 긴장도 함수의 평균과 분산을 설정하고, 일정 길이의 음원신호가 수신될 때마다, 긴장도 함수를 생성하고, 표준화 함수를 생성하여 출력 음원신호를 생성할 수 있다.

구체적으로, 본 발명의 다른 일 실시예에 따르면, 음원에 대한 음원신호가 온라인 스트리밍 방식으로 수신될 수 있다. 이러한 경우, 본 음량 표준화 방법은 단계 S120 이전에, 단계 S120 단계에서 생성될 긴장도 함수의 평균을 미리 설정하는 단계를 더 포함하고, 이후 전자 장치(100)는 일정 길이의 음원신호가 수신될 때마다, 단계 S120 내지 S140을 수행함으로써 실시간으로 음원의 음량을 보정할 수 있다. 즉, 전자 장치(100)는 목표가 되는 긴장도 함수의 평균을 미리 설정하여 최종 조정할 음량을 고정시킨 후, 실시간으로 수신되는 초기 음원신호를 분석해가며 음량을 보정해 나갈 수 있다. 이로써, 전자 장치(100)는 음원신호의 데이터를 음원의 끝까지 모두 알지 못하는 상황에서도 실시간으로 음량을 보정할 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 전자 장치

Claims (11)

1. 전자 장치에 의해 수행되는 음원의 음량 표준화 방법에 있어서,
   음원의 음량 표준화를 수행하기 위한 사용자 명령을 입력 받는 단계;
   상기 사용자 명령에 대응되는 상기 음원을 듣는 사람의 긴장도를 추정하고, 상기 긴장도를 이용하여 긴장도 함수를 생성하는 단계;
   상기 긴장도 함수와 동일한 평균을 유지하면서 상기 긴장도 함수보다 감소되거나 증가된 분산을 갖는 표준화 함수를 생성하는 단계; 및
   상기 표준화 함수 형태의 포락선을 갖는 출력 음원신호를 생성하는 단계; 를 포함하며,
   상기 사용자 명령은, 디스플레이에 표시된 UI를 통해 음원의 음량 표준화를 수행하기 위한 사용자 명령이고,
   상기 사용자 명령을 입력 받는 단계는,
   상기 음원의 음량 표준화를 위한 제1 UI(310)를 통한 사용자 명령을 입력 받는 단계;
   상기 제1 UI(310)를 통한 사용자 명령이 입력되면, 상기 디스플레이에 상기 음원에 대한 복수의 음량 표준화 모드를 지원하는 복수의 모드 UI를 표시하는 단계를 포함하고,
   상기 복수의 모드 UI는, BGM 모드에 대응되는 음량 표준화를 지원하는 제2 UI, 공부 모드에 대응되는 음량 표준화를 지원하는 제3 UI 및 집중 모드에 대응되는 음량 표준화를 지원하는 제4 UI 중 하나의 모드 UI인 것을 특징으로 하는 음원의 음량 표준화 방법.
2. 삭제
3. 제1항에 있어서,
   상기 긴장도 함수를 생성하는 단계는,
   상기 복수의 모드 UI 중 어느 하나의 UI에 사용자 명령이 입력되면, 상기 UI의 모드에 대응되는 긴장도를 추정하고, 상기 긴장도를 이용하여 긴장도 함수를 생성하는 단계를 포함하는 음원의 음량 표준화 방법.
4. 제1항에 있어서,
   상기 복수의 모드 UI를 표시하는 단계는,
   상기 제2 UI 내지 상기 제4 UI 각각의 우선순위를 판단하는 단계; 및
   상기 우선순위에 따라 상기 복수의 UI를 배열하여 표시하는 단계를 포함하고,
   상기 우선순위를 판단하는 단계는,
   상기 음원을 듣는 사용자의 음량 표준화 히스토리를 바탕으로 결정되고,
   상기 사용자 명령을 입력 받는 단계는,
   상기 복수의 UI를 통한 사용자 명령이 입력되지 않은 경우, 상기 복수의 UI 중, 최선순위 UI에 대응되는 음량 표준화를 수행하는 단계; 를 포함하는 음원의 음량 표준화 방법.
5. 제1항에 있어서,
   상기 음량 표준화 방법은,
   재생되는 복수의 음원에 대한 동일한 제1 음량 표준화 모드를 설정하는 단계;
   재생되는 복수의 음원 중 적어도 일부에 대한 단일 음원에 대응되는 단일 음원의 제2 음량 표준화 모드를 설정하는 단계;
   재생되는 복수의 음원 중 적어도 일부 또는 특정 장르의 음원에 대응되는 복수의 음원의 제2 음량 표준화 모드를 설정하는 단계;
   상기 전자 장치가 제1 음량 표준화 모드에 대응되게 음원을 재생하던 중, 제2 음량 표준화 모드가 적용된 단일 음원, 또는 특정 장르 음원의 재생이 시작되는 경우, 상기 단일 음원에 대하여 제2 음량 표준화 모드를 적용하는 단계; 를 포함하는 음원의 음량 표준화 방법.
6. 제1항에 있어서,
   상기 표준화 함수를 생성하는 단계는,
   상기 긴장도 함수의 평균을 0으로 조정하여 1차 표준화 함수를 생성하는 단계;
   상기 1차 표준화 함수에, 0보다 크고 1보다 작은 상수 또는 1보다 큰 상수를 곱하여 2차 표준화 함수를 생성하는 단계;
   상기 2차 표준화 함수에 상기 긴장도 함수의 평균을 더하여 3차 표준화 함수를 생성하는 단계; 및
   상기 3차 표준화 함수를 상기 긴장도 함수로 나누어 상기 표준화 함수를 생성하는 단계를 포함하고,
   상기 2차 표준화 함수를 생성하는 단계는,
   상기 1차 표준화 함수의 분산값을 감소시키기 위한 경우, 상기 1차 표준화 함수에 0보다 크고 1보다 작은 상수를 곱하고, 상기 1차 표준화 함수의 분산값을 증가시키기 위한 경우, 상기 1차 표준화 함수에 1보다 큰 상수를 곱하는 것을 특징으로 하는, 음원의 음량 표준화 방법.
7. 제1항에 있어서,
   상기 긴장도 함수는 상기 음원에 대한 음원신호의 포락선 함수이고,
   상기 표준화 함수는 상기 긴장도 함수의 평균을 상기 긴장도 함수로 나눔으로써 생성되고,
   상기 출력 음원신호는 상기 음원에 대한 음원신호에 상기 표준화 함수를 곱함으로써 생성되고,
   상기 긴장도는 상기 음원을 듣는 사람의 땀 분비 정도 또는 동공 크기의 변화 정도를 기초로 추정되고, 추정된 긴장도와 상기 음원을 듣는 사람의 땀 분비 정도 또는 동공 크기의 변화 정도 사이의 상관관계는 인공지능을 통해 학습되어 긴장도 추정을 위해 활용되는 것을 특징으로 하는 음원의 음량 표준화 방법.
8. 제1항에 있어서,
   상기 음원에 대한 음원신호가 온라인 스트리밍 방식으로 수신되는 경우,
   상기 음원의 음량 표준화 방법은, 상기 긴장도 함수를 생성하는 단계 이전에, 상기 긴장도 함수를 생성하는 단계에서 생성될 긴장도 함수의 평균과 분산을 설정하는 단계를 더 포함하고,
   일정 길이의 음원신호가 수신될 때마다, 상기 긴장도 함수를 생성하는 단계, 상기 표준화 함수를 생성하는 단계 및 상기 출력 음원신호를 생성하는 단계를 순차적으로 수행함으로써 실시간으로 상기 음원의 음량을 보정하는 것을 특징으로 하는 음원의 음량 표준화 방법.
9. 제1항에 있어서,
   상기 사용자 명령은,
   음원의 음량 표준화를 수행하기 위한 모션 명령, 음원의 음량 표준화를 수행하기 위한 음성 명령, 음원의 음량 표준화를 수행하기 위한 물리 버튼 입력 명령 및 음원의 음량 표준화를 수행하기 위한 음량 조절 버튼의 매크로 명령 중 적어도 하나의 명령인 것을 특징으로 하는 음량 표준화 방법.
10. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
11. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
    

Images