KR102155743B1 - 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법 - Google Patents

대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법 Download PDF

Info

Publication number
KR102155743B1
KR102155743B1 KR1020190123864A KR20190123864A KR102155743B1 KR 102155743 B1 KR102155743 B1 KR 102155743B1 KR 1020190123864 A KR1020190123864 A KR 1020190123864A KR 20190123864 A KR20190123864 A KR 20190123864A KR 102155743 B1 KR102155743 B1 KR 102155743B1
Authority
KR
South Korea
Prior art keywords
window
energy
volume
value
maximum
Prior art date
Application number
KR1020190123864A
Other languages
English (en)
Inventor
견두헌
Original Assignee
견두헌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 견두헌 filed Critical 견두헌
Priority to KR1020190123864A priority Critical patent/KR102155743B1/ko
Application granted granted Critical
Publication of KR102155743B1 publication Critical patent/KR102155743B1/ko
Priority to PCT/KR2020/013442 priority patent/WO2021071175A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법에 관한 것이다.
본 발명에 따르면, 대표음량을 적용한 컨텐츠 음량 조절 시스템을 이용한 컨텐츠 음량 조절 방법에 있어서, 컨텐츠 제작자로부터 제작된 영상 또는 음원을 업로드 받는 단계, 상기 업로드된 영상에 대한 서비스 목적을 선택받는 단계, 상기 업로드된 영상의 대표음량을 산출하고, 산출된 대표음량을 정규화하는 단계, 상기 정규화된 대표음량에 상기 서비스 목적에 따른 보정 값을 적용하여 보정 대표음량을 설정하는 단계, 그리고 청취자로부터 원하는 음량 크기를 입력 받으면, 상기 보정 대표음량을 상기 입력된 음량 크기를 가지도록 변환하여 최종 대표음량을 출력하는 단계를 포함한다.
이와 같이 본 발명의 실시예에 따르면, 컨텐츠 제작자는 음량편집 작업이 없이 적절한 컨텐츠 음량 서비스가 가능하게 되어 더 많은 양질의 컨턴츠를 생산할 수 있으며, 청취자는 상황에 따라 직관적으로 원하는 최적의 음량으로 컨텐츠를 이용할 수 있다.

Description

대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법{SYSTEM FOR CONTENTS VOLUME CONTROL APPLYING REPRESENTATIVE VOLUME AND METHOD THEREOF}
본 발명은 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법에 관한 것으로, 자동산출된 컨텐츠 대표음량을 사용하여, 제작자와 청취자가 의도한 음량으로 제어하는 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법에 관한 것이다.
사람이 최종적으로 음량을 인지하는 원리는 복잡하며, dB(SPL), dB(A), dBFS, LKFS 등과 같은 기존의 단위로는 효과적인 표현 및 활용이 불가능하다. 또한 아날로그영역과 디지털영역에서 사용되는 음량단위는 개념 자체가 다르고 직관성이 부족하므로, 일치된 하나의 방식으로 통합할수 없다.
청각적인 개인 차를 논외로 두더라도, 음량 인지에는 최대피크와 평균에너지, 음색, 리듬, 에너지 변화 양상 등의 요소가 복합적으로 작용하며, 이러한 세부적인 측정 결과들을 결합시킨다고 단순히 합산된 결과가 나오지 않을 뿐 아니라, 다른 형태의 변수들이 끊임없이 생성된다. 결과적으로 독립적인 측정결과를 결합하여 최종 인지음량을 예측하는 방법은 비효율적이다.
또한, 실제 느끼는 최종적인 음량을 예측하거나 그러한 감각을 수치로 표현하는 것은 어려운 작업지만, 사람은 두개의 음원을 비교 청취하면서 자신이 원하는 수준의 음량으로 정확하게 조절할수 있는 감각적인 능력을 가지고 있으며, 실제 정식으로 출시되고있는 모든 음반의 개별 음원들은 전적으로 사람이 직접 들은 체감음량 결과에 의해 음량이 조정하는 마스터링 과정을 거쳐 제작된다.
1인 컨텐츠 크리에이터가 차지하는 미디어 시장의 규모가 매년 크게 증가하고 있으나, 미디어 컨텐츠 제작자 들이 필수적으로 거쳐야하는 음량 편집 작업은 항상 애매하고 소모적인 과정이다.
그리고 각 컨텐츠별 음량 편집 결과는 일관적이지 않으며, 청취자도 기존의 음량표현방식으로는 직관적 음량 설정이 불가능하므로, 매번 감에 의존하여 수동으로 음량을 조절하는 문제점이 있다.
따라서, 음량의 편집없이 적절한 컨텐츠음량 서비스를 제공하기 위한 기술이 필요하게 되었다.
본 발명의 배경이 되는 기술은 대한민국 등록특허 제10-0412488호(2003.12.31)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 자동산출된 컨텐츠 대표음량을 사용하여, 제작자와 청취자가 의도한 음량으로 제어하는 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 대표음량을 적용한 컨텐츠 음량 조절 시스템을 이용한 컨텐츠 음량 조절 방법에 있어서, 컨텐츠 제작자로부터 제작된 영상 또는 음원을 업로드 받는 단계, 상기 업로드된 영상에 대한 서비스 목적을 선택받는 단계, 상기 업로드된 영상의 대표음량을 산출하고, 산출된 대표음량을 정규화하는 단계, 상기 정규화된 대표음량에 상기 서비스 목적에 따른 보정 값을 적용하여 보정 대표음량을 설정하는 단계, 그리고 청취자로부터 원하는 음량 크기를 입력 받으면, 상기 보정 대표음량을 상기 입력된 음량 크기를 가지도록 변환하여 최종 대표음량을 출력하는 단계를 포함한다.
상기 산출된 대표음량을 정규화하는 단계는, 상기 업로드 된 영상 또는 음원에서 최대 에너지 구간을 추출하는 단계, 상기 최대 에너지 구간을 주파수 영역 인지가중 필터에 적용하여 주파수별 최대 에너지 구간을 산출하는 단계, 상기 최대 에너지 구간으로부터 에너지 변동 계수를 산출하는 단계, 상기 최대 에너지 구간에 대응하는 200ms의 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하는 단계, 상기 최대 에너지 구간에 대응하는 400ms의 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하는 단계, 상기 최대 에너지 구간에 대응하는 800ms의 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하는 단계, 상기 최대 에너지 구간에서의 인지가중 에너지를 연산하는 단계, 그리고 상기 에너지 변동 계수, 200ms 길이를 가지는 윈도우의 최대값, 400ms 길이를 가지는 윈도우의 최대값, 800ms 길이를 가지는 윈도우의 최대값, 및 인지가중 에너지 분포도를 정규화하여 대표음량을 산출하는 단계를 포함할 수 있다.
상기 최대 에너지 구간을 추출하는 단계는, 상기 업로드된 영상 또는 음원에 해당되는 프레임 길이를 각각 설정하는 단계, 상기 프레임 길이에 해당되는 윈도우를 생성하는 단계, 생성된 윈도우를 일정 단위로 이동시켜가면서 각각의 윈도우에 해당되는 에너지 값을 연산하는 단계, 그리고 연산된 값 중에서 최대 값을 가지는 윈도우를 추출하고, 추출된 윈도우에 대응하는 구간을 최대 에너지 구간으로 선택할 수 있다.
상기 에너지 변동 계수를 산출하는 단계는, 상기 최대 에너지 구간에 대응하는 윈도우를 생성하는 단계, 생성된 윈도우를 기준 값만큼 이동시키고, 전체 윈도우의 에너지에 대한 평균 값을 연산하는 단계, 상기 평균 값을 아래의 수학식에 적용하여 상기 에너지 변동 계수를 산출할 수 있다.
Figure 112019102143421-pat00001
여기서,
Figure 112019102143421-pat00002
는 에너지 변동계수이고,
Figure 112019102143421-pat00003
는 윈도우의 에너지 크기 값이고,
Figure 112019102143421-pat00004
는 전체 윈도우의 에너지에 대한 평균 값이며, n은 윈도우의 개수이다.
상기 인지가중 에너지를 연산하는 단계는, 아래의 수학식을 이용하여 상기 인지가중 에너지를 연산할 수 있다.
Figure 112019102143421-pat00005
Figure 112019102143421-pat00006
여기서,
Figure 112019102143421-pat00007
는 인지가중 에너지이고,
Figure 112019102143421-pat00008
는 에너지 분포도의 음량이고,
Figure 112019102143421-pat00009
은
Figure 112019102143421-pat00010
의 출현 빈도이며,
Figure 112019102143421-pat00011
는 인지가중 에너지의 합이다.
상기 대표음량을 산출하는 단계는, 상기 에너지 변동계수(CV)가 1이상일 경우, 아래의 수학식을 이용하여 대표음량을 산출할 수 있다.
Figure 112019102143421-pat00012
여기서,
Figure 112019102143421-pat00013
는 주파수 인지가중 필터 적용후의 에너지 차이이고,
Figure 112019102143421-pat00014
은 800ms 구간에서의 최대 에너지 값이고,
Figure 112019102143421-pat00015
은 400ms 구간에서의 최대 에너지 값이고,
Figure 112019102143421-pat00016
은 200ms 구간에서의 최대 에너지 값을 나타낸다.
상기 대표음량을 산출하는 단계는, 상기 에너지 변동계수(CV)가 1보다 작을 경우, 아래의 수학식을 이용하여 상기 대표음량을 산출할 수 있다.
Figure 112019102143421-pat00017
상기 서비스 목적은, 감상용, 의미전달용 및 배경음 재생용 중에서 어느 하나를 포함할 수 있다.
상기 보정 대표음량을 설정하는 단계는, 상기 서비스 목적이 감상용일 경우, 상기 정규화된 대표음량을 그대로 설정하고, 상기 서비스 목적이 의미전달용일 경우, 상기 정규화된 대표음량을 5dBis만큼 줄여서 설정하고, 상기 서비스 목적이 배경음 재생용일 경우 상기 정규화된 대표음량을 10dBis만큼 줄여서 설정할 수 있다.
본 발명의 다른 실시예에 따르면, 대표음량을 적용한 컨텐츠 음량 조절 시스템에 있어서, 컨텐츠 제작자로부터 제작된 영상 또는 음원을 업로드 받고, 상기 업로드된 영상에 대한 서비스 목적을 선택받는 입력부, 상기 업로드된 영상의 대표음량을 산출하고, 산출된 대표음량을 정규화하는 제어부, 상기 정규화된 대표음량에 상기 서비스 목적에 따른 보정 값을 적용하여 상기 보정 대표음량을 설정하는 설정부, 그리고 청취자로부터 원하는 음량 크기를 입력 받으면, 상기 보정 대표음량을 상기 입력된 음량 크기를 가지도록 변환하여 최종 대표음량을 출력하는 출력부를 포함한다.
이와 같이 본 발명에 따르면, 컨텐츠 제작자는 음량편집 작업이 없이 적절한 컨텐츠 음량 서비스가 가능하게 되어 더 많은 양질의 컨턴츠를 생산할 수 있으며, 청취자는 상황에 따라 직관적으로 원하는 최적의 음량으로 컨텐츠를 이용할 수 있다.
도 1은 본 발명의 실시예에 따른 컨텐츠 음량 조절 시스템의 구성을 나타낸 구성도이다.
도 2는 도 1의 제어부의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 컨텐츠 음량 조절 방법을 설명하기 위한 순서도이다.
도 4는 도 3의 S320단계를 설명하기 위한 순서도이다.
도 5는 도 4의 S321단계를 설명하기 위한 순서도이다.
도 6은 도 4의 S323단계를 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 컨텐츠 음량 조절 시스템의 구성을 나타낸 구성도이다.
도 1에서 나타낸 것처럼, 본 발명의 실시예에 따른 컨텐츠 음량 조절 시스템(100)의 구성은 입력부(110), 제어부(120), 설정부(130) 및 출력부(140)를 포함한다.
먼저, 입력부(110)는 컨텐츠 제작자로부터 제작된 영상 또는 음원을 업로드 받고, 업로드한 영상에 대한 서비스 목적을 선택받는다.
여기서, 감상용, 의미전달용 및 배경음 재생용 중에서 어느 하나를 포함한다.
다음으로, 제어부(120)는 업로드된 영상의 대표음량을 산출하고, 산출된 대표음량을 정규화한다.
다음으로, 설정부(130)는 정규화된 대표음량에 서비스 목적에 따른 보정 값을 적용하여 보정 대표음량을 설정한다.
또한, 설정부(130)는 서비스 목적이 감상용일 경우, 정규화된 대표음량을 그대로 설정하고, 서비스 목적이 의미전달용일 경우, 정규화된 대표음량을 5dBis만큼 줄여서 설정하고, 서비스 목적이 배경음 재생용일 경우 상기 정규화된 대표음량을 10dBis만큼 줄여서 설정한다.
그리고, 출력부(140)는 청취자로부터 원하는 음량 크기를 입력 받으면, 보정 대표음량을 입력된 음량 크기를 가지도록 변환하여 최종 대표음량을 출력한다.
도 2는 도 1의 제어부의 구성을 설명하기 위한 도면이다.
도 2에서 나타낸 것처럼, 제어부(120)는 추출부(121), 산출부(122), 윈도우 추출부(123), 연산부(124) 및 대표음량 산출부(125)를 포함한다.
먼저, 추출부(121)는 업로드된 영상에서 음원의 최대 에너지 구간을 추출한다.
또한, 추출부(121)는 업로드된 영상 또는 음원에 해당되는 프레임 길이를 각각 설정하고, 프레임 길이에 해당되는 윈도우를 생성하고, 생성된 윈도우를 일정 단위로 이동시켜가면서 각각의 윈도우에 해당되는 에너지 값을 연산한다.
그리고, 추출부(121)는 연산된 값 중에서 최대 값을 가지는 윈도우를 추출하고, 추출된 윈도우에 대응하는 구간을 최대 에너지 구간으로 선택하여 추출한다.
다음으로, 산출부(122)는 최대 에너지 구간을 주파수 영역 인지가중 필터에 적용하여 주파수별 최대 에너지 구간을 산출하고, 최대 에너지 구간으로부터 에너지 변동 계수를 산출한다.
그리고, 윈도우 추출부(123)는 200ms, 400ms 및 800ms의 길이를 각각 가지는 윈도우의 평균값 중에서 최대 값을 가지는 윈도우를 추출한다.
다음으로, 연산부(124)는 최대 에너지 구간에서의 인지가중 에너지를 연산한다.
또한, 대표음량 산출부(125)는 에너지 변동 계수, 200ms 길이를 가지는 윈도우의 최대값, 400ms 길이를 가지는 윈도우의 최대값, 800ms 길이를 가지는 윈도우의 최대값 및 인지가중 에너지 분포도를 정규화하여 대표음량을 산출한다.
이하에서는 도 3 내지 도 6을 이용하여 본 발명의 실시예에 따른 컨텐츠 음량 조절 시스템을 이용한 컨텐츠 음량 조절 방법을 설명한다.
도 3은 본 발명의 실시예에 따른 컨텐츠 음량 조절 방법을 설명하기 위한 순서도이다.
도 3에서 나타낸 것처럼, 입력부(110)는 컨텐츠 제작자로부터 제작된 영상 또는 음원을 업로드 받고, 업로드된 영상에 대한 서비스 목적을 선택받는다(S310).
여기서, 서비스 목적은 감상용, 의미전달용, 배경음 재생용 중에서 어느 하나를 포함한다.
감상용은 음악, 클래식, 뮤직비디오, 영화 및 드라마를 감상하기 위한 컨텐츠이고, 의미전달용은 유트브, 방송, 뉴스 안내 및 나래이션과 같은 컨텐츠를 감상하기 위한 컨텐츠이다.
또한, 배경음 재생용은 명상이나 도서관과 같은 곳에서 사용되는 자연의 소리, 수면용 음원, 백색, 핑크소음 바이노럴 비트와 같은 기능성 컨텐츠이다.
다음으로, 제어부(120)는 업로드된 영상의 대표음량을 산출하고, 산출된 대표음량을 정규화 한다(S320).
도 4는 도 3의 S320단계를 설명하기 위한 순서도이다.
도 4에서 나타낸 것처럼, 추출부(121)는 업로드된 영상 또는 음원에서 최대 에너지 구간을 추출한다(S321).
도 5는 도 4의 S321단계를 설명하기 위한 순서도이다.
도 5에서 나타낸 것처럼, 추출부(121)는 업로드된 영상 또는 음원에 해당되는 프레임 길이를 각각 설정한다(S321-1).
이때, 음악 음원일 경우, 추출부(121)는 음악의 BPM을 검출하고, 960을 검출된 BPM으로 나눈 결과를 음악 음원에 해당되는 프레임 길이로 추출한다.
또한, 영상일 경우, 추출부(121)는 기 설정된 프레임 길이를 이용할 수 있다.
여기서, 음악 음원의 경우에도 기 설정된 프레임의 길이를 이용할 수 있다.
그리고, 추출부(121)는 프레임 길이에 해당되는 윈도우를 생성한다(S321-2).
다음으로, 추출부(121)는 생성된 윈도우를 일정 단위로 이동시켜 가면서 각각의 윈도우에 해당되는 에너지 값을 연산한다(S321-3).
여기서, 일정 단위는 설정된 값이나 사용자의 선택, 업로드 받은 영상 및 음원에 따라서 변경될 수 있다.
그러면, 추출부(121)는 연산된 값 중에서 최대값을 가지는 윈도우를 추출하고, 추출된 윈도우에 대응하는 구간을 최대 에너지 구간으로 선택하여 최대 에너지 구간을 추출한다(S321-4).
다음으로, 산출부(122)는 추출된 최대 에너지 구간을 주파수 영역 인지가중 필터에 적용하여 주파수별 최대 에너지 구간을 산출한다(S322).
그리고, 산출부(122)는 최대 에너지 구간을 이용하여 에너지 변동 계수를 산출한다(S323).
도 6은 도 4의 S323단계를 설명하기 위한 순서도이다.
도 6에서 나타낸 것처럼, 산출부(122)는 최대 에너지 구간에 대응하는 윈도우를 생성한다(S323-1).
그리고, 산출부(122)는 생성된 윈도우를 기준 값만큼 이동시켜, 각각의 윈도우에 해당되는 에너지 평균 값과 전체 윈도우의 에너지에 대한 평균 값을 연산한다(S323-2).
그러면, 산출부(122)는 연산된 값을 아래의 수학식 1에 적용하여 에너지 변동계수를 산출한다.
Figure 112019102143421-pat00018
여기서,
Figure 112019102143421-pat00019
는 에너지 변동계수이고,
Figure 112019102143421-pat00020
는 100ms의 길이를 가지는 윈도우의 크기 값이고,
Figure 112019102143421-pat00021
는 100ms의 길이를 가지는 윈도우 전체의 평균 값이며, n은 100ms의 길이를 가지는 윈도우의 개수이다.
다음으로, 윈도우 추출부(123)는 최대 에너지 구간에 대응하는 200ms의 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출한다(S324).
또한, 윈도우 추출부(123)는 최대 에너지 구간에 대응하는 400ms의 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출한다(S325).
그리고, 윈도우 추출부(123)는 최대 에너지 구간에 대응하는 800ms의 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출한다(S326).
여기서, 기준 값은 기 설정된 값이거나 사용자의 선택에 의해 결정된 값이다.
다음으로, 연산부(124)는 최대 에너지 구간에서의 인지가중 에너지를 연산한다(S327).
이때, 연산부(124)는 아래의 수학식 2를 이용하여 인지가중 에너지를 연산한다.
Figure 112019102143421-pat00022
Figure 112019102143421-pat00023
여기서,
Figure 112019102143421-pat00024
는 인지가중 에너지이고,
Figure 112019102143421-pat00025
는 에너지 분포도의 음량이고,
Figure 112019102143421-pat00026
은
Figure 112019102143421-pat00027
의 출현 빈도이며,
Figure 112019102143421-pat00028
는 인지가중 에너지의 합이다.
다음으로, 대표음량 산출부(125)는 에너지 변동 계수, 200ms 길이를 가지는 윈도우의 최대값, 400ms 길이를 가지는 윈도우의 최대값, 800ms 길이를 가지는 윈도우의 최대값 및 인지가중 에너지 분포도를 정규화하여 대표음량을 산출한다(S328).
여기서, 에너지 변동계수(CV)가 1이상일 경우, 대표음량 산출부(125)는 아래의 수학식 3을 이용하여 대표음량을 산출한다.
Figure 112019102143421-pat00029
여기서,
Figure 112019102143421-pat00030
는 주파수 인지가중 필터 적용후의 에너지 차이이고,
Figure 112019102143421-pat00031
은 800ms 구간에서의 최대 에너지 값이고,
Figure 112019102143421-pat00032
은 400ms 구간에서의 최대 에너지 값이고,
Figure 112019102143421-pat00033
은 200ms 구간에서의 최대 에너지 값을 나타낸다.
또한, 에너지 변동계수(CV)가 1보다 작을 경우, 대표음량 산출부(125)는 아래의 수학식 4을 이용하여 대표음량(dBis)을 산출한다.
Figure 112019102143421-pat00034
그러면, 설정부(130)는 정규화된 대표음량에 서비스 목적에 따른 보정 값을 적용하여 보정 대표음량을 설정한다(S330).
여기서, 설정부(130)는 서비스 목적이 감상용일 경우, 정규화된 대표음량을 그대로 설정하고, 서비스 목적이 의미전달용일 경우, 정규화된 대표음량을 5dBis만큼 줄여서 설정하고, 서비스 목적이 배경음 재생용일 경우 상기 정규화된 대표음량을 10dBis만큼 줄여서 설정한다.
예를 들어, 정규화된 대표음량이 60dBis이고, 서비스 목적이 의미전달용일 경우, 설정부(130)는 55dBis를 보정 대표음량으로 설정한다.
다음으로, 출력부(140)는 청취자로부터 원하는 음량 크기를 입력받으면, 보정 대표음량을 입력된 크기를 가지도록 변환하여 최종 대표음량을 출력한다(S340).
여기서, 출력부(140)는 청취자가 원하는 음량 크기를 입력하지 않으면, 보정된 대표음량을 출력한다.
또한, 출력부(140)는 청취자로부터 원하는 음량 크기를 입력받으면, 입력받은 크기에 서비스 목적을 적용하여 최종 대표음량을 출력한다.
예를 들어, 청취자가 원하는 음량의 크기가 55dBis이고, 서비스 목적이 의미전달용일 경우, 최종 대표음량은 50dBis로 출력된다.
이와 같이 본 발명의 실시예에 따르면, 컨텐츠 제작자는 음량편집 작업이 없이 적절한 컨텐츠 음량 서비스가 가능하게 되어 더 많은 양질의 컨텐츠를 생산할 수 있으며, 청취자는 상황에 따라 직관적으로 원하는 최적의 음량으로 컨텐츠를 이용할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 컨텐츠 음량 조절 시스템, 110: 입력부,
120: 제어부, 121: 추출부,
122: 산출부, 123: 윈도우 추출부,
124: 연산부, 125: 대표음량 산출부,
130: 설정부, 140: 출력부

Claims (18)

  1. 대표음량을 적용한 컨텐츠 음량 조절 시스템을 이용한 컨텐츠 음량 조절 방법에 있어서,
    컨텐츠 제작자로부터 제작된 영상 또는 음원을 업로드 받는 단계,
    상기 업로드된 영상에 대한 서비스 목적을 선택받는 단계,
    상기 업로드된 영상의 대표음량을 산출하고, 산출된 대표음량을 정규화하는 단계,
    상기 정규화된 대표음량에 상기 서비스 목적에 따른 보정 값을 적용하여 보정 대표음량을 설정하는 단계, 그리고
    청취자로부터 원하는 음량 크기를 입력 받으면, 상기 보정 대표음량을 상기 입력된 음량 크기를 가지도록 변환하여 최종 대표음량을 출력하는 단계를 포함하고,
    상기 산출된 대표음량을 정규화하는 단계는,
    상기 업로드 된 영상 또는 음원에서 최대 에너지 구간을 추출하는 단계,
    상기 최대 에너지 구간을 주파수 영역 인지가중 필터에 적용하여 주파수별 최대 에너지 구간을 산출하는 단계,
    상기 최대 에너지 구간으로부터 에너지 변동 계수를 산출하는 단계,
    상기 최대 에너지 구간에 대응하는 제1 시간 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하는 단계,
    상기 최대 에너지 구간에 대응하는 제2 시간 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하는 단계,
    상기 최대 에너지 구간에 대응하는 제3 시간 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하는 단계,
    상기 최대 에너지 구간에서의 인지가중 에너지를 연산하는 단계, 그리고
    상기 에너지 변동 계수, 제1 시간 길이를 가지는 윈도우의 최대값, 제2 시간 길이를 가지는 윈도우의 최대값, 제3 시간 길이를 가지는 윈도우의 최대값, 및 인지가중 에너지 분포도를 정규화하여 대표음량을 산출하는 단계를 포함하는 컨텐츠 음량 조절 방법.
  2. 제1항에 있어서,
    상기 제1 시간 길이는 200ms이고, 상기 제2 시간 길이는 400ms이고, 상기 제3 시간 길이는 800ms인 컨텐츠 음량 조절 방법.
  3. 제1항에 있어서,
    상기 최대 에너지 구간을 추출하는 단계는,
    상기 업로드된 영상 또는 음원에 해당되는 프레임 길이를 각각 설정하는 단계,
    상기 프레임 길이에 해당되는 윈도우를 생성하는 단계,
    생성된 윈도우를 일정 단위로 이동시켜가면서 각각의 윈도우에 해당되는 에너지 값을 연산하는 단계, 그리고
    연산된 값 중에서 최대 값을 가지는 윈도우를 추출하고, 추출된 윈도우에 대응하는 구간을 최대 에너지 구간으로 선택하는 컨텐츠 음량 조절 방법.
  4. 제3항에 있어서,
    상기 에너지 변동 계수를 산출하는 단계는,
    상기 최대 에너지 구간에 대응하는 윈도우를 생성하는 단계,
    생성된 윈도우를 기준 값만큼 이동시키고, 전체 윈도우의 에너지에 대한 평균 값을 연산하는 단계,
    상기 평균 값을 아래의 수학식에 적용하여 상기 에너지 변동 계수를 산출하는 컨텐츠 음량 조절 방법:
    Figure 112019102143421-pat00035

    여기서,
    Figure 112019102143421-pat00036
    는 에너지 변동계수이고,
    Figure 112019102143421-pat00037
    는 윈도우의 에너지 크기 값이고,
    Figure 112019102143421-pat00038
    는 전체 윈도우의 에너지에 대한 평균 값이며, n은 윈도우의 개수이다.
  5. 제4항에 있어서,
    상기 인지가중 에너지를 연산하는 단계는,
    아래의 수학식을 이용하여 상기 인지가중 에너지를 연산하는 컨텐츠 음량 조절 방법:
    Figure 112019102143421-pat00039

    Figure 112019102143421-pat00040

    여기서,
    Figure 112019102143421-pat00041
    는 인지가중 에너지이고,
    Figure 112019102143421-pat00042
    는 에너지 분포도의 음량이고,
    Figure 112019102143421-pat00043
    은
    Figure 112019102143421-pat00044
    의 출현 빈도이며,
    Figure 112019102143421-pat00045
    는 인지가중 에너지의 합이다.
  6. 제5항에 있어서,
    상기 대표음량을 산출하는 단계는,
    상기 에너지 변동계수(CV)가 1이상일 경우, 아래의 수학식을 이용하여 대표음량을 산출하는 컨텐츠 음량 조절 방법:
    Figure 112019102143421-pat00046

    여기서,
    Figure 112019102143421-pat00047
    는 주파수 인지가중 필터 적용후의 에너지 차이이고,
    Figure 112019102143421-pat00048
    은 800ms 구간에서의 최대 에너지 값이고,
    Figure 112019102143421-pat00049
    은 400ms 구간에서의 최대 에너지 값이고,
    Figure 112019102143421-pat00050
    은 200ms 구간에서의 최대 에너지 값을 나타낸다.
  7. 제6항에 있어서,
    상기 대표음량을 산출하는 단계는,
    상기 에너지 변동계수(CV)가 1보다 작을 경우, 아래의 수학식을 이용하여 상기 대표음량을 산출하는 컨텐츠 음량 조절 방법:
    Figure 112019102143421-pat00051
  8. 제1항에 있어서,
    상기 서비스 목적은,
    감상용, 의미전달용 및 배경음 재생용 중에서 어느 하나를 포함하는 컨텐츠 음량 조절 방법.
  9. 제8항에 있어서,
    상기 보정 대표음량을 설정하는 단계는,
    상기 서비스 목적이 감상용일 경우, 상기 정규화된 대표음량을 그대로 설정하고, 상기 서비스 목적이 의미전달용일 경우, 상기 정규화된 대표음량을 5dBis만큼 줄여서 설정하고, 상기 서비스 목적이 배경음 재생용일 경우 상기 정규화된 대표음량을 10dBis만큼 줄여서 설정하는 음량 조절 방법.
  10. 대표음량을 적용한 컨텐츠 음량 조절 시스템에 있어서,
    컨텐츠 제작자로부터 제작된 영상 또는 음원을 업로드 받고, 상기 업로드된 영상에 대한 서비스 목적을 선택받는 입력부,
    상기 업로드된 영상의 대표음량을 산출하고, 산출된 대표음량을 정규화하는 제어부,
    상기 정규화된 대표음량에 상기 서비스 목적에 따른 보정 값을 적용하여 보정 대표음량을 설정하는 설정부, 그리고
    청취자로부터 원하는 음량 크기를 입력 받으면, 상기 보정 대표음량을 상기 입력된 음량 크기를 가지도록 변환하여 최종 대표음량을 출력하는 출력부를 포함하고,
    상기 제어부는,
    상기 업로드된 영상에서 최대 에너지 구간을 추출하는 추출부,
    상기 최대 에너지 구간을 주파수 영역 인지가중 필터에 적용하여 주파수별 최대 에너지 구간을 산출하고, 상기 최대 에너지 구간으로부터 에너지 변동 계수를 산출하는 산출부,
    상기 최대 에너지 구간에 대응하는 제1 시간 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하고, 상기 최대 에너지 구간에 대응하는 제2 시간 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하고, 상기 최대 에너지 구간에 대응하는 제3 시간 길이를 가지는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 각각의 윈도우에 해당되는 에너지의 평균 값을 연산하고, 연산된 평균 값 중에서 최대값을 가지는 윈도우를 추출하는 윈도우 추출부,
    상기 최대 에너지 구간에서의 인지가중 에너지를 연산하는 연산부, 그리고
    상기 에너지 변동 계수, 제1 시간 길이를 가지는 윈도우의 최대값, 제2 시간 길이를 가지는 윈도우의 최대값, 제3 시간 길이를 가지는 윈도우의 최대값 및 인지가중 에너지 분포도를 정규화하여 대표음량을 산출하는 대표음량 산출부를 포함하는 컨텐츠 음량 조절 시스템.
  11. 제10항에 있어서,
    상기 제1 시간 길이는 200ms이고, 상기 제2 시간 길이는 400ms이고, 상기 제3 시간 길이는 800ms인 컨텐츠 음량 조절 시스템.
  12. 제10항에 있어서,
    상기 추출부는,
    상기 업로드된 영상 또는 음원에 해당되는 프레임 길이를 각각 설정하고, 상기 프레임 길이에 해당되는 윈도우를 생성하고, 생성된 윈도우를 일정 단위로 이동시켜가면서 각각의 윈도우에 해당되는 에너지 값을 연산하고, 연산된 값 중에서 최대 값을 가지는 윈도우를 추출하고, 추출된 윈도우에 대응하는 구간을 최대 에너지 구간으로 선택하는 컨텐츠 음량 조절 시스템.
  13. 제12항에 있어서,
    상기 산출부는,
    상기 최대 에너지 구간에 대응하는 윈도우를 생성하고, 생성된 윈도우를 기준 값만큼 이동시키고, 전체 윈도우의 에너지에 대한 평균 값을 연산하고, 상기 평균 값을 아래의 수학식에 적용하여 상기 에너지 변동 계수를 산출하는 컨텐츠 음량 조절 시스템:
    Figure 112019102143421-pat00052

    여기서,
    Figure 112019102143421-pat00053
    는 에너지 변동계수이고,
    Figure 112019102143421-pat00054
    는 100ms의 길이를 가지는 윈도우의 크기 값이고,
    Figure 112019102143421-pat00055
    는 100ms의 길이를 가지는 윈도우 전체의 평균 값이며, n은 100ms의 길이를 가지는 윈도우의 개수이다.
  14. 제13항에 있어서,
    상기 연산부는,
    아래의 수학식을 이용하여 상기 인지가중 에너지를 연산하는 컨텐츠 음량 조절 시스템:
    Figure 112019102143421-pat00056

    Figure 112019102143421-pat00057

    여기서,
    Figure 112019102143421-pat00058
    는 인지가중 에너지이고,
    Figure 112019102143421-pat00059
    는 에너지 분포도의 음량이고,
    Figure 112019102143421-pat00060
    은
    Figure 112019102143421-pat00061
    의 출현 빈도이며,
    Figure 112019102143421-pat00062
    는 인지가중 에너지의 합이다.
  15. 제14항에 있어서,
    상기 대표음량 산출부는,
    상기 에너지 변동계수(CV)가 1이상일 경우, 아래의 수학식을 이용하여 대표음량을 산출하는 컨텐츠 음량 조절 시스템:
    Figure 112019102143421-pat00063

    여기서,
    Figure 112019102143421-pat00064
    는 주파수 인지가중 필터 적용후의 에너지 차이이고,
    Figure 112019102143421-pat00065
    은 800ms 구간에서의 최대 에너지 값이고,
    Figure 112019102143421-pat00066
    은 400ms 구간에서의 최대 에너지 값이고,
    Figure 112019102143421-pat00067
    은 200ms 구간에서의 최대 에너지 값을 나타낸다.
  16. 제14항에 있어서,
    상기 대표음량 산출부는,
    상기 에너지 변동계수(CV)가 1보다 작을 경우, 아래의 수학식을 이용하여 상기 대표음량을 산출하는 컨텐츠 음량 조절 시스템:
    Figure 112019102143421-pat00068
  17. 제10항에 있어서,
    상기 서비스 목적은,
    감상용, 의미전달용 및 배경음 재생용 중에서 어느 하나를 포함하는 컨텐츠 음량 조절 시스템.
  18. 제17항에 있어서,
    상기 설정부는,
    상기 서비스 목적이 감상용일 경우, 상기 정규화된 대표음량을 그대로 설정하고, 상기 서비스 목적이 의미전달용일 경우, 상기 정규화된 대표음량을 5dBis만큼 줄여서 설정하고, 상기 서비스 목적이 배경음 재생용일 경우 상기 정규화된 대표음량을 10dBis만큼 줄여서 설정하는 음량 조절 시스템.
KR1020190123864A 2019-10-07 2019-10-07 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법 KR102155743B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190123864A KR102155743B1 (ko) 2019-10-07 2019-10-07 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법
PCT/KR2020/013442 WO2021071175A1 (ko) 2019-10-07 2020-10-05 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190123864A KR102155743B1 (ko) 2019-10-07 2019-10-07 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102155743B1 true KR102155743B1 (ko) 2020-09-14

Family

ID=72471367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190123864A KR102155743B1 (ko) 2019-10-07 2019-10-07 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR102155743B1 (ko)
WO (1) WO2021071175A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071175A1 (ko) * 2019-10-07 2021-04-15 견두헌 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000044753A (ko) * 1998-12-30 2000-07-15 전주범 디지털 텔레비젼에서의 프로그램별 음량 조절 방법
JP4442458B2 (ja) * 2005-02-21 2010-03-31 ソニー株式会社 放送番組構成装置、番組放送システム及び放送番組構成方法
JP2014053768A (ja) * 2012-09-07 2014-03-20 Alpine Electronics Inc 放送受信機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105190618B (zh) * 2013-04-05 2019-01-25 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
CN106409313B (zh) * 2013-08-06 2021-04-20 华为技术有限公司 一种音频信号分类方法和装置
KR102155743B1 (ko) * 2019-10-07 2020-09-14 견두헌 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000044753A (ko) * 1998-12-30 2000-07-15 전주범 디지털 텔레비젼에서의 프로그램별 음량 조절 방법
JP4442458B2 (ja) * 2005-02-21 2010-03-31 ソニー株式会社 放送番組構成装置、番組放送システム及び放送番組構成方法
JP2014053768A (ja) * 2012-09-07 2014-03-20 Alpine Electronics Inc 放送受信機

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071175A1 (ko) * 2019-10-07 2021-04-15 견두헌 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법

Also Published As

Publication number Publication date
WO2021071175A1 (ko) 2021-04-15

Similar Documents

Publication Publication Date Title
US11075609B2 (en) Transforming audio content for subjective fidelity
US9942673B2 (en) Method and arrangement for fitting a hearing system
US20190018644A1 (en) Soundsharing capabilities application
US10838686B2 (en) Artificial intelligence to enhance a listening experience
EP3488439A1 (en) Network-based processing and distribution of multimedia content of a live musical performance
US10623879B2 (en) Method of editing audio signals using separated objects and associated apparatus
JP5457430B2 (ja) オーディオ信号の処理方法及び装置
JP7196294B2 (ja) オーディオ特性の解析に基づいてオーディオ再生設定を調節するための方法及び装置
US20150237454A1 (en) Content-aware audio modes
US11678014B2 (en) Creative intent scalability via physiological monitoring
US20070025566A1 (en) System and method for processing audio data
CN109982231B (zh) 一种信息处理方法、设备及存储介质
CN110246508B (zh) 一种信号调制方法、装置和存储介质
WO2016011288A1 (en) System and method for calibration and reproduction of audio signals based on auditory feedback
WO2018017878A1 (en) Network-based processing and distribution of multimedia content of a live musical performance
KR102155743B1 (ko) 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법
CN114615534A (zh) 显示设备及音频处理方法
WO2022030259A1 (ja) 信号処理装置および方法、並びにプログラム
CN114598917A (zh) 显示设备及音频处理方法
JP2023521849A (ja) オーディオディスクリプションの自動ミキシング
WO2023142363A1 (zh) 显示设备及音频处理方法
CN118175379A (zh) 显示设备及音频处理方法
CN118175377A (zh) 显示设备及音频处理方法
CN118175376A (zh) 显示设备及音频处理方法
Lorenz Impact of Head-Tracking on the listening experience of binaural music

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant