KR101466843B1 - 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치 - Google Patents

오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치 Download PDF

Info

Publication number
KR101466843B1
KR101466843B1 KR1020100108252A KR20100108252A KR101466843B1 KR 101466843 B1 KR101466843 B1 KR 101466843B1 KR 1020100108252 A KR1020100108252 A KR 1020100108252A KR 20100108252 A KR20100108252 A KR 20100108252A KR 101466843 B1 KR101466843 B1 KR 101466843B1
Authority
KR
South Korea
Prior art keywords
audio signal
amplitude
data
modulated
converted
Prior art date
Application number
KR1020100108252A
Other languages
English (en)
Other versions
KR20120061008A (ko
Inventor
김동건
김문기
유재황
김민석
김남수
윤환식
조기호
최석재
Original Assignee
에스케이텔레콤 주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사, 서울대학교산학협력단 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020100108252A priority Critical patent/KR101466843B1/ko
Publication of KR20120061008A publication Critical patent/KR20120061008A/ko
Application granted granted Critical
Publication of KR101466843B1 publication Critical patent/KR101466843B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Transmitters (AREA)

Abstract

본 발명은 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치를 개시한다. 본 발명에 따른 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템은, 오디오 신호에 데이터를 삽입하기 위한 변환(예컨대, MCLT; Modified Complex Lapped Transform)을 실행하는 경우에 낮은 주파수 대역으로 갈수록 오디오 신호에 음질 저하가 발생하는 것을 최소화하기 위한 구성으로 이루어진다. 따라서, 본 발명은 오디오 신호에 데이터를 삽입하기 위한 변환/변조 등으로 인해 신호를 이루는 프레임 간의 간섭이 발생하더라도 데이터 삽입 전인 원래의 오디오 신호에서 가지는 음질 수준으로 용이하게 회복할 수 있다.

Description

오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치{SYSTEM AND METHOD FOR IMPROVING SOUND QUALITY IN DATA DELIVERY COMMUNICATION BY MEANS OF TRANSFORM OF AUDIO SIGNAL, APPARATUS APPLIED TO THE SAME}
본 발명은 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치에 관한 것으로, 더욱 상세하게는 오디오 신호에 데이터를 삽입하기 위한 변환(예컨대, MCLT; Modified Complex Lapped Transform)을 실행하는 경우에 낮은 주파수 대역으로 갈수록 오디오 신호에 음질 저하가 발생하는 것을 최소화하기 위한 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치에 관한 것이다.
종래에는, 오디오 신호의 일부 주파수 대역을 디지털 필터를 사용하여 잘라내고 무선 통신에 주로 사용하는 OFDM 신호를 그 주파수 대역에 삽입하거나, MCLT( Modified Complex Lapped Transform) 변환을 통해 일부 주파수 대역의 위상을 바꾸어서 음향 통신을 하는 방안이 연구된 바 있다.
이러한 방안은 오디오 신호에 사람이 인지하기 어려운 신호를 심어서 오디오 신호 자체가 가지는 효용성을 유지하면서도 데이터를 실어 전달할 수 있는 음향 통신을 가능하게 하기 위함이다.
MCLT( Modified Complex Lapped Transform) 변환을 통해 일부 주파수 대역의 위상을 바꾸어서 음향 통신을 하는 시스템의 경우, MCLT( Modified Complex Lapped Transform) 변환의 프레임 간 중첩 특성에 의해 급격한 위상 변화를 막아주어 음질이 저하되는 것을 막아준다.
하지만, 일반적으로 높은 주파수 대역의 경우 음질의 저하가 거의 없지만 낮은 주파수 대역으로 갈수록 음질의 저하가 커지게 된다.
이와 같은 음질의 저하를 최소화하면서도 오디오 신호에 데이터를 실어 용이하게 전달할 수 있는 별도의 방안이 요구된다.
따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 오디오 신호에 데이터를 삽입하기 위한 변환(예컨대, MCLT; Modified Complex Lapped Transform)을 실행하는 경우에 낮은 주파수 대역으로 갈수록 오디오 신호에 음질 저하가 발생하는 것을 최소화하기 위한 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치를 제공하는 데 있다.
또한, 본 발명은 오디오 신호에 데이터를 삽입하기 위한 변환/변조 등으로 인해 신호를 이루는 프레임 간의 간섭이 발생하더라도 데이터 삽입 전인 원래의 오디오 신호에서 가지는 음질 수준으로 용이하게 회복할 수 있도록 하기 위한 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 제1 관점에 따른 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템은, 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성한 후 상기 변환 오디오 신호 중 데이터를 삽입하기 위한 데이터 삽입구간에 대응하는 부 반송파에 대해 상기 데이터를 삽입하기 위한 위상 변조를 수행하여 변조 오디오 신호를 생성하고, 상기 변조 오디오 신호를 이루는 프레임들 간의 진폭 크기에 대한 상호 간 간섭 레벨을 판단한 후 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호와 상기 변환 오디오 신호 간에 매칭되는 진폭 차이를 비교한 결과를 토대로 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호에 대한 진폭 왜곡을 보정하며, 진폭 조절된 변조 오디오 신호에 대해 상기 변환 방식으로 역변환하여 출력 오디오 신호를 생성하는 송신 장치 및 상기 출력 오디오 신호를 수신한 후 상기 출력 오디오 신호로부터 상기 데이터를 추출해 출력하기 위한 수신 장치를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 제2 관점에 따른 송신 장치는, 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성하는 변환부, 상기 변환 오디오 신호에 대하여 데이터를 삽입하기 위한 데이터 삽입구간을 선택하는 선택부, 상기 데이터 삽입구간에 대응하는 부 반송파에 대해 상기 데이터를 삽입하기 위한 위상 변조를 수행하여 변조 오디오 신호를 생성하는 변조부, 상기 변조 오디오 신호를 이루는 프레임들 간의 진폭 크기에 대한 간섭 레벨을 판단하는 판단부, 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호와 상기 변환 오디오 신호 간에 매칭되는 진폭 차이를 비교하는 비교부 및 상기 진폭 차이로 산출되는 비율 값을 토대로 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호에 대한 진폭을 조절하는 조절부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 송신 장치는, 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호의 진폭이 상기 비율 값에 예정된 범위 내로 도달할 때까지 상기 데이터 삽입구간을 선택하는 단계 내지 상기 진폭을 조절하는 단계를 반복 실행하는 반복실행부를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 비율 값에 상응하여 진폭 조절된 변조 오디오 신호에 대해 상기 변환 방식으로 역변환하여 상기 출력 오디오 신호를 생성하는 역변환부 및 상기 출력 오디오 신호를 출력하는 출력부를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 비율 값은 상기 진폭 차이를 기 설정된 비교 구간별로 산출한 후 비교 구간별로 산출한 값들의 평균으로 설정되는 것을 특징으로 한다.
바람직하게는, 상기 변환은 MCLT(Modified Complex Lapped Transform)를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 제3 관점에 따른 수신 장치는, 데이터를 포함하는 출력 오디오 신호를 수신하는 수신부, 상기 출력 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성하고 상기 변환 오디오 신호로부터 상기 데이터가 포함되어 있는 데이터 삽입구간을 식별하는 판단부, 상기 데이터 삽입구간에 대한 위상 변조를 분석하여 상기 데이터 삽입구간에 위상 변조되어 삽입되어 있는 상기 데이터를 추출하는 제1 추출부, 상기 변환 오디오 신호로부터 상기 출력 오디오 신호를 형성하는 과정에서 변환/변조로 인해 발생한 신호의 진폭 왜곡을 기 설정된 간섭레벨 조정으로 보정되어 있는 오디오 신호를 추출하는 제2 추출부 및 상기 데이터 및 상기 오디오 신호에 대해 상기 변환 방식으로 역변환한 후 동기화되는 순서에 따라 출력하는 출력부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 간섭레벨 조정은 상기 변환 오디오 신호 중에서 기 설정된 주파수 대역 이하에서 실행되는 것을 특징으로 한다.
바람직하게는, 상기 변환은 MCLT(Modified Complex Lapped Transform)를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 제4 관점에 따른 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법은, 송신 장치가 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성하고 상기 변환 오디오 신호에 대하여 데이터를 삽입하기 위한 데이터 삽입구간을 선택하는 단계, 상기 데이터 삽입구간에 대응하는 부 반송파에 대해 상기 데이터를 삽입하기 위한 위상 변조를 수행하여 변조 오디오 신호를 생성하는 단계, 상기 변조 오디오 신호를 이루는 프레임들 간의 진폭 크기에 대한 간섭 레벨을 판단하는 단계, 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호와 상기 변환 오디오 신호 간에 매칭되는 진폭 차이를 비교하는 단계 및 상기 진폭 차이로 산출되는 비율 값을 토대로 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호에 대한 진폭을 조절하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법은, 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호의 진폭이 상기 비율 값에 예정된 범위 내로 도달할 때까지 상기 데이터 삽입구간을 선택하는 단계 내지 상기 진폭을 조절하는 단계를 반복 실행하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 비율 값에 상응하여 진폭 조절된 변조 오디오 신호에 대해 상기 변환 방식으로 역변환하여 상기 출력 오디오 신호를 생성하는 단계 및 상기 출력 오디오 신호를 출력하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 간섭 레벨을 판단하는 단계는 상기 변조 오디오 신호를 이루는 프레임?들 중 인접한 프레임들 간의 진폭 밸런스가 유지되는지를 판단한 후 상기 진폭 밸런스가 유지되지 않는 정도를 레벨 화하여 판단하는 것을 특징으로 한다.
바람직하게는, 상기 변환은 MCLT(Modified Complex Lapped Transform)를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 제5 관점에 따른 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법은, 수신 장치가 데이터를 포함하는 출력 오디오 신호를 수신하는 단계, 상기 출력 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성하고 상기 변환 오디오 신호로부터 상기 데이터가 포함되어 있는 데이터 삽입구간을 식별하는 단계, 상기 데이터 삽입구간에 대한 위상 변조를 분석하여 상기 데이터 삽입구간에 위상 변조되어 삽입되어 있는 상기 데이터를 추출하는 단계, 상기 변환 오디오 신호로부터 상기 출력 오디오 신호를 형성하는 과정에서 변환/변조로 인해 발생한 신호의 진폭 왜곡을 기 설정된 간섭레벨 조정으로 보정되어 있는 오디오 신호를 추출하는 단계 및 상기 데이터 및 상기 오디오 신호에 대해 상기 변환 방식으로 역변환한 후 동기화되는 순서에 따라 출력하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 변환은 MCLT(Modified Complex Lapped Transform)를 포함하는 것을 특징으로 한다.
그리고, 상기 목적을 달성하기 위한 본 발명의 제6 관점에 따른 컴퓨터에서 판독 가능한 기록 매체는, 상기 언급된 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 한다.
따라서, 본 발명에서는 오디오 신호에 데이터를 삽입하기 위한 변환(예컨대, MCLT; Modified Complex Lapped Transform)을 실행하는 경우에 낮은 주파수 대역으로 갈수록 오디오 신호에 음질 저하가 발생하는 것을 최소화하기 위한 것이며, 또한 오디오 신호에 데이터를 삽입하기 위한 변환/변조 등으로 인해 신호를 이루는 프레임 간의 간섭이 발생하더라도 데이터 삽입 전인 원래의 오디오 신호에서 가지는 음질 수준으로 용이하게 회복할 수 있도록 할 수 있는 이점이 있다.
도 1은 본 발명에 의한 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템을 일실시 예로 나타내는 도면,
도 2는 본 발명에 의한 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템에 적용되는 변환 과정을 일실시 예로 나타내는 도면,
도 3은 본 발명에 의한 송신 장치를 일실시 예로 나타내는 도면,
도 4는 본 발명에 의한 수신 장치를 일실시 예로 나타내는 도면,
도 5는 본 발명에 의한 송신 장치의 동작 과정을 일실시 예로 나타내는 도면, 및
도 6은 본 발명에 의한 수신 장치의 동작 과정을 일실시 예로 나타내는 도면이다.
이하, 첨부도면들을 참조하여 본 발명에 따른 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템의 바람직한 실시예를 보다 상세히 설명하면 다음과 같다.
도 1은 본 발명에 의한 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템을 일실시 예로 나타내는 도면이다. 도 1에 단지 예로써 도시된 바와 같이, 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템은 가청주파수 대역인 오디오 신호에 데이터를 실어 보내기 위한 음향 통신 구조에 기초한 것이며, 오디오 신호에 데이터를 실어 보내면서도 오디오 신호에 데이터를 삽입하는 변환/변조 등의 과정으로 인하여 오디오 신호의 음질이 저하되는 부분을 최소화하기 위한 구성으로 이루어진다.
이를 위한 구성은 기본적으로, CD 음반, MP3 등과 같은 오디오 콘텐츠에 포함되는 오디오 신호를 기 설정된 변환 방식으로 변환한 후 데이터를 삽입하기 위한 데이터 삽입구간을 선택하고 선택한 데이터 삽입구간에 대응하는 부 반송파에 대해 데이터를 삽입하기 위한 위상 변조를 수행하며 이어서 기 설정된 변환 방식으로 역변환한 후 이를 출력하는 송신 장치(100), 및 송신 장치(100)로부터 출력되는 출력 오디오 신호를 수신하여 수신한 출력 오디오 신호 중에서 데이터를 추출해 사용자 인터페이스로 출력하는 수신 장치(200)를 포함한다.
여기서, 송신 장치(100)는 오디오 신호에 대해 실행하는 변환/변조 등으로 인해 발생하는 오디오 신호의 프레임들 간 간섭으로 인해, 데이터 삽입 전인 원본 오디오 신호와 데이터를 삽입하기 위해 위상 변조된 오디오 신호 간에 진폭 차이가 생기는 점을 감안하여, 이러한 진폭 차이로 인해 오디오 신호의 음질이 저하되는 것을 방지하기 위한 기능을 추가적으로 실행한다.
송신 장치(100)에서는, 오디오 신호에 대해 기 설정된 변환을 하여 생성되는 변환 오디오 신호를 활용하여 이 중에서 데이터를 삽입하기 위한 데이터 삽입구간을 선택한 후 선택한 데이터 삽입구간에 대해 위상 변조를 수행하는 방식으로 데이터를 오디오 신호에 삽입한다.
이와 같이 적용되는 변환이라 함은, 신호의 프레임 간의 중첩 특성에 의해 급격한 위상 변화를 막아주어 음질의 저하를 막아주는 MCLT(Modified Complex Lapped Transform)를 포함하는 변환인 것이 바람직하다.
MCLT(Modified Complex Lapped Transform)를 포함하는 변환의 경우에 높은 주파수 대역에서는 음질의 저하가 거의 없지만 낮은 주파수 대역으로 갈수록 음질의 저하가 커지는 현상이 있다.
이와 같은 이유는 낮은 주파수 대역으로 갈수록 신호를 이루는 프레임들 간의 간섭이 커지기 때문이며, 이러한 프레임들 간의 간섭은 오디오 신호의 진폭을 변경시켜 원래의 오디오 신호와의 차이를 일으킨다.
즉, 위와 같은 이유로 원래의 오디오 신호와 차이가 발생함으로써, 데이터를 삽입하기 위해 변환/변조된 오디오 신호는 음질 저하를 일으키게 된다.
따라서, 송신 장치(100)는 데이터를 삽입하기 위해 변환/변조 등을 실행하여 오디오 신호에 데이터를 삽입하는 과정을 실행하면서, 추가 적으로 오디오 신호의 음질을 저하시키는 원인인 간섭으로 인한 진폭 저하가 발생하는지를 확인한 후 이를 반영하여 음질 저하 부분에 해당하는 신호의 진폭을 조절한다.
이후, 송신 장치(100)는 원래의 오디오 신호에서 가지고 있는 음질 수준에 부합할 때까지 간섭으로 인해 발생한 위상변조된 오디오 신호의 진폭을 반복하여 재조절하며, 원래의 오디오 신호에서 가지고 있는 음질 수준에 부합하는 정도에 이르면 출력 오디오 신호로 형성하기 위한 다중화 등의 과정을 거쳐 출력한다.
도 2는 본 발명에 의한 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템에 적용되는 변환 과정을 일실시 예로 나타내는 도면이다. 도 1에 단지 예로써 도시된 바와 같이, 송신 장치(100)는 MCLT(Modified Complex Lapped Transform)에 기초한 변환을 통해 데이터를 오디오 신호에 삽입하는 경우, 데이터를 삽입하여 위상 변조된 각 MCLT 계수의 크기를 조절하여 데이터 삽입 전의 원래 오디오 신호의 MCLT 계수의 크기와 맞추는 조정을 한다.
특히, 이 과정에서는 데이터를 삽입하여 위상 변조된 각 MCLT 계수의 크기를 조절할 때에 간섭에 의해 MCLT 계수의 크기, 즉 진폭이 변화되는 것까지 고려한 조정을 해야 한다.
먼저, 송신 장치(100)는 오디오 신호의 시간 축 신호인 x(n)에 대해 MCLT 변환을 적용해 MCLT 계수인 X(k)를 얻은 후, 여기에 데이터 삽입을 위한 위상을 변경하여 변경된 계수인 X'(k)에 대해 MCLT 역변환을 적용해 시간 축 신호인 y(n)을 구한다.
이후로, 수신 장치(200)는 y(n)를 수신한 후 수신한 신호인 y(n)에 MCLT 변환을 적용하여 Y(k)을 얻고 Y(k)로부터 데이터를 추출하는 과정을 수행한다.
여기서, 송신 장치(100)에서 데이터를 삽입하는 과정에서 위상만 변경되더라도 수신 장치(200)에서 수신된 계수인 Y(k)는 간섭으로 인해 신호 크기인 진폭이 바뀌게 된다.
따라서, 송신 장치(100)는 원래의 오디오 신호인 X(k)의 크기(즉, 진폭)와 수신 장치(200)에서 수신하는 신호인 Y(k)의 크기(즉, 진폭) 간의 차이를 줄이기 위한 기능을 구비한다.
이러한 기능을 실현하는 구성에 대해서는 이하의 상세 구성에서 언급한다.
도 3은 본 발명에 의한 송신 장치(100)를 일실시 예로 나타내는 도면이다. 도 3에 단지 예로써 도시된 바와 같이, 송신 장치(100)는 오디오 신호에 대해 MCLT(Modified Complex Lapped Transform) 변환을 하여 변환 오디오 신호를 생성하는 변환부(110), 변환 오디오 신호에 대하여 데이터를 삽입하기 위한 데이터 삽입구간을 선택하는 선택부(120), 데이터 삽입구간에 대응하는 부 반송파를 식별한 후 식별한 부 반송파에 대해 데이터를 삽입하기 위한 위상 변조를 수행하여 변조 오디오 신호를 생성하는 변조부(130), 변조 오디오 신호를 이루는 프레임들 간의 진폭 크기에 대한 간섭 레벨을 판단하는 판단부(140), 간섭으로 인해 진폭이 왜곡된 정도가 파악된 변조 오디오 신호와 원래의 오디오 신호인 변환 오디오 신호 간을 매칭함으로써 양 신호 간의 진폭 차이를 도출하는 비교부(150), 및 도출한 진폭 차이로 산출되는 비율 값을 토대로 하여 변조 오디오 신호 중에서 진폭이 왜곡된 부분에 대한 진폭을 조절하기 위한 조절부(160)를 포함한다.
또한, 송신 장치(100)는 데이터를 오디오 신호에 삽입하기 위한 변환/변조 등으로 인해 진폭이 왜곡된 부분을 최소화할 수 있도록 상기와 언급된 방법과 같이 왜곡된 진폭을 여러 차례 반복적으로 실행하기 위한 반복실행부(170)를 더 포함하는 것이 바람직하다.
이에 더하여, 송신 장치(100)는 왜곡된 진폭을 원래의 오디오 신호와 근사치를 이룰 수 있을 정도로 진폭 왜곡을 보정한 변조 오디오 신호에 대해 MCLT(Modified Complex Lapped Transform) 방식의 역변환을 수행하여 출력용의 신호인 출력 오디오 신호를 생성하는 역변환부(180), 및 생성한 출력 오디오 신호를 출력하는 출력부(190)를 더 포함할 수 있다.
아울러, 비율 값이라 함은 데이터를 삽입하기 위해 변환/변조 등을 실행한 변조 오디오 신호의 크기(즉,?진폭)이 원래의 오디오 신호(즉, 데이터 삽입 전의 오디오 신호)의 크기(즉, 진폭)와 매칭하는 정도를 나타내는 값을 의미한다.
비율 값이 '1'에 가까이 갈수록 변환/변조 등을 실행한 변조 오디오 신호의 크기와 원래 오디오 신호의 크기와 매칭하여, 음질 저하가 발생하지 않는 수준으로 진폭 왜곡에 대한 보정이 이루어진 것으로 판단할 수 있다.
도 4는 본 발명에 의한 수신 장치(200)를 일실시 예로 나타내는 도면이다. 도 4에 단지 예로써 도시된 바와 같이, 수신 장치(200)는 송신 장치(100)로부터 데이터를 포함하는 출력 오디오 신호를 수신하는 수신부(210), 수신한 출력 오디오 신호에 대해 기 설정된 변환인 MCLT(Modified Complex Lapped Transform)을 실행하여 변환 오디오 신호를 생성하고 생성한 변환 오디오 신호로부터 데이터가 포함되어 있는 데이터 삽입구간을 식별하는 판단부(220), 식별한 데이터 삽입구간에 대해 위상 변조를 분석하여 오디오 신호에 삽입되어 있는 데이터를 추출하는 제1 추출부(230), 송신 장치(100)에서 이미 데이터를 싣는 과정에서 발생한 간섭을 고려하여 진폭 왜곡을 기 설정된 간섭레벨 조정을 통해 보정한 오디오 신호를 추출하는 제2 추출부(240), 및 추출한 데이터와 오디오 신호를 기 설정된 변환인 MCLT(Modified Complex Lapped Transform)에 따라 역변환한 후 동기화되는 순서에 따라 출력하는 출력부(250)를 포함하는 구성을 갖춘다.
도 5는 본 발명에 의한 송신 장치(100)의 동작 과정을 일실시 예로 나타내는 도면이다. 도 5에 단지 예로써 도시된 바와 같이, 송신 장치(100)는 오디오 신호를 입력받은 후 이를 MCLT(Modified Complex Lapped Transform) 변환을 하여 변환 오디오 신호를 생성한다(S100 및 S102).
이후로, 송신 장치(100)는 변환한 주파수 구간으로부터 데이터 삽입을 위한 데이터 삽입구간을 선택한 후 선택한 데이터 삽입구간에 대응하는 부 반송파에 대해 데이터의 삽입을 위한 위상 변조를 수행한다(S104 및 S106).
또한, 송신 장치(100)는 데이터를 삽입하는 과정에서 변환/변조 등으로 인한 간섭의 효과로 예측할 수 있는 간섭 레벨의 신호 크기를 측정한다(S108).
S108 단계에서 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호와 원래의 오디오 신호(즉, 데이터 삽입 전의 오디오 신호) 간에 매칭되는 진폭 차이를 비교한 후(S110), 비교한 결과로 도출되는 비율 값에 따라 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호에 대한 진폭을 조절한다(S112).
이후로, 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호에 대한 진폭을 조절한 결과가 예정된 범위 이내로 원래의 오디오 신호(즉, 데이터 삽입 전의 오디오 신호)와 근사하는지를 판단한다(S114).
S114 단계에서, 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호에 대한 진폭을 조절한 결과가 예정된 범위 이내로 원래의 오디오 신호(즉, 데이터 삽입 전의 오디오 신호)에 근사하는 것으로 판단되면(즉, 비율 값이 '1'인 경우), 진폭 조절된 오디오 신호를 MCLT(Modified Complex Lapped Transform) 방식으로 역변환함에 따라 출력용의 신호인 출력 오디오 신호를 형성하고 이를 출력한다(S116).
S114 단계에서, 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호에 대한 진폭을 조절한 결과가 예정된 범위 이내로 원래의 오디오 신호(즉, 데이터 삽입 전의 오디오 신호)에 근사한 것으로 판단되지 않으면(즉, 비율 값이 '1'이 아닌 경우), 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호에 대한 진폭을 조절하는 과정을 재차 실행한다.
도 6은 본 발명에 의한 수신 장치(200)의 동작 과정을 일실시 예로 나타내는 도면이다. 도 6에 단지 예로써 도시된 바와 같이, 수신 장치(200)에서 마이크를 통해 정보 데이터를 포함하고 있는 출력 오디오 신호를 수신한 후 이를 MCLT(Modified Complex Lapped Transform) 변환하는 것으로 진행된다(S200 및 S202).
이후로, 수신 장치(200)(200)는 출력 오디오 신호에 정보 데이터가 실려 있는 데이터 삽입구간을 식별하고(S204), 식별한 데이터 삽입구간에서 이루어진 위상 변조를 분석한다(S206).
S206 단계에서의 위상 변조 분석을 통해 정보 데이터를 추출하고, 이와 더불어 간섭 효과를 고려하여 진폭 조절된 오디오 신호를 추출한다(S208 및 S210).
이어, 추출한 데이터 및 오디오 신호에 대해 MCLT(Modified Complex Lapped Transform) 방식의 역변환을 수행하여 형성되는 시간 축 신호를 동기화 순서에 따라 출력한다(S212 및 S214).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명은 오디오 신호에 데이터를 삽입하기 위한 변환(예컨대, MCLT; Modified Complex Lapped Transform)을 실행하는 경우에 낮은 주파수 대역으로 갈수록 오디오 신호에 음질 저하가 발생하는 것을 최소화하기 위한 것임에 따라, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
100: 송신 장치 110: 변환부
120: 선택부 130: 변조부
140, 220: 판단부 150: 비교부
160: 조절부 170: 반복실행부
180: 역 변환부 190, 250: 출력부
200: 수신 장치 210: 수신부
230: 제1 추출부 240: 제2 추출부

Claims (16)

  1. 삭제
  2. 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성하는 변환부;
    상기 변환 오디오 신호에 대하여 데이터를 삽입하기 위한 데이터 삽입구간을 선택하는 선택부;
    상기 데이터 삽입구간에 대응하는 부 반송파에 대해 상기 데이터를 삽입하기 위한 위상 변조를 수행하여 변조 오디오 신호를 생성하는 변조부;
    상기 변조 오디오 신호를 이루는 프레임들 간의 간섭이 발생한 정도인 간섭 레벨을 판단하는 판단부;
    상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호와 상기 변환 오디오 신호의 진폭을 비교하는 비교부; 및
    상기 진폭의 차이를 토대로 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호의 진폭을 조절하는 조절부;를 포함하는 것을 특징으로 하는 송신 장치.
  3. 제2 항에 있어서,
    상기 송신 장치는,
    상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호와 상기 변환 오디오 신호의 진폭의 비율값이 예정된 범위 내로 도달할 때까지 상기 데이터 삽입구간을 선택하고, 상기 변조 오디오 신호를 생성하고, 상기 간섭 레벨을 판단하고, 상기 진폭을 비교하고, 상기 진폭을 조절하는 것을 반복실행하도록 하는 반복실행부;를 더 포함하는 것을 특징으로 하는 송신 장치.
  4. 제2 항에 있어서,
    상기 진폭 조절된 변조 오디오 신호에 대해 상기 변환 방식으로 역변환하여 출력 오디오 신호를 생성하는 역변환부; 및
    상기 출력 오디오 신호를 출력하는 출력부;를 더 포함하는 것을 특징으로 송신 장치.
  5. 제3 항에 있어서,
    상기 비율 값은 상기 진폭 차이를 기 설정된 비교 구간별로 산출한 후 비교 구간별로 산출한 값들의 평균으로 설정되는 것을 특징으로 하는 송신 장치.
  6. 제2 항 내지 제4 항 중 어느 한 항에 있어서,
    상기 변환은 MCLT(Modified Complex Lapped Transform)를 포함하는 것을 특징으로 하는 송신 장치.
  7. 데이터를 포함하는 출력 오디오 신호를 수신하는 수신부;
    상기 출력 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성하고 상기 변환 오디오 신호로부터 상기 데이터가 포함되어 있는 데이터 삽입구간을 식별하는 판단부;
    상기 데이터 삽입구간에 대한 위상 변조를 분석하여 상기 데이터 삽입구간에 위상 변조되어 삽입되어 있는 상기 데이터를 추출하는 제1 추출부;
    상기 변환 오디오 신호로부터 상기 출력 오디오 신호를 형성하는 과정에서 변환/변조로 인해 발생한 신호의 진폭 왜곡을 기 설정된 간섭레벨 조정으로 보정되어 있는 오디오 신호를 추출하는 제2 추출부; 및
    상기 데이터 및 상기 오디오 신호에 대해 상기 변환 방식으로 역변환한 후 동기화되는 순서에 따라 출력하는 출력부;를 포함하는 것을 특징으로 하는 수신 장치.
  8. 제7 항에 있어서,
    상기 간섭레벨 조정은 상기 변환 오디오 신호 중에서 기 설정된 주파수 대역 이하에서 실행되는 것을 특징으로 하는 수신 장치.
  9. 제7 항 또는 제8 항에 있어서,
    상기 변환은 MCLT(Modified Complex Lapped Transform)를 포함하는 것을 특징으로 하는 수신 장치.
  10. 송신 장치가, 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성하고 상기 변환 오디오 신호에 대하여 데이터를 삽입하기 위한 데이터 삽입구간을 선택하는 단계;
    상기 데이터 삽입구간에 대응하는 부 반송파에 대해 상기 데이터를 삽입하기 위한 위상 변조를 수행하여 변조 오디오 신호를 생성하는 단계;
    상기 변조 오디오 신호를 이루는 프레임들 간의 간섭이 발생한 정도인 간섭 레벨을 판단하는 단계;
    상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호와 상기 변환 오디오 신호의 진폭을 비교하는 단계; 및
    상기 진폭의 차이를 토대로 상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호의 진폭을 조절하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법.
  11. 제10 항에 있어서,
    상기 방법은,
    상기 간섭으로 인해 진폭이 왜곡된 것이 파악된 변조 오디오 신호와 상기 변환 오디오 신호의 진폭의 비율값이 예정된 범위 내로 도달할 때까지, 상기 데이터 삽입구간을 선택하는 단계 내지 상기 진폭을 조절하는 단계를 반복 실행하는 단계;를 더 포함하는 것을 특징으로 하는 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법.
  12. 제10 항에 있어서,
    상기 진폭 조절된 변조 오디오 신호에 대해 상기 변환 방식으로 역변환하여 출력 오디오 신호를 생성하는 단계; 및
    상기 출력 오디오 신호를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법.
  13. 제10 항 내지 제12 항 중 어느 한 항에 있어서,
    상기 간섭 레벨을 판단하는 단계는
    상기 변조 오디오 신호를 이루는 프레임들 중 인접한 프레임들 간의 진폭 밸런스가 유지되는지를 판단한 후 상기 진폭 밸런스가 유지되지 않는 정도를 레벨 화하여 판단하는 것을 특징으로 하는 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법.
  14. 제10 항 내지 제12 항 중 어느 한 항에 있어서,
    상기 변환은 MCLT(Modified Complex Lapped Transform)를 포함하는 것을 특징으로 하는 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법.
  15. 수신 장치가, 데이터를 포함하는 출력 오디오 신호를 수신하는 단계;
    상기 출력 오디오 신호에 대해 기 설정된 변환을 하여 변환 오디오 신호를 생성하고 상기 변환 오디오 신호로부터 상기 데이터가 포함되어 있는 데이터 삽입구간을 식별하는 단계;
    상기 데이터 삽입구간에 대한 위상 변조를 분석하여 상기 데이터 삽입구간에 위상 변조되어 삽입되어 있는 상기 데이터를 추출하는 단계;
    상기 변환 오디오 신호로부터 상기 출력 오디오 신호를 형성하는 과정에서 변환/변조로 인해 발생한 신호의 진폭 왜곡을 기 설정된 간섭레벨 조정으로 보정되어 있는 오디오 신호를 추출하는 단계; 및
    상기 데이터 및 상기 오디오 신호에 대해 상기 변환 방식으로 역변환한 후 동기화되는 순서에 따라 출력하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법.
  16. 제15 항에 있어서,
    상기 변환은 MCLT(Modified Complex Lapped Transform)를 포함하는 것을 특징으로 하는 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 방법.
KR1020100108252A 2010-11-02 2010-11-02 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치 KR101466843B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100108252A KR101466843B1 (ko) 2010-11-02 2010-11-02 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108252A KR101466843B1 (ko) 2010-11-02 2010-11-02 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치

Publications (2)

Publication Number Publication Date
KR20120061008A KR20120061008A (ko) 2012-06-12
KR101466843B1 true KR101466843B1 (ko) 2014-11-28

Family

ID=46611697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108252A KR101466843B1 (ko) 2010-11-02 2010-11-02 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치

Country Status (1)

Country Link
KR (1) KR101466843B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269579B (zh) * 2018-01-18 2020-11-10 厦门美图之家科技有限公司 语音数据处理方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008122597A (ja) 2006-11-10 2008-05-29 Sanyo Electric Co Ltd オーディオ信号処理装置及びオーディオ信号処理方法
KR20090093529A (ko) * 2008-02-29 2009-09-02 서울시립대학교 산학협력단 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법
KR20090100494A (ko) * 2008-03-20 2009-09-24 광주과학기술원 프레임 손실 은닉 방법, 프레임 손실 은닉 장치 및 음성송수신 장치
KR20100021322A (ko) * 2008-08-14 2010-02-24 에스케이 텔레콤주식회사 가청주파수 대역에서의 데이터 송수신 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008122597A (ja) 2006-11-10 2008-05-29 Sanyo Electric Co Ltd オーディオ信号処理装置及びオーディオ信号処理方法
KR20090093529A (ko) * 2008-02-29 2009-09-02 서울시립대학교 산학협력단 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법
KR20090100494A (ko) * 2008-03-20 2009-09-24 광주과학기술원 프레임 손실 은닉 방법, 프레임 손실 은닉 장치 및 음성송수신 장치
KR20100021322A (ko) * 2008-08-14 2010-02-24 에스케이 텔레콤주식회사 가청주파수 대역에서의 데이터 송수신 시스템 및 방법

Also Published As

Publication number Publication date
KR20120061008A (ko) 2012-06-12

Similar Documents

Publication Publication Date Title
US9002487B2 (en) System and method for data reception and transmission in audible frequency band
KR102033603B1 (ko) 오디오 신호를 복원하는 방법 및 장치
KR20140128942A (ko) 변조 장치, 복조 장치, 음향 전송 시스템, 프로그램, 및 복조 방법
KR101121828B1 (ko) 피크 억압 복원 방법, 송신 장치, 수신 장치, 및 피크 억압 복원 시스템
EP2538559B1 (en) Audio controlling apparatus, audio correction apparatus, and audio correction method
KR101432099B1 (ko) 가청주파수 대역 음파 통신에서의 데이터 송수신 시스템 및 방법, 그리고 이에 적용되는 장치
US11854569B2 (en) Data communication system
JP6608380B2 (ja) 耐雑音性を改良した通信システム、方法および装置
KR101034693B1 (ko) 가청주파수 대역에서의 데이터 송수신 시스템 및 방법
US8565042B2 (en) System and method for reducing data reception error in acoustic communication in audible frequency range, and apparatus applied thereto
KR101466843B1 (ko) 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치
US20120016669A1 (en) Apparatus and method for voice processing and telephone apparatus
US10674283B2 (en) Method for distorting the frequency of an audio signal and hearing apparatus operating according to this method
KR20230104553A (ko) 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을제어 방법 및 이를 이용하는 장치
JP2001296894A (ja) 音声処理装置および音声処理方法
US20070200957A1 (en) Method and apparatus for improving transient characteristic of chrominance signal
JP6124432B2 (ja) 情報送信装置、情報送信プログラム、情報受信装置、情報受信プログラム、及び情報通信方法
US8914281B2 (en) Method and apparatus for processing audio signal in a mobile communication terminal
KR101084550B1 (ko) 첨두대평균 전력비 감소 방법, 첨두대평균 전력비 감소 장치, 송신기, 및 수신기
KR101432104B1 (ko) 마스킹 효과를 고려한 음파 통신 시스템 및 방법, 그리고 이에 적용되는 장치
JP4236920B2 (ja) 伝送路特性推定装置および伝送路特性推定方法、無線復調装置、コンピュータプログラム
KR100941823B1 (ko) Ｄｒｍ/ａｍ 동시 송출
CA3021918A1 (en) Method for processing an fm stereo signal
KR101040888B1 (ko) 음향통신 대상의 데이터 송수신 장치 및 방법
JP2015106753A (ja) 復調装置、音響伝送システム、プログラム及び復調方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171026

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 5