KR101527166B1 - 음성 채널을 통해 이종 데이터를 송수신하는 통신 장치 및 방법 - Google Patents

음성 채널을 통해 이종 데이터를 송수신하는 통신 장치 및 방법 Download PDF

Info

Publication number
KR101527166B1
KR101527166B1 KR1020130142948A KR20130142948A KR101527166B1 KR 101527166 B1 KR101527166 B1 KR 101527166B1 KR 1020130142948 A KR1020130142948 A KR 1020130142948A KR 20130142948 A KR20130142948 A KR 20130142948A KR 101527166 B1 KR101527166 B1 KR 101527166B1
Authority
KR
South Korea
Prior art keywords
voice
signal
analog
data
voice data
Prior art date
Application number
KR1020130142948A
Other languages
English (en)
Other versions
KR20150059399A (ko
Inventor
윤지원
하영목
이승준
조현주
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020130142948A priority Critical patent/KR101527166B1/ko
Publication of KR20150059399A publication Critical patent/KR20150059399A/ko
Application granted granted Critical
Publication of KR101527166B1 publication Critical patent/KR101527166B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

통신 장치의 음성 채널을 통한 비음성 데이터 송신 시, 디지털인 비음성 데이터를 아날로그 신호로 변환하고, 변환된 아날로그 신호를 음성 주파수 대역의 제 1 아날로그 음성 신호로 변환하고, 제 1 아날로그 음성 신호를 기설정된 제 2 아날로그 음성 신호와 합성하고, 합성된 아날로그 음성 신호를 음성 채널을 통해 전송한다.

Description

음성 채널을 통해 이종 데이터를 송수신하는 통신 장치 및 방법{APPARATUS AND METHOD FOR COMMUNICATING A HETEROGENEOUS DATA OVER A VOICE CHANNEL}
본 발명은 음성 채널을 통해 음성 신호 및 비음성 데이터를 송수신하는 통신 시스템 및 방법에 관한 것이다.
최근에는 세계 각국에서 초고속 데이터 서비스를 위한 유/무선 통신망의 구축이 완료됨에 따라, 사용자들에게 음성 통화 서비스 뿐만 아니라 초고속 데이터 통신 서비스를 제공할 수 있게 되었다. 그러나 아직까지 기술 및 비용적인 문제로 고속 데이터 통신망을 구축하지 못하였거나, 고가의 휴대 단말기가 충분히 보급되지 않아 데이터 통신 서비스를 개시하지 못한 일부 국가들이 존재한다. 이러한 일부 국가들에서는 고속의 데이터 통신 서비스가 상용화되는데 상당한 시간이 소요될 것으로 예상된다. 따라서, 현재 세계적으로 상용화가 완료된 음성 통신망을 통해 음성 통화 서비스뿐만 아니라 비음성 데이터 통신 서비스도 제공할 수 있는 기술의 개발이 요구되고 있다.
이러한 종래의 통신 서비스의 문제점을 해결하기 위하여, 음성 채널을 통해 비음성 데이터를 통신할 수 있는 기술들이 제안되고 있다.
이와 관련하여, 대한민국공개특허 제2013-008664호(발명의 명칭: 음성 코덱을 통해 비음성 정보를 전송하는 방법, 장치, 및 컴퓨터 판독가능 매체)에서는, 무선 통신 네트워크에서 음성 코덱을 통해 비음성 정보를 전송하기 위해, 복수의 입력 데이터 심볼을 프로세싱하여 복수의 제 1 펄스 신호를 생성하고, 복수의 제 1 펄스 신호를 정형하여 스펙트럼 상에서 유사 잡음 특징을 갖는 복수의 정형된 제 1 펄스 신호를 생성하고, 복수의 정형된 제 1 펄스 신호를 음성 코덱으로 인코딩하여 비음성 정보를 전송하는 구성을 개시하고 있다.
그러나, 이러한 기존의 음성 채널을 통한 비음성 신호 전송 방식은 단순히 비음성 신호를 펄스 신호로 변환하여 음성 코덱 처리하는 것으로, 비음성 신호에 대한 보안 문제가 발생될 수 있다.
한편, 초고속 데이터 통신 서비스가 상용화되었다 하더라도, 데이터 통신 서비스를 이용하는데 소요되는 비용은 이용자들에게 큰 부담이 되고 있다. 이에 따라, 통신 사업자들은 통신 서비스의 이용을 활성화시킬 목적으로, 사용자에게 음성 통화, 데이터 통화 및 단문 메시지 서비스 별로 일정 사용량을 보장해주는 요금 체계를 수립하여 적용하고 있다. 하지만, 이종 통신 서비스 별로 사용량이 보장되더라도, 사용자의 경향에 따라 특별히 즐겨 사용하는 통신 서비스가 다르므로 각각의 사용자가 만족할 수 있는 통신 서비스를 제공하는데 어려움이 있다. 즉, 나머지 통신 서비스에 대한 사용량이 남아있더라도 특정 통신 서비스의 사용량을 모두 소진한 경우 초과량 만큼의 비용이 추가적으로 부가된다는 점에서 사용자들의 불만이 높아지고 있다. 따라서, 사용자 별 서비스 이용 특성에 따라 이종 통신 서비스 별 통신 채널 사용을 효율적으로 관리하는 기술적인 해결 방법이 필요한 실정이다.
본 발명의 실시예는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 무선 통신 혹은 VoIP(Voice over Internet Protocol) 등에서 음성 채널을 이용하여 비음성 데이터의 통신이 가능하도록 하는 통신 장치 및 방법을 제공하고자 한다.
또한, 본 발명의 실시예는 이종 데이터의 송/수신시 각각의 트래픽 사용량을 모니터링하여 유동적으로 통신 채널을 전환할 수 있는 통신 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른, 비음성 데이터를 포함하는 음성 신호를 음성 채널을 통해 전송하는 통신 장치는, 디지털인 비음성 데이터를 아날로그 신호로 변환하는 디지털 아날로그 컨버터; 상기 아날로그 신호를 음성 주파수 대역의 제 1 아날로그 음성 신호로 변환하는 대역 제어부; 상기 제 1 아날로그 음성 신호를 기설정된 제 2 아날로그 음성 신호와 합성하는 신호 합성부; 및 상기 합성한 아날로그 음성 신호를 상기 음성 채널을 통해 전송하는 신호 전송부를 포함한다.
그리고, 본 발명의 다른 측면에 따른, 비음성 데이터를 포함하는 음성 신호를 음성 채널을 통해 수신하는 통신 장치는, 비음성 데이터가 합성된 음성 신호를 상기 음성 채널을 통해 수신하는 신호 수신부; 상기 음성 신호로부터 아날로그 음성 신호 형태의 상기 비음성 데이터를 분리하는 신호 분리부; 및 상기 분리한 아날로그 음성 신호 형태의 비음성 데이터를 디지털 신호로 변환하여 디지털 비음성 데이터를 출력하는 아날로그 디지털 컨버터를 포함한다.
또한, 본 발명의 또 다른 측면에 따른, 통신 장치를 이용하여 음성 채널을 통해 비음성 데이터를 송신하는 방법은, (a) 디지털인 비음성 데이터를 아날로그 신호로 변환하는 단계; (b) 상기 아날로그 신호를 음성 주파수 대역의 제 1 아날로그 음성 신호로 변환하는 단계; (c) 상기 제 1 아날로그 음성 신호를 기설정된 제 2 아날로그 음성 신호와 합성하는 단계; 및 (d) 상기 합성한 아날로그 음성 신호를 상기 음성 채널을 통해 전송하는 단계를 포함한다.
또한, 본 발명의 또 다른 측면에 따른, 통신 장치를 이용하여 비음성 데이터를 음성 채널을 통해 수신하여 신호 처리하는 방법은, (a) 비음성 데이터가 합성된 음성 신호를 상기 음성 채널을 통해 수신하는 단계; (b) 상기 음성 신호로부터 아날로그 음성 신호 형태의 상기 비음성 데이터를 분리하는 단계; 및 (c) 상기 분리한 아날로그 음성 신호 형태의 비음성 데이터를 디지털 신호로 변환하여 디지털 비음성 데이터를 출력하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단에 의하면, 비음성 데이터를 이종 채널(즉, 음성 채널)을 사용하여 전송할 수 있도록 함으로써, 데이터 통신이 불가능한 통신 장치 및 통신망에서도 음성 채널을 이용하여 비음성 데이터를 송/수신할 수 있다. 즉, 초고속 데이터 서비스 통신망이 구축되지 않은 통신 환경(예를 들어, 2세대 통신망)에서도 통신망의 하드웨어적인 변경없이도 비음성 데이터의 통신이 가능하다.
그리고, 본 발명의 과제 해결 수단에 의하면, 데이터 송/수신시 데이터 통화, 음성 통화, 단문 메시지 및 멀티미디어 메시지 등의 트래픽 사용량을 모니터링하여 유동적으로 채널을 전환함으로써, 사용자에게 가장 경제적인 요금을 부과할 수 있어 편리하다. 또한, 음성 채널을 통해 단문 메시지 또는 멀티미디어 메시지를 전송할 경우, 해당 통신 채널을 사용할 때보다 큰 용량의 데이터를 전송할 수 있어 경제적이다.
또한, 본 발명의 과제 해결 수단에 의하면, 비음성 데이터를 암호화 및 은닉화를 통한 2중 보안 처리를 하여 음성 통화 신호로서 통신함으로써, 감시 및 해킹 등을 방지하여 보안성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 통신 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 통신 장치의 송신기가 음성 채널을 통해 이종 데이터를 전송하는 방법을 설명하기 위한 순서도 이다.
도 3은 본 발명의 일 실시예에 따른 통신 장치의 수신기가 음성 채널을 통해 이종 데이터를 수신하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 통신 장치의 구성을 나타낸 도면이다.
도 5는 본 발명의 다른 실시예에 따른 통신 장치의 이종 채널 통합 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 통신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 통신 장치(10)는, 음성 채널을 통해 이종 데이터(즉, 음성 신호 및 비음성 데이터)를 전송하는 송신기(100)와, 음성 채널을 통해 이종 데이터를 수신하는 수신기(200)를 포함한다.
구체적으로, 도 1에 도시한 바와 같이, 송신기(100)는 암호화부(110), 디지털 아날로그 컨버터(120), 대역 제어부(130), 음성 입력부(140), 신호 합성부(150), 필터(160) 및 신호 전송부(170)를 포함한다. 그리고, 수신기(200)는 신호 수신부(210), 증폭기(220), 필터(230), 신호 분리부(240), 음성 출력부(250), 아날로그 디지털 컨버터(260) 및 복호화부(270)를 포함한다.
본 발명의 일 실시예에서는 통신 장치(10)가, 무선 통신망에 접속하여 음성 통화, 데이터 통화 및 단문/멀티미디어 메시지 전송 등을 처리할 수 있는 휴대 단말기 상에 구현된 것을 예로서 설명하도록 한다. 이에 따라, 도 1에서는 송신기(100)의 신호 전송부(170)와 수신기(200)의 신호 수신부(210)는 각각 음성 코덱으로 구성될 수 있다. 이때, 음성 코덱은 음성 채널을 통해 송수신되는 신호를 해당 무선 통신망에 적합한 데이터 포맷으로 인코딩 또는 디코딩하여 출력한다.
참고로, 휴대 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 및 스마트폰(smart phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 통신 장치(10)는, 앞서 설명한 음성 코덱을 이용하여 디지털화된 신호를 통신하는 휴대 단말기 외에도, 다양한 통신 방식으로 음성 통화를 제공하는 통신 단말기 상에 구현될 수 있다. 즉, 통신 장치(10)는 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등의 컴퓨터 상에 구현되는 것도 가능하며, 이러한 통신 장치(10)가 구현된 휴대 단말기 및 컴퓨터 상에는 VoIP(Voice over Internet Protocol) 기능이 설치되어 있을 수 있다. 한편, 본 발명의 실시예에서는, 설명의 편의상 본 발명의 기술적 특징과 크게 상관되지 않는 휴대 단말기 및 컴퓨터의 일반적인 구성들에 대한 설명은 생략하기로 한다.
구체적으로, 송신기(100)의 디지털 아날로그 컨버터(120)는 디지털인 비음성 데이터를 아날로그 신호로 변환한다. 참고로, 비음성 데이터는 텍스트 파일, 웹 페이지, 디지털 음원 등과 같은 다양한 종류의 디지털 데이터이다.
이때, 통신 장치(10)는 비음성 데이터를 아날로그화하기에 앞서, 하기 암호화부(110)를 통해 비음성 데이터를 암호화 처리할 수 있다. 이를 통해, 통신 장치(10)를 통해 송수신되는 데이터의 내용에 대한 제3자의 감시 또는 해킹을 방지할 수 있어, 보안성을 높일 수 있다.
암호화부(110)는 입력되는 디지털 데이터를 기설정된 포맷으로 암호화하여, 디지털 아날로그 컨버터(즉, DAC)(120)로 입력시킨다. 이때, 도 1에서는, 암호화부(110)가 기설정된 암호화 키(Key)를 사용하여 비음성 데이터를 암호화한 것을 예로서 나타내었다.
대역 제어부(130)는 디지털 아날로그 컨버터(120)로부터 출력된 아날로그 신호(즉, 비음성 데이터)를 음성 주파수 대역의 아날로그 음성 신호(이하, ‘제 1 아날로그 음성 신호’라고 지칭함)로 변환한다. 그리고, 대역 제어부(130)는 변환한 제 1 아날로그 음성 신호를 신호 합성부(150)로 입력시킨다.
음성 입력부(140)는 기설정된 아날로그 음성 신호(이하, ‘제 2 아날로그 음성 신호’라고 함)를 신호 합성부(150)로 입력시킨다.
이때, 기설정된 아날로그 음성 신호는 통신 장치(10) 자체에 기저장되어 있던 아날로그 음성 신호의 샘플, 또는 통신 장치(10)를 통한 실제 음성 통화 발생 시 마이크(미도시) 등의 음성 입력 장치를 통해 입력된 사용자의 아날로그 음성 신호(즉, 음성 통화 신호)를 포함한다. 참고로, 샘플 아날로그 음성 신호는 사전에 녹음된 음성 신호 및 오디오 데이터 등 다양한 종류의 아날로그 음성 신호일 수 있다.
신호 합성부(150)는 입력된 제 1 및 제2 아날로그 음성 신호를 합성한다.
이때, 신호 합성부(150)는 제1 아날로그 음성 신호 및 제 2 아날로그 음성 신호가 합성된 신호에 임의의 신호 파형(이하, ‘기준 신호 파형’이라고 지칭함)를 더하는 처리를 통해 제 1 아날로그 음성 신호를 제 2 아날로그 음성 신호에 은닉화할 수 있다. 예를 들어, 시간 영역에서의 은닉화 시, 제1 아날로그 음성신호와 제 2 아날로그 음성신호에 임의의 특성을 가지는 신호 파형(예를 들어, ‘모스 부호’ 등)을 더하는 처리를 통해 은닉화할 수 있다. 또한, 주파수 영역에서의 은닉화 시, 제1 아날로그 음성신호와 제 2 아날로그 음성신호가 합성된 신호의 주파수 영역 신호에 사인(sinusoidal) 신호를 더하는 처리를 통해 은닉화할 수 있다.
이에 따라, 송신기(100)를 통해 비음성 데이터가 음성 통화 신호의 형태로 은닉화되어 전송될 수 있다.
신호 전송부(170)는 신호 합성부(150)로부터 출력된 아날로그 음성 신호(즉, 제 1 및 제 2 아날로그 음성 신호를 합성한 신호)를 입력 받아 기설정된 음성 채널을 통해 전송한다. 이때, 신호 전송부(170)는 필터(160)를 통해 잡음이 제거된 상기 합성된 아날로그 음성 신호를 수신할 수 있다. 참고로, 도 1에서 신호 전송부(170)는 음성 코덱일 수 있으며, 음성 코덱은 상기 합성된 아날로그 음성 신호를 기설정된 무선 통신에 적합한 포맷의 음성 패킷으로 인코딩하여 전송한다.
이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 송신기(100)의 음성 채널을 통한 이종 데이터 전송 방법에 대해서 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 통신 장치의 송신기가 음성 채널을 통해 이종 데이터를 전송하는 방법을 설명하기 위한 순서도 이다.
먼저, 전송하고자 하는 비음성 디지털 데이터를 아날로그 신호로 변환한다(S210). 이때, 비음성 데이터에 대한 보안성을 높이기 위하여 상기 단계 (S210) 이전에, 디지털인 비음성 데이터를 암호화 처리하는 단계를 먼저 수행할 수 있다.
그런 다음, 변환된 아날로그 신호를 기설정된 음성 주파수 대역의 아날로그 음성 신호(즉, 제 1 아날로그 음성 신호)로 변환한다(S220).
그런 후, 제 1 아날로그 음성 신호와 기설정된 다른 아날로그 음성 신호(즉, 제 2 아날로그 음성 신호)를 합성한다(S230).
구체적으로, 상기 합성 시 제 2 아날로그 음성 신호에 제 1 아날로그 음성 신호(즉, 비음성 데이터)를 은닉화시킨다. 이때, 기설정된 제 2 아날로그 음성 신호는 기저장된 샘플 아날로그 음성 신호 또는 음성 통화 발생시 실시간으로 입력되는 아날로그 음성 신호 중 어느 하나일 수 있다. 이와 같이, 디지털인 비음성 데이터를 아날로그 음성 신호로 변환하여 실제 아날로그 음성 신호에 은닉함으로써, 비음성 데이터를 음성 통화 신호로서 전송할 수 있어 보안성을 높일 수 있다.
다음으로, 제 1 및 제 2 아날로그 음성 신호를 합성한 아날로그 음성 신호를 기설정된 통신 포맷에 적합하도록 인코딩하여, 인코딩된 음성 패킷을 기설정된 음성 채널을 통해 전송한다(S240).
다시 도 1로 돌아가서, 수신기(200)의 구성 및 동작에 대해서 설명하도록 한다.
수신기(200)의 신호 수신부(210)는 비음성 데이터가 합성된 음성 신호를 수신한다. 이때, 도 1에서 신호 수신부(210)는 음성 코덱일 수 있으며, 음성 코덱은 기설정된 통신 포맷으로 인코딩된 음성 패킷을 아날로그 음성 신호로 디코딩한다.
신호 분리부(240)는 수신된 음성 신호로부터 아날로그 음성 신호 형태의 비음성 데이터를 분리한다. 이때, 수신된 음성 신호에는, 다른 통신 장치(10)의 송신기(100)가 특정 아날로그 음성 신호에 아날로그 음성 신호 형태로 은닉화시킨 비음성 데이터가 포함되어 있다. 이에 따라, 신호 분리부(240)는 기설정된 공개화 조건을 적용하여 아날로그 음성 신호에 은닉화되어 있는 비음성 데이터를 공개화 처리한다. 예를 들어, 신호 분리부(240)는 수신된 음성 신호로부터 기설정된 특정 신호(즉, 제 1 및 제 2 아날로그 신호 외의 임의의 특성을 갖는 기준 파형 신호)를 감하는 처리를 수행하여 공개화를 처리할 수 있다.
한편, 도 1에서 설명한 본 발명의 실시예가 적용되는 통신 환경에서는, 음성 코덱을 사용하여 음성 신호가 인코딩 및 디코딩됨에 따라 신호 왜곡이 발생될 수 있다. 이는, 통신 장치(10) 간에 무선 통신을 수행하므로, 음성 코덱이 통신 장치(10) 간 신호대잡음비(Signal to Noise Ratio, SNR)에 기초하여 음성 패킷의 압축률을 유동적으로 결정하기 때문이다. 따라서, 본 발명의 일 실시예에 따른 수신기(200)는 음성 코덱으로부터 출력된 아날로그 음성 신호의 잡음을 제거하여 안정화시키는 저잡음 증폭기(220) 및 필터(230)를 더 포함할 수 있다. 이때, 신호 분리부(240)는 증폭기(220) 및 필터(230)를 통해 잡음이 제거된 아날로그 음성 신호를 수신한다.
음성 출력부(250)는 신호 분리부(240)로부터 분리된 비음성 데이터 이외의 아날로그 음성 신호를 음성 통화 신호로서 출력한다. 이때, 음성 출력부(250)는 음성 통화 신호를 통신 장치(10) 상의 스피커(미도시) 등의 음성 출력 장치를 통해 출력할 수 있다. 참고로, 출력되는 음성 통화 신호는 실제 음성 통화 시 사용자로부터 발생된 음성 신호 또는 다른 통신 장치(10)의 송신기(100)에서 사전에 저장해둔 아날로그 음성 신호의 샘플일 수 있다.
아날로그 디지털 컨버터(260)는 신호 분리부(240)로부터 분리된 아날로그 음성 신호 형태의 비음성 데이터를 디지털 신호로 변환하여 디지털인 비음성 데이터를 출력한다.
본 발명의 실시예에 따른 통신 장치(10)는, 아날로그 디지털 컨버터(260)를 통해 디지털화된 비음성 데이터를 하기 복호화부(270)를 통해 비음성 데이터를 복호화 처리할 수 있다.
복호화부(270)는 입력된 비음성 디지털 데이터가 사전에 암호화된 포맷에 대응하는 포맷으로 복호화하여 원본 비음성 데이터를 출력한다. 이때, 도 1에서는 복호화부(270)가 기설정된 복호화 키(Key)를 사용하여 비음성 데이터를 복호화한 것을 예로서 나타내었다.
한편, 통신 장치(10)의 수신기(200)로부터 출력된 비음성 디지털 데이터는, 통신 장치(10)가 구현된 휴대 단말기 또는 컴퓨터 등의 통신 단말기 상에서 기설정된 형태로 출력될 수 있다. 즉, 통신 장치(10)가 구현된 통신 단말기 상에는 비음성 데이터에 대해 적합한 처리를 수행하는 모듈, 프로그램, 애플리케이션 등의 구성이 탑재될 수 있으며, 이들 구성과 통신 장치(10)는 상기 수신된 비음성 데이터를 자동으로 처리하기 위한 인터페이스가 설정될 수 있다.
이하, 도 3을 참조하여 본 발명의 일 실시예에 따른 수신기(200)가 음성 채널을 통해 이종 데이터를 수신하여 처리하는 방법에 대해서 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 통신 장치의 수신기가 음성 채널을 통해 이종 데이터를 수신하는 방법을 설명하기 위한 순서도이다.
먼저, 음성 채널을 통해 비음성 데이터가 합성된 음성 신호를 수신한다(S310). 이때, 수신된 음성 신호는 다른 통신 장치(10)에서 음성 코덱을 통해 인코딩된 음성 패킷 형태로 수신될 수 있다. 이에 따라, 상기 단계(S310)에서는 기설정된 통신 포맷으로 인코딩된 음성 패킷을 수신한 경우, 상기 음성 패킷을 음성 코덱을 통해 아날로그 음성 신호로 디코딩한다.
그런 다음, 수신된 음성 신호를 음성 통화 신호 및 비음성 데이터로 분리한다(S320).
그런 후, 분리된 아날로그 음성 신호 형태의 비음성 데이터를 디지털 신호로 변환하여 원본 디지털 비음성 데이터를 출력한다(S330).
이때, 디지털 비음성 데이터가 다른 통신 장치(10)에서 암호화된 경우, 상기 디지털 신호로 변환된 비음성 데이터를 기설정된 포맷으로 복호화하여 상기 원본 디지털 비음성 데이터를 출력할 수 있다. 또한, 상기 단계 (S320) 이후에, 상기 수신한 음성 신호로부터 분리된 상기 비음성 데이터 이외의 아날로그 음성 신호는 음성 통화 신호로서 출력할 수 있다.
한편, 도 1 내지 도 3에서는 본 발명의 일 실시예에 따른 통신 장치(10)가 음성 채널을 통해 음성 신호뿐 아니라 비음성 데이터를 송수신하여 처리하는 것을 상세히 설명하였다. 그런데, 통신 장치(10)가 구현된 통신 단말기 중 무선 통신 서비스를 제공하는 휴대 단말기의 경우 사용자에게 안전하고 효율적인 요금 부가 서비스를 제공하기 위하여, 음성 통화, 데이터 통화, 및 단문 및 멀티미디어 메시지 등 이종 데이터에 대한 트래픽을 한정할 수 있는 기술 또한 필요하다. 즉, 이종 데이터 각각의 트래픽 허가량을 설정하고, 특정 데이터에 대한 트래픽 허가량이 초과되는 경우 자동으로 다른 통신 채널을 이용하여 해당 특정 데이터를 통신할 수 있는 기술이 필요하다.
이에 따라, 하기 도 4 및 도 5를 참조하여, 상기 도 1 내지 도 3을 통해 설명한 본 발명의 일 실시예에 따른 통신 장치(10)의 구성 및 동작을 모두 수행하되, 이종 데이터 별 사용량을 모니터링하여 음성 채널을 통한 이종 데이터의 송신 여부를 결정 및 처리하는 본 발명의 다른 실시예에 따른 통신 장치(10’)의 구성 및 동작을 상세히 설명하도록 한다.
도 4는 본 발명의 다른 실시예에 따른 통신 장치의 구성을 나타낸 도면이다.
도 4에서와 같이, 본 발명의 다른 실시예에 따른 통신 장치(10’)는 앞서 도 1 내지 도 3을 통해 설명한 송신기(100) 및 수신기(200)를 포함하되, 이종 채널 통합기(300)를 더 포함한다. 참고로, 도 4 및 도 5에서는 설명의 편의상 앞서 설명한 송신기(100) 및 수신기(200)의 구성 및 동작에 대한 설명은 생략하도록 한다.
도 4에 도시한 바와 같이, 통신 장치(10’)의 이종 채널 통합기(300)는 채널 모니터링부(310), 트래픽 잔여량 검출부(320) 및 채널 전환 제어부(330)를 포함한다.
채널 모니터링부(310)는 통신 장치(10’)가 구현된 통신 단말기 상에서, 음성 데이터 및 비음성 데이터 별 트래픽 사용량을 실시간으로 모니터링한다. 이때, 비음성 데이터의 트래픽 사용량은 데이터 통화 및 단문(또는 멀티미디어) 메시지 통화에 따른 각각의 트래픽 사용량을 의미한다.
트래픽 잔여량 검출부(320)는 음성 데이터 및 비음성 데이터 별로 기설정된 트래픽 허가량으로부터 상기 모니터링한 트래픽 사용량을 제하여 각각의 트래픽 잔여량을 검출한다. 이때, 트래픽 허가량은 음성 통화, 데이터 통화, 단문(또는 멀티미디어) 메시지 통화 등의 통화 종류 별로 사전에 설정될 수 있다.
채널 전환 제어부(330)는 특정 데이터(즉, 비음성 데이터)의 통화 발생 시 음성 데이터 및 비음성 데이터에 대한 각각의 트래픽 잔여량에 기초하여 이종 채널로의 통신 채널 전환을 처리한다.
구체적으로, 채널 전환 제어부(330)는 비음성 데이터에 대한 트래픽 잔여량이 존재하지 않고 음성 데이터에 대한 트래픽 잔여량이 존재하면, 비음성 데이터를 송신기(100)의 디지털 아날로그 컨버터(120) 측으로 입력시킨다. 즉, 비음성 데이터에 대한 트래픽 잔여량이 부족한 경우, 데이터 통화 채널 또는 단문 메시지 통화 채널이 아닌 음성 채널로 통신 채널을 전환하여 비음성 데이터를 송신할 수 있다. 이와 같이 함으로써, 비음성 데이터 통화 요금에 대한 사용자의 부담을 낮출 수 있으며, 통신 자원을 효율적으로 분배하여 사용할 수 있는 효과가 있다.
또한, 채널 전환 제어부(330)는 특정 데이터(즉, 비음성 데이터)에 대한 트래픽 잔여량이 존재하는 경우, 통화가 발생된 비음성 데이터의 종류에 따라 기설정된 통신 채널을 통해 비음성 데이터가 정상적으로 전송되도록 처리한다.
반면, 채널 전환부(330)는 음성 데이터 및 비음성 데이터에 대한 각각의 트래픽 잔여량이 존재하지 않는 경우, 통화가 발생된 비음성 데이터를 해당 통신 채널을 통해 정상적으로 전송되도록 하되, 트래픽 허가량의 초과분에 대해서 과금 처리할 수 있다.
이하, 도 5를 참조하여 본 발명의 다른 실시예에 따른 통신 장치(10’)가 이종 채널을 통합 처리하여 자동으로 통신 채널을 전환하는 방법에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 다른 실시예에 따른 통신 장치의 이종 채널 통합 방법을 설명하기 위한 순서도이다.
먼저, 실시간으로 음성 및 비음성 데이터 별 트래픽 사용량을 모니터링한다(S510).
그런 다음, 비음성 데이터에 대한 통신 요청이 발생되면(S520), 통신 채널 별로 허가된 트래픽 잔여량을 검출한다(S530).
참고로, 통신 채널은 음성 데이터 및 비음성 데이터 별로 상이하게 설정된 채널이며, 각 통신 채널 별로 사전에 트래픽 허가량이 설정되어 있는 상태이다. 이때, 트래픽 잔여량은, 각 통신 채널 별 트래픽 허가량으로부터 상기 트래픽 사용량을 제하여 산출할 수 있다. 또한, 비음성 데이터의 트래픽 잔여량은, 비음성 데이터의 통화 종류(즉, 데이터 통화 또는 단문 메시지 통화 등) 별로 검출한다.
그런 다음, 통화가 발생된 해당 비음성 데이터의 트래픽 잔여량이 존재하는지 판단한다(S540).
상기 단계 (S540)의 판단 결과, 해당 비음성 데이터의 트래픽 잔여량이 존재하는 경우, 해당 비음성 데이터에 대해 기설정된 해당 통신 채널을 통해 비음성 데이터가 전송되도록 처리한다(S550).
반면, 상기 단계 (S540)의 판단 결과, 해당 비음성 데이터의 트래픽 잔여량이 존재하지 않는 경우, 음성 데이터의 트래픽 잔여량이 존재하는지 판단한다(S560).
상기 단계 (S560)의 판단 결과, 음성 데이터의 트래픽 잔여량이 존재하지 않는 경우, 기설정된 해당 통신 채널을 통해 비음성 데이터를 전송한 후 트래픽 허가량의 초과분에 대해서 과금 처리한다(S580).
반면, 상기 단계 (S560)의 판단 결과, 음성 데이터의 트래픽 잔여량이 존재하는 경우, 해당 비음성 데이터의 통신 채널을 음성 채널로 전환 처리한다(S590).
즉, 통화가 발생된 비음성 데이터를 송신기(100)의 디지털 아날로그 컨버터(120) 측으로 입력시킨다.
본 발명의 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10, 10’: 통신 장치
100: 송신기
200: 수신기
300: 이종 채널 통합기

Claims (17)

  1. 비음성 데이터를 포함하는 음성 신호를 음성 채널을 통해 전송하는 통신 장치에 있어서,
    디지털인 비음성 데이터를 아날로그 신호로 변환하는 디지털 아날로그 컨버터;
    상기 아날로그 신호를 음성 주파수 대역의 제 1 아날로그 음성 신호로 변환하는 대역 제어부;
    상기 제 1 아날로그 음성 신호를 기설정된 제 2 아날로그 음성 신호와 합성하는 신호 합성부; 및
    상기 합성한 아날로그 음성 신호를 상기 음성 채널을 통해 전송하는 신호 전송부를 포함하되,
    상기 신호 합성부는,
    상기 제 1 및 제 2 아날로그 음성 신호를 합성한 신호에, 시간 영역 또는 주파수 영역에서 기설정된 기준 신호 파형을 더하여 상기 제 2 아날로그 음성 신호에 상기 제 1 아날로그 음성 신호를 은닉화시키는 통신 장치.
  2. 제 1 항에 있어서,
    상기 신호 전송부는,
    상기 합성한 아날로그 음성 신호를 음성 코덱을 통해 기설정된 통신 포맷의 음성 패킷으로 인코딩하여 전송하는 통신 장치.
  3. 제 1 항에 있어서,
    상기 비음성 데이터를 암호화하여 상기 디지털 아날로그 컨버터로 입력시키는 암호화부를 더 포함하는 통신 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    음성 데이터 및 비음성 데이터 별 트래픽 사용량을 실시간으로 모니터링하는 채널 모니터링부;
    상기 음성 데이터 및 비음성 데이터 별로 기설정된 트래픽 허가량으로부터 상기 트래픽 사용량을 제하여 트래픽 잔여량을 검출하는 트래픽 잔여량 검출부; 및
    상기 비음성 데이터에 대한 상기 트래픽 잔여량이 존재하지 않고 상기 음성 데이터에 대한 상기 트래픽 잔여량이 존재하면, 상기 비음성 데이터를 상기 디지털 아날로그 컨버터로 입력시키는 채널 전환 제어부를 더 포함하는 통신 장치.
  6. 제 1 항에 있어서,
    상기 신호 합성부는,
    기저장된 샘플 아날로그 음성 신호 또는 음성 통화 발생시 실시간으로 입력되는 아날로그 음성 신호를 상기 제 2 아날로그 음성 신호로 사용하는 통신 장치.
  7. 비음성 데이터를 포함하는 음성 신호를 음성 채널을 통해 수신하는 통신 장치에 있어서,
    비음성 데이터가 합성된 음성 신호를 상기 음성 채널을 통해 수신하는 신호 수신부;
    상기 음성 신호로부터 아날로그 음성 신호 형태의 상기 비음성 데이터를 분리하는 신호 분리부; 및
    상기 분리한 아날로그 음성 신호 형태의 비음성 데이터를 디지털 신호로 변환하여 디지털 비음성 데이터를 출력하는 아날로그 디지털 컨버터를 포함하되,
    상기 비음성 데이터가 합성된 음성 신호는,
    상기 비음성 데이터가 음성 주파수 대역으로 변환된 제 1 아날로그 음성 신호와 기설정된 제 2 아날로그 음성 신호가 합성된 신호에, 시간 영역 또는 주파수 영역에서 기설정된 기준 신호 파형을 더하여 상기 제 2 아날로그 음성 신호에 상기 제 1 아날로그 음성 신호를 은닉화시킨 음성 신호이고,
    상기 신호 분리부는,
    기설정된 공개화 조건에 따라 상기 음성 신호에 은닉화된 상기 아날로그 음성 신호 형태의 비음성 데이터를 공개화시키는 통신 장치.
  8. 제 7 항에 있어서,
    상기 신호 분리부를 통해 상기 수신한 음성 신호로부터 분리된 상기 비음성 데이터 이외의 아날로그 음성 신호를 음성 통화 신호로서 출력하는 음성 출력부를 더 포함하는 통신 장치.
  9. 삭제
  10. 통신 장치가 음성 채널을 통해 비음성 데이터를 송신하는 방법에 있어서,
    (a) 디지털인 비음성 데이터를 아날로그 신호로 변환하는 단계;
    (b) 상기 아날로그 신호를 음성 주파수 대역의 제 1 아날로그 음성 신호로 변환하는 단계;
    (c) 상기 제 1 아날로그 음성 신호를 기설정된 제 2 아날로그 음성 신호와 합성하는 단계; 및
    (d) 상기 합성한 아날로그 음성 신호를 상기 음성 채널을 통해 전송하는 단계를 포함하고,
    상기 (c) 단계는,
    상기 제 1 및 제 2 아날로그 음성 신호를 합성한 신호에, 시간 영역 또는 주파수 영역에서 기설정된 기준 신호 파형을 더하여 상기 제 2 아날로그 음성 신호에 상기 제 1 아날로그 음성 신호를 은닉화시키는 음성 채널을 통한 비음성 데이터 송신 방법.
  11. 제 10 항에 있어서,
    상기 (d) 단계는,
    상기 합성한 아날로그 음성 신호를 음성 코덱을 통해 기설정된 통신 포맷의 음성 패킷으로 인코딩하여 전송하는 음성 채널을 통한 비음성 데이터 송신 방법.
  12. 제 10 항에 있어서,
    상기 (a) 단계 이전에,
    상기 디지털인 비음성 데이터를 암호화하는 단계를 더 포함하는 음성 채널을 통한 비음성 데이터 송신 방법.
  13. 삭제
  14. 제 10 항에 있어서,
    상기 (a) 단계 이전에,
    음성 데이터 및 비음성 데이터 별 트래픽 사용량을 실시간으로 모니터링하는 단계;
    상기 비음성 데이터에 대한 통신 요청 발생 시, 상기 음성 데이터 및 비음성 데이터 별로 기설정된 트래픽 허가량으로부터 상기 트래픽 사용량을 제하여 트래픽 잔여량을 검출하는 단계; 및
    상기 음성 데이터 및 비음성 데이터 별 상기 트래픽 잔여량에 따라 상기 통신 요청이 발생된 비음성 데이터에 대한 통신 채널 전환을 결정하는 단계를 더 포함하는 음성 채널을 통한 비음성 데이터 송신 방법.
  15. 통신 장치가 비음성 데이터를 음성 채널을 통해 수신하여 신호 처리하는 방법에 있어서,
    (a) 비음성 데이터가 합성된 음성 신호를 상기 음성 채널을 통해 수신하는 단계;
    (b) 상기 음성 신호로부터 아날로그 음성 신호 형태의 상기 비음성 데이터를 분리하는 단계; 및
    (c) 상기 분리한 아날로그 음성 신호 형태의 비음성 데이터를 디지털 신호로 변환하여 디지털 비음성 데이터를 출력하는 단계를 포함하고,
    상기 비음성 데이터가 합성된 음성 신호는,
    상기 비음성 데이터가 음성 주파수 대역으로 변환된 제 1 아날로그 음성 신호와 기설정된 제 2 아날로그 음성 신호가 합성된 신호에, 시간 영역 또는 주파수 영역에서 기설정된 기준 신호 파형을 더하여 상기 제 2 아날로그 음성 신호에 상기 제 1 아날로그 음성 신호를 은닉화시킨 음성 신호이고,
    상기 (b) 단계는,
    기설정된 공개화 조건에 따라 상기 음성 신호에 은닉화된 상기 아날로그 음성 신호 형태의 비음성 데이터를 공개화시키는 음성 채널을 통한 비음성 데이터 수신 방법.
  16. 제 15 항에 있어서,
    상기 (b) 단계 이후에,
    상기 음성 신호로부터 분리된 상기 비음성 데이터 이외의 아날로그 음성 신호를 음성 통화 신호로서 출력하는 단계를 더 포함하는 음성 채널을 통한 비음성 데이터 수신 방법.
  17. 삭제
KR1020130142948A 2013-11-22 2013-11-22 음성 채널을 통해 이종 데이터를 송수신하는 통신 장치 및 방법 KR101527166B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130142948A KR101527166B1 (ko) 2013-11-22 2013-11-22 음성 채널을 통해 이종 데이터를 송수신하는 통신 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130142948A KR101527166B1 (ko) 2013-11-22 2013-11-22 음성 채널을 통해 이종 데이터를 송수신하는 통신 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150059399A KR20150059399A (ko) 2015-06-01
KR101527166B1 true KR101527166B1 (ko) 2015-06-09

Family

ID=53490496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130142948A KR101527166B1 (ko) 2013-11-22 2013-11-22 음성 채널을 통해 이종 데이터를 송수신하는 통신 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101527166B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230127773A (ko) 2022-02-25 2023-09-01 고려대학교 산학협력단 초음파를 이용한 통신 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200262164Y1 (ko) * 2001-08-29 2002-03-18 주식회사 디엠테크놀로지 광디스크 재생장치의 음성신호출력장치
KR20030010757A (ko) * 2000-06-22 2003-02-05 에어비퀴티 인코포레이티드. 디지털 무선 통신 네트워크들을 통한 데이터 통신용강화된 대역내 시그널링

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030010757A (ko) * 2000-06-22 2003-02-05 에어비퀴티 인코포레이티드. 디지털 무선 통신 네트워크들을 통한 데이터 통신용강화된 대역내 시그널링
KR200262164Y1 (ko) * 2001-08-29 2002-03-18 주식회사 디엠테크놀로지 광디스크 재생장치의 음성신호출력장치

Also Published As

Publication number Publication date
KR20150059399A (ko) 2015-06-01

Similar Documents

Publication Publication Date Title
EP1860851B1 (en) Method for implementing voice over IP through and electronic device connected to a packed switched network
CA2724665C (en) Method and apparatus for verifying data packet integrity in a streaming data channel
US9478215B2 (en) Vehicle-based message control using cellular IP
US9258700B2 (en) Systems and methods for utilizing IMS data security mechanisms in a circuit switched network
US8244305B2 (en) Efficient, secure digital wireless voice telephony via selective encryption
KR101071524B1 (ko) 모바일 스테이션과 보안 게이트웨이 사이의 시그널링 및 미디어 패킷들을 위한 널-암호화를 가지는 방법들 및 장치들
JP5739006B2 (ja) セキュアデータおよび非セキュアデータを送受信するための方法および装置
US9479373B2 (en) Packet processor verification methods and systems
CN114630290A (zh) 语音加密通话的密钥协商方法、装置、设备及存储介质
KR101527166B1 (ko) 음성 채널을 통해 이종 데이터를 송수신하는 통신 장치 및 방법
US20110235632A1 (en) Method And Apparatus For Performing High-Quality Speech Communication Across Voice Over Internet Protocol (VoIP) Communications Networks
CN107733836B (zh) VoLTE与移动通信系统的加密语音互通方法、系统、IM-MGW和VOLTE网络系统
CN105120457A (zh) 一种移动通信电路域话音处理装置、方法和系统
Pokharel et al. Can Android VoIP voice conversations be decoded? I can eavesdrop on your Android VoIP communication
CN101247221A (zh) 在加密之前给信号加水印
JP4339793B2 (ja) 音響チャネルと圧縮によるデータ通信
US20150180663A1 (en) Method and apparatus for performing secure voice call
US7460671B1 (en) Encryption processing apparatus and method for voice over packet networks
RU2433547C1 (ru) Способ, устройство и система абонентского шифрования речевой информации и ее передачи по сетям связи общего пользования
JP2009004824A (ja) 送信装置、受信装置、プログラム、送信方法、及び受信方法
Roselinkiruba et al. Secure steganography in audio using inactive frames of voip streams
US20090323509A1 (en) Method of transmitting data signals in a telephone network
KR101090899B1 (ko) 다른 기종망간 직접적 통신을 위한 통신 장치
KR20120113001A (ko) 유무선 융합용 정보 보호 단말기 및 정보 보호 통신 방법
KR101626479B1 (ko) 음성 패킷 송수신 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 5