KR100896417B1 - 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치및 방법 - Google Patents

인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치및 방법 Download PDF

Info

Publication number
KR100896417B1
KR100896417B1 KR1020070047928A KR20070047928A KR100896417B1 KR 100896417 B1 KR100896417 B1 KR 100896417B1 KR 1020070047928 A KR1020070047928 A KR 1020070047928A KR 20070047928 A KR20070047928 A KR 20070047928A KR 100896417 B1 KR100896417 B1 KR 100896417B1
Authority
KR
South Korea
Prior art keywords
audio signal
subchannel
strength
main channel
channel audio
Prior art date
Application number
KR1020070047928A
Other languages
English (en)
Other versions
KR20080101321A (ko
Inventor
류일현
Original Assignee
(주)씨앤에스 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨앤에스 테크놀로지 filed Critical (주)씨앤에스 테크놀로지
Priority to KR1020070047928A priority Critical patent/KR100896417B1/ko
Publication of KR20080101321A publication Critical patent/KR20080101321A/ko
Application granted granted Critical
Publication of KR100896417B1 publication Critical patent/KR100896417B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/66—Digital/analogue converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Television Receiver Circuits (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 사람의 청각 특성을 고려하여 복수의 채널 오디오를 동시에 제공하는 기술에 것에 관한 것이다.
본 발명은 하나의 스피커로 동시에 두 채널의 오디오 신호를 제공하고, 메인채널 오디오 신호 세기는 사용자가 선택한 설정값으로 일정하게 제공하고, 서브채널 오디오 신호 세기를 메인채널 오디오 신호의 세기(크기) 변동에 따라 시간구간 또는 주파수 영역으로 실시간 조정하여 사용자가 동시에 두 채널의 오디오 신호를 편안하게 들으며, 사용자가 서브채널 오디오 신호를 듣고 싶을 때는 집중하면 들을 수 있도록 한다. 본 발명의 복수 채널 오디오 동시 제공 장치는 메인채널 오디오 신호의 세기와 서브채널 오디오 신호의 세기를 계산하고 비교함으로써 상기 서브채널 오디오 신호의 세기의 조정 값을 계산하는 오디오 세기 비교부, 및 상기 계산된 결과를 기초로 상기 서브채널 오디오 신호의 세기를 조정하는 이득제어부를 포함한다.
라우드니스 곡선, 마스킹, 세기평가

Description

인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치 및 방법 {Apparatus and method of providing multi channel audio simultaneously using human hearing character}
도 1은 종래의 선원특허 1의 다른 채널을 이용한 영상 및 오디오 시청방법을 수행하기 위한 구성도이다.
도 2는 종래의 선원특허 2의 디스플레이 장치에서 스피커설정 메뉴가 표시된 예시도이다.
도 3은 선원특허 3의 PIP 시스템의 주화면 및 부화면 오디오의 동시 청취 시스템의 개략도이다.
도 4는 본 발명의 PIP 기능이 있는 텔레비전에서 비디오와 오디오 신호를 처리하는 구성도이다.
도 5는 라우드니스 곡선의 예를 나타낸 것이다.
도 6은 라우드니스 곡선과 마스킹 효과를 나타낸 도이다.
도 7은 본 발명의 2채널 오디오 처리부의 구성도이다.
도 8은 도 7의 2채널 오디오 처리부의 다른 구성도이다.
도 9는 본 발명의 도 7의 2채널 오디오 처리부의 다른 구성도이다
<도면의 주요부호에 대한 설명>
80 : 메인채널 오디오 디코더 82 : 서브채널 오디오 디코더
84 : 메인채널 오디오 세기평가부 86 : 서브채널 오디오 세기평가부
88 : 볼륨비계산부 90 : 오디오 세기 비교부
92 : 이득제어부
본 발명은 사람의 청각 특성을 고려하여 복수의 채널 오디오를 동시에 제공하는 기술에 것에 관한 것이다.
PIP(picture in picture)는 텔레비전 수상기 화면에서 본 화면과 별도로 작은 화면을 동시에 표시할 수 있는 기능을 말한다. 이와 같은 PIP기능을 가진 텔레비전에서는 배경이 되는 쪽을 모화면, 작게 표시되는 쪽을 PIP라고 한다. 이 기능을 이용하면 어떤 프로그램을 보고 있을 때 동시에 다른 채널의 내용을 확인할 수 있지만 화면 일부가 은폐된다. 일반적인 PIP 기능을 가진 텔레비전에서는 모화면(메인 채널)의 오디오만 출력하고, PIP 화면(서브 채널)의 오디오는 출력하지 않는다. 일반적인 PIP 텔레비전은 서브 채널 오디오를 출력하지 않기 때문에 답답한 느낌을 가질 수 있다.
이와 같은 답답함을 해결하기 위하여 서브 채널의 오디오를 제공하는 여러 가지 기술이 제안되었다.
도 1은 종래의 선원특허 1의 다른 채널을 이용한 영상 및 오디오 시청방법을 수행하기 위한 구성도이다.
선원특허 1 출원번호 10-2003-0040137호 " 다른 채널을 이용한 영상 및 오디오 시청방법" 은 두 개의 튜너를 탑재한 영상 시스템에 있어서, 영상 신호를 보는 중에 다른 채널 오디오 부분을 스위칭하거나, 또는 오디오 신호를 청취하는 중에 다른 채널 영상 부분을 스위칭하여 시청할 수 있도록 하는 방법에 관한 것이다.
도 1을 참조하면 종래의 PIP 시스템은 신호처리부(16, 36)를 이용하여 메인채널과 서브채널의 비디오 신호를 처리하고, 신호처리부(18, 38)을 이용하여 메인채널과 서브채널의 오디오 신호를 처리한다. 오디오 신호 스위칭부(40)는 두 채널의 오디오 신호중에서 마이컴(34)을 통해 사용자에 의해 선택된 오디오를 스피커(S3)를 통해 출력한다. 예를 들어, 현재 스피커(S3)에서 메인채널의 오디오가 출력되고 있을 때 사용자가 서브채널의 오디오를 선택하면, 오디오 신호 스위칭부(40)는 서브채널의 오디오를 선택하여 스피커(S3)에서 메인채널이 아닌 서브채널의 오디오가 출력된다.
선원특허 1에 개시된 기술에 의해 사용자는 서브채널 오디오를 선택하기 전에는 서브채널 오디오를 들을 수 없고, 서브채널 오디오를 선택하면 메인채널 오디오를 들을 수 없는 것으로, 동시에 두 채널의 오디오를 들을 수 없다.
도 2는 종래의 선원특허 2의 디스플레이 장치에서 스피커설정 메뉴가 표시된 예시도이다.
선원특허 2 출원번호 10-2004-0094327호 "디스플레이 장치" 는 PIP 부화면의 사운드를 용이하게 청취할 수 있도록 하는 디스플레이 장치에 관한 것이다.
선원특허 2는 PIP 기능을 갖는 디스플레이 장치에서 사운드 출력을 위한 복수개의 스피커를 설치하여야 하며, 주화면과 하나 이상의 부화면을 표시하는 PIP 기능이 있다.
디스플레이 장치는 사용자 입력을 위한 사용자 입력부와 주화면에 대응하는 주사운드 신호와 부화면에 대응하는 부사운드 신호 중 어느 하나를 복수의 스피커로 출력하는 선택부와 사용자 입력부의 조작에 의해 부화면에 대응하는 부사운드를 출력하기 위한 스피커가 선택되면, 사운드신호를 복수의 스피커 중 선택된 스피커로 출력하도록 선택부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
즉, 선원특허 2는 PIP 기능 실행시에 사용자가 복수의 스피커를 지정하여 주화면의 사운드와 부화면의 사운드를 나누어서 출력할 수 있도록 한 것이다.
선원특허 2는 선원특허 1과는 달리 사용자가 서브채널의 사운드를 메인채널의 사운드와 함께 들을 수 있다. 그렇지만 이러한 선원특허 2에 개시된 기술에 의하면 사용자는 동시에 두 채널의 오디오를 청취할 수 있으나, 자동적인 오디오 출력신호의 제어가 없으므로 사용자는 서브채널의 사운드와 메인채널의 사운드를 동시에 들을 때 방해를 받을 수 있고, 복수의 스피커를 적용하지 않은 디스플레이 장치에서는 적용할 수 없는 문제점이 있다.
도 3은 선원특허 3의 PIP 시스템의 주화면 및 부화면 오디오의 동시 청취 시스템의 개략도이다.
선원특허 3 출원번호 10-2004-0094327호, "PIP 시스템의 주화면 및 부화면 오디오의 동시 청취시스템"은 주화면의 오디오와 부화면의 오디오를 하나의 스피커를 통하여 동시에 청취할 수 있는 것이다.
오디오 동시청취 시스템은 복수의 외부 오디오/비디오 신호를 입력받고 주화면 음성신호와 부화면 음성신호를 포함한 음성신호를 처리하고, 주화면의 레프트 음성신호와 라이트 음성신호를 모노 음성신호(L1+R1/2)로 출력시키고 부화면의 레프트 음성신호와 라이트 음성신호를 모노 음성신호(L2+R2/2)로 출력시킨다. 이와 같은 오디오 동시청취 시스템을 이용함으로써 사용자는 메인채널의 오디오뿐만 아니라 서브채널의 오디오 또한 청취할 수 있게 된다.
그러나 선행특허 2와 마찬가지로 선행특허 3의 경우도 오디오 출력신호의 제어가 없으므로 동시에 두 채널의 오디오 청취에 의하여 사용자의 혼란이나 방해가 있을 수 있는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 본 발명은 인간 청각 특성을 이용하여 사용자가 다른 오디오 채널에 의해 방해받지 않도록 복수 채널 오디오를 동시 제공하는 장치 및 방법을 제공함을 목적으로 한다.
또한, 본 발명의 목적은 하나의 스피커로 동시에 두 채널의 오디오 신호를 제공하고, 메인채널 오디오 신호 세기는 사용자가 선택한 설정값으로 일정하게 제공하고, 서브채널 오디오 신호 세기를 메인채널 오디오 신호의 세기(크기) 변동에 따라 시간구간 또는 주파수 영역으로 실시간 조정하여 사용자가 동시에 두 채널의 오디오 신호를 편안하게 들으며, 사용자가 서브채널 오디오 신호를 듣고 싶을 때는 집중하면 들을 수 있도록 하는 인간 청각 특성을 이용한 복수 채널 오디오 제공 장치 및 방법을 제공함을 목적으로 한다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치는 메인채널 오디오 신호의 세기를 계산하는 메인채널 오디오 세기 평가부, 서브채널 오디오 신호의 세기를 계산하는 서브채널 오디오 세기 평가부 및 계산된 메인 및 서브채널 오디오 신호의 세기들을 비교하고, 상기 비교 결과에 기초해서 상기 서브채널 오디오 신호의 세기가 상기 메인채널 오디오 세기와 미리 설정된 레벨차만큼 차이가 나도록 상기 서브채널 오디오 신호의 세기를 조정하는데 사용할 상기 조정 값을 계산하는 볼륨비 계산부로 이루어진 오디오 세기 비교부와, 오디오 세기 비교부에서 계산된 결과를 기초로 상기 서브채널 오디오 신호의 세기를 조정하는 이득제어부를 포함한다.
상기 오디오 세기 비교부는 상기 메인채널 오디오 신호의 세기를 계산하는 메인채널 오디오 세기 평가부와, 상기 서브채널 오디오 신호의 세기를 계산하는 서브채널 오디오 세기 평가부, 및 상기 계산된 메인 및 서브채널 오디오 신호의 세기들을 비교하고, 상기 비교 결과에 기초해서 상기 서브채널 오디오 신호의 세기가 상기 메인채널 오디오 세기와 미리 설정된 레벨차만큼 차이가 나도록 상기 서브채널 오디오 신호의 세기를 조정하는데 사용할 상기 조정 값을 계산하는 볼륨비 계산부를 포함할 수 있다.
상기 오디오 세기 비교부는 설정된 시간 간격으로 상기 메인채널 오디오 신호의 평균 세기를 구하고, 상기 설정된 시간 간격으로 상기 서브채널 오디오 신호 의 평균 세기를 구할 수 있다.
상기 오디오 세기 비교부는 설정된 시간 간격으로 상기 메인채널 오디오 신호의 스케일 팩터들(scale factors)의 평균 값을 구하고, 상기 설정된 시간 간격으로 상기 서브채널 오디오 신호의 스케일 팩터들의 평균 값을 구할 수 있다.
상기 메인채널 오디오 신호와 상기 조정된 서브채널 오디오 신호를 믹싱하는 믹서를 더 포함할 수 있다.
상기 이득제어부는 상기 계산된 결과에 기초하여 상기 서브채널 오디오 신호가 상기 메인채널 오디오 신호에 의해 마스킹되지 않도록 하는 설정된 레벨차를 갖도록 상기 서브채널 오디오 신호의 세기를 줄일 수 있다.
삭제
상기 설정된 레벨차을 조정하기 위한 사용자 제어부를 더 포함할 수 있다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 방법은 메인채널 오디오 신호 및 서브채널 오디오 신호의 세기를 계산하는 단계와, 상기 계산 결과에 기초하여 상기 메인채널 오디오 신호를 들을 때 방해가 되지 않도록 상기 서브채널 오디오 신호의 세기를 조정하는 단계, 및 상기 메인채널 오디오 신호 및 상기 세기가 조정된 서브채널 오디오 신호를 동시에 출력하는 단계를 포함한다.
상기 서브채널 오디오 신호의 세기를 조정하는 단계는 설정된 시간 간격으로 상기 오디오 신호의 세기를 조정하는 단계를 포함할 수 있다.
상기 서브채널 오디오 신호의 세기를 조정하는 단계는 상기 계산 결과에 기초하여 상기 서브채널 오디오 신호가 상기 메인채널 오디오 신호에 의해 마스킹되지 않는 최소 레벨로 상기 서브채널 오디오 신호의 세기를 줄이는 단계를 포함할 수 있다.
상기 서브채널 오디오 신호의 세기를 조정하는 단계는 사용자의 명령에 따라 상기 메인채널 오디오 신호의 세기와 상기 서브채널 오디오 신호의 세기의 레벨차를 설정하는 단계, 및 상기 설정된 레벨차에 따라 상기 서브채널 오디오 신호의 세기를 줄이는 단계를 포함할 수 있다.
오디오 신호의 세기를 계산하는 단계는 설정된 시간 간격으로 상기 메인채널 오디오 신호의 평균 세기를 구하는 단계, 및 상기 설정된 시간 간격으로 상기 서브채널 오디오 신호의 평균 세기를 구하는 단계를 포함할 수 있다.
상기 오디오 신호의 세기를 계산하는 단계는 설정된 시간 간격으로 상기 메인채널 오디오 신호의 스케일 팩터들(scale factors)의 평균 값을 구하는 단계, 및 상기 설정된 시간 간격으로 상기 서브채널 오디오 신호의 스케일 팩터들의 평균 값을 구하는 단계를 포함할 수 있다.
상기 오디오 신호를 출력하는 단계는 상기 메인채널 오디오 신호와 상기 세기가 조정된 서브채널 오디오 신호를 믹싱하는 단계, 및 상기 믹싱된 오디오 신호를 출력하는 단계를 포함할 수 있다.
상기 오디오 신호의 세기를 계산하는 단계는 1개의 오디오 프레임 시간 간격으로 상기 메인채널 오디오 신호의 세기를 평가하는 단계, 및 상기 서브채널 오디 오 신호의 세기를 평가하는 단계를 포함하고, 상기 평가 결과에 기초하여, 1개의 오디오 프레임 시간 간격을 주기로 상기 서브채널 오디오 신호가 상기 메인채널 오디오 신호에 의해 마스킹되지 않는 최소 레벨로 상기 서브채널 오디오 신호의 세기를 줄이는 단계를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부한 도면을 참조하여 설명한다. 설명의 편의상 다른 실시예(도면)에 있더라도 동일한 기능과 역할을 수행하는 구성요소에 대해서는 동일한 참조번호를 부여한다.
하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 생략될 것이라는 것을 유의하여야 한다.
본 발명은 사람의 청각 특성을 고려하여 두 개 이상의 화면을 동시에 시청하는 PIP 기능이 있는 TV나 전화 기능이 있는 TV 등에 적용할 수 있으며, 사용자가 불편함 없이 메인채널과 서브채널의 오디오를 동시에 청취하고, 메인채널 오디오의 크기는 사용자가 설정한 크기로 제공하고, 서브채널 오디오 신호의 크기는 메인채널 오디오 신호와 시간구간별 오디오 신호의 크기의 차이 또는 주파수 영역에서 오디오 신호의 크기를 비교 판단하여 사용자가 불편함 없는 크기로 조정하여 동시에 두 채널 이상의 오디오를 청취할 수 있도록 하는 복수 채널 오디오 제공 장치 및 방법이다.
도 4는 본 발명의 PIP 기능이 있는 텔레비전에서 비디오와 오디오 신호를 처리하는 구성도이다.
본 발명에서는 예시적으로 2채널의 프로그램을 동시에 디스플레이할 수 있는 PIP 기능을 갖는 디지털 텔레비전을 기준으로 설명하지만 동시에 3개 이상의 채널의 프로그램을 동시에 디스플레이하는 디지털 텔레비전에도 적용 가능하다.
디지털 방송 수신기(50)는 사용자에 의해 선택된 2 채널(메인채널, 서브채널)의 방송 신호를 수신하고, 코딩된 비디오 신호와 코딩된 오디오 신호를 분리해서 제공한다.
이를 위하여 디지털 방송 수신기(50)는 2 채널의 방송 신호를 수신할 수 있는 RF 처리부와 기저대역 처리부 및 역다중화기를 포함할 수 있다.
2채널 비디오 처리부(60)는 2 채널의 코딩된 비디오 신호들을 디코딩하여 재구성하고(reconstruct), 재구성된 2 채널의 비디오 신호를 디스플레이부(62)에 적합한 디스플레이 신호로 인코딩한다.
예를 들어, 디지털 텔레비전이 PIP 모드에 있지 않을 경우에는 2채널 비디오 처리부는 2채널의 코딩된 비디오 신호들 중에서 메인채널의 코딩된 비디오 신호를 디코딩한 후 디스플레이 신호로 인코딩한다. 그렇지만 디지털 텔레비전이 PIP 모드에 있는 경우 2채널 비디오 처리부는 2채널의 코딩된 비디오 신호들을 모두 디코딩하여 재구성하고, 재구성된 2채널의 비디오 신호를 이용하여 PIP 모드의 디스플레이 신호로 인코딩한다.
2채널 오디오 처리부(70)는 2 채널(메인채널/서브채널)의 코딩된 오디오 신호들을 디코딩하여 출력한다.
예를 들어, 디지털 텔레비전이 PIP 모드에 있지 않을 경우에 2채널 오디오 처리부는 메인채널의 코딩된 오디오 신호를 디코딩한 후 스피커(72)로 출력한다. 그러나 디지털 텔레비전이 PIP 모드에 있는 경우 2채널 오디오 처리부는 2채널의 코딩된 오디오 신호들을 모두 디코딩하여 출력한다.
이 때 2채널 오디오 처리부(70)는 스피커(72)를 통해 출력되는 서브채널의 소리에 의해 사용자가 메인채널의 소리를 청취하는 것이 방해되지 않도록 세기를 조정하여 디코딩된 오디오 신호를 출력한다. 이와 같이 서브채널의 소리(또는 오디오 신호 세기)를 줄이는 방식에 대해서는 도 5를 참조하여 설명한다.
도 5는 라우드니스 곡선의 예를 나타낸 것이다.
세로는 음압레벨을 나타내는 데시벨(Decibel) SPL(Sound Pressure Level)이고 가로는 KHz이다.
본 발명은 서브채널의 오디오 신호 세기를 줄이는 방식은 음향심리학을 이용한다. 인간은 라우드니스(roudness) 곡선의 아래 부분의 크기와 주파수로 울리는 사운드에 대하여는 소리를 듣지 못한다. 이와 같은 라우드니스 곡선은 잡음이나 소음 등의 주변 환경에 의해 변화된다.
도 5를 참조하면 실제로 주변에 잡음이 없을 때보다 주변에 잡음이 있을 때 라우드니스 곡선은 위로 올라가는 것을 알 수 있다.
이와 같은 인간 청각 특성을 고려하면, 서브채널의 소리가 작게 출력되는 경우에 서브채널의 소리는 주변 소음(메인채널의 소리)에 묻혀 들리지 않을 수도 있다.
한편, 서브채널의 소리가 어느 정도 크게 출력되더라도 메인채널의 소리가 서브채널 보다 훨씬 크게 출력되는 경우에도 서브채널의 소리는 들리지 않을 수 있 다. 이러한 인간의 청각 특성 때문에 서브채널에 약한 소리를 출력하더라도 사용자는 출력되는 서브채널의 소리에 의해 방해받지 않으면서 메인채널의 소리를 들을 수 있다.
한편 서브채널 오디오 신호 세기가 라우드니스 곡선보다 높은 위치에 존재하더라도 사용자는 메인채널에 집중하고 있기 때문에 서브채널의 소리에 의해 사용자는 방해를 받지 않게 된다.
이러한 현상은 이른바 "칵테일 파티 효과" 라고 한다. 칵테일 파티에서 사람은 대화 상대의 목소리에 집중하게 되어 주변의 소음이 물리적으로 들리더라도 다른 사람의 목소리에 의해 대화에 방해를 받지 않는다. 뿐만 아니라 다른 사람의 목소리를 인식하지 못할 수도 있다.
반대로 사용자가 다른 사람의 목소리에 집중하면 그 사람이 말하는 소리를 들을 수 있게 된다.
본 발명은 이러한 인간의 청각 특성을 고려하여 PIP 기능 실행시에 메인채널의 오디오 크기는 설정한 상태로 유지시키고, 서브채널의 크기는 메인채널의 오디오 신호 수신에는 방해되지 않으며 사용자가 집중하면 들을 수 있으며 라우드니스 곡선과 칵테일 파티 효과 등에 근거한 크기로 제공하여 두 채널의 오디오를 동시에 제공한다.
예를 들어 PIP 기능 실행시 메인채널의 오디오 크기와 서브채널의 오디오 크기는 수 데시벨(dB)에서 수십 데시벨(dB)의 사이의 차이가 나도록 설정하여 별다른 불편함 없이 동시에 두 채널의 오디오 신호를 들을 수 있도록 한다.
또한, 본 발명은 인간의 청각 능력은 차이가 있으므로 메인채널 뿐만 아니라 서브채널의 오디오 신호 세기를 사용자가 직접 설정하여 사용할 수 있다.
이러한 점을 고려할 때 2채널 오디오 처리부(70)는 사용자가 필요할 때 서브채널의 소리를 들을 수 있도록 서브채널의 소리가 라우드니스 곡선의 위에 존재하도록 처리해야 하며, 사용자가 서브채널의 소리에 의해 메인채널의 소리를 청취하는 것을 방해받지 않을 정도로 서브채널의 오디오 신호를 처리해야 한다. 다시 말하면 서브채널의 소리가 라우드니스 곡선의 약간 위쪽에 존재하도록 서브채널의 오디오 신호를 처리하는 것이 바람직하다.
이렇게 함으로써 사용자는 메인채널의 프로그램을 시청에 편안하게 몰입할 수 있게 되고, 서브채널에서 관심있는 부분이 방송될 때 이를 인식할 수 있게 된다.
예컨대, 사용자는 채널 1에서 하는 드라마를 시청하고 싶지만, 채널 2의 뉴스 프로그램 중에서 일기예보가 시작될 때 날씨를 보고자 한다고 가정해보자. 서브채널의 소리가 출력되지 않을 경우에 사용자는 채널 1에서 드라마를 시청하면서도 일기예보의 시작을 놓치지 않기 위해서 채널 2의 뉴스 프로그램에도 어느 정도 신경 써야 한다. 그렇지만 본 발명에 따르면 영상보다는 비교적 무의식적으로 인식할 수 있는 오디오 정보를 이용할 수 있다. 즉, 사용자는 채널 1의 드라마를 시청하면 된다. 만일 채널 2에서 일기예보가 시작되면 칵테일 파티 효과에 의해 사용자는 채널2에서 일기예보가 시작되는 것을 알 수 있다.
즉 사용자는 드라마를 시청할 때 크게 들리지 않았던 채널 2의 소리를 약간 집중하면 일기예보를 들을 수 있게 된다.
또한, 본 발명은 서브채널의 화면은 디스플레이되지 않도록 하고 서브채널의 사운드만이 메인채널 사운드와 함께 제공되도록 하여 서브채널에서 일기예보가 시작하는지 여부를 사용자가 메인채널 시청중에 파악할 수 있도록 한다.
또한, 본 발명은 VoIP 전화기 기능을 갖는 IPTV에도 적용될 수 있다.
예를 들어 TV 프로그램을 시청하는 중에 전화가 오면, 이득제어부(92)에서 전화 소리를 메인채널의 소리로 하고 (전화 통화에 방해되지 않도록) TV 프로그램의 소리를 서브채널 사운드로 설정하여 언급한 인간 청각 특성을 고려하여 적절한 크기로 줄여서 전화와 TV를 불편함 없이 동시에 활용할 수 있도록 한다.
본 발명에 의한 인간 청각의 특성을 이용할 경우 사용자는 메인채널에 집중하면서 필요시 서브채널의 작은 소리로부터 필요한 정보를 얻을 수 있다.
이와 같이 코딩된 서브채널의 오디오 신호를 처리함에 있어서 고려해야 할 요소가 더 있다. 이 때 고려해야 할 요소가 마스킹(masking) 효과이다.
도 6은 라우드니스 곡선과 마스킹 효과를 나타낸 도이다.
도 6(a) 그래프에서 0.1 KHz의 소리 A는 라우드니스 곡선의 아래에 존재하고, 0.5 KHz의 소리 B는 라우드니스 곡선의 위에 존재한다. 이 때 사람은 소리 B를 들을 수 있다. 그러나 소리 A는 라우드니스 곡선의 아래에 위치하므로 사람이 들을 수 없다.
도 6(b)는 마스킹 효과를 나타낸 그래프로, 만일 0.2 KHz에서 소리 C와 같은 큰 소리가 나는 경우 사람의 청각은 인근 주파수의 소리 B 또한 들을 수 없게 된다.
즉, 서브채널의 오디오 신호를 처리할 때 라우드니스 곡선에 근접하도록 처리하면, 메인채널의 소리에 의한 마스킹 효과에 의해 서브채널의 소리가 들리지 않을 우려가 있다.
따라서 본 발명의 2채널 오디오 처리부는 기본적으로 서브채널의 오디오 신호 세기가 라우드니스 곡선에 근접하면서도 메인채널의 오디오 신호 세기에 의한 마스킹 효과에 의해 묻히지 않도록 서브채널의 오디오 신호를 처리한다. 즉 2 채널 오디오 처리부는 서브채널 오디오 신호의 레벨이 라우드니스 곡선 및 메인 채널 오디오 신호 의한 마스킹 곡선의 근접한 위쪽에 존재하도록 서브채널의 오디오 신호를 처리한다.
도 7은 본 발명의 2채널 오디오 처리부의 구성도이다.
도 7은 도 4의 2채널 오디오 처리부(70)의 세부 구성도로, 메인채널 오디오 디코더(80), 서브채널 오디오 디코더(82), 메인채널 오디오 세기평가부(84), 서브채널 오디오 세기평가부(86), 볼륨비계산부(88), 이득제어부(92)로 이루어진다.
본 발명의 메인채널 오디오 세기평가부(84), 서브채널 오디오 세기평가부(86), 볼륨비계산부(88)를 오디오 세기 비교부(90)라고 한다.
메인채널 오디오 디코더(80)의 출력 신호는 스피커를 통하여 출력되며 조정되지 않고, 또한, 메인채널 오디오 세기평가부(84)에 제공된다.
서브채널 오디오 디코더(82)의 출력은 서브채널 오디오 세기평가부(86)에 입력되어 오디오 신호의 크기 조정을 위한 계산을 하고, 또한 동시에 이득제어부(92) 로 제공되며, 이득제어부(92)는 볼륨비계산부(88)에서 계산된 값에 따라 적절한 이득을 제어하여 스피커로 출력시킨다.
메인채널 오디오 세기평가부(84)는 메인 채널의 오디오 신호 세기를 파악하고, 서브채널 오디오 세기평가부(86)는 서브채널의 오디오 신호 세기를 시간영역으로 나누어 오디오 신호 세기를 파악한다.
또한, 서브채널 오디오 세기평가부(86)는 서브채널의 오디오 신호 세기를 주파수별로 나누어 오디오 신호의 세기를 파악하는 것도 가능하다.
메인채널 오디오 세기평가부(84)와 서브채널 오디오 세기평가부(86)에서 오디오 신호 세기를 계산하는 방식으로, 일정한 시간 단위(예를 들면 30 밀리초) 간격으로 각 채널의 소리의 평균 값(샘플링된 값들을 더한 값 혹은 더한 값을 일정 크기로 다시 나눈 값)으로 평가할 수 있다.
또한, 다른 방식으로 오디오 신호의 프레임 단위로 오디오 신호 세기를 계산하여 서브채널의 오디오 신호 세기를 조정하는 방식도 가능하다.
또한, 메인채널과 서브채널의 오디오 신호 세기를 평가하는 것은 서브밴드 단위로 평가하는 것도 가능하다.
예를 들어 메인채널과 서브채널의 오디오 신호가 MPEG 표준에 따라 32 서브밴드를 갖는 오디오 신호일 경우에 각 서브밴드별로 오디오 신호 세기를 비교하고, 서브채널의 서브밴드들 중에서 적어도 사람의 소리 인지와 관련한 중요한 서브밴드들의 세기가 메인채널의 소리에 의해 마스킹되지 않도록 두 채널의 볼륨비를 계산하는 것도 가능하다.
볼륨비계산부(88)는 메인채널 오디오 세기를 기준으로 하여 서브채널의 오디오 신호의 적정한 크기를 언급한 인간 청각 특성에 근거하여 동시에 두채널의 오디오 신호를 들어도 거슬림이나 불편함이 없는 크기 차이를 두도록 계산한다.
상술한 바와 같이, 본 발명은 메인채널 오디오 디코더(80)와 서브채널 오디오 디코더(82)에서 디코딩되어 출력되는 두 채널의 오디오 신호를 오디오 세기 비교부(90)에서 서브채널의 오디오 신호를 감소시키는 정도를 계산하고, 이득 제어부(92)는 서브채널의 소리에 의해 메인채널의 소리가 방해 받지 않고 사용자가 필요할 때 인지할 수 있을 정도로 서브채널 오디오 신호의 이득을 조정한다.
도 8은 도 7의 2채널 오디오 처리부의 다른 구성도이다.
도 8은 도 7에서 믹서(94)를 이득제어부(92)와 연결시켜 구성한 예이다.
메인채널 오디오 신호와 이득이 조정된 서브채널 오디오 신호는 각각 다른 스피커로 출력될 수 있지만, 믹서(94)를 통해 믹싱(mixing)된 후 하나의 스피커를 통하여 출력하는 것도 가능하다.
한편, 디지털 오디오 신호는 디지털-아날로그 변환기(DAC)에 의해 아날로그 오디오 신호로 변환된 후 스피커를 통해 출력되는데, 메인채널 DAC와 서브채널 DAC는 각각 메인채널 오디오 디코더와 서브채널 오디오 디코더 뒤에 위치할 수 있다. 또한 서브채널 DAC는 이득제어부(92) 뒤에 위치하도록 2채널 오디오 처리부를 구현할 수도 있다. 본 발명의 기술적 범위는 특정한 위치에 DAC를 갖는 것으로 제한되지 않는다.
이상에서 언급한 바와 같이 본 발명에서 서브채널 오디오 신호의 세기를 조 정하기 위한 방식으로는, 서브채널 오디오 신호를 메인채널 오디오 신호에 의해 마스킹되지 않는 최소 레벨로 줄여서 조정하는 방식, 그리고 사용자의 명령에 따라 메인채널 오디오 신호의 세기와 서브채널 오디오 신호의 세기의 레벨차를 설정하고, 설정된 레벨차에 따라 서브채널 오디오 신호의 세기를 줄이는 방식으로 조정할 수 있다.
또한, 오디오 신호의 세기를 계산하는 방식으로는 설정된 시간 간격으로 메인채널 오디오 신호의 평균 세기를 구하고, 설정된 시간 간격으로 서브채널 오디오 신호의 평균 세기를 구하여 평가한다.
또한, 설정된 시간 간격으로 메인채널 오디오 신호의 스케일 팩터들(scale factors)의 평균 값을 구하고, 설정된 시간 간격으로 서브채널 오디오 신호의 스케일 팩터들의 평균 값을 구하여 평가한다.
또한, 본 발명에서 오디오 신호의 세기를 계산하는데 사용 가능한 다른 방식은, 1 개의 오디오 프레임 시간 간격으로 메인채널 오디오 신호의 세기를 평가하고, 서브채널 오디오 신호의 세기를 평가한 후에 평가 결과에 의하여, 1개의 오디오 프레임 시간 간격을 주기로 서브채널 오디오 신호가 메인채널 오디오 신호에 의해 마스킹되지 않는 최소 레벨로 서브채널 오디오 신호의 세기를 줄이는 방식을 적용하는 것도 가능하다.
도 9는 본 발명의 도 7의 2채널 오디오 처리부의 다른 구성도이다.
도 9에는 도 7의 이득제어부(92)에 사용자 제어부(96)를 설치한다.
사용자마다 라우드니스 곡선은 다를 수 있으며, 칵테일 효과의 정도가 다를 수 있다.
따라서 서브채널의 오디오 신호에 대한 이득은 메인채널의 오디오 신호 세기에 따라 언급한 인각 청각의 특성을 고려하여 미리 정해진 디폴트 값에 의해 조정될 수 있지만, 본 발명은 도 9와 같은 사용자 제어부(96)를 통하여 사용자가 직접 이득을 조정하는 것도 가능하다.
사용자 제어부(96)는 서브채널의 오디오 신호 세기를 사용자가 리모컨이나 키입력부를 제어하여 원하는 크기로 적정하게 조정할 수 있도록 한 것이다.
상술한 바와 같이 본 발명은 사용자가 두채널의 오디오 신호를 동시에 들을 수 있도록 서브채널의 오디오 신호 세기는 라우드니스 곡선의 가청 데시벨 이상, 마스킹 효과에 의한 임계치 이상의 세기를 가지도록 메인채널 오디오 신호를 기준으로 실시간 조정하여 동시에 두채널의 오디오를 거부감 없이 청취할 수 있다.
지금까지 본 발명의 실시 예의 구성 및 동작에 대해 설명하였다. 본 발명은 상술한 실시 예에 한정되지 않으며, 본 발명의 범위 내에서 다양한 변형을 가할 수 있다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 특허청구범위뿐만 아니라 특허청구범위와 균등한 것들에 의해 정해져야 한다.
상술한 본 발명은 2채널 이상의 영상과 오디오를 출력할 수 있는 PIP가 제공되는 텔레비전이나 VoIP 전화 기능을 갖는 텔레비전에서 동시에 두 채널의 오디오 신호를 청취할 수 있으며, 사용자는 서브채널의 오디오 신호에 의해 방해를 받지 않으면서 메인채널의 오디오를 청취할 수 있고, 메인채널의 오디오를 청취하면서 서브채널의 오디오에서 중요 정보를 인지할 수 있는 효과가 있다.

Claims (16)

  1. 삭제
  2. 메인채널 오디오 신호의 세기를 계산하는 메인채널 오디오 세기 평가부;
    서브채널 오디오 신호의 세기를 계산하는 서브채널 오디오 세기 평가부; 및
    상기 계산된 메인 및 서브채널 오디오 신호의 세기들을 비교하고, 상기 비교 결과에 기초해서 상기 서브채널 오디오 신호의 세기가 상기 메인채널 오디오 세기와 미리 설정된 레벨차만큼 차이가 나도록 상기 서브채널 오디오 신호의 세기를 조정하는데 사용할 상기 조정 값을 계산하는 볼륨비 계산부로 이루어진 오디오 세기 비교부와;
    상기 오디오 세기 비교부에서 계산된 결과를 기초로 상기 서브채널 오디오 신호의 세기를 조정하는 이득제어부를 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치.
  3. 제 2항에 있어서,
    상기 오디오 세기 비교부는 설정된 시간 간격으로 상기 메인채널 오디오 신호의 평균 세기를 구하고, 상기 설정된 시간 간격으로 상기 서브채널 오디오 신호의 평균 세기를 구하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치.
  4. 제 2항에 있어서,
    상기 오디오 세기 비교부는 설정된 시간 간격으로 상기 메인채널 오디오 신호의 스케일 팩터들(scale factors)의 평균 값을 구하고, 상기 설정된 시간 간격으로 상기 서브채널 오디오 신호의 스케일 팩터들의 평균 값을 구하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치.
  5. 제 2항에 있어서,
    상기 메인채널 오디오 신호와 상기 조정된 서브채널 오디오 신호를 믹싱하는 믹서를 더 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치.
  6. 삭제
  7. 제2항에 있어서,
    상기 이득제어부는 상기 계산된 결과에 기초하여 상기 서브채널 오디오 신호가 상기 메인채널 오디오 신호에 의해 마스킹되지 않도록 하는 설정된 레벨차를 갖도록 상기 서브채널 오디오 신호의 세기를 줄이는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치.
  8. 제7항에 있어서,
    상기 설정된 레벨차을 조정하기 위한 사용자 제어부를 더 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치.
  9. 삭제
  10. 메인채널 오디오 신호 및 서브채널 오디오 신호의 세기를 계산하는 단계;
    상기 계산 결과에 기초하여 상기 메인채널 오디오 신호를 들을 때 방해가 되지 않도록 상기 서브채널 오디오 신호의 세기를 설정된 시간 간격으로 상기 오디오 신호의 세기를 조정하는 단계 조정하는 단계; 및
    상기 메인채널 오디오 신호 및 상기 세기가 조정된 서브채널 오디오 신호를 동시에 출력하는 단계를 포함하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 방법.
  11. 제 10항에 있어서,
    상기 서브채널 오디오 신호의 세기를 조정하는 단계는
    상기 계산 결과에 기초하여 상기 서브채널 오디오 신호가 상기 메인채널 오디오 신호에 의해 마스킹되지 않는 최소 레벨로 상기 서브채널 오디오 신호의 세기를 줄이는 단계를 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 방법.
  12. 제 10항에 있어서,
    상기 서브채널 오디오 신호의 세기를 조정하는 단계는
    사용자의 명령에 따라 상기 메인채널 오디오 신호의 세기와 상기 서브채널 오디오 신호의 세기의 레벨차를 설정하는 단계; 및
    상기 설정된 레벨차에 따라 상기 서브채널 오디오 신호의 세기를 줄이는 단계를 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 방법.
  13. 제10항에 있어서,
    오디오 신호의 세기를 계산하는 단계는
    설정된 시간 간격으로 상기 메인채널 오디오 신호의 평균 세기를 구하는 단계; 및
    상기 설정된 시간 간격으로 상기 서브채널 오디오 신호의 평균 세기를 구하는 단계를 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 방법.
  14. 제10항에 있어서,
    상기 오디오 신호의 세기를 계산하는 단계는
    설정된 시간 간격으로 상기 메인채널 오디오 신호의 스케일 팩터들(scale factors)의 평균 값을 구하는 단계; 및
    상기 설정된 시간 간격으로 상기 서브채널 오디오 신호의 스케일 팩터들의 평균 값을 구하는 단계를 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 방법.
  15. 제 10항에 있어서,
    상기 오디오 신호를 출력하는 단계는
    상기 메인채널 오디오 신호와 상기 세기가 조정된 서브채널 오디오 신호를 믹싱하는 단계; 및
    상기 믹싱된 오디오 신호를 출력하는 단계를 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 방법.
  16. 제10항 내지 제15항 중 어느 한 항에 있어서,
    상기 오디오 신호의 세기를 계산하는 단계는
    1개의 오디오 프레임 시간 간격으로 상기 메인채널 오디오 신호의 세기를 평가하는 단계, 및 상기 서브채널 오디오 신호의 세기를 평가하는 단계를 포함하고,
    상기 평가 결과에 기초하여, 1개의 오디오 프레임 시간 간격을 주기로 상기 서브채널 오디오 신호가 상기 메인채널 오디오 신호에 의해 마스킹되지 않는 최소 레벨로 상기 서브채널 오디오 신호의 세기를 줄이는 단계를 포함하는 것을 특징으로 하는 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 방법.
KR1020070047928A 2007-05-17 2007-05-17 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치및 방법 KR100896417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070047928A KR100896417B1 (ko) 2007-05-17 2007-05-17 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070047928A KR100896417B1 (ko) 2007-05-17 2007-05-17 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치및 방법

Publications (2)

Publication Number Publication Date
KR20080101321A KR20080101321A (ko) 2008-11-21
KR100896417B1 true KR100896417B1 (ko) 2009-05-12

Family

ID=40287592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070047928A KR100896417B1 (ko) 2007-05-17 2007-05-17 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치및 방법

Country Status (1)

Country Link
KR (1) KR100896417B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2581119A (en) 2016-04-29 2020-08-12 Cirrus Logic Int Semiconductor Ltd Audio signal processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355691A (ja) * 1998-06-03 1999-12-24 Toshiba Corp 二画面テレビ受像機の音量制御装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355691A (ja) * 1998-06-03 1999-12-24 Toshiba Corp 二画面テレビ受像機の音量制御装置

Also Published As

Publication number Publication date
KR20080101321A (ko) 2008-11-21

Similar Documents

Publication Publication Date Title
US7659942B2 (en) Broadcast receiver
US9531338B2 (en) Signal processing apparatus, signal processing method, program, signal processing system, and communication terminal
JP4171922B2 (ja) ミュート装置、液晶ディスプレイテレビ、及びミュート方法
EP2737692B1 (en) Control device, control method and program
EP1736001B1 (en) Audio level control
US8243959B2 (en) Audio output control device and audio output control method
WO2006051586A1 (ja) 音響電子回路及びその音量調節方法
KR100735700B1 (ko) 방송용 단말기 및 이를 이용한 문자음성통화 방법
CN110996143B (zh) 数字电视信号处理方法、电视机、装置及存储介质
JP2001095082A (ja) 指向性拡声装置
KR100896417B1 (ko) 인간 청각 특성을 이용한 복수 채널 오디오 동시 제공 장치및 방법
JP2010212898A (ja) 音声信号処理装置及びテレビジョン受像機
WO2007063810A1 (ja) 放送受信機能付き携帯通信端末
KR100698643B1 (ko) 이종(異種)음 동시 출력이 가능한 이동 통신 단말기와이종음 동시 출력방법
JP2010098562A (ja) 音声調整システム、調整方法およびリモートコントローラ
KR100330850B1 (ko) 티브이시청중에 폴더를 닫을 시 티브 음성신호를 청취하는티브이폰 및 그 방법
KR20140012463A (ko) 방송 수신기 및 오디오 신호 처리 방법
JP2004318164A (ja) 音響電子回路の音量調節方法
KR100330851B1 (ko) 티브이시청중에 통화하는 티브이폰 및 그 방법
KR100812618B1 (ko) 리모트 콘트롤러의 오디오 출력 시스템 및 방법
KR100635536B1 (ko) 노이즈 커브 조절 기능이 구비된 카오디오 및 그 방법
KR100245123B1 (ko) 텔레비전 음량을 자동으로 변환시키는 방법 및 이를 수행하기 위한 장치
KR20050033163A (ko) Ｄｍｂ 및 그 제어방법
KR20080064225A (ko) 영상표시기기의 음성출력 제어장치 및 방법.
KR20100043587A (ko) 마이크가 장착된 음량 조절 리모콘 및 이를 이용한 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130318

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160401

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee