KR101387509B1 - 영상 모드에 따른 화이트 밸런스 보상 장치 및 방법 - Google Patents

영상 모드에 따른 화이트 밸런스 보상 장치 및 방법 Download PDF

Info

Publication number
KR101387509B1
KR101387509B1 KR1020070099225A KR20070099225A KR101387509B1 KR 101387509 B1 KR101387509 B1 KR 101387509B1 KR 1020070099225 A KR1020070099225 A KR 1020070099225A KR 20070099225 A KR20070099225 A KR 20070099225A KR 101387509 B1 KR101387509 B1 KR 101387509B1
Authority
KR
South Korea
Prior art keywords
mode
psm
image
white balance
white
Prior art date
Application number
KR1020070099225A
Other languages
English (en)
Other versions
KR20090034070A (ko
Inventor
이성영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020070099225A priority Critical patent/KR101387509B1/ko
Priority to US12/681,169 priority patent/US8334930B2/en
Priority to PCT/KR2008/005823 priority patent/WO2009045068A2/en
Priority to EP08834972.5A priority patent/EP2201557B1/en
Publication of KR20090034070A publication Critical patent/KR20090034070A/ko
Application granted granted Critical
Publication of KR101387509B1 publication Critical patent/KR101387509B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

본 발명은 영상 모드에 따른 화이트 밸런스 보상 장치 및 방법에 관한 것으로, 입력 영상에 대한 PSM(Picture Status Mode) 모드를 설정하는 단계; 상기 설정된 PSM 모드에 근거하여 해당 영상 모드의 화이트 영역별 이득 보상을 상기 입력 영상에 수행하는 단계; 및 상기 PSM 모드에 따른 화이트 밸런스 이득 보상이 이루어진 영상을 디스플레이하는 단계를 포함하여 이루어지며, 다양한 환경 속에서 보여지는 TV의 시청 조건에서 선명한 화이트 밸런스를 PSM 모드에 따라 최적화하는 설정 및 사용자 모드를 제공하여 시청자에게 항상 최적의 화면을 제공한다.
영상, PSM, 화이트 밸런스

Description

영상 모드에 따른 화이트 밸런스 보상 장치 및 방법{Apparatus and method for compensation of white balance based on PSM}
본 발명은 디스플레이 장치에 관한 것으로, 더욱 상세하게는 PSM(Picture Status Mode)에 따른 영상의 화이트 밸런스 보상 장치 및 방법에 관한 것이다.
일반적으로, 디스플레이 장치는 내부의 비디오 카드로부터 전송되는 소정 포맷의 영상 신호를 디지털 샘플링 및 스케일링 등 일련의 신호 처리를 거쳐 화면상에 표시하는 장치로서, 음극선관을 사용하는 소형 디스플레이 장치로 출발하여 최근 대형 디스플레이 장치에 적합한 평판 표시 소자로서 LCD를 사용하는 등 디지털 방식이 상용화되어 가고 있다.
이러한 디스플레이 장치는 오늘날 다양한 영상 장르에 맞도록 명암, 색농도, 색상 및 선명도 등의 디스플레이 값을 다르게 설정한다.
예를 들어, 드라마의 격투 장면에서는 영상이 역동적으로 움직이도록 디스플레이하고, 공포 영화를 시청하는 경우에는 보다 공포감을 느낄 수 있도록 영상을 디스플레이 한다.
이를 위한 영상 모드에 따른 밝기의 레벨을 다르게 설정하여 선명한 화이트 를 보상하는 알고리즘이 요구된다.
본 발명은 영상의 PSM(Picture Status Mode)을 근거하여 화면 전체의 색온도를 다르게 하여 화이트 페이드 영역과 이득영역을 재설정하여 사용자에게 선명한 화이트 밸런스가 보상된 영상을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명의 영상 모드에 따른 화이트 밸런스 보상 장치는 영상 신호를 입력받는 영상 신호 입력부; 상기 입력된 영상 신호의 모드를 설정하고 디스플레이 환경 요소를 셋팅하는 PSM 설정부; 상기 입력된 영상 신호를 상기 설정된 영상 신호의 모드를 근거하여 기준 백색(white)의 페이드 영역과 이득 영역의 색온도 값을 구간별로 적용하여 설정된 영상 모드에 해당하는 화이트 밸런스를 조정하는 화이트 이득 보상부; 상기 입력된 영상 신호의 영상 모드 및 수평/수직 동기 신호에 따른 입력 영상 포맷을 검출하고 해당 영상 모드 포맷에 상응하는 화이트 밸런스 조정을 제어하는 제어부; 및 상기 설정된 영상 모드에 대한 각각의 기준 백색(white)의 페이드 영역과 이득 영역의 구간별 색온도 값을 룩 업 테이블로 저장하는 메모리를 포함한다.
상기 PSM 설정부는 상기 입력된 영상 신호를 편안한 영상, 선명한 영상, 부드러운 영상 및 사용자 영상 모드 중 어느 하나로 설정하는 것을 특징으로 한다.
상기 PSM 설정부는 사용자 선택에 의해 상기 입력된 영상 신호의 영상 모드를 설정하는 것을 특징으로 한다.
상기 PSM 설정부는 상기 입력된 영상 신호로부터 검출된 영상 정보에 의해 자동으로 해당 영상 모드를 설정하는 것을 특징으로 한다.
상기 디스플레이 환경 요소는 콘트라스트(Contrast), 브라이트니스(Brightness) 및 칼라(Color)의 값을 포함한다.
상기 화이트 이득 보상부는 상기 해당 영상 모드에 근거한 휘도의 과도 구간, 적용 구간 및 고휘도 레벨 구간에 각각의 임계치 값을 설정하는 것을 특징으로 한다.
또한, 본 발명은 영상 모드에 따른 화이트 밸런스 보상 방법에 있어서, 입력 영상에 대한 PSM(Picture Status Mode) 모드를 설정하는 단계; 상기 설정된 PSM 모드에 근거하여 해당 영상 모드의 화이트 영역별 이득 보상을 상기 입력 영상에 수행하는 단계; 및 상기 PSM 모드에 따른 화이트 밸런스 이득 보상이 이루어진 영상을 디스플레이하는 단계를 포함하여 이루어진다.
상기 PSM 모드는 편안한 영상, 선명한 영상, 부드러운 영상 및 사용자 모드 중 적어도 어느 하나인 것을 특징으로 한다.
상기 PSM 모드는 사용자 선택에 의한 PSM 모드 설정 방식인 것을 특징으로 한다.
상기 PSM 모드는 상기 입력 영상으로부터 검출된 영상 정보에 의해 자동으로 PSM 모드가 설정되는 방식인 것을 특징으로 한다.
상기 화이트 영역별 이득 보상은 해당 영상 모드에 근거한 휘도의 과도 구간, 적용 구간 및 고휘도 레벨 구간에 각각의 임계치 값을 설정하는 것을 특징으로 한다.
본 발명은 다양한 환경 속에서 보여지는 TV의 시청 조건에서 선명한 화이트 밸런스를 PSM 모드에 따라 최적화하는 설정 및 사용자 모드를 제공하여 시청자에게 항상 최적의 화면을 제공할 수 있는 효과가 있다.
본 발명의 목적과 특징 및 장점은 첨부 도면 및 다음의 상세한 설명을 참조함으로써 더욱 쉽게 이해될 수 있을 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 설명을 생략한다.
도 1은 본 발명에 의한 PSM(Picture Status Mode)에 따른 입력 영상의 화이트 이득을 보상하는 디스플레이 장치의 내부 구성도이다.
영상 신호 입력부(10)는 방송 신호에 포함된 영상 신호 또는 외부 영상 멀티미디어 기기와 연결된 상태에서 전송되는 영상신호를 입력받는다.
PSM 설정부(12)는 상기 영상 신호 입력부(10)로부터 출력된 영상의 모드를 편안한 영상, 선명한 영상, 부드러운 영상 및 사용자 영상 중 어느 하나로 설정하여 각각에 해당하는 영상 모드에 따른 콘트라스트(Contrast), 브라이트니스(Brightness), 칼라(Color) 등의 값을 다르게 설정한다. 이때, 영상 모드는 디스플레이 화면을 통해 제공된 OSD 메뉴를 통해 사용자 요청에 의한 신호를 입력받아 설정되거나 입력 영상 신호에 포함된 영상 정보로부터 영상 모드를 검출하여 자동 설정한다.
화이트 이득 보상부(14)는 상기 PSM 설정부(12)에서 설정된 입력 영상 신호를 설정된 영상 모드에 따른 각각의 기준 백색(white)의 페이드 영역과 이득 영역의 색온도 값을 적용하여 설정된 영상 모드에 해당하는 화이트 밸런스를 조정한다.
제어부(18)는 영상 신호 입력부(100)를 통해 입력되는 수평/수직 동기 신호(H-Sync/V-Sync)에 따라 입력 영상 포맷을 검출하고 해당 포맷에 상응하는 영상 출력이 이루어지도록 제어한다.
메모리(19)는 설정된 영상 모드에 대한 각각의 기준 백색(white)의 페이드 영역과 이득 영역의 색온도 값을 룩업 테이블로 저장하고 있으며, 비휘발성 메모리(EEPROM)로 구성된다.
디스플레이부(16)는 화이트 이득 보상부(14)로부터 PSM 모드에 따른 화이트 밸런스 이득 보상이 이루어진 영상을 디스플레이 화면에 표시한다.
도 2(a,b)는 본 발명의 실시 예에 의한 UV 좌표 평면과 색온도의 관계를 나타낸 예시도이다.
도 2a는 본 발명의 입력 영상의 PSM(Picture Status Mode)에 따른 UV 좌표 평면으로부터 화이트 영역별 설정 계수를 나타낸 예시도이다. 휘도는 영역별 페이드 구간(Lum_fade), 최대값(Lum_max) 및 최소값(Lum_min)의 계수를 설정하여 UV의 이득 값을 획득한다. 도 2b의 D65 광원에서의 색온도에 따른 휘도의 레벨은 페이드 영역인 과도 구간과 색온도에 비례하는 밝기를 나타내는 이득 영역인 적용구간 및 고휘도 레벨 구간에서 색온도의 한계가 나타나는 구간으로 나누어진다. 본 발명에 따른 휘도(화이트)의 이득을 제어하여 영상의 PSM(Picture Status Mode)에 따른 일정한 색온도를 유지하게 한다.
도 3은 본 발명의 실시 예에 의한 입력 영상을 복수 개의 PSM(Picture Status Mode)으로 구분한 예시도이다.
본 발명은 영상의 PSM(Picture Status Mode) 모드 별 화이트 이득 보상을 각각 수행하여 영상 모드에 따른 최적의 디스플레이 환경을 사용자에게 제공할 수 있다. 도 3은 PSM 모드 종류를 실시 예로써 Picture Mode_1, Picture Mode_2, Picture Mode_3 및 User Mode로 분류하고 있다. 각각의 Picture Mode에는 영상모드에 근거한 화이트 이득 보상 및 임계치 값이 설정된다. PSM(Picture Status Mode)에 따른 휘도의 영역별 계수 설정을 도 4에서 개시한다.
도 4는 본 발명의 실시 예에 의한 PSM(Picture Status Mode)에 따른 입력 영상의 화이트 영역의 계수 설정 값을 나타낸 룩 업 테이블이다.
실시 예로써 Picture Mode_1, Picture Mode_2, Picture Mode_3은 일 예로써 편안한 영상, 선명한 영상, 부드러운 영상 모드 중 어느 하나일 수 있으며 사용자 모드(User Mode)는 휘도의 영역별 다이네믹 기준 값에서 소정의 값이 사용자에 의해 조정된다. 먼저, 각 PSM 모드에 따른 휘도의 영역별 계수 설정은 휘도의 최저치(Y_min), 휘도의 최고치(Y_Max), 과도구간에 해당하는 휘도의 페이드(Y_fade), UV 도메인 원점을 중심으로 설정된 Saturation_Max, 고휘도 레벨 구간의 색온도 한계에 따른 Saturation_Min, Saturation_Max/Saturation_Min보다 더 넓은 영역에 임계치 구간을 설정하는 Saturation_fade가 있다. 실시 예에 따라 사용자의 선택에 의해 Picture Mode_1, Picture Mode_2는 해당 영상 모드의 휘도 영역별 설정 값이 입력되고 Picture Mode_3은 사용되지 않는다. 사용자 모드(User Mode)는 휘도 치고치(Y_Max)와 과도구간에 해당하는 휘도의 페이드(Y_fade) 및 다이네믹(Dynamic) Saturation_fade 값이 고정되고 나머지 휘도 구간에서 휘도 레벨의 스텝 조정이 가능하다.
도 5는 본 발명에 의한 PSM(Picture Status Mode)에 따른 입력 영상의 화이트 이득을 보상하는 방법을 나타낸 순서도이다.
본 발명에 따른 입력 영상의 화이트 이득을 보상하는 방법의 실시 예는 영상 모드인 PSM 설정을 사용자의 선택에 의한 PSM 모드 설정 방식과 수신되는 영상 신호로부터 검출된 영상 정보에 의해 PSM 모드 자동 설정 방식으로 가능하다. PSM 모드 자동 설정 방식은 영상 신호의 공급 측에서 영상 신호 생성 시에 해당 영상의 PSM 모드 정보를 영상 신호에 삽입하여 제작할 수 있다. 도 5는 본 발명에 의해 PSM 모드가 설정된 이후의 입력 영상에 대한 화이트 이득 보상을 나타낸 순서도이다.
먼저 편안한 영상, 선명한 영상, 부드러운 영상 및 사용자 모드 중 적어도 하나의 PSM 모드를 설정한다(S501).
영상 신호 입력부를 통해 비디오 카드 등으로부터 영상신호를 입력받는다(S503).
입력된 영상 신호를 설정된 PSM 모드에 근거하여 해당 영상 모드의 화이트 영역별 이득 보상을 수행한다(S505).
PSM 모드에 따른 화이트 밸런스 이득 보상이 이루어진 영상을 디스플레이화면에 출력시킨다(S507).
한편, 본 발명에서 사용되는 용어(terminology)들은 본 발명에서의 기능을 고려하여 정의 내려진 용어들로써 이는 해당 분야에 종사하는 기술자의 의도 또는 관례 등에 따라 달라질 수 있으므로 그 정의는 본 발명의 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이상의 본 발명은 상기에 기술된 실시 예들에 의해 한정되지 않고 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.
도 1은 본 발명에 의한 PSM(Picture Status Mode)에 따른 입력 영상의 화이트 이득을 보상하는 디스플레이 장치의 내부 구성도.
도 2(a,b)는 본 발명의 실시 예에 의한 UV 좌표 평면과 색온도의 관계를 나타낸 예시도.
도 3은 본 발명의 실시 예에 의한 입력 영상을 복수 개의 PSM(Picture Status Mode)으로 구분한 예시도.
도 4는 본 발명의 실시 예에 의한 PSM(Picture Status Mode)에 따른 입력 영상의 화이트 영역의 계수 설정 값을 나타낸 룩 업 테이블.
도 5는 본 발명에 의한 PSM(Picture Status Mode)에 따른 입력 영상의 화이트 이득을 보상하는 방법을 나타낸 순서도.
*도면의 주요 부분에 대한 부호의 설명*
10. 영상 신호 입력부 12. PSM 설정부
14. 화이트 이득 보상부 16. 디스플레이부
18. 제어부 19. 메모리

Claims (11)

  1. 영상 모드에 따른 화이트 밸런스 보상 방법에 있어서,
    입력 영상에 대한 PSM(Picture Status Mode) 모드 정보를 검출하는 단계;
    상기 검출된 PSM 모드 정보에 따라 콘트라스트(Contrast), 브라이트니스(Brightness) 및 칼라(Color) 값을 포함하는 디스플레이 환경 요소를 셋팅하는 단계;
    상기 검출된 PSM 모드 정보에 근거하여 기준 백색(white)의 페이드 영역과 이득 영역의 색 온도 값을 구간 별로 적용하여 상기 PSM 모드 정보에 해당하는 상기 입력된 영상 신호의 화이트 밸런스를 조정하는 단계; 및
    상기 입력된 영상 신호의 PSM 모드 정보에 따라 화이트 밸런스 이득 보상이 이루어진 영상을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 영상 모드에 따른 화이트 밸런스 보상 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 화이트 밸런스 이득 보상은 해당 영상 모드에 근거한 휘도의 과도 구간, 적용 구간 및 고휘도 레벨 구간에 각각의 임계치 값을 설정하는 것을 특징으로 하는 영상 모드에 따른 화이트 밸런스 보상 방법.
  6. 영상 모드에 따른 화이트 밸런스 보상 장치에 있어서,
    영상 신호를 입력받는 영상 신호 입력부;
    상기 영상 신호에 삽입된 PSM(Picture Status Mode) 모드 정보를 검출하고, 상기 검출된 PSM 모드 정보에 따라 콘트라스트(Contrast), 브라이트니스(Brightness) 및 칼라(Color) 값을 포함하는 디스플레이 환경 요소를 셋팅하는 PSM 설정부;
    상기 검출된 PSM 모드 정보에 근거하여 기준 백색(white)의 페이드 영역과 이득 영역의 색 온도 값을 구간 별로 적용하여 상기 입력된 영상 신호의 화이트 밸런스를 조정하는 화이트 이득 보상부;
    상기 입력된 영상 신호의 PSM 모드 정보에 따라 화이트 밸런스 이득 보상이 이루어진 영상이 출력되도록 제어하는 제어부; 및
    PSM 모드 정보에 대한 각각의 기준 백색의 페이드 영역과 이득 영역의 구간별 색 온도 값을 룩 업 테이블로 저장하는 메모리를 포함하는 영상 모드에 따른 화이트 밸런스 보상 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 6항에 있어서,
    상기 화이트 이득 보상부는 해당 영상 모드에 근거한 휘도의 과도 구간, 적용 구간 및 고휘도 레벨 구간에 각각의 임계치 값을 설정하는 것을 특징으로 하는 영상 모드에 따른 화이트 밸런스 보상 장치.
KR1020070099225A 2007-10-02 2007-10-02 영상 모드에 따른 화이트 밸런스 보상 장치 및 방법 KR101387509B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070099225A KR101387509B1 (ko) 2007-10-02 2007-10-02 영상 모드에 따른 화이트 밸런스 보상 장치 및 방법
US12/681,169 US8334930B2 (en) 2007-10-02 2008-10-02 Image display apparatus and method of compensating for white balance
PCT/KR2008/005823 WO2009045068A2 (en) 2007-10-02 2008-10-02 Image display apparatus and method of compensating for white balance
EP08834972.5A EP2201557B1 (en) 2007-10-02 2008-10-02 Image display apparatus and method of compensating for white balance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070099225A KR101387509B1 (ko) 2007-10-02 2007-10-02 영상 모드에 따른 화이트 밸런스 보상 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090034070A KR20090034070A (ko) 2009-04-07
KR101387509B1 true KR101387509B1 (ko) 2014-04-21

Family

ID=40760122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070099225A KR101387509B1 (ko) 2007-10-02 2007-10-02 영상 모드에 따른 화이트 밸런스 보상 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101387509B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630095B (zh) * 2022-03-15 2024-02-09 锐迪科创微电子(北京)有限公司 目标场景图像的自动白平衡方法及装置、终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355797A (ja) * 1998-06-04 1999-12-24 Olympus Optical Co Ltd カラー液晶表示装置
US6292228B1 (en) * 1998-06-29 2001-09-18 Lg Electronics Inc. Device and method for auto-adjustment of image condition in display using data representing both brightness or contrast and color temperature
US6770861B2 (en) * 2000-03-08 2004-08-03 Minolta Co., Ltd. Image-sensing device
KR20070028022A (ko) * 2005-08-30 2007-03-12 엘지전자 주식회사 색온도 보정 기능을 구비한 투사형 디스플레이 장치 및 그제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355797A (ja) * 1998-06-04 1999-12-24 Olympus Optical Co Ltd カラー液晶表示装置
US6292228B1 (en) * 1998-06-29 2001-09-18 Lg Electronics Inc. Device and method for auto-adjustment of image condition in display using data representing both brightness or contrast and color temperature
US6770861B2 (en) * 2000-03-08 2004-08-03 Minolta Co., Ltd. Image-sensing device
KR20070028022A (ko) * 2005-08-30 2007-03-12 엘지전자 주식회사 색온도 보정 기능을 구비한 투사형 디스플레이 장치 및 그제어방법

Also Published As

Publication number Publication date
KR20090034070A (ko) 2009-04-07

Similar Documents

Publication Publication Date Title
KR100756607B1 (ko) 비디오 디스플레이를 위한 다중 윈도우 화상 조정 방법 및장치
US8436803B2 (en) Image display device and image display method
US8045004B2 (en) Display signal control apparatus, and display signal control method
US20070176870A1 (en) Display apparatus and method for adjusting a display apparatus
US9307216B2 (en) Video display apparatus using adjustment images
JP5414165B2 (ja) 画質調整装置、画質調整方法及びプログラム
JP2007511159A (ja) 周囲のビデオコンテンツに基づくクローズキャプション・テキストの適合
JP2011166610A (ja) 立体映像制御装置及びその制御方法
CN115641824A (zh) 画面调整设备、显示设备及画面调整方法
KR101387509B1 (ko) 영상 모드에 따른 화이트 밸런스 보상 장치 및 방법
KR20090020790A (ko) 시야각에 따른 화질 보정 장치 및 방법
KR20130050612A (ko) 디스플레이장치 및 그 제어방법
CN105635789A (zh) 降低视频图像中osd亮度的方法和装置
KR20120050745A (ko) 멀티비전 시스템 및 그 화면 구현 방법
JP2011151465A (ja) 映像処理装置及び色温度補正方法
KR100712481B1 (ko) 디스플레이장치 및 그 제어방법
KR101416246B1 (ko) 디스플레이장치 및 그 제어방법
JP2014032301A (ja) 液晶表示装置
JP2010128408A (ja) 画像表示装置
JP2009139842A (ja) 画像表示装置及び画像表示方法
KR100632736B1 (ko) 디스플레이장치 및 그 제어방법
US20020080278A1 (en) Displaying apparatus and method for controlling the same
JP2020030262A (ja) 画像表示装置とその制御方法
JP5381641B2 (ja) 画像表示装置およびテレビジョン
KR100686171B1 (ko) 화면조정방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170324

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180323

Year of fee payment: 5