KR100518125B1 - 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기위한 서비스 방법 및 그를 위한 이동 단말기 - Google Patents

멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기위한 서비스 방법 및 그를 위한 이동 단말기 Download PDF

Info

Publication number
KR100518125B1
KR100518125B1 KR10-2003-0092820A KR20030092820A KR100518125B1 KR 100518125 B1 KR100518125 B1 KR 100518125B1 KR 20030092820 A KR20030092820 A KR 20030092820A KR 100518125 B1 KR100518125 B1 KR 100518125B1
Authority
KR
South Korea
Prior art keywords
output
mobile terminal
video
line
memory
Prior art date
Application number
KR10-2003-0092820A
Other languages
English (en)
Other versions
KR20040004307A (ko
Inventor
유혁
남종우
Original Assignee
주식회사 씬멀티미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씬멀티미디어 filed Critical 주식회사 씬멀티미디어
Priority to KR10-2003-0092820A priority Critical patent/KR100518125B1/ko
Publication of KR20040004307A publication Critical patent/KR20040004307A/ko
Application granted granted Critical
Publication of KR100518125B1 publication Critical patent/KR100518125B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법 및 그를 위한 이동 단말기가 개시된다.
본 발명에 따른 동영상 재생 화면을 다양한 규격의 티브이로 볼 수 있는 이동 단말기는 티브이 종류 및 폰 CPU 성능을 고려하여 프레임 메모리를 할당하는 메모리 할당 제어부와, 할당된 메모리의 크기와 초당 프레임수를 고려한 디코딩 파라미터를 사용하여 동영상 파일을 적응적 디코딩하여 영상 프레임을 출력하는 디코더와, 상기 디코더로부터 출력된 영상 프레임을 저장하는 프레임 메모리와, CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력하는 메모리 스캔부, 및 RGB 신호를 티브이 신호로 변환하는 변환부;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 이동단말기에 표시되는 동영상이나 정지영상 및 음성, 카메라폰의 경우에는 카메라에 의하여 촬영중인 영상, 스트리밍 시스템에 의한 스트리밍 영상을 아날로그 티브이나 SD급 또는 HD급의 디지털 티브이로 시청할 수 있도록 변환하며 당해 장치는 휴대폰의 CPU 성능을 감지하여 출력되는 영상의 크기를 최적의 크기로 출력되도록 제어하고 사용자가 접속하고자 하는 티브이의 규격을 선택 및 설정하면 그에 상응하도록 출력되는 영상 신호의 주사선을 변경함으로써 멀티미디어 콘텐츠를 다양한 규격의 티브이로 시청할 수 있다.

Description

멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법 및 그를 위한 이동 단말기{Business method for monitoring multi-media playback by television and the mobile terminal therefor}
본 발명은 이동단말기에서 재생되는 동영상이나 정지영상 및 음성, 카메라폰의 경우에는 카메라에 의하여 촬영중인 영상, 스트리밍 시스템에 의한 스트리밍 영상을 포함한 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법 및 그를 위한 이동 단말기에 관한 것으로, 더 상세하게는 이동단말기에 표시되는 동영상이나 정지영상 및 음성, 카메라폰의 경우에는 카메라에 의하여 촬영중인 영상, 스트리밍 시스템에 의한 스트리밍 영상을 아날로그 티브이나 SD급 또는 HD급의 디지털 티브이로 시청할 수 있도록 변환하며 당해 장치는 휴대폰의 CPU 성능을 감지하여 출력되는 영상의 크기를 최적의 크기로 출력되도록 제어하고 사용자가 접속하고자 하는 티브이의 규격을 선택 및 설정하면 그에 상응하도록 출력되는 영상 신호의 주사선을 변경함으로써 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법 및 그를 위한 이동 단말기에 관한 것이다.
휴대폰, 개인 휴대 정보 단말기(personal digital assistant, PDA)와 같은 이동 단말기에 대한 기술 개발이 지속적으로 이루어지면서, 컬러 액정이 보편화되었으며 그 이동단말기내에 구비되는 중앙처리장치의 속도도 빨라져 게임뿐만 아니라 다양하고 멀티미디어 동영상의 재생도 지원하고 있다.
또한, 휴대폰의 보급도 확대되어 거의 대부분의 개인들은 휴대폰을 보유하여 사용하고 있으며, 최근에는 젊은 층들을 중심으로 각종 동영상 콘텐츠 또는 게임을 다운로드하여 감상하는 수요도 점차 확대되고 있다.
하지만, 이동단말기에 구비되는 액정 화면은 최대 3인치 정도로 휴대폰의 영상을 넓은 화면을 가진 외부 영상 기기를 사용하여 감상하고자 하는 필요성이 있다.
이러한 필요성에 대응하기 위한 종래의 기술로써, 공개특허 특2002-0052044호에는 외부 영상 기기를 이용한 이동 통신 단말기의 수신 영상 재생 장치가 개시되어 있다. 상기 공개 특허에 따르면, USB 케이블을 통하여 단말기로부터 영상 데이터를 입력받고 동영상 데이터의 구동을 위한 마이컴을 구비하여 외부 영상 기기에서 동영상을 제공한다.
또한, 공개특허 특2003-0012918호에는 휴대폰용 모바일기기에서 현재 작동되고 있는 콘텐츠를 일반 오디오/비디오 재생 기기에서 재생하는 장치 및 시스템이 개시되어 있다. 상기 공개 특허에 따르면, 휴대폰용 모바일 기기에서 재생되는 콘텐츠를 불러와서 일반 A/V 기기에서 재생할 수 있도록 콘텐츠를 변환해주는 프로세서와 일반 A/V 재생기기로 전송해주는 전송부를 구비하여 휴대폰용 모바일기기에서 현재 작동되고 있는 콘텐츠를 일반 오디오/비디오 재생 기기에서 볼 수 있는 방법 및 시스템을 개략적으로 개시하고 있다.
하지만, 이동 단말기에 구비되는 액정 화면을 표시하기 위해서는 RGB 신호를 기반으로 하여 하나의 프레임 화면 단위로 액정에 표시하는데 반하여 NTSC 규격에 준하는 일반 아날로그 티브이의 경우는 수평 동기 및 수직 동기 신호를 기반으로 525 주사선에서 비월 주사 방식을 사용하고, SD급 또는 HD 급의 경우에는 525 주사선보다 높은 625 또는 1080 이상의 주사선을 채택하고 있고 순차 주사 방식 또는 비월 주사 방식을 선택적으로 사용할 수 있어 휴대폰에서 재생되는 동영상을 간단한 변환만을 하여 티브이로 볼 수는 없다.
상기 공개 특허 자료에서는 휴대폰에서 재생되는 동영상이나 정지영상 및 음성, 카메라폰의 경우에는 카메라에 의하여 촬영중인 영상, 스트리밍 시스템에 의한 스트리밍 영상을 어떻게 일반 티브이나 가정용 A/V기기로 볼 수 있을 것인지를 당업자가 구현할 수 있도록 상세히 기재되어 있지 아니할 뿐만 아니라 일반 티브이나 가정용 A/V기기로 재생하기 위하여 필요할 수 있는 휴대폰측의 환경에 대해서는 어떠한 기재도 되어 있지 않다.
본 발명이 이루고자 하는 기술적 과제는 이동단말기에 표시되는 동영상이나 정지영상 및 음성, 카메라폰의 경우에는 카메라에 의하여 촬영중인 영상, 스트리밍 시스템에 의한 스트리밍 영상을 아날로그 티브이나 SD급 또는 HD급의 디지털 티브이로 시청할 수 있도록 변환하며 당해 장치는 휴대폰의 CPU 성능을 감지하여 출력되는 영상의 크기를 최적의 크기로 출력되도록 제어하고 사용자가 접속하고자 하는 티브이의 규격을 선택 및 설정하면 그에 상응하도록 출력되는 영상 신호의 주사선을 변경함으로써 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법 및 그를 위한 이동 단말기를 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 이동 단말기는,
동영상이나 정지영상 및 음성, 카메라폰의 경우에는 카메라에 의하여 촬영중인 영상, 스트리밍 시스템에 의한 스트리밍 영상을 티브이로 감상하기 위한 이동 단말기에 있어서,
티브이 종류 및 폰 CPU 성능을 고려하여 프레임 메모리를 할당하는 메모리 할당 제어부;
할당된 메모리의 크기와 초당 프레임수를 고려한 디코딩 파라미터를 사용하여 동영상 파일을 적응적 디코딩하여 영상 프레임을 출력하는 디코더;
상기 디코더로부터 출력된 영상 프레임을 저장하는 프레임 메모리; 및
CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력하는 메모리 스캔부;를 포함하는 것을 특징으로 한다.
또한, 상기 메모리 스캔부는,
CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력하며,
이동 단말기에서 디코딩된 영상의 도트 픽셀수가 결정되고 출력 장치 티브이의 주사선이 결정되면 디코딩된 영상의 도트 픽셀수의 수직 픽셀수와 출력 장치 티브이의 유효 주사선수를 고려하여 일정 비율로 라인을 건너뛰어 표시하거나 이전 라인과 다음 라인의 평균값을 중간 라인의 데이터로 사용하여 채워 표시하는 것이 바람직하다.
또한 상기 이동단말기는 RGB 신호를 티브이 신호로 변환하는 변환부;를 더 포함하는 것이 바람직하다.
또한, 상기 이동 단말기는 사용자 설정과 CPU 성능에 대하여 최적의 디코딩 파라미터를 저장하는 매핑 테이블을 더 포함하는 것이 바람직하다.
또한, 상기 메모리 스캔부는 RGB 신호를 기반으로 하는 프레임 영상의 수직 해상도를 M이라 하고, 티브이의 수직 방향 주사선수를 N이라 할 때, 라인 마다 이전 라인과 다음 라인의 픽셀값의 평균에 해당하는 픽셀값을 새로운 픽셀값으로 설정하여 +1 번째 라인을 구성하는 것이 가능하다.
또한, 상기 이동 단말기는 핸즈프리 모드 신호와 데이터 통신 모드 신호를 감시하는 모드 감시부(62)와 감시된 모드에 응답하여 선택적으로 TV 출력을 수행하는 출력 선택부(60)를 더 포함하는 것이 바람직하다.
또한, 상기 이동 단말기는 이동 단말기 사용자의 사용자 설정 및 CPU 성능에 따라 동영상 파일을 ISP 서버로부터 적응적으로 다운로드 받는 것도 바람직하다.
또한 상기 기술적 과제를 이루기 위한 본 발명에 따른 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법은
(a) 이동 단말기에서 티브이 링크를 선택하면 이동 단말기내에 디코딩 파라미터가 존재하는지 체크하는 단계;
(b) 인터넷을 통하여 서비스 제공자 서버에 접속하여 이동 단말기 사용자의 사용자 설정 및 CPU 성능 정보를 발송하는 단계;
(c) 이동 단말기 사용자의 사용자 설정 및 CPU 성능을 참조하여 서비스 제공자 서버에 접속된 매핑 테이블에서 최적의 디코딩 파라미터를 검색하는 단계;
(d) 검색된 디코딩 파라미터를 인터넷을 통하여 전송하는 단계;
(e) 티브이 종류 및 폰 CPU 성능을 고려하여 프레임 메모리를 할당하는 단계;
(f) 할당된 메모리의 크기와 초당 프레임수를 고려한 디코딩 파라미터를 사용하여 동영상 파일을 적응적 디코딩하여 영상 프레임을 출력하는 단계;
(g) 상기 디코더로부터 출력된 영상 프레임을 저장하는 단계; 및
(h) CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 서비스 방법은 상기 (h) 단계 이후에,
(i) RGB 신호를 티브이 신호로 변환하는 단계;를 더 포함하는 것이 바람직하다.
또한, 상기 (h) 단계는,
RGB 신호를 기반으로 하는 프레임 영상의 수직 해상도를 M이라 하고, 티브이의 수직 방향 주사선수를 N이라 할 때, 라인 마다 이전 라인과 다음 라인의 픽셀값의 평균에 해당하는 픽셀값을 새로운 픽셀값으로 설정하여 +1 번째 라인을 구성하는 단계를 포함하는 것이 바람직하다.
이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
도 1에는 본 발명의 실시예에 따른 이동 단말기의 구조를 블록도로써 나타내었다. 도 1을 참조하면, 본 발명의 실시예에 따른 이동 단말기는 안테나(102)를 통하여 콘텐츠를 수신하는 무선 송수신부(104), 수신된 콘텐츠와 매핑 테이블을 저장하는 저장부(106), 디코더(108), 프레임 메모리(110), 메모리 할당 제어부(112), 메모리 스캔부(114), RGB-to-티브이 변환부(116), 및 어댑터(120)를 구비한다. 어댑터(120)를 통하여 티브이(14)의 A/V 입력 단자 또는 RGB 단자에 접속된다. 단자의 구조는 TV의 종류에 맞게 결정된다. 도면 부호 11로 참조되는 부분은 휴대폰내에 구비할 수도 있고 휴대폰내에 구비하지 않고 별도의 외부 장치로 구성할 수 있다.
도 2에는 본 발명에 따른 이동 단말기내에서 수행되는 티브이 종류 및 폰 CPU 성능에 따른 프레임 메모리 할당 과정, 적응적 디코딩 과정, 및 프레임 메모리 스캔 과정을 흐름도로써 나타내었다. 도 2를 참조하면, 먼저, 휴대폰 설정 메뉴에서 출력 장치를 설정(단계 202)한다. 이 과정에서 출력 장치를 LCD 또는 티브이로 선택한다.
한편, 디코더(108)는 단계(206)에서 할당된 메모리의 크기와 초당 프레임수를 고려한 디코딩 파라미터를 사용하여 동영상 파일을 적응적 디코딩(단계 210)하여 영상 프레임을 출력하고, 프레임 메모리(110)는 영상 프레임을 저장한다. 적응적 디코딩은 이하에서 설명되는 바와 같이 사용자가 설정한 출력 티브이의 사양과 사용자 휴대폰의 CPU 성능을 고려하여 결정된 매핑 테이블을 기초로 한 디코딩 파라미터에 의하여 이루어진다. 디코딩시 초당 프레임수가 결정되면 설정된 프레임수이상의 동영상 프레임에 해당하는 화면은 스킵할 수 도 있다. 디코딩 파라미터는 동영상을 재생하기 위한 디코더가 따르고 있는 규격, 예를 들어, MPEG-4, H.264, 또는 특정 자체 규격인 것에 따라 다양하므로 본원 발명의 핵심을 흐뜨러트리지 않는 범위내에서 설명을 생략한다.
사용자가 사용하는 단말기에 내장된 CPU의 성능에 따라서는 도트 픽셀의 크기 뿐만 아니라 디코딩시 프레임수를 초당 3 프레임, 15 프레임에서 25 프레임 이상까지 선택할 수 있다. 즉, 본 발명에 따르면, 메모리 할당 제어부(112)는 휴대폰 설정에서 LCD를 선택하였는지 티브이를 선택하였는지를 식별(단계 204)하여 티브이를 선택한 것으로 식별되면 티브이 종류 및 폰 CPU 성능을 고려하여 프레임 메모리를 할당한다(단계 206).
티브이 종류는 아날로그 티브이와 디지털 티브이로 구분될 수 있고, NTSC 방식의 아날로그 티브이의 경우는 인터레이스 방식으로 525 주사선수를 사용하며, 디지털 티브이에는 예를 들어 프로그레시브 방식으로 720 주사선수등을 사용하는 SD급 디지털 티브이와 인터레이스 방식으로 1080 주사선수등을 사용하는 HD급 디지털 티브이가 있다. 참고로 NTSC 표준 기반의 TV에서 사용하는 주사선은 1080i/720p/480p/480i이 일반적인데, 앞의 숫자는 주사선수를 뜻하며 i와 p는 주사방식이 interlace(비월주사방식) 또는 progressive(이중주사방식) 인지를 나타낸다. 이중 1080i와 720p까지를 HD화질로 그 이하를 SD(Standard Definition) 화질로 구분한다.
본 실시예에서는자가 선택한 티브이 종류에 따라 프레임 메모리의 크기를 할당한다. 사용자가 출력 장치를 HD급의 티브이를 선택한 경우에는 1024 ×768 도트 픽셀을 선택한다. SD급의 티브이를 선택한 경우에는 CPU 성능(CPU_Info)에 따라 640 ×480 이상에서 1024 ×768 도트 픽셀 미만을 할당한다. 또한, 아날로그 티브이를 선택한 경우에는 CPU 성능(CPU_Info)에 따라 640 ×480 미만의 도트 픽셀을 선택한다.
다음으로, 프레임 메모리 스캔(단계 212) 과정에서는 할당된 프레임 메모리에 저장된 RGB 도트 픽셀을 읽어들인다. 이 과정에서는 설정된 티브이 해상도 정보를 참조하여 스캔이 이루어진다.
예를 들어, CPU 성능 정보(CPU_Info)에 따르면 사용자 단말기의 CPU 성능이 우수하여 800 ×600 도트 픽셀이 할당되었고, 주사선수 정보(Res_Info)에 따르면 출력 장치로 NTSC 방식의 아날로그 티브이가 선택된 경우에 메모리 스캔부(114)는 프레임 메모리(110)에 저장된 영상 프레임을 수직 방향으로 600 라인을 모두 읽어들이지 않고 한 라인씩 건너뛰어 300 라인만을 읽어들여 RGB 신호를 출력한다. 이동 단말기에서 디코딩된 영상의 도트 픽셀수가 결정되고 출력 장치 티브이의 주사선(Res_Info)이 결정되면 디코딩된 영상의 도트 픽셀수의 수직 픽셀수와 출력 장치 티브이의 유효 주사선수를 고려하여 일정 비율로 라인을 건너뛰어 표시하거나 이전 라인과 다음 라인의 평균값을 중간 라인의 데이터로 사용하여 채워 표시한다.
사용자 단말기의 CPU 성능이 우수하여 800 ×600 도트 픽셀이 할당되었고, 휴대폰 설정에서 사용자가 출력 장치를 720p 주사선에 대응되는 SD급의 아날로그 티브이로 선택한 경우에 메모리 스캔부(114)가 프레임 메모리(110)에 저장된 영상 프레임을 수직 방향으로 600 라인을 모두 읽어들여 720p 주사선을 구성하기 위해서는 RGB 신호를 위한 프레임 영상의 수직 해상도 600은 720 라인에 비하여 120 라인만큼 적다. 따라서, 600 / 120 = 5 라인을 채워 넣은후 5 번째 라인에 해당하는 픽셀과 6번째 라인에 해당하는 픽셀의 평균값을 각각의 픽셀값으로 설정하여 6 번째 라인을 구성하여 RGB 신호를 출력한다.
일반화하면, RGB 신호를 기반으로 하는 프레임 영상의 수직 해상도를 M이라 하고, 티브이의 수직 방향 주사선수를 N이라 할 때, 라인 마다 이전 라인과 다음 라인의 픽셀값의 평균에 해당하는 픽셀값을 새로운 픽셀값으로 설정하여 +1 번째 라인을 구성한다. 라인 구성이 완료되면 RGB-to-티브이 변환부(116)는 RGB 신호를 티브이 신호로 변환한다. 본 명세서에서는 유효 주사선수의 개념을 고려하지 않았으나 실제로는 유효 주사선수에 따라 적절히 변형되어야 할 것이다.
한편, 사용자 단말기의 CPU 성능이 우수하여 800 ×600 도트 픽셀이 할당되었고, 휴대폰 설정에서 사용자가 출력 장치를 1080i 주사선에 대응되는 HD급의 아날로그 티브이로 선택한 경우에 메모리 스캔부(114)가 프레임 메모리(110)에 저장된 영상 프레임을 수직 방향으로 600 라인을 모두 읽어들여 1080i 주사선을 구성하기 위해서는 RGB 신호를 위한 프레임 영상의 수직 해상도 600은 1080 라인에 비하여 480 라인만큼 적다. 따라서, 600 / 480 = 1.25 라인이 된다. 이러한 경우에는 1 라인후 1/4 라인만큼의 차이가 있으므로, 1 번째 라인은 그대로 티브이 신호로 변환할 1 번째 라인으로 사용하고 티브이 신호로 변환할 2 번째 라인의 신호는 RGB 신호측의 1 번째 라인과 2 번째 라인의 평균값을, 3 번째 라인의 신호는 RGB 신호측의 2 번째 라인을 그대로 티브이 신호로 변환할 신호로 사용하며, 4 번째 라인의 신호는 RGB 신호측의 2 번째 라인과 3 번째 라인의 평균값을 티브이 신호로 변환할 신호로 사용한다.
하지만, 이와 같은 규칙으로 지속할 경우 1 라인후 1/4 라인만큼의 차이가 있으므로, 4 라인을 교번적으로 적용한 후에는 티브이 출력 신호로 사용한 라인과 5 번째 라인의 평균값을 다음번 티브이 출력 신호로 사용할 라인을 설정한다.
한편, CPU의 성능이 우수하여 800 ×600 도트 픽셀이 할당되었는데, 만일 사용자가 출력 장치로 NTSC 방식의 아날로그 티브이를 선택한 경우에는 수직 방향으로 600 라인을 모두 읽어들일 필요가 없으므로 한 라인씩 건너뛰어 300 라인만을 읽어들여 티브이 신호로 변환할 수 있다. 이러한 경우에는 디코딩의 효율이 낮으므로 800 ×600 도트 픽셀을 할당하지 않고 640 ×480 도트 픽셀 이하로 할당하고 대신에 프레임수를 높게 디코딩하도록 설정하는 것이 보다 바람직하다.
다음으로, 사용자가 링크하고자 하는 티브이가 RGB 입력을 지원하는 티브이인지 판단(단계 213)하여 선택적으로 RGB 신호를 그대로 출력하여 RGB 신호를 TV 링크(단계 218)하거나 RGB 신호를 티브이 신호로 변환하여 TV 신호를 링크(단계 216)한다. 즉, 메모리 스캔부(114)는 CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보(Res_Info)를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔한다.
도 3에는 매핑 테이블을 설명하기 위한 도면을 나타내었다. 도 3을 참조하면, 사용자가 설정한 출력 티브이 사양(304)과 CPU 성능(310)을 고려하여 적합한 화면 크기(312) 및 디코딩 파라미터를 미리 정해놓은 매핑 테이블(306)을 참조하여 최적의 디코딩 파라미터(320)을 구한다.
도 4에는 이동 단말기 사용자의 사용자 설정 및 CPU 성능에 따라 동영상 파일을 ISP 서버로부터 적응적으로 다운로드 받는 과정을 설명하기 위한 도면을 나타내었다. 도 4를 참조하면 휴대폰(40)내에 출력 티브이의 사양에 대한 사용자 설정과 CPU 성능(402)을 고려한 최적의 디코딩 파라미터와 콘텐츠 정보를 저장한 매핑 테이블(404)이 구비된다. 사용자가 설정한 출력 티브이의 사양은 사용자의 필요에 따라 변경 설정될 수 있으므로 도 1을 참조하여 설명한 메모리 할당 제어부(112)에서는 사용자가 설정한 출력 티브이의 해상도를 재확인하여 그에 맞게 메모리 할당을 제어하고 메모리 스캔부(114)에서는 CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 출력 티브이의 사양에 적합하게 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력한다. ISP 서버(46)측에는 많은 사용자들의 매핑 테이블(404)을 포함하는 매핑 테이블(48)을 포함한다. 매핑 테이블(404)은 ISP 서버(46)에 접속하여 다운로드 받아 저장된 것으로 이해될 수 있다.
이와 같이 구성된 시스템의 경우, 이동 단말기 사용자의 사용자 설정 및 CPU 성능에 따라 동영상 파일을 ISP 서버로부터 적응적으로 다운로드 받는다. 즉, 사용자의 단말기 CPU의 성능 또는 출력 티브이의 사양이 낮은 경우에는 프레임수 및/또는 해상도가 낮은 파일을 선택하여 전송하며 사용자의 단말기 CPU와 출력 티브이의 사양이 높은 경우에는 프레임수와 해상도가 높은 파일을 적응적으로 전송한다.
상기 실시예에서는 이동단말기에 표시되는 동영상이나 정지영상 및 음성을 아날로그 티브이나 SD급 또는 HD급의 디지털 티브이로 시청할 수 있도록 변환하는 장치가 휴대폰 내에 구비되는 것을 예로써 설명하였으나 휴대폰과 분리된 별도의 하드웨어로 구성하는 것도 가능하다.
또한, 카메라를 내장하는 일명 카메라폰의 경우에는 카메라에 의하여 촬영중인 영상을 프레임별로 프레임 메모리에 저장한 후 메모리 스캔 및 변환 과정을 통하여 TV로 출력하도록 할 수 있을 것이다.
또한, 스트리밍 시스템에 의한 스트리밍 영상의 경우에도 적용하는 것이 가능할 것이다. 즉, 스트리밍 시스템에서 송신자는 부호화된 데이터를 미리 저장하였다가 수신자의 요구가 있을 때 데이터를 전송하며, 수신측은 어느 정도의 초기 시간동안 데이터를 버퍼에 저장한 후 재생을 시작하며 이때 버퍼에 저장된 영상을 프레임별로 프레임 메모리에 저장한 후 메모리 스캔 및 변환 과정을 통하여 TV로 출력하도록 할 수 있을 것이다.
도 5에는 본 발명의 실시예에 따른 서비스 방법의 주요 단계들을 흐름도로써 나타내었다. 도 5를 참조하면, 본 발명의 실시예에 따른 서비스 방법에 따르면 휴대폰에서 TV 링크를 선택(단계 502)하면, 이동 단말기내에 디코딩 파라미터가 존재하는지 체크(단계 504)하여, 존재하지 않으면 인터넷을 통하여 서비스 제공자 서버에 접속(단계 506)하여 이동 단말기 사용자의 사용자 설정 및 CPU 성능 정보를 발송한다.
다음으로, 이동 단말기 사용자의 사용자 설정 및 CPU 성능을 참조하여 서비스 제공자 서버에 접속된 매핑 테이블에서 최적의 디코딩 파라미터를 검색(단계 508)하여, 검색된 디코딩 파라미터를 인터넷을 통하여 전송(단계 510)한다. 이제, 이동단말기는 수신된 디코딩 파라미터를 사용하여 디코딩을 수행(단계 512)한다. 단계(512)는 도 1을 참조하여 설명한 동작에 해당한다. 즉, 티브이 종류 및 폰 CPU 성능을 고려하여 프레임 메모리를 할당하고, 할당된 메모리의 크기와 초당 프레임수를 고려한 디코딩 파라미터를 사용하여 동영상 파일을 적응적 디코딩하여 영상 프레임을 출력한다. 다음으로, 상기 디코더로부터 출력된 영상 프레임을 저장하고, CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력한다. 또한, 선택적으로 RGB 신호를 티브이 신호로 변환하여 TV 링크가 이루어진다.
도 6에는 본 발명의 실시예에 따른 휴대폰을 이동 전화 입출력 단자에 호환되도록 TV 출력 단자로 선택하기 위한 구조를 설명하기 위한 도면을 나타내었다. 현재 표준화되어 있는 규격에 따르면 이동 전화 입출력 단자에 배정된 접속 기능은 표 1과 같다.
신호명 입출력 구분 비고
1 BATTERY ID 입력신호 충전
2 HAND-FREE MODE 입력신호 3.3V 이하 신호
3 DSR 출력신호 데이터 통신
4 POWER(+5.0~5.5V) 전원 충전
5 POWER(+5.0~5.5V) 전원 충전
6 ON SWITCH 입력신호 3.3V 이하 신호
7 AUDIO IN/ PCM RX 입력신호 평균 100mV/1kHz
8 OPTION/PCM CLOCK 출력신호 선택/디지털 핸즈프리
9 OPTION/PCM SYNC 출력신호 선택/디지털 핸즈프리
10 OPTION/USB D- 입력신호 선택/USB 데이터
11 AUDIO OUT/ PCM TX 출력신호 평균 100mV/1kHz
12 POWER GROUND 전원 충전
13 RXD 입력신호 데이터 통신
14 TXD 출력신호 데이터 통신
15 OPTION/USB D+ 출력신호 선택/USB 데이터
16 USB POWER(+5.0V) 전원 USB 전원입력
17 DCD 출력신호 데이터 통신
18 RI 출력신호 데이터 통신
19 POWER GROUND 전원 충전
20 RFR : RTS 출력신호 데이터 통신
21 POWER(+4.2V)/SWB + 전원 충전/단말기로부터 전원공급
22 POWER(+4.2V)/SWB + 전원 충전/단말기로부터 전원공급
23 CTS 입력신호 데이터 통신
24 DTR 입력신호 데이터 통신
한편, 휴대폰에서 출력되는 RGB 신호, TV 신호, 및 오디오 신호는 휴대폰 단말기의 24 핀 데이터 입출력 단자를 통하여 출력되도록 하는 것이 보다 바람직하다. 이를 위하여 본 발명의 실시예에 따른 휴대폰은 데이터 통신 및 핸즈프리 기능을 그대로 유지하면서 선택적으로 TV 출력을 지원하기 위하여 핸즈프리 모드 신호와 데이터 통신 모드 신호를 감시하는 모드 감시부(62)와 감시된 모드에 응답하여 선택적으로 TV 출력을 수행하는 출력 선택부(60)를 구비한다.
도 6을 참조하면, 이동전화 단말기의 24핀 입출력 단자에서 2번 핀에 배정되어 있는 HANDS-FREE MODE 또는 24번 핀에 배정되어 있는 데이터 통신용 DTR(Data Terminal Ready)에 "하이"가 입력되면 모드 감시부(62)는 현재 휴대폰의 입출력 단자에 핸즈프리 또는 데이터 통신용 케이블이 접속된 것으로 인식하여 RGB 신호를 차단하는 명령으로써 "로우"를 출력한다. 반면에, 이동전화 단말기의 24핀 입출력 단자에서 2번 핀에 배정되어 있는 HANDS-FREE MODE와 24번 핀에 배정되어 있는 데이터 통신용 DTR(Data Terminal Ready)에 모두 "로우"가 입력되면 모드 감시부(62)는 현재 휴대폰의 입출력 단자에 핸즈프리 또는 데이터 통신용 케이블의 어느 것도 접속되어 있지 않은 것으로 인식하여 RGB 신호를 출력하라는 명령으로써 "하이"를 출력한다. 출력 선택부(60)는 "로우" 신호에 응답하여 RGB 신호를 차단하고 TXD 신호를 송출한다. 반면에, "하이" 신호에 응답하여 RGB 신호를 이동 전화 단말기의 입출력 단자(64)로 전송하고 입출력 단자에 접속된 TV 링크용 어댑터를 통하여 TV로 송출된다. 위에서는 RGB 신호로 통칭하였으나 실제 단자는 R, G, 또는 B 신호일 수 있고, 동일하게 TV 신호 및 오디오 출력(PCM 또는 아날로그 오디오)에도 동일한 원리가 적용되어야 하므로 적어도 5 개의 핀이 출력용으로 할당되어야 한다. 따라서, 본 발명에 따른 휴대폰은 도 6에 도시한 출력 선택부(60)를 적어도 5 개를 구비한다. 상기와 같은 실시예에 따르면, 휴대폰의 입출력 단자에 핸즈프리 또는 데이터 통신 케이블이 접속되어 있으면 당해 동작을 수행하고 그렇지 않은 경우에는 TV 출력을 수행함으로써 기존 휴대폰과의 호환성을 보장할 수 있다.
이상의 실시예는 본원 발명에 대한 이해를 돕기 위한 설명적인 것이며 첨부된 청구항들에 의하여 정의되는 본원 발명의 범위내에서 다양한 변형 및 수정이 가능하다. 따라서, 본 발명에 따른 동영상 재생 화면을 다양한 규격의 티브이로 볼 수 있는 이동 단말기의 권리 범위는 상기 실시 예에 한정되지 아니한다.
상술한 바와 같이 본 발명에 따르면, 이동단말기에 표시되는 동영상이나 정지영상 및 음성을 아날로그 티브이나 SD급 또는 HD급의 디지털 티브이로 시청할 수 있도록 변환하며 당해 장치는 휴대폰의 CPU 성능을 감지하여 출력되는 영상의 크기를 최적의 크기로 출력되도록 제어하고 사용자가 접속하고자 하는 티브이의 규격을 선택 및 설정하면 그에 상응하도록 출력되는 영상 신호의 주사선을 변경함으로써 다양한 규격의 티브이로 시청할 수 있는 이동 단말기를 제공한다.
도 1은 본 발명의 실시예에 따른 이동 단말기의 구조를 도시한 블록도.
도 2는 본 발명에 따른 이동 단말기내에서 수행되는 티브이 종류 및 폰 CPU 성능에 따른 프레임 메모리 할당 과정, 적응적 디코딩 과정, 및 프레임 메모리 스캔 과정을 나타낸 흐름도.
도 3은 매핑 테이블을 설명하기 위한 도면.
도 4는 이동 단말기 사용자의 사용자 설정 및 CPU 성능에 따라 동영상 파일을 ISP 서버로부터 적응적으로 다운로드 받는 과정을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 서비스 방법의 주요 단계들을 도시한 흐름도.
도 6은 본 발명의 실시예에 따른 휴대폰을 이동 전화 입출력 단자에 호환되도록 TV 출력 단자로 선택하기 위한 구조를 설명하기 위한 도면.

Claims (11)

  1. 동영상이나 정지영상 및 음성, 카메라폰의 경우에는 카메라에 의하여 촬영중인 영상, 스트리밍 시스템에 의한 스트리밍 영상을 티브이로 감상하기 위한 이동 단말기에 있어서,
    티브이 종류 및 폰 CPU 성능을 고려하여 프레임 메모리를 할당하는 메모리 할당 제어부;
    할당된 메모리의 크기와 초당 프레임 수를 고려한 디코딩 파라미터를 사용하여 동영상 파일을 적응적 디코딩하여 영상 프레임을 출력하는 디코더;
    상기 디코더로부터 출력된 영상 프레임을 저장하는 프레임 메모리; 및
    CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력하는 메모리 스캔부;를 포함하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 이동 단말기.
  2. 제1항에 있어서,
    RGB 신호를 티브이 신호로 변환하는 변환부;를 더 포함하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 이동 단말기.
  3. 제1항에 있어서, 상기 메모리 스캔부는,
    CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력하며,
    이동 단말기에서 디코딩된 영상의 도트 픽셀수가 결정되고 출력 장치 티브이의 주사선이 결정되면 디코딩된 영상의 도트 픽셀수의 수직 픽셀수와 출력 장치 티브이의 유효 주사선수를 고려하여 일정 비율로 라인을 건너뛰어 표시하거나 이전 라인과 다음 라인의 평균값을 중간 라인의 데이터로 사용하여 채워 표시하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 이동 단말기.
  4. 제1항에 있어서,
    사용자 설정과 CPU 성능에 대하여 최적의 디코딩 파라미터를 저장하는 매핑 테이블을 더 포함하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 이동 단말기.
  5. 제1항에 있어서, 상기 메모리 스캔부는,
    RGB 신호를 기반으로 하는 프레임 영상의 수직 해상도를 M이라 하고, 티브이의 수직 방향 주사선수를 N이라 할 때, 라인 마다 이전 라인과 다음 라인의 픽셀값의 평균에 해당하는 픽셀값을 새로운 픽셀값으로 설정하여 +1 번째 라인을 구성하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 이동 단말기.
  6. 제1항에 있어서,
    핸즈프리 모드 신호와 데이터 통신 모드 신호를 감시하는 모드 감시부(62)와 감시된 모드에 응답하여 선택적으로 TV 출력을 수행하는 출력 선택부(60)를 더 포함하는 것을 특징으로 하는 이동 단말기.
  7. 제1항에 있어서,
    이동 단말기 사용자의 사용자 설정 및 CPU 성능에 따라 동영상 파일을 ISP 서버로부터 적응적으로 다운로드 받는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 이동 단말기.
  8. 이동단말기에서 재생되는 동영상, 정지영상, 및 음성, 카메라가 장착된 이동단말기의 경우에는 카메라에 의하여 촬영중인 영상, 스트리밍 시스템에 의한 스트리밍 영상을 티브이로 감상하기 위한 서비스 방법에 있어서,
    (a) 이동 단말기에서 티브이 링크를 선택하면 이동 단말기내에 디코딩 파라미터가 존재하는지 체크하는 단계;
    (b) 인터넷을 통하여 서비스 제공자 서버에 접속하여 이동 단말기 사용자의 사용자 설정 및 CPU 성능 정보를 발송하는 단계;
    (c) 이동 단말기 사용자의 사용자 설정 및 CPU 성능을 참조하여 서비스 제공자 서버에 접속된 매핑 테이블에서 최적의 디코딩 파라미터를 검색하는 단계;
    (d) 검색된 디코딩 파라미터를 인터넷을 통하여 전송하는 단계;
    (e) 티브이 종류 및 폰 CPU 성능을 고려하여 프레임 메모리를 할당하는 단계;
    (f) 할당된 메모리의 크기와 초당 프레임 수를 고려한 디코딩 파라미터를 사용하여 동영상 파일을 적응적 디코딩하여 영상 프레임을 출력하는 단계;
    (g) 상기 디코더로부터 출력된 영상 프레임을 저장하는 단계; 및
    (h) CPU 성능과 사용자가 설정한 출력 티브이의 주사선 정보를 기초로 프레임 메모리에 저장된 영상 프레임을 스캔하여 RGB 신호를 출력하는 단계;를 포함하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법.
  9. 제8항에 있어서, 상기 (h) 단계 이후에,
    (i) RGB 신호를 티브이 신호로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법.
  10. 제9항에 있어서, 상기 (i) 단계는,
    (i') 사용자가 링크 하고자 하는 티브이가 RGB 입력을 지원하는 티브이인지에 따라 선택적으로 RGB 신호를 그대로 출력하거나 RGB 신호를 티브이 신호로 변환하는 단계;를 포함하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법.
  11. 제8항에 있어서, 상기 (h) 단계는,
    RGB 신호를 기반으로 하는 프레임 영상의 수직 해상도를 M이라 하고, 티브이의 수직 방향 주사선수를 N이라 할 때, 라인마다 이전 라인과 다음 라인의 픽셀값의 평균에 해당하는 픽셀값을 새로운 픽셀값으로 설정하여 +1 번째 라인을 구성하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기 위한 서비스 방법.
KR10-2003-0092820A 2003-12-18 2003-12-18 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기위한 서비스 방법 및 그를 위한 이동 단말기 KR100518125B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0092820A KR100518125B1 (ko) 2003-12-18 2003-12-18 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기위한 서비스 방법 및 그를 위한 이동 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0092820A KR100518125B1 (ko) 2003-12-18 2003-12-18 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기위한 서비스 방법 및 그를 위한 이동 단말기

Publications (2)

Publication Number Publication Date
KR20040004307A KR20040004307A (ko) 2004-01-13
KR100518125B1 true KR100518125B1 (ko) 2005-09-29

Family

ID=37315102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0092820A KR100518125B1 (ko) 2003-12-18 2003-12-18 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기위한 서비스 방법 및 그를 위한 이동 단말기

Country Status (1)

Country Link
KR (1) KR100518125B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071818A1 (en) 2004-07-16 2014-03-13 Virginia Innovation Sciences, Inc. Method and system for efficient communication
US7899492B2 (en) 2004-07-16 2011-03-01 Sellerbid, Inc. Methods, systems and apparatus for displaying the multimedia information from wireless communication networks
KR100663129B1 (ko) * 2005-12-28 2007-01-02 엠텍비젼 주식회사 디지털 영상 신호를 tv 신호로 변환하는 방법 및 장치
KR100878438B1 (ko) 2006-09-25 2009-01-13 삼성전자주식회사 가상 기기 구성 방법 및 이를 이용한 가상 기기 구성시스템
KR101006311B1 (ko) * 2008-06-27 2011-01-06 김정이 온수를 이용한 황토 온열매트 및 그 제조방법

Also Published As

Publication number Publication date
KR20040004307A (ko) 2004-01-13

Similar Documents

Publication Publication Date Title
US9589531B2 (en) Methods, systems and apparatus for displaying the multimedia information from wireless communication networks
US20040214541A1 (en) Apparatus and method for transmitting a television signal received in a mobile communication terminal
JP4885323B2 (ja) ソース機器、シンク機器、システム、プログラム、及び、記録媒体
US20050200695A1 (en) Transceiver system, transmitter and receiver and information processing method
US8687119B2 (en) Video display apparatus and control method thereof, and video output apparatus and control method thereof
KR100826157B1 (ko) 이동통신 단말기의 디지털 방송 전송 방법 및 장치
CN1722813A (zh) 用于转换外部输入信号的数据再现设备及其方法
KR100518125B1 (ko) 멀티미디어 재생 화면을 다양한 규격의 티브이로 감상하기위한 서비스 방법 및 그를 위한 이동 단말기
EP2629283A1 (en) Television
CN1602055A (zh) 信息处理装置和信息处理方法
JP5285138B2 (ja) ソース機器、システム、プログラム、及び、記録媒体
KR100499521B1 (ko) 개인 통신 기기를 이용한 티브이 시스템의 영상 서비스장치 및 방법
KR100223590B1 (ko) 다기능 텔레비전
KR100666231B1 (ko) 오디오 및 비디오 출력 장치에 접속 가능한 이동 단말기
KR20040078250A (ko) 디지털 tv 시스템
JP2006148625A (ja) 移動通信端末装置、及び無線通信システム
CN1465179A (zh) 用于记录和读取音像信息的系统
KR20050054728A (ko) 오디오/비디오 기기를 이용한 휴대폰 음성 및 영상의 재생시스템
JP2004129300A (ja) 映像出力装置、映像出力方法、映像送信装置、及び映像送信方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120924

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130923

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee