KR20070113839A - 단말기 연동시스템 및 단말기 연동방법 - Google Patents

단말기 연동시스템 및 단말기 연동방법 Download PDF

Info

Publication number
KR20070113839A
KR20070113839A KR1020060047652A KR20060047652A KR20070113839A KR 20070113839 A KR20070113839 A KR 20070113839A KR 1020060047652 A KR1020060047652 A KR 1020060047652A KR 20060047652 A KR20060047652 A KR 20060047652A KR 20070113839 A KR20070113839 A KR 20070113839A
Authority
KR
South Korea
Prior art keywords
terminal
communication terminal
information
information terminal
communication
Prior art date
Application number
KR1020060047652A
Other languages
English (en)
Other versions
KR100793062B1 (ko
Inventor
조선휘
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060047652A priority Critical patent/KR100793062B1/ko
Publication of KR20070113839A publication Critical patent/KR20070113839A/ko
Application granted granted Critical
Publication of KR100793062B1 publication Critical patent/KR100793062B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/40Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/70Arrangements in the main station, i.e. central controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 단말기 연동시스템 및 단말기 연동방법에 관한 것으로서, 본 단말기 연동방법은, 정보단말기가, 통신망을 통한 음성통화 및 메시지 송수신 기능을 지원하며 근거리 무선 송수신이 가능한 통신단말기 측에 원격제어 등록을 위한 고유정보를 요청하여 상기 통신단말기를 원격제어 대상으로 등록하는 단계와; 상기 정보단말기에서 상기 통신단말기의 제어를 위한 원격제어신호를 생성하여 상기 통신단말기 측에 근거리 무선 전송하는 단계와; 상기 원격제어신호를 수신한 상기 통신단말기가 통신망을 통해 수신된 데이터를 상기 정보단말기 측으로 근거리 무선 전송하는 단계와; 상기 통신단말기가 근거리 무선 전송한 데이터를 상기 정보단말기가 수령하여 디스플레이하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, 통신단말기를 직접 조작하기 어려운 상황일 경우에도 정보단말기를 통해 전화를 착신하거나 메시지를 수신하여 확인할 수 있으며, 음성통화가 불가능한 상태일 경우에도 정보단말기를 통해 상대방 측과 음성통화를 수행할 수 있다.

Description

단말기 연동시스템 및 단말기 연동방법{TERMINAL UNIT INTERWORKING SYSTEM AND METHOD OF TERMINAL UNIT INTERWORKING THE SAME}
도 1은 본 발명에 따른 단말기 연동시스템의 개략적인 구성도,
도 2는 도 1의 단말기 연동시스템의 제어블록도,
도 3은 본 발명의 일 실시예에 따른 단말기 연동방법의 신호 흐름도,
도 4는 본 발명의 다른 실시예에 따른 단말기 연동방법의 신호 흐름도이다.
*** 도면의 주요 부분에 대한 부호의 설명 ***
10 : 정보단말기 12 : 사용자 입력부
14 : 단말 연동 인터페이스 16 : 디스플레이부
18 : 정보단말 제어부 20 : 메모리
22 : 단말 연동 애플리케이션 24 : 가상 통신단말기
50 : 통신단말기 52 : 통신단말 제어부
53 : 오디오처리부 54 : RF모듈
56 : 단말 연동 인터페이스 58 : LCD
60 : 키패드
본 발명은 단말기 연동시스템 및 단말기 연동방법에 관한 것이다.
휴대전화, 개인정보단말기(Personal Data Assistant, PDA) 등과 같은 통신단말기의 보급이 일반화되고 통신기술이 고도화됨에 따라, 통신단말기의 사용자는 시간과 공간의 제약 없이 소정 상대방과 음성통화를 수행하거나 데이터를 송수신할 수 있게 되었다. 이에, 사용자는 원하는 때에 상대방에게 통화를 요청하거나 메시지를 송신할 수 있는 편의를 보장받을 수 있으며, 상대방의 메시지나 통화요청을 착신할 수 있다.
그런데, 상대방으로부터 메시지를 수신하거나, 전화통화를 착신하기 위해서는, 항상 통신단말기를 소지하고 있어야 하고 착신 상황에 주의를 기울여야 한다. 또한, 수신된 메시지를 확인하거나 전화통화를 수행하기 위해서는 사용자가 통신단말기의 해당 기능을 조작하여 직접 해당 기능을 수행해야 한다.
따라서, 사용자가 다른 업무를 수행중인 경우 착신사실을 인지하지 못할 수 있으며, 통신단말기로부터 멀리 이격되어 있는 상황인 경우 통신단말기가 있는 장소까지 이동해야만 하고, 착신하기도 전에 통화가 끊어져 버릴 수 있다는 문제점이 있다. 이에, 음성통화를 위한 리모콘 유니트를 구비하는 경우도 있지만, 사용자가 대화하기 어려운 상태인 경우 음성통화의 수행이 불가능하다.
그리고, 휴대전화나 PDA같은 통신단말기의 경우 이동성 및 휴대성을 보장하기 위해 작은 사이즈로 설계되기 때문에, 사용자 입력인터페이스가 키패드와 몇 개의 버튼 정도로 한정되어 메시지 입력 시 불편함이 따른다.
본 발명은 전술한 문제점을 해결하기 위해 안출 된 것으로서, 전화통화 및 메시지 송수신 기능을 수행하는 통신단말기와 다른 정보단말기가 상호 연동하도록 하여 통신단말기를 직접 조작하지 아니하고도 정보단말기를 통해 원격지의 통신단말기를 제어할 수 있도록 함으로써, 통신단말기를 직접 조작하기 어려운 상황일 경우에도 정보단말기를 통해 전화를 착신하거나 메시지를 수신하여 확인할 수 있도록 하는 한편, 음성통화가 불가능한 상태일 경우에도 정보단말기를 통해 상대방 측과 음성통화를 수행할 수 있도록 하는 단말기 연동시스템 및 단말기 연동방법을 제공함에 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명에 따른 단말기 연동방법은, 정보단말기가, 통신망을 통한 음성통화 및 메시지 송수신 기능을 지원하며 근거리 무선 송수신이 가능한 통신단말기 측에 원격제어 등록을 위한 고유정보를 요청하여 상기 통신단말기를 원격제어 대상으로 등록하는 단계와; 상기 정보단말기에서 상기 통신단말기의 제어를 위한 원격제어신호를 생성하여 상기 통신단말기 측에 근거리 무선 전송하는 단계와; 상기 원격제어신호를 수신한 상기 통신단말기가 통신망을 통해 수신된 데이터를 상기 정보단말기 측으로 근거리 무선 전송하는 단계와; 상기 통신단말기가 근거리 무선 전송한 데이터를 상기 정보단말기가 수령하여 디스플레이하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 통신단말기와 상기 정보단말기는, 블루투스(bluetooth), 지그 비(ZigBee), IrDA, RFID 중 적어도 어느 한 방식으로 데이터를 근거리 무선 송수신하는 것이 가능하다.
그리고, 상기 정보단말기에서 상기 통신단말기의 제어를 위한 원격제어신호를 생성하여 상기 통신단말기 측에 근거리 무선 전송하는 단계는, 상기 정보단말기가 상기 원격제어 등록된 통신단말기의 제어를 위한 가상 통신단말기의 그래픽 인터페이스 디스플레이하는 단계와; 상기 가상 통신단말기를 통한 사용자 입력에 따라 상기 원격제어신호를 생성하여 상기 통신단말기 측에 근거리 무선 전송하는 단계를 포함하는 것이 가능하다.
그리고, 상기 통신단말기가 근거리 무선 전송한 데이터를 상기 정보단말기가 수령하여 디스플레이하는 단계는, 상기 통신단말기의 수신상태 데이터를 수령하여, 상기 통신단말기의 음성통화수신 여부 및 메시지 수신 여부 중 적어도 어느 하나를 표시하는 단계를 포함하는 것이 가능하다.
또한, 상기 통신단말기가 근거리 무선 전송한 데이터를 상기 정보단말기가 수령하여 디스플레이하는 단계는, 상기 통신단말기에 수신된 음성데이터를 수령하는 단계와; 상기 음성데이터를 텍스트데이터로 변환하여 표시하는 단계를 포함하는 것이 가능하다.
그리고, 상기 정보단말기가 사용자로부터 텍스트데이터를 입력받는 단계와; 상기 정보단말기가 상시 텍스트데이터를 음성데이터로 변환하는 단계와; 상기 정보단말기가 상기 음성데이터를 상기 통신단말기로 근거리 무선 전송하는 단계와; 상기 통신단말기가 상기 음성데이터를 상기 통신망으로 전송하는 단계를 더 포함하는 것이 가능하다.
또한, 상기 정보단말기가 사용자의 음성데이터를 입력받는 단계와; 상기 정보단말기가 상시 사용자의 음성데이터를 상기 통신단말기로 근거리 무선 전송하는 단계와; 상기 통신단말기가 상기 정보단말기로부터 상기 음성데이터를 수령하는 단계와; 상기 통신단말기가 상기 음성데이터를 상기 통신망으로 전송하는 단계를 더 포함하는 것이 가능하다.
한편, 상기 목적은 본 발명의 다른 분야에 따르면, 통신망을 통한 음성통화 및 메시지 송수신을 위한 RF모듈과, 근거리 무선 송수신을 위한 통신단말 측 단말 연동 인터페이스와, 상기 통신단말 측 단말 연동 인터페이스를 통해 수신된 원격제어신호에 따라 상기 RF모듈로 수신된 데이터를 근거리 무선송신하는 통신단말 제어부를 갖는 통신단말기와; 상기 통신단말 측 단말 연동 인터페이스에 대응되는 정보단말 측 단말 연동 인터페이스와, 사용자 입력부와, 디스플레이부와, 상기 사용자 입력부를 통한 사용자의 선택에 따라 상기 통신단말기를 제어하기 위한 상기 원격제어신호를 생성하여 상기 정보단말 측 단말 연동 인터페이스를 통해 상기 통신단말기로 근거리 무선송신하고 상기 통신단말기의 RF모듈로 수신된 데이터를 상기 정보단말 측 단말 연동 인터페이스로 수령하여 상기 디스플레이부에 표시하는 정보단말 제어부를 갖는 정보단말기를 포함하는 것을 특징으로 하는 단말기 연동시스템에 의해서도 달성될 수 있다.
여기서, 상기 통신단말 측 단말 연동 인터페이스와 상기 정보단말 측 단말 연동 인터페이스는, 블루투스(bluetooth), 지그비(ZigBee), IrDA, RFID 중 적어도 어느 한 방식으로 데이터를 송수신하는 것이 가능하다.
그리고, 상기 통신단말기의 통신단말 제어부는, 상기 통신단말 측 단말 연동 인터페이스를 통해 수신된 원격제어신호에 따라 원격제어 등록을 위한 고유정보를 상기 정보단말기 측으로 전송하는 것이 가능하다.
또한, 상기 통신단말기의 통신단말 제어부는, 상기 통신단말 측 단말 연동 인터페이스를 통해 수신된 원격제어신호에 따라, 상기 정보단말기에서 전송한 사용자 음성데이터를 상기 통신단말 측 단말 연동 인터페이스를 통해 수령하여 상기 RF모듈을 통해 상기 통신망으로 송신하는 것이 가능하다.
그리고, 상기 통신단말기의 통신단말 제어부는, 상기 통신단말 측 단말 연동 인터페이스를 통해 수신된 원격제어신호에 따라, 상기 정보단말기에서 전송한 메시지데이터를 상기 통신단말 측 단말 연동 인터페이스를 통해 수령하여 상기 RF모듈을 통해 상기 통신망으로 송신하는 것이 가능하다.
한편, 상기 정보단말기의 정보단말 제어부는, 상기 통신단말기 제어를 위한 가상 통신단말기의 그래픽 인터페이스를 상기 디스플레이부에 표시하고, 상기 가상 통신단말기를 통한 사용자 입력에 따라 상기 원격제어신호를 생성하는 것이 가능하다.
그리고, 상기 정보단말기의 정보단말 제어부는, 상기 사용자 입력부를 통한 사용자의 선택에 따라 상기 정보단말 측 단말 연동 인터페이스를 통해 접속 가능한 통신단말기 측에 원격제어 등록을 위한 정보제공을 요청하여 상기 통신단말기를 원격제어 대상으로 등록하는 것이 가능하다.
또한, 상기 정보단말기의 정보단말 제어부는, 상기 정보단말 측 단말 연동 인터페이스를 통해 상기 통신단말기의 수신상태를 수령하여, 상기 디스플레이부에 상기 통신단말기의 음성통화수신 여부 및 메시지 수신 여부 중 적어도 어느 하나를 표시하는 것이 가능하다.
그리고, 상기 정보단말기의 정보단말 제어부는, 상기 통신단말기의 RF모듈로 수신된 음성데이터를 상기 정보단말 측 단말 연동 인터페이스를 통해 수령하여 텍스트데이터로 변환한 후 상기 디스플레이부에 표시하는 것이 가능하다.
또한, 상기 정보단말기의 정보단말 제어부는, 상기 사용자 입력부를 통해 상기 사용자가 입력한 텍스트데이터를 음성데이터로 변환하여 상기 정보단말 측 단말 연동 인터페이스를 통해 상기 통신단말기로 전송하는 것이 가능하다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 단말기 연동시스템 및 단말기 연동방법에 대해서 상세하게 설명한다.
도 1은 본 발명에 따른 단말기 연동시스템의 개략적인 구성도로서, 통신단말기(50)로는 휴대전화를 구비하고 정보단말기(10)로는 PC(Personal Computer)를 이용하는 경우를 예시한 것이다.
본 발명의 단말기 연동시스템에서 정보단말기(10)와 통신단말기(50)는 블루투스(bluetooth), 지그비(ZigBee), IrDA, RFID 등의 근거리 무선 인터페이스를 통해 상호 간에 데이터 송수신이 가능하다. 이에, 정보단말기(10)에 통신단말기(50)를 원격제어하기 위한 애플리케이션을 설치하여 근거리 무선 인터페이스를 통해 통 신단말기(50)를 제어함으로써, 통신단말기(50)를 직접 조작하지 아니하고도 통신단말기(50)의 각종 기능을 정보단말기(10)에서 제어할 수 있도록 한다.
이에, 정보단말기(10)를 통한 작업 수행 시에 통신단말기(50)에 메시지가 수신된 경우 정보단말기(10)는 근거리 무선 인터페이스를 통해 통신단말기(50)로부터 메시지 착신사실을 수신하여 사용자에게 표시할 수 있다. 이에, 사용자가 정보단말기(10)에서 메시지 확인기능을 선택하면 정보단말기(10)는 통신단말기(50)에 착신된 메시지를 무선 전송받아 사용자에게 표시할 수 있다.
한편, 정보단말기(10)가 텍스트/음성 및 음성/텍스트 간 변환기능을 지원하는 경우, 사용자는 정보단말기(10)인 PC에 구비된 키보드 등을 통해 대화내용을 텍스트형태로 입력하여 통신단말기(50)에 그에 대응되는 음성정보를 송신함으로써, 대화가 곤란한 상황일 경우에도 상대방과 음성통화를 수행할 수 있다.
여기서, 정보단말기(10)는 PC 이외에도 노트북 컴퓨터, 랩톱 등 통신단말기(50)를 원격제어하기 위한 애플리케이션의 처리가 가능한 단말기를 적용할 수 있으며, 통신단말기(50)로는 휴대전화, PDA 등 음성통화기능, 메시지 송수신기능 등의 통신기능을 지원하는 단말기를 적용할 수 있다.
이러한 구성을 갖는 본 발명에 따른 단말기 연동시스템의 제어 구성은 도 2에 도시된 바와 같다. 도 2는 본 발명에 따른 단말기 연동시스템의 제어블록도로서, 통신단말기(50)로는 휴대전화를 구비하고 정보단말기(10)로는 PC(Personal Computer)를 이용하는 경우를 예시한 것이다.
통신단말기(50)는 전화통화 및 메시지 송수신을 위한 RF모듈(54)과, RF모 듈(54)을 통해 송수신 되는 음성데이터를 마이크(MIC)를 통해 입력받거나 스피커(SPK)를 통해 출력하는 오디오처리부(53)와, 사용자 입력을 위한 키패드(60) 및 데이터 표시를 위한 LCD(Liquid Crystal Display)(58)와, 정보단말기(10) 등의 다른 단말기와의 근거리 무선 송수신을 위한 단말 연동 인터페이스(56)와, 키패드(60)를 통한 사용자 입력 및 단말 연동 인터페이스(56)를 통해 수신된 원격제어신호에 따른 제어기능을 수행하는 통신단말 제어부(52)를 포함한다.
통신단말 제어부(52)는 키패드(60)를 통한 사용자의 입력에 따라 오디오처리부(53)의 마이크(MIC)를 통해 입력되는 사용자의 음성데이터를 RF모듈(54)로 발신하고, RF모듈(54)로 수신된 음성데이터를 오디오처리부(53)를 통해 스피커(SPK)로 송출하여 전화통화 기능을 제어하고, RF모듈(54)을 통한 메시지 송수신 기능을 제어한다.
또한, 본 발명의 통신단말 제어부(52)는 단말 연동 인터페이스(56)를 통해 수신된 정보단말기(10)로부터의 원격제어신호에 따라 각 구성요소를 제어하여 설정을 변경하거나 데이터를 송수신한다. 이에, 통신단말 제어부(52)는 정보단말기(10) 측에 원격제어 등록을 위한 고유정보, RF모듈(54)로 수신된 메시지정보, 음성정보 등을 전송하고, 단말 연동 인터페이스(56)를 통해 수령된 사용자의 메시지정보 및 음성정보를 RF모듈(54)을 통해 착신 측 통신단말기로 송신한다.
정보단말기(10)는 통신단말기(50)와의 근거리 데이터 무선 송수신을 위한 단말 연동 인터페이스(14)와 사용자 입력부(12)와, 디스플레이부(16)와, 통신단말기(50)의 제어를 위한 단말 연동 애플리케이션(22)이 저장된 메모리(20)와, 단말 연동 애플리케이션(22)을 실행하여 디스플레이부(16)에 사용자의 입력을 위한 그래픽 인터페이스를 표시하고 사용자 입력부(12)를 통한 사용자의 선택에 따라 단말 연동 인터페이스(14)를 통해 통신단말기(50) 측에 원격제어신호를 무선 송신하여 통신단말기(50)의 기능을 제어하는 정보단말 제어부(18)를 포함한다.
정보단말기(10)의 단말 연동 인터페이스(14)는 통신단말기(50)의 단말 연동 인터페이스(56)에 대응되는 방식으로 구현되어, 블루투스(bluetooth), 지그비(ZigBee), IrDA, RFID 등의 형식으로 통신단말기(50) 측과 데이터를 근거리 송수신한다.
사용자 입력부(12)로는 키보드, 터치패드 등 사용자의 데이터 입력을 위한 장치가 구비될 수 있으며, 디스플레이부(16)로는 모니터 등이 구비될 수 있다.
단말 연동 애플리케이션(22)은 단말 연동 인터페이스(14)를 통해 원격지의 통신단말기(50)를 원격 제어하는 기능을 제어한다. 이에, 단말 연동 애플리케이션(22)은 대상이 되는 통신단말기(50)를 원격제어 대상으로 등록하고 사용자 선택에 따라 해당 통신단말기(50)를 제어할 수 있는 원격제어신호를 생성하며, 통신단말기(50)의 상태를 정보단말기(10)에서 확인할 수 있도록 한다. 이러한 단말 연동 애플리케이션(22)은 디스플레이부(16)에 실재 통신단말기(50)와 같은 형태의 그래픽 인터페이스를 가상 통신단말기(24)로 제공하여 사용자가 정보단말기(10)에서 통신단말기(50)의 상태를 용이하게 확인할 수 있도록 하고 제어하고자 하는 통신단말기(50)의 기능을 편리하게 선택할 수 있도록 한다.
정보단말 제어부(18)는 사용자의 선택에 따라 단말 연동 애플리케이션(22)을 실행하여 단말 연동 인터페이스(14)를 통해 사용자가 지정한 통신단말기(50) 내지는 근거리 데이터 송수신이 가능한 영역 내에 존재하는 통신단말기(50)를 검색한 후, 통신단말기(50) 측에 원격제어 대상 등록을 위한 정보를 요청하여 수신된 정보에 따라 원격제어하고자 하는 통신단말기(50)를 등록한다. 여기서, 등록 정보는 원격제어 대상이 되는 통신단말기(50)의 식별을 위한 고유정보로서, 해당 통신단말기(50)의 ESN((Electronic Serial Number), 전화번호, 혹은 사용자 설정정보 등인 것이 가능하다.
정보단말 제어부(18)는 통신단말기(50)와 같은 그래픽으로 표시되는 가상 통신단말기(24)를 디스플레이부(16)에 표시하여 단말 연동 인터페이스(14)를 통해 수신된 통신단말기(50)의 상태를 가상 통신단말기(24) 상에 표시한다. 또한, 정보단말 제어부(18)는 사용자가 사용자 입력부(12)를 통해 가상 통신단말기(24)를 조작하는 경우 그와 동일한 기능이 원격지의 실재 통신단말기(50)에서도 수행되도록 원격제어신호를 생성하여 단말 연동 인터페이스(14)를 통해 통신단말기(50)로 전송한다. 이에, 정보단말 제어부(18)는 통신단말기(50)의 제어기능을 원격제어하는 한편 고유정보, 메시지수신정보, 전화 착신정보 등을 요청하여, 수령된 데이터를 디스플레이부(16)의 가상 통신단말기(24)에 표시하여 사용자가 직접 통신단말기(50)를 확인하지 아니하고도 메시지를 확인하거나 전화를 착신할 수 있도록 한다.
여기서, 정보단말 제어부(18)는 텍스트를 음성으로 변환하는 기능을 지원하여, 사용자가 음성통화를 수행하고자 하는 경우, 사용자 입력부(12)를 이용하여 텍스트를 입력하면 이를 음성정보로 변환하여 통신단말기(50)로 전송하는 한편 통신 단말기(50) 측에서 수령된 음성정보를 텍스트로 변환하여 디스플레이부(16)의 가상단말기에 표시함으로써, 상호 간에 전화통화가 가능하도록 한다.
한편, 통신단말기(50)로부터 메시지가 수령된 경우 해당 메시지를 디스플레이부(16)에 표시하는 한편, 사용자 입력부(12)를 통해 작성된 사용자의 메시지를 통신단말기(50) 측에 전송하여 통신단말기(50)를 통해 상대방에게 송신되도록 제어한다. 이에, 정보단말기(10)에서 메시지를 확인한 사용자는 바로 정보단말기(10)를 통해 답장을 회신할 수 있다.
이 외에도, 정보단말 제어부(18)는 단말 연동 애플리케이션(22)에 따라 통신단말기(50)의 부가기능도 제어할 수 있다. 제어부는 사용자 입력부(12)를 통해 사용자 선택한 부가기능, 예컨대, 앨범기능, 주소록기능, 등의 수행을 위해 필요한 데이터를 통신단말기(50)에 요청하고, 수령된 데이터를 가상 통신단말기(24)에 반영함으로써 가상 통신단말기(24)를 실재 통신단말기(50)와 동일하게 사용하도록 할 수 있다. 여기서, 정보단말 제어부(18)는, 가상 통신단말기(24)를 통해 사용자가 소정 설정이나 데이터 등을 삭제 내지는 변경하는 경우, 해당 기능의 실행을 위한 원격제어신호를 생성하여 통신단말기(50) 측으로 전송함으로써 실재 통신단말기(50)에도 변경사항이 동일하게 적용되도록 한다.
이와 같이, 본 발명은 정보단말기(10)에 통신단말기(50)의 원격제어를 위한 단말 연동 애플리케이션(22)을 설치하고 사용자의 제어선택을 위한 가상 통신단말기(24)를 제공하여, 정보단말기(10)에 표시된 가상 통신단말기(24)를 실재 통신단말기(50)와 동일하게 사용할 수 있도록 함으로써, 통신단말기(50)를 통해 송수신 되는 음성 내지는 데이터의 처리기능을 정보단말기(10)에서 동일하게 사용할 수 있으며 통신단말기(50)의 기능들을 원격 제어할 수 있도록 한다.
도 3은 본 발명의 일 실시예에 따른 단말기 연동방법의 신호 흐름도로서, 통신단말기(50)에 음성통화 요청이 착신된 경우, 정보단말기(10)를 통해 음성통화 요청을 착신하여 사용자가 정보단말기(10)에 텍스트를 입력함으로써 상대방과 음성통화를 수행하는 경우를 예시한 것이다.
정보단말기(10)는 사용자의 선택에 따라 단말 연동 인터페이스(14)를 통해 근거리 무선 연결이 가능한 통신단말기(50)를 검색하고(S10), 통신단말기(50) 측에 원격제어 등록을 위한 정보를 요청한다(S12). 여기서, 정보단말기(10)는 근거리 무선 연결이 가능한 통신단말기(50) 측에 모두 정보를 요청하여, 정보 요청에 응답한 통신단말기(50)를 원격제어할 수 있도록 등록하도록 하는 것이 가능하다. 또한, 연동시키고자 하는 정보단말기(10) 및 통신단말기(50)를 사용자가 미리 지정해둔 경우 정보단말기(10)는 대상이 되는 통신단말기(50)를 검색하여 정보를 요청하는 것도 가능하다.
정보단말기(10)로부터 정보제공을 요청받은 통신단말기(50)는 원격제어 등록을 위한 정보를 회신하며(S14), 여기서, 원격제어 등록을 위한 정보로는 통신단말기(50)의 식별을 위한 고유정보인 ESN((Electronic Serial Number), 전화번호, 혹은 사용자 설정정보 등을 이용할 수 있다.
정보단말기(10)는 통신단말기(50)가 회신한 정보에 따라 해당 통신단말기(50)를 등록하고, 통신단말기(50)의 원격제어를 위한 단말 연동 애플리케이 션(22)을 실행한다(S16). 이에, 정보단말기(10)의 디스플레이부(16)에는 가상 통신단말기(24)의 그래픽이 표시되며 사용자는 정보단말기(10)의 사용자 입력부(12)를 통해 가상 통신단말기(24)의 기능을 조작함으로써 실재 통신단말기(50)의 기능을 원격 제어할 수 있다.
통신단말기(50)와 정보단말기(10)가 상호 연동하는 상태에서, 통신단말기(50)에 음성 호가 착신되면(S18), 통신단말기(50)는 정보단말기(10) 측에 호 착신 사실을 알린다(S20).
이에, 정보단말기(10)는 디스플레이부(16)의 가상 통신단말기(24)에 착신 알림 메시지를 표시하거나 소정 효과음을 송출함으로써 통신단말기(50)의 착신사실을 표시한다(S22).
사용자는 정보단말기(10)의 사용자 입력부(12)를 통해 가상 통신단말기(24)의 전화통화 버튼을 클릭하는 등의 방법으로 호 착신을 선택할 수 있다(S24). 여기서, 정보단말기(10)에 마이크 및 스피커 등이 구비되어 있는 경우, 통신단말기(50)로 수신된 음성데이터를 정보단말기(10)에서 수령하여 스피커를 통해 송출하는 한편 사용자 음성을 마이크로 입력받아 통신단말기(50)로 전송하여 상대방 측으로 송신되도록 함으로써 음성통화 기능을 수행하도록 할 수 있다.
한편, 사용자가 음성통화를 수행할 수 없는 상태일 경우 사용자는 사용자 입력부(12)를 통해 정보단말기(10)에 대화내용을 텍스트로 입력할 수 있다(S26).
이에, 정보단말기(10)는 텍스트를 음성데이터로 변환한 후(S28), 사용자의 음성데이터를 통신단말기(50) 측에 전송한다(S30). 여기서, 정보단말기(10)는 TTS(Text To Speach)프로그램 등을 이용하여 사용자가 입력한 텍스트를 음성데이터로 변환할 수 있다.
통신단말기(50)는 정보단말기(10)로부터 수령한 음성데이터를 RF모듈(54)을 통해 통화 상대방 측 통신단말기로 송신하고(S32), 수신된 상대방의 음성데이터를 정보단말기(10) 측으로 전송한다(S34).
이에, 정보단말기(10)는 통신단말기(50)로부터 수령된 음성데이터를 텍스트형식으로 변환하여 디스플레이부(16)의 가상 통신단말기(24) 상에 표시한다(S36).
이에 따라, 사용자가 음성통화를 수행하기에 곤란한 상황일 경우, 정보단말기(10)의 텍스트->음성/음성->텍스트 변환 기능을 이용하여 전화통화를 수행할 수 있다. 이에, 통신단말기(50)로 발신한 통화 상대방은 음성통화를 수행하지만 정보단말기(10)를 이용하는 사용자는 텍스트형식으로 대화를 주고받을 수 있다.
도 4는 본 발명의 다른 실시예에 따른 단말기 연동방법의 신호 흐름도로서, 통신단말기(50)에 메시지가 수신된 경우, 정보단말기(10)를 통해 메시지를 확인하고 답장을 작성하여 상대방 측에 메시지를 발신하는 경우를 예시한 것이다.
통신단말기(50)에 메시지가 수신되면(S40), 통신단말기(50)는 단말 연동 인터페이스(56)를 통해 정보단말기(10) 측에 메시지 수신정보를 전송한다(S42)
이에, 정보단말기(10)는 디스플레이부(16)의 가상 통신단말기(24)에 메시지가 수신되었다는 메시지를 표시하거나 효과음을 송출함으로써 메시지 수신사실을 표시한다(S44).
이에, 사용자가 정보단말기(10)의 가상 통신단말기(24)에서 수신메시지 확인 을 선택하면(S46), 정보단말기(10)는 통신단말기(50)에 수신된 메시지의 내용을 디스플레이부(16)에 표시한다(S48).
한편, 사용자가 수신 메시지에 대한 답장을 키보드나 마우스 등의 사용자 입력부(12)를 통해 정보단말기(10)에서 작성하여 발신을 선택하면(S50), 정보단말기(10)는 작성된 메시지 정보를 단말 연동 인터페이스(14)를 통해 통신단말기(50) 측으로 전송한다(S52).
이에, 통신단말기(50)는 정보단말기(10)로부터 수령된 메시지를 수신 상대방 측 통신단말기로 발신함으로써(S54), 사용자가 수신된 메시지에 대해 정보단말기(10)에서 답장 작성하여 상대방에게 회신할 수 있도록 한다.
이상 설명한 바와 같이, 본 발명은 전화통화 및 메시지 송수신 기능을 수행하는 통신단말기(50)와 애플리케이션 처리가 가능한 정보단말기(10)가 상호 연동하도록 하여 통신단말기(50)를 직접 조작하지 아니하고도 정보단말기(10)를 통해 원격지의 통신단말기를 제어할 수 있도록 함으로써, 통신단말기를 직접 조작하기 어려운 상황일 경우에도 정보단말기를 통해 전화통화기능, 메시지 송수신기능 등을 이용할 수 있도록 한편, 음성통화가 불가능한 상태일 경우에도 정보단말기의 텍스트->음성/음성->텍스트 변환 기능을 이용하여 상대방 측과 음성통화를 수행할 수 있도록 하고 있다.
이상, 본 발명에 따른 실시예는 상술한 것에 한정되지 아니하고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위 내에서 다양하게 변형하여 실시할 수 있다.
이상에서 설명한 바와 같이 본 발명의 단말기 연동시스템 및 단말기 연동방법은, 전화통화 및 메시지 송수신 기능을 수행하는 통신단말기와 다른 정보단말기가 상호 연동하도록 하여 통신단말기를 직접 조작하지 아니하고도 정보단말기를 통해 원격지의 통신단말기를 제어할 수 있도록 하고 있다.
이에 따라, 통신단말기를 직접 조작하기 어려운 상황일 경우에도 정보단말기를 통해 전화를 착신하거나 메시지를 수신하여 확인할 수 있으며, 음성통화가 불가능한 상태일 경우에도 정보단말기를 통해 상대방 측과 음성통화를 수행할 수 있다.

Claims (17)

  1. 정보단말기가, 통신망을 통한 음성통화 및 메시지 송수신 기능을 지원하며 근거리 무선 송수신이 가능한 통신단말기 측에 원격제어 등록을 위한 고유정보를 요청하여 상기 통신단말기를 원격제어 대상으로 등록하는 단계와;
    상기 정보단말기에서 상기 통신단말기의 제어를 위한 원격제어신호를 생성하여 상기 통신단말기 측에 근거리 무선 전송하는 단계와;
    상기 원격제어신호를 수신한 상기 통신단말기가 통신망을 통해 수신된 데이터를 상기 정보단말기 측으로 근거리 무선 전송하는 단계와;
    상기 통신단말기가 근거리 무선 전송한 데이터를 상기 정보단말기가 수령하여 디스플레이하는 단계를 포함하는 것을 특징으로 하는 단말기 연동방법.
  2. 제 1 항에 있어서,
    상기 통신단말기와 상기 정보단말기는, 블루투스(bluetooth), 지그비(ZigBee), IrDA, RFID 중 적어도 어느 한 방식으로 데이터를 근거리 무선 송수신하는 것을 특징으로 하는 단말기 연동방법.
  3. 제 1 항에 있어서,
    상기 정보단말기에서 상기 통신단말기의 제어를 위한 원격제어신호를 생성하여 상기 통신단말기 측에 근거리 무선 전송하는 단계는,
    상기 정보단말기가 상기 원격제어 등록된 통신단말기의 제어를 위한 가상 통신단말기의 그래픽 인터페이스 디스플레이하는 단계와;
    상기 가상 통신단말기를 통한 사용자 입력에 따라 상기 원격제어신호를 생성하여 상기 통신단말기 측에 근거리 무선 전송하는 단계를 포함하는 것을 특징으로 하는 단말기 연동방법.
  4. 제 1 항에 있어서,
    상기 통신단말기가 근거리 무선 전송한 데이터를 상기 정보단말기가 수령하여 디스플레이하는 단계는,
    상기 통신단말기의 수신상태 데이터를 수령하여, 상기 통신단말기의 음성통화 수신 여부 및 메시지 수신 여부 중 적어도 어느 하나를 표시하는 단계를 포함하는 것을 특징으로 하는 단말기 연동방법.
  5. 제 1 항에 있어서,
    상기 통신단말기가 근거리 무선 전송한 데이터를 상기 정보단말기가 수령하여 디스플레이하는 단계는,
    상기 통신단말기에 수신된 음성데이터를 수령하는 단계와;
    상기 음성데이터를 텍스트데이터로 변환하여 표시하는 단계를 포함하는 것을 특징으로 하는 단말기 연동방법.
  6. 제 1 항에 있어서,
    상기 정보단말기가 사용자로부터 텍스트데이터를 입력받는 단계와;
    상기 정보단말기가 상시 텍스트데이터를 음성데이터로 변환하는 단계와;
    상기 정보단말기가 상기 음성데이터를 상기 통신단말기로 근거리 무선 전송하는 단계와;
    상기 통신단말기가 상기 음성데이터를 상기 통신망으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 단말기 연동방법.
  7. 제 1 항에 있어서,
    상기 정보단말기가 사용자의 음성데이터를 입력받는 단계와;
    상기 정보단말기가 상시 사용자의 음성데이터를 상기 통신단말기로 근거리 무선 전송하는 단계와;
    상기 통신단말기가 상기 정보단말기로부터 상기 음성데이터를 수령하는 단계와;
    상기 통신단말기가 상기 음성데이터를 상기 통신망으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 단말기 연동방법.
  8. 통신망을 통한 음성통화 및 메시지 송수신을 위한 RF모듈과, 근거리 무선 송수신을 위한 통신단말 측 단말 연동 인터페이스와, 상기 통신단말 측 단말 연동 인터페이스를 통해 수신된 원격제어신호에 따라 상기 RF모듈로 수신된 데이터를 근거 리 무선송신하는 통신단말 제어부를 갖는 통신단말기와;
    상기 통신단말 측 단말 연동 인터페이스에 대응되는 정보단말 측 단말 연동 인터페이스와, 사용자 입력부와, 디스플레이부와, 상기 사용자 입력부를 통한 사용자의 선택에 따라 상기 통신단말기를 제어하기 위한 상기 원격제어신호를 생성하여 상기 정보단말 측 단말 연동 인터페이스를 통해 상기 통신단말기로 근거리 무선송신하고 상기 통신단말기의 RF모듈로 수신된 데이터를 상기 정보단말 측 단말 연동 인터페이스로 수령하여 상기 디스플레이부에 표시하는 정보단말 제어부를 갖는 정보단말기를 포함하는 것을 특징으로 하는 단말기 연동시스템.
  9. 제 8 항에 있어서,
    상기 통신단말 측 단말 연동 인터페이스와 상기 정보단말 측 단말 연동 인터페이스는, 블루투스(bluetooth), 지그비(ZigBee), IrDA, RFID 중 적어도 어느 한 방식으로 데이터를 송수신하는 것을 특징으로 하는 단말기 연동시스템.
  10. 제 8 항에 있어서,
    상기 통신단말기의 통신단말 제어부는,
    상기 통신단말 측 단말 연동 인터페이스를 통해 수신된 원격제어신호에 따라 원격제어 등록을 위한 고유정보를 상기 정보단말기 측으로 전송하는 것을 특징으로 하는 단말기 연동시스템.
  11. 제 8 항에 있어서,
    상기 통신단말기의 통신단말 제어부는,
    상기 통신단말 측 단말 연동 인터페이스를 통해 수신된 원격제어신호에 따라, 상기 정보단말기에서 전송한 사용자 음성데이터를 상기 통신단말 측 단말 연동 인터페이스를 통해 수령하여 상기 RF모듈을 통해 상기 통신망으로 송신하는 것을 특징으로 하는 단말기 연동시스템.
  12. 제 8 항에 있어서,
    상기 통신단말기의 통신단말 제어부는,
    상기 통신단말 측 단말 연동 인터페이스를 통해 수신된 원격제어신호에 따라, 상기 정보단말기에서 전송한 메시지데이터를 상기 통신단말 측 단말 연동 인터페이스를 통해 수령하여 상기 RF모듈을 통해 상기 통신망으로 송신하는 것을 특징으로 하는 단말기 연동시스템.
  13. 제 8 항에 있어서,
    상기 정보단말기의 정보단말 제어부는,
    상기 통신단말기 제어를 위한 가상 통신단말기의 그래픽 인터페이스를 상기 디스플레이부에 표시하고, 상기 가상 통신단말기를 통한 사용자 입력에 따라 상기 원격제어신호를 생성하는 것을 특징으로 하는 단말기 연동시스템.
  14. 제 8 항에 있어서,
    상기 정보단말기의 정보단말 제어부는,
    상기 사용자 입력부를 통한 사용자의 선택에 따라 상기 정보단말 측 단말 연동 인터페이스를 통해 접속 가능한 통신단말기 측에 원격제어 등록을 위한 정보제공을 요청하여 상기 통신단말기를 원격제어 대상으로 등록하는 것을 특징으로 하는 단말기 연동시스템.
  15. 제 8 항에 있어서,
    상기 정보단말기의 정보단말 제어부는,
    상기 정보단말 측 단말 연동 인터페이스를 통해 상기 통신단말기의 수신상태를 수령하여, 상기 디스플레이부에 상기 통신단말기의 음성통화수신 여부 및 메시지 수신 여부 중 적어도 어느 하나를 표시하는 것을 특징으로 하는 단말기 연동시스템.
  16. 제 8 항에 있어서,
    상기 정보단말기의 정보단말 제어부는,
    상기 통신단말기의 RF모듈로 수신된 음성데이터를 상기 정보단말 측 단말 연동 인터페이스를 통해 수령하여 텍스트데이터로 변환한 후 상기 디스플레이부에 표시하는 것을 특징으로 하는 단말기 연동시스템.
  17. 제 8 항에 있어서,
    상기 정보단말기의 정보단말 제어부는,
    상기 사용자 입력부를 통해 상기 사용자가 입력한 텍스트데이터를 음성데이터로 변환하여 상기 정보단말 측 단말 연동 인터페이스를 통해 상기 통신단말기로 전송하는 것을 특징으로 하는 단말기 연동시스템.
KR1020060047652A 2006-05-26 2006-05-26 단말기 연동시스템 및 단말기 연동방법 KR100793062B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060047652A KR100793062B1 (ko) 2006-05-26 2006-05-26 단말기 연동시스템 및 단말기 연동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060047652A KR100793062B1 (ko) 2006-05-26 2006-05-26 단말기 연동시스템 및 단말기 연동방법

Publications (2)

Publication Number Publication Date
KR20070113839A true KR20070113839A (ko) 2007-11-29
KR100793062B1 KR100793062B1 (ko) 2008-01-10

Family

ID=39091601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060047652A KR100793062B1 (ko) 2006-05-26 2006-05-26 단말기 연동시스템 및 단말기 연동방법

Country Status (1)

Country Link
KR (1) KR100793062B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140017874A (ko) * 2012-08-01 2014-02-12 삼성전자주식회사 커뮤니케이션 정보 전송 시스템 및 방법
KR20160015997A (ko) 2014-08-01 2016-02-15 대우조선해양 주식회사 동적진동이 저감된 라싱 브릿지

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100378765B1 (ko) * 2001-04-10 2003-04-07 주식회사 팬택앤큐리텔 불루투쓰 단말기의 원격 제어 방법
KR20040038003A (ko) * 2002-10-31 2004-05-08 에스케이텔레텍주식회사 이동통신 단말기의 착신정보를 알려주기 위한 전자기기와그를 이용한 착신정보 알림 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140017874A (ko) * 2012-08-01 2014-02-12 삼성전자주식회사 커뮤니케이션 정보 전송 시스템 및 방법
KR20160015997A (ko) 2014-08-01 2016-02-15 대우조선해양 주식회사 동적진동이 저감된 라싱 브릿지

Also Published As

Publication number Publication date
KR100793062B1 (ko) 2008-01-10

Similar Documents

Publication Publication Date Title
US8655271B2 (en) System and method for storing near field communication tags in an electronic phonebook
KR101449519B1 (ko) 정보 처리 장치, 외부 기기 확장 시스템, 외부 기기 확장 방법, 외부 기기 확장 프로그램 및 프로그램 기록 매체
KR20100010756A (ko) 휴대 단말기 원격 제어 방법 및 시스템
KR20140023080A (ko) 문자 데이터를 이용한 음성 통화를 제공하기 위한 전자 장치 및 방법
JP2010165289A (ja) 携帯電話機
KR20150027422A (ko) 휴대 단말기에서 디바이스 이름을 이용한 무선 통신 설정 방법 및 장치
KR100642683B1 (ko) 블루투스 자동 연결 방법
KR100793062B1 (ko) 단말기 연동시스템 및 단말기 연동방법
KR20050006707A (ko) 무선통신단말기 원격 제어 방법
EP2975533A1 (en) Terminal device, translation system, communication control method, and program
KR102075750B1 (ko) 문자 데이터를 이용한 음성 통화를 제공하기 위한 전자 장치 및 방법
KR100365778B1 (ko) 블루투스 통신을 이용한 자동 통화 발신 시스템 및 방법
KR101303020B1 (ko) 음성통화와 메신저 서비스의 동시 실행방법 및 이를수행하기 위한 이동통신단말기
KR102042815B1 (ko) 전자 장치에서 시간 정보를 공유하기 위한 장치 및 방법
KR101727494B1 (ko) 통화 중 대기 처리 방법 및 이를 이용하는 이동 단말기
KR20090080689A (ko) 휴대 단말기의 메시지 전송 방법
KR20120050245A (ko) 컴퓨터 기반 이동통신 단말 제어 시스템 및 그 방법
KR100685792B1 (ko) 소프트웨어적인 포인팅 입력 기능 제공 방법 및 그를이용한 무선통신 단말기
KR100461176B1 (ko) 컴퓨터의 원격제어시스템 및 원격제어방법
KR101806507B1 (ko) 인터넷전화 기능을 갖는 일체형 컴퓨터 장치
JP2007195054A (ja) 電話通信システム
KR20080083860A (ko) 휴대 단말기의 데이터 처리방법
JP2013183385A (ja) 通信システム、情報端末、通信システムの通信方法、及び情報端末用通信プログラム。
JP5746723B2 (ja) 情報処理システム、情報端末、情報処理装置、制御方法、及びプログラム
JP2018117390A (ja) 電子機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161223

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee